Estudio de caso: el sistema de escaneo 3D da vida a los personajes digitales
Los avances en efectos visuales (VFX) han llevado a una transformación digital en la industria del entretenimiento y han cambiado la forma en que consumimos medios. Dar vida a estos personajes, objetos y entornos digitales en películas, programas de televisión y videojuegos hoy comienza con la implementación de un sistema de captura digital 3D de alta velocidad.
Sin embargo, pueden surgir varios desafíos al utilizar sistemas de escaneo de cabeza 3D para el proceso de efectos visuales. Técnicas como el escaneo láser o la luz estructurada requerirán que el sujeto se mantenga quieto, lo que puede ralentizar toda la producción de una película, y puede requerir la eliminación de componentes especulares de una imagen capturada después del hecho. Además, los sistemas complejos requieren su instalación por parte de ingenieros eléctricos y mecánicos profesionales. Para abordar estos problemas, la empresa de escaneo de fotogrametría llave en mano Pixel Light Effects aprovecha la alta velocidad y la alta resolución. Cámaras GigE Vision en su sistema de captura digital 3D para permitir la creación de imágenes realistas y precisas. exploraciones volumétricas para el canal VFX.
Evite el valle misterioso
Hace treinta y dos años, Terminator 2 de James Cameron surgió como un momento decisivo en los efectos visuales y, según se informa, representó la primera vez que un personaje principal en una película fue creado en parte utilizando gráficos por computadora. Si bien los efectos aún se mantienen, especialmente por el momento, la tecnología ha superado con creces la de la secuela de 1991. (Ver el informe de Cameron de 2022 avatar: el camino del agua, por ejemplo.) Aún así, a pesar de todos los ejemplos bien ejecutados de efectos visuales de alta calidad que existen, muchos en el otro extremo del espectro también lo hacen. Piense en la eliminación digital del bigote de Henry Cavill en 2017 Liga de la Justicia o el desafortunado efecto Uncanny Valley que tuvo lugar en 2004. Expreso Polar impartido a muchos espectadores.
Los malos efectos visuales pueden arruinar una película, mientras que los excelentes efectos brindan el realismo necesario para mantener a los espectadores interesados en la experiencia de ver la película. Para Pixel Light Effects, cuyos proyectos recientes incluyen Prey, Deadpool 2, La guerra por el planeta de los simios, Altered Carbon, Las escalofriantes aventuras de Sabrina, y Había una vez – esto significa implementar lo que llama técnicas de captura volumétrica de escaneo 4D (o “3D con tiempo”). Con escaneo 4D, que se utiliza para la empresa de animación de personajes en 3D. Reallusion, cada fotograma adquirido es un modelo 3D con un mapa de textura. Una vez instalado y configurado el equipo de escaneo de cabeza de 12 x 12 pies (Figura 1), las cámaras se calibran y los parámetros de disparo se almacenan en el software patentado de la empresa y se sincronizan en cada secuencia de inicio. Los parámetros integrados también permiten cambiar los parámetros de disparo, como la configuración de la cámara, la velocidad de fotogramas, el brillo del LED, la secuencia de iluminación y más.
Figura 1: Se coloca una réplica del cráneo de un dinosaurio dentro del sistema de captura digital 3D para escanearla.
Las contraventanas y las luces estroboscópicas LED están sincronizadas por hardware con precisión con la configuración de la cámara. El sistema utiliza 142 luces estroboscópicas LED polarizadas linealmente a 60 fps para garantizar la intensidad de la luz sin consumir demasiada energía ni ser demasiado brillante para el talento. Estas luces crean un ambiente de iluminación difusa para la adquisición de texturas, además de mostrar las arrugas del rostro. Marcos de 32 cámaras de visión artificial se transmiten a un servidor de datos configurado a medida con una unidad de estado sólido (SSD) de alta velocidad o grandes cantidades de RAM, y luego los datos van a una unidad de procesamiento de gráficos (GPU) para codificarlos.
Abandonando los dobles digitales
Cada cuadro está construido con 32 imágenes, lo que permite al sistema rastrear la secuencia de malla en Wrap4D para lograr una topología consistente. El resultado final del sistema se suele utilizar de dos maneras diferentes para la animación, según Jingyi Zhang, director ejecutivo de Pixel Light Effects.
"En primer lugar, los datos se pueden utilizar como referencias de rigging para estudiar cómo se deforman las caras entre expresiones, lo que permite a los artistas CGI extraer 'intermedios' de una malla continua para agregar formas de mezcla adicionales en su rig facial", dice. "Además, el sistema ofrece la capacidad de capturar el rendimiento en 4D, donde la secuencia capturada se puede superponer con animación manipulada para verificar el rendimiento".
Cuando se trata de evitar los errores de películas pasadas y sacar a los espectadores de la experiencia, Pixel Light Effects captura la actuación del actor humano y crea dobles digitales utilizando tecnología 4D, luego extiende la actuación del actor al espacio digital 3D.
Figura 2: El sistema de escaneo 3D de Pixel Light Effect aprovecha cámaras de alta velocidad y alta resolución sin pérdida de datos para ofrecer dobles digitales de mayor calidad.
"Una dificultad importante en la animación facial es capturar el sentimiento o el estado de ánimo correcto, ya que las sutilezas pueden perderse en el proceso de captura de movimiento y animación", dice Zhang. “Ayudamos a dirigir los talentos hacia los estados de ánimo adecuados y replicar esa actuación en un entorno 3D.
"Hemos oído a mucha gente decir que los dobles digitales se están volviendo tan reales que ya no necesitamos actores, y no estamos totalmente de acuerdo", continúa. "Confiamos en el talento y la actuación de los actores y los incorporamos al CGI para que el público pueda sumergirse en la historia y tener una mejor experiencia".
Una actualización de alta velocidad y alta resolución
En un diseño anterior, el sistema usaba 32x 5MP cámaras 10GigE, pero el resultado de la reconstrucción 3D/4D no fue ideal, según Zhang.
"Con la iteración anterior, el sistema tuvo dificultades para extraer detalles geométricos y la baja calidad de la textura afectó los resultados del seguimiento", dice. “Otras cámaras de alta velocidad y alta resolución que había en el mercado en aquel momento no eran económicas para nuestra aplicación. Entonces, cuando encontramos la cámara de Emergent Vision Technologies, fue un punto de inflexión, ya que nos permitió ofrecer una solución superior y más accesible para el proceso de creación de contenido de nuestros clientes”.
Pixel Light Effects eligió primero el Cámara HR-12000-SC, una cámara en color de 10GigE basada en el Sony IMX12 de 253MP que puede alcanzar velocidades de cuadro de hasta 80 fps. Los beneficios de las cámaras incluyen bajo nivel de ruido, sincronización multicámara y longitudes de cable de fibra de 1 ma 10 km sin necesidad de convertidores o repetidores de fibra. Se eligieron estas cámaras por su rendimiento y atención al cliente, afirma Zhang.
Figura 3: Después de implementar por primera vez cámaras 10GigE de Emergent, Pixel Light Effects instalará cámaras 32x 25GigE con una resolución de 24.47MP que puede alcanzar 98 fps.
"La resolución y la velocidad de fotogramas son igualmente importantes en nuestros sistemas, pero Emergent no sólo tenía las cámaras que necesitábamos, sino también el kit de desarrollo de software establecido y las tarjetas de interfaz de red para facilitar una transferencia de datos rápida y confiable", dice, y agrega que Emergent Ofreció un equipo de soporte técnico capacitado que respondió todas las preguntas muy rápidamente.
En la nueva versión del sistema, Pixel Light Effects integrará 25GigE Cámaras HB-25000-SB-C, que se basan en el Sony IMX24.47 de 530 MP y pueden alcanzar velocidades de cuadro de 98 fps a través de la interfaz de alta velocidad 25GigE QSFP28.
"Los diseños anteriores aprovechaban la interfaz 10GigE, pero estas nuevas cámaras 25GigE nos permiten capturar datos de manera confiable a velocidades de cuadro similares pero con una resolución mucho mayor, lo que hace que nuestro sistema sea mucho más competitivo en el mercado abierto", afirma Zhang.
PARA MAYOR INFORMACIÓN:
Cámaras de alta velocidad de Emergent Vision Technologies:
https://emergentvisiontec.com/area-scan-cameras/
