En un intento de reducir tiempo de post-producción de efectos visuales, los investigadores de Disney decidieron crear FRAN para que haga el trabajo por ellos. ¿Qué es? Una red de rejuvenecimiento facial que puede renovar imágenes faciales en video. Lee más ¡acá!
No es ninguna novedad que, cada vez que se termina de grabar una película o serie, los estudios pasan gran parte de su tiempo de post-producción en los efectos visuales. Uno muy común (y que lleva mucho trabajo) es el rejuvenecimiento de los actores. Por esto, varios investigadores de Disney crearon FRAN, una nueva herramienta de inteligencia artificial que puede hacer el trabajo por ellos de manera automática.
En un artículo académico, Disney Research Studios explica que FRAN (Red de envejecimiento facial) es una red neuronal lista para producción que puede renovar automáticamente imágenes faciales en video sin pérdida de identidad y con gran dominio artístico. Esta IA “proporciona resultados temporalmente estables en videos que representan rostros en condiciones de punto de vista, profundidad, movimiento e iluminación libres”.
Como les decíamos arriba, el rejuvenecimiento y envejecimiento digital fotorrealista de rostros en video es un trabajo que lleva tiempo. Según los investigadores de Disney, el flujo de trabajo predominante de pintura en 2D a menudo requiere un trabajo manual cuadro por cuadro que puede tardar días en realizarse, incluso por parte de artistas expertos. Si tenemos en cuenta que rejuvenecer a un actor (como Robert Downey Jr. en Captain America: Civil War) es cada vez es más común en el entretenimiento y la publicidad, la creación de FRAN llega justo.
Muchas veces, las técnicas actuales para rejuvenecer a un actor no suelen ser muy convincentes, ya que pueden sufrir “pérdida de identidad facial, resolución deficiente y resultados inestables en los cuadros de video posteriores”. Sin embargo, los investigadores de Disney presentaron “el primer método práctico, totalmente automático y listo para producción para volver a rejuvenecer rostros en imágenes de video”.
“Nuestra primera idea clave es abordar el problema de recopilar datos de entrenamiento longitudinal para aprender a rejuvenecer rostros durante períodos prolongados de tiempo, una tarea que es casi imposible de lograr para un gran número de personas reales. Mostramos cómo se puede construir un conjunto de datos longitudinales de este tipo aprovechando el estado actual del arte en el rejuvenecimiento facial que, aunque falla en imágenes reales, proporciona resultados de rejuvenecimiento fotorrealistas en rostros sintéticos”, explican desde Disney Research Studios.
FRAN aprovecha esos datos sintéticos generados aleatoriamente a diferentes edades y formula el rejuvenecimiento facial como una tarea práctica de traducción de imagen a imagen. De esta manera, se evita la necesidad de encontrar entre miles de imágenes de personas reales de diferentes edades (documentadas) una que represente la misma expresión facial, pose, iluminación y fondo.
Esta red neuronal usa esta base de datos para llegar a una predicción sobre qué áreas de la cara de una persona real rejuvenecerían o envejecerían y cómo. Una vez que hace eso, FRAN superpone los nuevos detalles, ya sea agregar o sacar arrugas, en imágenes de video.
Sin embargo, todavía no está todo al 100%, ya que la IA tiene algunas limitaciones. Los investigadores de Disney señalaron que FRAN puede no ser adecuado para alteraciones significativas, como rejuvenecer desde edades muy tempranas o agregar canas en el pelo del actor cuando lo envejecen.
Como con cada avance de estos, la posibilidad de que se pierdan trabajos preocupa a muchos. Todavía no anunciaron si FRAN llegará al público y si usará dentro de la industria, ya que todavía hay un margen de mejora y limitaciones que solucionar. Por esto, el trabajo manual de VFX e incluso la aplicación práctica de maquillaje protésico sigue siendo una de las primeras opciones para los efectos visuales.
No debería sorprendernos que Disney haya estado trabajando en la automatización de los efectos visuales. Recordemos que tiene una larga lista de ejemplos de recreación o rejuvenecimiento de los actores en la pantalla grande: Desde Nick Fury, Hank Pym y Ego the Living Planet, hasta Leia Organa y Wilhuff Tarkin, entre varios otros.