Expresión facial 3d en tiempo real

Se presenta una nueva forma para conseguir la transferencia en tiempo real de las expresiones faciales de un actor capturado con una fuente de vídeo a otro actor en el vídeo de destino, esto permite el control de las expresiones faciales del actor de destino.

La novedad de este enfoque radica en la transferencia ultrarealista en la generación de las deformaciones de la cara de una forma muy detallada, como podemos ver en el vídeo, es realmente sorprendente.

Para conseguir este nivel de realismo, digitalizamos de forma precisa los movimientos y gestos faciales del actor de origen y destino en tiempo real, utilizando un sensor RGB-D.

Cada fotograma encaja conjuntamente en un modelo paramétrico para identificar y detectar la expresión de la piel con los datos de entrada de los tonos de los colores faciales y la profundidad de las arrugas, así como la iluminación de la escena.

Para la transferencia de los gestos, se calculan las diferencias entre las expresiones

de origen y destino capturando una serie de parámetros y modificando los mismos para adaptarlos al actor de destino.

Lo mas complicado del sistema es conseguir un buen resultado final trabajando en tiempo real, esto requiere mucho trabajo en la preparación de la iluminación y las sombras, ambos deben corresponder al mismo entorno, de lo contrario la captura no funciona correctamente, el vídeo que podemos ver a continuación está realizado en tiempo real.