En algunos dibujos animados modernos, la animación de la cara, en particular de la boca, es muy realista: la mayoría de las vocales se imitan correctamente y a tiempo con los movimientos de la boca. (En particular, estoy hablando de los episodios de Family Guy).
Mi pregunta principal: ¿qué se crea primero? ¿Animación o grabación de sonido?
¿Cómo se ve el proceso de combinar esos dos? Creo que es una tarea complicada unir sonido y animación.
¿Hay algún software que reconozca las palabras que ha dicho el actor y simule automáticamente los movimientos de la boca?
Depende del proceso exacto del estudio, pero generalmente se realiza primero una animática (básicamente, un guión gráfico animado) o el audio. En el caso específico de Padre de familia y American Dad, parece que trabajan primero en el audio y la animación. La ventaja de hacer una animática primero es que puede ayudar a los actores de voz a visualizar lo que sucederá, pero eso hace que el proceso tarde un poco más (lo que es particularmente malo para la televisión).
Una vez que se hace el audio final, se puede hacer la animación final para que coincida con el sonido. En realidad, es bastante fácil simplemente mirar el archivo de onda de una pista de audio para elegir dónde están las sílabas, aunque también hay un software que se puede usar para identificar automáticamente los momentos adecuados para diferentes tipos de movimientos de la boca con una precisión bastante decente. Una vez que conozca todos los fotogramas clave (los puntos particulares en el tiempo que deben tener una forma de boca dada), es bastante fácil animar entre ellos para obtener el movimiento facial adecuado.
Mientras investigaba el proceso particular de American Dad para esta pregunta, también encontré este video del Wall Street Journal que pensé que podría ser de interés relacionado con la pregunta.
usuario40