¿Cuál es la máxima diferencia de tiempo para asociar todavía un evento acústico y visual?

Estoy desarrollando un juego en el que la música debe sincronizarse con la lógica real del juego. Eso significa que algunos objetos del juego reaccionan a los eventos de la música. Por supuesto, la música nunca se sincronizará completamente con la salida en la pantalla, por lo que necesito una indicación de la diferencia horaria para poder sincronizar la música manualmente con la lógica del juego.

¿Cuál es el tiempo promedio/máximo para que un humano aún asocie un evento visual en la pantalla con un evento musical auditivo?

Recomendaría hacer una búsqueda en Google Scholar de cosas como "ventana de unión audiovisual". erudito.google.com/…

Respuestas (1)

Respuesta corta
En el caso de estímulos simples, los estímulos visuales y auditivos pueden compensarse entre 25 y 50 ms y seguir percibiéndose como provenientes del mismo evento.

Antecedentes
La pregunta puede reformularse como ¿cuál es la ventana de integración de la asincronía intersensorial en el caso de estímulos visuales y auditivos ?

Un ejemplo bien conocido en el que estas dos modalidades de estímulo se perciben como separadas, cuando en realidad provienen del mismo evento, es un trueno que se escucha después de un rayo. Esto se debe al hecho de que el sonido viaja a una velocidad mucho más lenta que la luz y, por lo tanto, un trueno puede retrasarse segundos con respecto al relámpago.

relámpago trueno
fuente: NASA

En muchos casos, sin embargo, una percepción multimodal se percibe realmente como sincrónica, mientras que de hecho se compensan en el tiempo debido a las diferencias en las características físicas de los estímulos. Tome la tormenta como ejemplo: cuando está lejos, el trueno se disocia perceptivamente del relámpago, porque el sonido se retrasa en segundos con respecto a la luz. Pero cuando la tormenta eléctrica está lo suficientemente cerca, el crujido auditivo y el relámpago visual se perciben como sincrónicos, mientras que de hecho todavía están compensados ​​debido a que el sonido viaja mucho más lento que la luz.

Entonces, la pregunta es, como usted pregunta correctamente, ¿cuáles son los márgenes en los que los estímulos entre modalidades pueden ser asincrónicos mientras se perciben como un solo evento? En otras palabras, ¿qué es la ventana de integración ?

Vroomen y Keetels (2010) concluyen en su revisión sobre este tema que una asincronía de estímulo en el caso de pitidos auditivos y destellos visuales puede ser de entre 25 y 50 ms y aun así percibirse como proveniente del mismo evento.

La ventana de integración entre estímulos más complejos puede ser mucho mayor. Por ejemplo, la ventana para el habla y la información visual puede ser tan grande como 203 ms . Esas grandes ventanas de integración apuntan hacia procesos superiores que desempeñan un papel en el cerebro. Se espera que solo los retrasos temporales por debajo de 20 ms pasen desapercibidos debido a las limitaciones establecidas en el poder de resolución de los sentidos individuales.

Por lo tanto, Vroomen y Keetels (2010) argumentan que debe haber procesos superiores en funcionamiento en el cerebro que sincronizan activamente las percepciones que están desplazadas en el tiempo, pero que parecen pertenecer a un mismo evento. Uno de esos mecanismos se conoce como ventriloquia temporal , lo que significa que una modalidad de percepción se desplaza activamente en el tiempo para que coincida con otra modalidad . Este efecto es más pronunciado en los estímulos visuales, en los que una percepción visual se ajusta activamente en el tiempo para que coincida con un sonido o un estímulo táctil. Las percepciones visuales probables son desplazadas preferentemente por el cerebro, porque el sistema visual es el más lento de todos los sentidos.

Referencia
Vroomen & Keetels, Att Percept Psychophys 2010; 72 (4): 871-84