Estoy comenzando un proyecto de arte que requiere crear un programa (que se ejecuta en mi computadora) que pueda distorsionar la imagen del video proyectado de acuerdo con el sonido/ruido que un micrófono captura en vivo.
Se supone que la distorsión responde a la duración y la intensidad del sonido, y no estoy buscando glitch art, estoy buscando una distorsión más suave (pero mi mayor preocupación no es la forma en que se ve la distorsión sino la respuesta adecuada a el sonido capturado por el micrófono)
¿Hay algo como esto? o tengo que crear el programa desde cero?
Hay varios programas disponibles que le permiten hacer eso. Una herramienta muy popular en la industria visual en vivo es MAX (especialmente Max for Live). Es un lenguaje de programación visual para crear imágenes para presentaciones en vivo que también se integra en algunas herramientas como Ableton Live.
Un programa que personalmente uso en el trabajo se llama vvvv , también es una herramienta de programación visual que permite programas muy complejos y es más "multipropósito" que MAX y ofrece una gran colección de complementos para trabajar con todo tipo de periféricos y entradas. dispositivos. Para comenzar, recomiendo encarecidamente echar un vistazo a esta hoja de trucos , vvvv tiene una GUI MUY minimalista y depende en gran medida de accesos directos y menús ocultos para configuraciones y funciones más avanzadas.
Desafortunadamente, solo está disponible para Windows, pero a diferencia de Max, su uso es absolutamente gratuito a menos que desee usarlo comercialmente, entonces debe comprar una licencia comercial (sin diferencias con la versión gratuita, solo descarga la misma versión pero tiene permiso para ganar dinero con eso).
Otra solución gratuita, pero solo disponible en Mac, sería Quartz Composer, que viene con Xcode. También es un lenguaje de programación visual que funciona de manera similar a vvvv y MAX.
E: Otra solución sería MadMapper , está más destinado al mapeo de proyección pero también hace video con filtros que pueden reaccionar al sonido. También se puede integrar en Live afaik.
Recomiendo VVVV también. Podría hacer un parche que controle muchos efectos de video con niveles de entrada de micrófono. Echa un vistazo a los tutoriales de composición y efectos de vídeo
Tutoriales básicos y ejemplos sobre cómo usar los nodos TextureFX para trabajar con los mismos trucos y técnicas que antes solo podía lograr en Photoshop o After Effects. Y lo mejor: todo se puede animar en tiempo real.
Existe una variedad de software disponible para la manipulación de video en vivo, desde vvvv y pd , minimalistas y orientados al desarrollador, hasta Max/MSP y Troikatronix Isadora , que son más agradables estéticamente .
He usado cada uno de estos de alguna manera, y personalmente prefiero Isadora, ya que es más intuitivo de usar y tiene un parche básico listo y funcionando en poco tiempo que el resto. MAX se desarrolló originalmente como un motor de manipulación de audio modular, y MSP se desarrolló más tarde para agregar funcionalidad de video.
vvvv y pd son herramientas muy poderosas, pero más adecuadas para la generación de contenido procesal o el análisis de contenido que la manipulación directa de video, y pueden considerarse deficientes en términos de interfaz. Como resultado, tienen una curva de aprendizaje comparativamente empinada. Sin embargo, son más extensibles y versátiles que Isadora y Max, y vale la pena profundizar en ellos si puedes dedicarle tiempo.
A menudo encuentro que es posible jugar con las fortalezas de cada uno de estos paradigmas; por ejemplo, ha habido muchas ocasiones en las que he usado vvvv e Isadora en conjunto; vvvv realiza análisis de audio en vivo en tiempo real y envía datos de sincronización (en términos de pulsos y BPM) a través de OSC a Isadora, que luego realiza la manipulación de video utilizando estos datos. Esto puede valer la pena investigar, si tienes la oportunidad.
Cal McLean