ffplay: ¿hay alguna forma de mostrar un video y un espectrograma en la misma salida?

Estoy tratando de analizar un espectrograma mientras reviso simultáneamente el video, sin tener que cambiar entre ellos. Algo como esto, pero con el video combinado en la misma salida:

ingrese la descripción de la imagen aquí

La idea es poder revisar tanto el video como el espectrograma para que estén sincronizados. La mayoría de los programas de edición solo me permiten ver las formas de onda. El comando que usé para eso es el siguiente:

ffplay -f lavfi 'amovie=/Users/hdl/Desktop/HDLS3K.mp4, asplit [a][out1];
[a] showspectrum=size=1280x512:mode=separate:slide=scroll [out0]'
Dependiendo de cuál sea su caso de usuario, es posible que desee echar un vistazo a QCTools .

Respuestas (1)

Utilizar

ffplay -f lavfi 'amovie=/Users/hdl/Desktop/HDLS3K.mp4:s=dv+da[v][a];[a]asplit[asp][out1];
   [asp]showspectrum=size=1280x512:mode=separate:slide=scroll[spect];
   [v]scale=640:-1[v];[v][spect]vstack[out0]'

amoviegeneralmente selecciona solo una secuencia (de audio). dv+daconsigue que extraiga el mejor vídeo y la mejor transmisión de audio. La salida de video se escala para que vstack funcione.

Gracias, esto funcionó, pero tuve que hacer un pequeño cambio. Aparentemente, quiere que el tamaño y la escala del espectro se establezcan en el mismo valor, de lo contrario arroja un error. Los configuré a ambos en 640 y eso fue todo.
Con esto, parece que la visualización del espectro tiene un poco de retraso. ¿Algún consejo para mejorar eso?