Estoy usando gdigrab y dshow integrados de FFmpeg para grabar la pantalla y el audio de mi sistema. Estoy codificando a video H.264/AVC sin comprimir y audio PCM/WAV sin comprimir.

Había tenido dos problemas con la sincronización de audio/video:

1. El video y el audio no están alineados (el video y el audio no comienzan al mismo tiempo).
2. Deriva de audio (el audio se desincroniza progresivamente con el video).

Originalmente estaba usando un solo comando para capturar/codificar. Algo como lo siguiente:

ffmpeg -hide_banner -rtbufsize 1000M -f gdigrab -framerate 60 -draw_mouse 0 \
  -i "title=<window_name>" -f dshow -i audio="<sys_audio/mic>" -c:v libx264 \
  -preset ultrafast -qp 0 -x264opts keyint=1 -c:a pcm_s16le -ac 1 "<out_file>.mkv"

Pero pude resolver mi segundo problema (la deriva) capturando video y audio en procesos FFmpeg separados. Tenga en cuenta que estoy usando un shell tipo UNIX ( MSYS2 con BASH). El siguiente es un ejemplo de un script de shell que estoy ejecutando:

# capture audio & get PID
ffmpeg -hide_banner -rtbufsize 500M -f dshow -i audio="<sys_audio/mic>" \
  -c:a pcm_s16le -ac 1 "<out_file>-audio.wav" & APID=$!

# capture video
ffmpeg -hide_banner -rtbufsize 1000M -f gdigrab -framerate 60 -draw_mouse 0 \
  -i "<window_name>" -c:v libx264 -preset ultrafast -qp 0 -x264opts keyint=1 \
  "<out_file>-video.mkv"

# get exit code of video process
VIDRET=$?

# send interrupt signal to audio process after video process exits
kill -s SIGINT ${APID}

# mux video & audio if video process exited okay
if [ "${VIDRET}" -eq "0" ]; then
    ffmpeg -hide_banner -i "${OUTVID}" -i "${OUTAUD}" -map 0:0 -map 1:0 \
      -c copy "<out_file>.mkv"

    # delete temp video & audio streams if muxing succeeded
    if [ "$?" -eq "0" ]; then
        rm "${OUTVID}" "${OUTAUD}"
    fi
fi

Entonces, el problema que queda es que los datos de video y audio no comienzan alineados correctamente. El audio generalmente está entre 0 y 300 ms por delante del video.

Se puede resolver fácilmente ejecutando el archivo de salida a través de FFmpeg nuevamente, o un programa separado como Avidemux , para ajustar el retraso de audio. Esto se puede hacer sin volver a codificar en Avidemux (no estoy seguro acerca de FFmpeg).

Sin embargo, preferiría resolver este problema dentro del proceso/secuencia de comandos de captura para poder evitar el paso adicional de alinear los datos manualmente.

Recientemente realicé una limpieza del sistema eliminando archivos basura, asegurándome de que la fragmentación en mi disco sea baja y desactivando los procesos en segundo plano innecesarios. Pero la alineación de audio/video todavía suele estar desactivada.

Entonces, finalmente, a la pregunta simple y simple: ¿Hay alguna manera de hacer que los dos procesos FFmpeg comiencen a capturar al mismo tiempo para que el video y el audio estén lo más sincronizados posible? ¿Puedo usar el reloj del sistema como semilla?

O, ¿hay un método mejor que el que estoy usando en este momento? Por ejemplo, un solo proceso FFmpeg que capturará ambos mientras mantiene los datos alineados y evita la deriva de audio.

Me parece que el problema es simplemente que el proceso de audio comienza antes que el proceso de video. Escuché sobre canalizar comandos FFmpeg, pero no estoy seguro de la forma correcta de hacerlo. He encontrado información sobre tuberías que estoy tratando de averiguar:

• https://trac.ffmpeg.org/wiki/Creating%20multiple%20outputs#Pipedprocesses
• https://superuser.com/questions/1057388/pipe-ffmpeg-output-to-other-process

Información de FFmpeg: versión estática oficial de 64 bits de Zeranoe .

ffmpeg version N-92511-g0279cb4f69 Copyright (c) 2000-2018 the FFmpeg developers
    built with gcc 8.2.1 (GCC) 20181017
    configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-fontconfig
        --enable-gnutls --enable-iconv --enable-libass --enable-libbluray
        --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb
        --enable-libopencore-amrwb --enable-libopenjpeg --enable-libopus --enable-libshine
        --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame
        --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264
        --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib
        --enable-gmp --enable-libvidstab --enable-libvorbis --enable-libvo-amrwbenc
        --enable-libmysofa --enable-libspeex --enable-libxvid --enable-libaom
        --enable-libmfx --enable-amf --enable-ffnvcodec --enable-cuvid --enable-d3d11va
        --enable-nvenc --enable-nvdec --enable-dxva2 --enable-avisynth

Estas son las especificaciones de mi sistema:

• Modelo: HP Pavilion 24-b217c
• Sistema operativo: Windows 10 de 64 bits
• CPU: Intel Core i5-7400T a 2,40 GHz, 2401 MHz, 4 núcleos
• RAM: 12GB
• GPU(s):
  • nvidia geforce 930mx
    • RAM: 2GB dedicados
  • Gráficos Intel HD 630

-- Editar --

Descubrí un comando de canalización, pero el resultado es el mismo. El audio está ligeramente por delante:

ffmpeg -hide_banner -rtbufsize 500M -f dshow -ac 1 -i audio="<sys_audio/mic>" \
  -c:a pcm_s16le -f s16le pipe: | ffmpeg -y -hide_banner -rtbufsize 1500M -f gdigrab \
  -thread_queue_size 128 -framerate 60 -draw_mouse 0 -i title="<window_name>" -f s16le \
  -thread_queue_size 128 -i pipe: -map 0:0 -map 1:0 -c:v libx264 -preset ultrafast -qp 0 \
  -x264opts keyint=1 -c:a copy "<out_file>.mkv"