¿Hay alguna forma de mejorar la calidad de los videos con nieve/confeti/LCD de fondo?

El efecto al que me refiero:

Esencialmente, la nieve/confeti en la toma significa mucho movimiento, por lo tanto, gran parte de la tasa de bits disponible es absorbida, lo que reduce la calidad de los otros elementos de la toma.

En particular, veo este problema con los videos que tienen pantallas LCD animadas en segundo plano:

Esos videos son cargados por la emisora ​​de televisión original (con acceso al video original de la más alta calidad), y más o menos se ven como 480p, incluso cuando se ven a 720p o 1080p. Los mismos problemas de calidad aparecen en los videos en el propio sitio de la emisora, por lo que no se trata solo de que la compresión de YouTube se exceda:

http://www.mbcplus.com/Player/MusicBox/RetrieveClipInfo.aspx?clipId=736

Si un ser humano decidiera a qué elementos de la toma dedicar la tasa de bits, obviamente la asignaría a los objetos de primer plano (las personas) a expensas de reducir la calidad del fondo (la pantalla LCD).

¿Existe alguna técnica (codificación/compresión/etc.) que pueda mejorar la calidad de los elementos de primer plano cuando dicho fondo está presente en la toma?

Y estoy seguro de que algunas personas también estarían interesadas en las técnicas que se pueden hacer en el momento de la filmación que producirían mejores resultados, cuando no pueden cambiar el contenido de la toma y tienen que lidiar con nieve/confeti/LCD animado en el fondo.

Buena pregunta. Me pregunto si el uso de la reducción de ruido funcionaría. Podría valer la pena intentarlo con diferentes algoritmos de reducción de ruido, porque los elementos de fondo que acaparan el ancho de banda son un poco como el ruido. Por supuesto, si tuviera tiempo, podría enmascarar / rotar el fondo y agregarle un poco de desenfoque, pero en esos ejemplos sería mucho trabajo.

Respuestas (4)

Sí, esta característica existe, pero aún no se usa ampliamente .

Texas Instrument desarrolló dicha solución, llamada SmartCodec , que parece implementarse en un sistema de videovigilancia de Samsung: Megapixel Camera Esta es una solución basada en HW, que es para el mercado de videovigilancia.

Creo que se implementaría en futuros códecs de video HEVC, adoptado por muchos boradcaster, y se llama Esquema de control de velocidad basado en la región de interés. HEVC ya se lanzó y se usa hoy, pero esta característica realmente parece nueva. Y supongo que tomará meses ~ años para que se implemente en el codificador de la casa de producción. Al parecer, se trata de algo realmente nuevo, ya que se ha aceptado una ponencia al respecto para su presentación en el ICIP 2016, que tuvo lugar en septiembre.

Que yo sepa, esta es una investigación activa en el contexto de las videollamadas en lenguaje de señas.

¿Existe alguna técnica (codificación/compresión/etc.) que pueda mejorar la calidad de los elementos de primer plano cuando dicho fondo está presente en la toma?

No conozco ningún algoritmo de codificación que pueda diferenciar entre objetos en un video y asignar diferentes cantidades de bits para esos objetos según su importancia. Así no es realmente como funcionan los algoritmos de compresión. Tal vez con el aprendizaje automático lleguemos allí eventualmente, pero estoy bastante seguro de que tal cosa no existe.

Esos videos son cargados por la emisora ​​de televisión original (con acceso al video original de la más alta calidad), y más o menos se ven como 480p, incluso cuando se ven a 720p o 1080p. Los mismos problemas de calidad aparecen en los videos en el propio sitio de la emisora, por lo que no se trata solo de que la compresión de YouTube se exceda:

La mala calidad se debe a la baja tasa de bits en combinación con el contenido de video que no se puede comprimir muy bien (como lo explica Tom Scott en el video). Otra forma de expresar esto es que el video tiene una entropía alta, es decir, más información que un video normal (sin confeti, nieve o algo similar). Para guardar un video con alta entropía en la misma calidad que un video de baja calidad, necesita una tasa de bits más alta. Entonces, si tiene control sobre el video final, simplemente aumente la tasa de bits y estará bien. Otra posibilidad es utilizar una tasa de bits variable. De esta manera, el codificador puede asignar una tasa de bits más alta a las partes del video con alta entropía y una más baja a las partes con baja entropía, lo que aumenta significativamente la calidad general.

Si subes a Youtube, no hay nada que puedas hacer. No importa qué tan alta sea la tasa de bits y la calidad de su video original, Yotube lo comprimirá al subirlo, haciendo que se vea mal nuevamente. Puede exportar su video en 4k, esto podría ayudar ya que Youtube usa una tasa de bits más alta para videos de 4k, ergo de mejor calidad . Pero si su metraje original no está filmado en 4k, no lo recomendaría.

Y estoy seguro de que algunas personas también estarían interesadas en las técnicas que se pueden hacer en el momento de la filmación que producirían mejores resultados, cuando no pueden cambiar el contenido de la toma y tienen que lidiar con nieve/confeti/LCD animado en el fondo.

¿Qué puedes controlar?
Si quieres evitar este lío, saca el confeti de la toma. Apague la pantalla LCD. Si no puedes hacer eso, cambia la composición y/o la perspectiva para que haya menos de eso en tu toma. Acérquese más a los actores/bailarines para que ocupen una mayor parte de la pantalla y, por lo tanto, menos ruido de fondo.

Pero, sinceramente, este es realmente un problema específico de Youtube porque utilizan una tasa de bits terriblemente baja para su codificación. No comprometería la composición o el contenido de mi video para evitar este problema. Simplemente use un hoster diferente que codifique los videos cargados con tasas de bits más altas, como Vimeo .

Bueno, por supuesto, si todos cargamos y descargamos en 4K, esto sería un problema mucho menor. Pero siendo la realidad la que es, estamos muy lejos de ese día, así que no veo esto como un problema específico de YouTube. Por ejemplo, incluso los videos en el sitio de la emisora ​​de televisión coreana tienen los mismos problemas de calidad, y su sitio se dirige exclusivamente al país con las conexiones a Internet más rápidas del mundo. En cualquier lugar donde se necesite compresión de video, se enfrentará a este problema.
@subuleech En realidad, una resolución más alta no hace nada para mejorar la calidad de su video si no aumenta también la tasa de bits. De hecho, si usa la misma tasa de bits, el video de 4k probablemente se verá peor que uno de 1080p. Su sitio web es claramente antiguo y/o está mal codificado (todavía usan flash...), por lo que no me sorprende que el contenido de sus videos también sea de mala calidad. Probablemente tengan algún codificador en ejecución que comprime demasiado el video, o también usan configuraciones incorrectas para sus exportaciones. Aumentar un poco la tasa de bits puede hacer mucho por la calidad general.

Y estoy seguro de que algunas personas también estarían interesadas en las técnicas que se pueden hacer en el momento de la filmación que producirían mejores resultados, cuando no pueden cambiar el contenido de la toma y tienen que lidiar con nieve/confeti/LCD animado en el fondo.

Obtener una profundidad de campo estrecha (que se relaciona con la selección de lentes de cámara) debería ayudar, borrando algo del 'ruido' tanto delante como detrás del sujeto. Esto puede implicar un mayor esfuerzo por parte de los operadores de cámara para mantener el sujeto enfocado.

Tal vez pueda probar el editor de video (Adobe Premiere Pro, After Effects, etc.) o el potenciador de video (AVCLabs Video Enhancer AI).