¿Cuál es un buen software para combinar todos los cuadros de un video en una foto?

El objetivo es reducir el ruido.

Esto es en mi iPhone 5s, que tiene un mal rendimiento con poca luz, como puedes imaginar. Así que quería ver si podía tomar un video (sin que el teléfono se moviera) y luego fusionar todos los cuadros del video en una foto.

Las aplicaciones de Mac o iPhone servirán. Estoy buscando algo que no sea una línea de comandos, que sea económico ($ 10 como máximo) y fácil de usar, como un software de un solo clic, en lugar de un software que requiera que pruebe muchas cosas y vea qué funciona bien.

Respuestas (5)

No estoy seguro de que esto funcione bien debido a cómo funciona el video. El video es inicialmente de MUCHA menor calidad que las fotos. El video de 1080p tiene solo alrededor de 2 megapíxeles de calidad de imagen. Además, el video del teléfono celular no graba cada cuadro individual de video, sino que registra los cambios de una imagen a la siguiente y solo graba un par de fotos por segundo o menos en promedio. Esto significa que la información de ruido real no se conservará bien y los artefactos de la compresión darán como resultado la adición de ruido al intento de formar una imagen.

Si tuviera una cámara que admitiera la captura de todo el video de cuadro I, entonces sería potencialmente utilizable, pero cualquier cosa que use video de cuadro IBP no será ideal para este propósito.

Exactamente lo que estaba pensando. De hecho, dado que está grabando un vídeo de una escena inmóvil, hay relativamente poco o ningún cambio entre fotogramas, por lo que la información que quiere apilar simplemente no existe. Prácticamente solo tendrás un par de imágenes de baja calidad.
¿El marco B y P no es solo una cuestión de compresión? La cámara captura un cuadro cada 1/30 segundos; simplemente están codificados en un formato con pérdida. Por cierto, estaba pensando si el iPhone 5s es compatible con la lectura completa del sensor. Si es así, la resolución de 2 megapíxeles no debería ser un problema.
@KartickVaddadi: los cuadros B y P contienen solo cambios del cuadro anterior, no información de cuadro completo. Por lo tanto, no van a tener un patrón de ruido del sensor, ya que todo se perderá en la compresión. En su lugar, tendrán artefactos basados ​​en el intento de relacionar cada cuadro con los cuadros anteriores. La cámara captura 30 fotogramas por segundo, pero solo almacena una pequeña fracción de esa información. (Por lo general, solo 1 o 2 fotogramas completos reales por segundo y el resto son solo cambios).
¿En qué punto el ruido se vuelve lo suficientemente "fuerte" como para que el algoritmo de compresión lo vea como cambios de cuadro a cuadro?
@MichaelClark: eso dependerá completamente de las velocidades de datos involucradas. Sería difícil de medir, pero en general, la compresión de video tiene pérdidas excepcionales en comparación con la compresión de fotos fijas, ya que depende de la reproducción de fotogramas a alta velocidad para hacer que nuestro ojo reconstruya una imagen de alta calidad.
Para ponerlo en comparación, una imagen de 24 megapíxeles como 8 bits sin formato tiene alrededor de 24 MB y se puede comprimir cómodamente hasta aproximadamente 1 MB con cierto nivel de calidad conservado. Esa es una relación de compresión de 24:1. La calidad de video HD de 1080p del iPhone, por otro lado, se parece más a una relación de compresión de 70:1. Eso es como almacenar una imagen de 24mp en un jpeg de 342kb.

Podrías intentar usar Registax . Generalmente, Registax se usa para astrofotografía, particularmente de los planetas de nuestro sistema solar. Registax utiliza el concepto de superresolución para apilar cientos o miles de fotogramas, descartar los peores, conservar los mejores y luego interpolar la información de todos esos fotogramas de tal manera que mejore los detalles y la resolución.

Si bien no está diseñado específicamente para hacer lo que desea, no veo ninguna razón por la que no pueda usarse para el propósito que está describiendo.

Como alternativa, también podría utilizar el enfoque de fusión de la mediana. En lugar de usar video y apilar para "fotografiar" escenas con poca luz, simplemente tome alrededor de 10 fotogramas fijos de la misma escena (suponiendo que no haya movimiento dentro de ella) con el iPhone en un trípode de algún tipo. Con Photoshop, crea una capa a partir de cada uno de estos fotogramas fijos, los selecciona todos y los convierte en un objeto inteligente . Una vez que tenga un objeto inteligente, configure el modo de apilamiento en la mediana, lo que reducirá GRANDEMENTE la cantidad de ruido en la escena sin afectar los detalles.

Ambas soluciones deberían funcionar. El enfoque de registax sería un poco menos de trabajo manual, sin embargo, es posible que no produzca un resultado tan bueno como el enfoque de apilamiento manual.

¿Siguen siendo 10 fotogramas el punto de rendimientos decrecientes? Es decir, 20 no van a ser notablemente mejores. Por cierto, no tengo Photoshop, pero tengo Lightroom, por lo que vale. Registax parece ser solo para Windows :( Como escribí en mi pregunta, estoy buscando software para Mac o iPhone. ¿Puede Photomatix hacer una fusión mediana (o promedio, para el caso)?
Debe tener cuidado con la cantidad de cuadros que apila con el método de la mediana, porque apila demasiados y también podría comenzar a perder la fidelidad del color. Esto es más una preocupación con configuraciones ISO más altas o exposiciones más cortas. Usualmente también uso esta técnica con astrofotografía... sin embargo, incluso con un ISO alto, con astro, tienes una señal aún más débil que con una foto fija a 3200 o 6400. Es posible que puedas apilar 20 sin pérdida de fidelidad de color (y los resultados probablemente serían alucinantes), solo vigile otras cosas además de los niveles de ruido.
No estoy seguro de lo que Photomatix puede hacer en estos días. Dejé de usarlo hace años. Para Mac, la mejor herramienta es probablemente Photoshop. Puede intentar buscar otros programas de apilamiento de astrofotografía, ver si alguno de los que admiten Mac tiene una función de apilamiento de video o "llovizna".

Sé que solicitó una solución sin línea de comandos, pero creo que esta es lo suficientemente simple como para publicarla. Además, noté el "sin CLI" solo después de que lo escribí, así que... tal vez podría ser útil para otra persona.

Hay un ejemplo que hace exactamente eso (aunque para un objetivo diferente: exposición prolongada sin filtros ND) que creo que es lo que necesita en esta entrada de blog de Patrick David . Fíjate en el final donde dice "Algo aseado".

Utiliza los programas de código abierto Hugin e ImageMagick para lograr el objetivo. En mi máquina Linux, sin alinear, es solo un comando:

convert test.mpg -evaluate-sequence mean -alpha off OUT.tif

(alinear, es un poco más complejo, pero aún así puedes hacerlo fácilmente en un script).

También podría ser interesante el uso de un filtrado mediano , simplemente cambiando meana medianlo anterior.

"Photoacute" es un software que está diseñado para promediar fotogramas e interpolar para la reducción de ruido y el trabajo de superresolución a partir de fotografías fijas secuenciales. Lo ejecuté hace años en una Mac, con buenos resultados, pero no he actualizado a la nueva versión.

El iPhone 5s no está en la lista de cámaras compatibles, pero eso no importa para reducir el ruido mediante la fusión de imágenes. Lamentablemente, la versión 'lite' (no cruda, que no es de 16 bits) tiene un presupuesto superior a $ 30, pero quizás algunos de sus otros trucos también puedan ser útiles.

El sitio web está aquí, pero tenga en cuenta que no es el más sensato: http://www.photoacute.com/studio/index.html

Hay una aplicación para iPhone llamada Cortex Cam que toma un video de 10 segundos y lo convierte en una foto razonablemente libre de ruido. Tengo buenos resultados con él a veces.

Sí, gracias, es una de mis aplicaciones favoritas, pero si bien reduce el ruido, a veces el ruido sigue siendo demasiado alto. Busco crear fotos que mi point-and-shoot podría hacer con exposiciones de 15 segundos a ISO 80. Realmente claras, sin ruido, colores brillantes...