Reducción de resolución en la cámara y ruido equivalente a ISO

Tengo un cuerpo Sony con un sensor CMOS APS-C de 24MP. Almacenará imágenes en las siguientes resoluciones:

  1. 6000x4000 (24 MP)
  2. 4240x2832 (12 MP)
  3. 3008x2000 (6MP)

Al comparar los casos de 24MP y 6MP, es fácil ver que la cámara podría muestrear de manera efectiva cuatro píxeles físicos para producir cada píxel almacenado. Basado solo en este hecho, esperaría que la SNR fuera el doble. O, dicho de otra manera, podría duplicar el ISO al grabar 6 MP y esperar el mismo ruido que veo a 24 MP, todo lo demás igual. ¿Mi teoría es precisa hasta ahora?

Ahora, en la práctica , ¿las cámaras que reducen la muestra logran esa mejora teórica completa en el ruido?

Hay tantas capas físicas y lógicas entre el punto en el que la imagen incide en el sensor y donde finalmente se escribe en un flujo de imágenes digitales que me pregunto si tal vez la cámara puede funcionar aún mejor cuando reduce la resolución.

(Por el contrario, si se sabe que la reducción de resolución en la cámara es subóptima, uno preferiría "pagar" para grabar con la máxima resolución y reducir la resolución en el posprocesamiento, donde se puede lograr la mejora total de Sqrt[N] en SNR).

Prácticamente, sospecho que su mejor apuesta es disparar RAW y luego procesar usando el mejor algoritmo de eliminación de ruido de su clase en lugar de acercarse a JPEG.

Respuestas (1)

Siempre es posible que una aplicación de procesamiento posterior mal escrita pueda realizar la reducción de ruido y la reducción de resolución, así como otros procesos de conversión sin formato, con una calidad inferior a la rutina en la cámara. Pero las aplicaciones de posprocesamiento bien escritas (que incluirían todas las populares y muchas de las menos populares) pueden hacerlo mucho mejor que las rutinas en la cámara que están limitadas por cuestiones de velocidad y potencia, así como una Enfoque de tamaño que se adapta a todas las imágenes convertidas en la cámara.

Cada imagen que toma su cámara comienza como un archivo de datos sin procesar de 6000x4000 píxeles. Para producir los archivos JPEG en una resolución de 24 MP, 12 MP o 6 MP, la cámara procesa esos datos sin procesar en un archivo de imagen JPEG.

Puede hacer lo mismo al menos tan bien y, por lo general, mucho mejor desarrollando esos datos sin procesar y aplicando la reducción de ruido después del hecho en una computadora. Las razones deberían ser bastante obvias:

  • Las cámaras están optimizadas (o al menos adoptan un enfoque equilibrado) para conservar la energía de la batería. Las computadoras están optimizadas para el poder de procesamiento. El procesador en la cámara está diseñado para la eficiencia y los algoritmos de procesamiento están escritos para la eficiencia en términos de consumo de energía. El procesamiento en la computadora normalmente no está tan preocupado por la conservación de energía: la aplicación de conversión sin procesar en la computadora generalmente está más optimizada para obtener la máxima potencia de procesamiento porque tiene una fuente de alimentación mucho mayor que la batería en la mayoría de las cámaras.
  • Las cámaras están diseñadas para la velocidad. Cuanto más corta es una rutina de procesamiento, más rápido se puede ejecutar. Esto permite que la cámara procese cada imagen más rápidamente y pase a la siguiente imagen. Los tiempos de procesamiento en la cámara más cortos permiten velocidades de fotogramas más altas hasta que se alcanza el punto en el que se llena el búfer interno (cuando la velocidad de escritura de la cámara a la tarjeta se convierte en el cuello de botella). Hay algunas aplicaciones de procesamiento de fotografías por computadora que están optimizadas para la velocidad a expensas de la calidad, pero la mayoría permite al usuario establecer la calidad como una prioridad si la aplicación no está escrita de esa manera para empezar.
  • La reducción de ruido es bastante intensiva en el procesador. A veces puede requerir más potencia de procesamiento que la demostración del mismo archivo. Consulte los dos primeros puntos anteriores.
  • La reducción de ruido también es más flexible con la mayoría de las aplicaciones de procesamiento posterior que con la mayoría de los controles en la cámara. En lugar de seleccionar Apagado-Bajo-Medio-Alto en la cámara y dejar que la cámara establezca los valores de luminancia y ruido de crominancia basándose estrictamente en un valor preestablecido para un ISO particular, en el procesamiento posterior puede controlar la reducción de ruido de luminancia y crominancia de forma independiente y en una base personalizada para cada fotograma en función del contenido real. También puede aplicar selectivamente diferentes niveles de NR a diferentes áreas de la misma foto usando una herramienta de pincel si su aplicación tiene esa función.
  • Las cámaras procesan los datos sin procesar en una imagen jpeg. Si jpeg es la salida de archivo seleccionada, la cámara solo guardará la información en jpeg en la tarjeta de memoria. El resto de los datos del archivo sin formato se descarta y no se guarda. Así que está atascado con una sola interpretación de los datos sin procesar. Si no le gusta ese resultado, no puede volver a los datos sin procesar y hacerlo de nuevo con una configuración diferente. Si se les da un archivo sin procesar, las computadoras retienen todos los datos sin procesar aunque solo muestren una parte de ellos en formato más o menos jpeg en el monitor. Cuando se realizan cambios en la configuración, la aplicación puede utilizar todos los datos del archivo sin formato para reconvertir esos datos en otro formato más o menos tipo jpeg para mostrar en la pantalla. Esos cambios no son destructivos para los datos sin procesar originales. Lo único que ha cambiado es cómo se interpretan esos datos sin procesar para producir una imagen. Si al usuario no le gusta esa interpretación, puede cambiar la configuración y dejar que la aplicación vuelva a interpretar los datos sin procesar originales. Y otra vez. Y otra vez. Y otra vez...
  • Hay muchas otras consideraciones al procesar los datos sin procesar con respecto a la calidad de la imagen además de la reducción de ruido. Para el procesamiento en la cámara, consulte los puntos primero y segundo anteriores. En la computadora, cada paso puede tomar el tiempo que el usuario desee y puede realizarse de uno en uno para optimizar cada paso del proceso según las preferencias del fotógrafo/editor. Las cámaras tienden a utilizar un enfoque único para procesar los datos sin procesar en una imagen jpeg.
  • Todos los enfoques de reducción de resolución no son iguales. Un cuadrado bruto de 4 píxeles en un píxel en una reducción de 4: 1 como se describe en la pregunta no produce una imagen tan suave como un método que usa información de los píxeles circundantes, de la misma manera que lo hace la demostración para producir valores de color, para interpolar los valores de píxel de la reducción resultante. Por supuesto, este enfoque también es más complejo y requiere más potencia de procesamiento.
No sé lo suficiente como para preguntar, aparte de señalar esta respuesta a la pregunta vinculada al comentario que sugiere que "el sensor puede hacer un agrupamiento de píxeles a nivel de hardware, lo que disminuye el ruido de lectura cuando se dispara a una resolución más baja". Mi pregunta era esencialmente en ese sentido: es decir, ¿puede algún nivel de hardware hacer algo mejor que lo que se puede hacer con los datos sin procesar? ¿Se descartan los datos útiles antes del almacenamiento sin procesar?
"¿Puede algún nivel de hardware hacer algo mejor que lo que se puede hacer con los datos sin procesar?" El procesamiento en la cámara está haciendo lo que hace con los datos sin procesar : exactamente los mismos datos sin procesar que se almacenarían en la tarjeta de memoria (suponiendo que no estén comprimidos como en la mayoría de las cámaras). Cualquier cosa que se haga a la salida del sensor antes de que se digitalice se hace tanto a los datos sin procesar utilizados en la cámara como a los datos sin procesar utilizados más adelante en el posprocesamiento porque son los mismos datos . El "... nivel de hardware (que puede) hacer algo mejor..." es probablemente el hardware de su computadora, no el hardware de la cámara.
La respuesta que vincula arriba dice exactamente lo mismo que dice mi respuesta: si usa los datos sin procesar para ambos, la computadora puede brindarle una mejor conversión. Esa respuesta solo sugiere que en la cámara puede ser mejor si la conversión externa se realiza en un jpeg producido por una cámara en lugar de los datos sin procesar.
En realidad, sin comprimir arriba debería decir comprimido sin pérdida .
Derecha. Y para aclarar mi comentario: por hardware me refiero a algo en la capa óptica o del sensor, no un motor de cálculo posterior al sensor. Por ejemplo, hay cámaras que hacen cosas como cambiar filtros ópticos o sensores para sobremuestrear en formas que no se colocan en el flujo de datos sin procesar. Entonces, otra forma de ver mi pregunta es: "¿Pueden las pilas de sensores de imagen CMOS convencionales explotar los datos o la física para reducir la resolución que no están disponibles en los archivos de datos del sensor sin procesar?"