¿Qué procesamiento se realiza en los archivos RAW en la cámara?

Recientemente me encontré con un debate sobre si es justo llamar datos de sensor RAW 'sin procesar' o 'inalterados' de una DSLR. Hasta donde yo sé, los datos del sensor analógico se procesan en un archivo RAW digital utilizando la configuración ISO, un proceso durante el cual también se muestran los datos del sensor Bayer. Sin embargo, esos son solo los pasos necesarios para guardar un archivo digital manteniendo la máxima calidad.

¿Son correctas esas suposiciones? Si es así, ¿hay algún paso adicional que deba realizarse entre el sensor que recibe la luz y el guardado del archivo RAW? ¿Y pueden describirse razonablemente como una "alteración" de los datos del sensor, o es justo decir que un archivo RAW contiene los datos del sensor inalterados?

La discusión de datos RAW versus imágenes en este sitio parece un poco como una insistencia en que la película expuesta contiene una suspensión de cristales de haluro de plata pero no imágenes. Para mí, hay una imagen latente [o filosóficamente un continuo de posibles imágenes latentes] en ambos casos y Manual of Photography 10th Edition a veces usa "imagen RAW". De todos modos, claramente soy más fanático de ver cómo se usan los términos que de tratar de estandarizar términos que no tienen un estándar técnico. Y desde esa perspectiva (la práctica), RAW es cualquier cosa que produzca una cámara con un mínimo de interpretación arbitraria.
@benrudgers Esa es también mi postura sobre el tema. Aún así, estoy tratando de entender mejor qué sucede entre el sensor y el archivo RAW, y de qué manera teóricamente podría cambiarse este proceso (aunque este último no es parte de mi pregunta original) ... es decir, si los pasos que describí en mi pregunta son correctos y si hay más de importancia para la generación del archivo RAW
La demostración no se realiza durante esa operación, al menos no para ninguna cámara que haya tenido.
La adición de metadatos a las mediciones cuantificadas del sensor es lo que permite que los algoritmos posean la imagen latente en los datos cuando pasan a la canalización de píxeles. Son los metadatos los que indican si la imagen latente requiere demostración.
@benrudgers y cada imagen de una cámara con una máscara de Bayer (la gran mayoría de las cámaras utilizadas para fotografía como se define aquí) tendrán metadatos que indican que requiere demostración.
@MichaelClark Estoy de acuerdo en que las matrices de filtros de Bayer son las más comunes. Para la demostración, "Es una matriz de filtros de Bayer" no es suficiente metadato, por supuesto. Se debe conocer el color del primer filtro en el elemento de la matriz; si los datos se registran fila por fila o columna por columna o de alguna otra manera; cómo se comprimen los datos; la profundidad de bits de la cuantificación; etc. Afortunadamente, esto está disponible por referencia y colocar el modelo de cámara y descripciones similares de alto nivel en los metadatos permite la búsqueda y el procesamiento algorítmico de la imagen RAW latente.
Nadie dijo que esa información no fuera necesaria para la demostración. Nadie dijo que las cámaras con máscaras de Bayer no brindan esa información. Lo que dijimos fue que cualquier imagen creada por una cámara con una máscara de Bayer deberá ser demostrada .
Estoy de acuerdo en que dijimos eso. Pido disculpas por mi expansión sobre los metadatos necesarios relacionados con la demostración, lo que implica que alguien dijo algo que nadie dijo sin saber cómo. De todos modos, de ninguna manera quise decir algo así.

Respuestas (2)

Varía mucho de una cámara a otra. Algunos diseños realizan un mínimo de procesamiento en el propio sensor de imagen, otros hacen un poco más. Los que hacen más lo hacen principalmente en el área de reducción de ruido antes o después de enviar los datos analógicos para convertirlos en datos digitales. Un método es la amplificación relativa de la señal de los píxeles enmascarados para rojo, verde o azul (que se realiza por motivos relacionados con las diferentes características de ruido de los píxeles filtrados para los diferentes colores de la máscara de Bayer). Otro método utilizado después de la conversión de analógico a digital es promediar píxeles con un valor de luminancia mucho más alto que sus vecinos a un valor mucho más cercano a los píxeles circundantes.

Incluso diferentes modelos de cámara que comparten el mismo diseño de sensor pueden aplicar un procesamiento diferente a la salida del sensor, ya sea antes o después de que se convierta en información digital, antes de que se guarde como un archivo de datos sin procesar. La información sobre las condiciones bajo las cuales se obtuvieron los datos (modelo de cámara, características del sensor, ISO, balance de blancos, etc.) se agregará al archivo para que la aplicación que finalmente convierta los datos en una imagen visible sepa (con suerte) cómo convertirlos. . Normalmente no se realiza una demostración de los datos del sensor antes de guardarlos como un archivo sin formato. Eso se hace cuando los datos sin procesar se convierten en otra cosa, como una imagen que se muestra en un monitor mediante una aplicación de conversión sin formato, o se convierte como salida como jpeg o tiff.

Hay algunos pensamientos en Internet de que algunas cámaras aplican alguna corrección de lente directamente a los datos en lugar de a los metadatos. Algunas cámaras también aplican el preacondicionamiento WB donde escalan digitalmente algunos de los canales de color.
@MirekE Todo eso se hace al convertir los datos sin procesar a jpeg en la cámara, ya sea para la vista previa de la imagen jpeg incrustada en el archivo sin procesar o para guardar como una imagen jpeg. Los datos sin procesar esencialmente no tienen color hasta que se muestran.
Se puede hacer en archivos sin formato sin demostración, así es como aparentemente funciona CornerFix. sites.google.com/site/cornerfix Pasé un tiempo investigando esto cuando tenía una cámara que aparentemente se vio afectada por esto (Leica M9), además de Leica, también hubo discusiones de que esto posiblemente se hace en una cámara Sony de lente fija FF, pero esto fue hace varios años y ya no tengo ningún enlace para compartir además de los que menciono en la respuesta de Birfl.
Lo mismo ocurre con la optimización digital de lentes para archivos RAW de Canon, que da como resultado un archivo RAW del doble del tamaño del original. Pero nada de eso se hace en la cámara por la canalización de procesamiento de la cámara, que es de lo que trata esta pregunta.
No tengo información sobre Canon; puede aplicarse como metadatos de calibración de lentes. De lo que estaba hablando era de la manipulación directa con los datos sin procesar.
Dado que la conversión de archivos .cr2 a .dng da como resultado que el punto blanco y el punto negro se "incorporen" y que la información de los píxeles enmascarados se deseche junto con las notas del fabricante en los metadatos, no considero que dicho archivo sea 'sin procesar' Es algo así como un tiff de bits altos, en algún lugar entre raw y jpeg/png/etc.
@MirekE Pero ninguno de los ejemplos que cita está hecho en cámara por la cámara , que es lo que se indica en la pregunta. Están siendo realizados por aplicaciones posteriores a la cámara que convierten datos de un archivo "sin procesar" ya existente producido por la cámara. Cualquier resultado de esa manipulación, incluso si se guarda en el mismo formato de archivo .cr2 , .nef, etc., ya no es un verdadero archivo sin formato.
Nuevamente, estoy hablando de conversión directa de los datos RGBG . No tengo tiempo para aplicar ingeniería inversa a los archivos sin procesar de Leica M9, ​​por lo que si dice que Leica M8/9 definitivamente no modifica los datos sin procesar en la cámara con correcciones de lente (es decir, viñeteado), entonces confiaré en usted.
@MirekE Aparte de lo que usted llama preacondicionamiento de color , que algunas cámaras hacen al aplicar amplificación a la señal eléctrica de píxeles filtrados por diferentes colores en cantidades ligeramente diferentes y ya se cubrió en gran medida en la respuesta. Pero lo he editado para hacerlo más obvio.
¿Dónde dice mi respuesta algo como "...Leica M8/9 positivamente no modifique los datos sin procesar en la cámara con correcciones de lentes (es decir, viñetas)..."? ¡Tienes que leer las dos oraciones iniciales con más cuidado! Palabras como "varía mucho" y "Algunos hacen... mínimo..., otros hacen... más..." no significan lo que parece pensar que significan.
"Principalmente" no significa lo mismo que "solo" como tampoco "muchos" o "la mayoría" significan lo mismo que "todos".

En la década de 1980, Craig Anderton escribió un libro llamado Home Recording for Musicians en el que observó que un estudio de grabación no es un capturador de la realidad, es un procesador de la realidad. Deberías pensar en tu cámara de la misma manera. La luz que forma una imagen ingresa a la lente, que la cambia, llega al sensor, que la cambia, pasa a través de varios bits de circuitos analógicos, que la cambian, y finalmente se convierte en datos digitales a través de un convertidor de analógico a digital. (ADC) que, como habrás adivinado, lo cambia.

Cualquier cambio es una alteración, y podría ser razonable llamar a la alteración hecha con un propósito de procesamiento . Sin duda, hay algunas cosas hechas a propósito en las etapas analógicas de su cámara. El ajuste ISO es el elefante en esa sala porque la amplificación analógica es necesaria para aprovechar al máximo el ADC.

No obtiene información directamente del sensor porque es una señal analógica, y las señales analógicas son notoriamente difíciles de almacenar y reproducir bien. Ya sea que llame a lo que sucede entre allí y cuando tenga una alteración o procesamiento de información digital, es debatir lo trivial. Si vas a dividir esos pelos, la respuesta es que probablemente sea algo de ambos.

El lugar ideal para capturar datos para archivos sin procesar es la salida del ADC, porque cualquier cosa que le suceda más allá de eso es algorítmica y se puede hacer fuera de la cámara. Si encuentra una mejor manera de hacer algo (demostración, aplicación de curvas, etc.), es mucho más económico actualizar un convertidor sin procesar que se ejecuta en una computadora que crear, probar y distribuir firmware de cámara nuevo. Proporcionar datos sin procesar también es una especie de reconocimiento de que las decisiones tomadas por el fabricante no van a complacer a todos. Hacer lo menos posible con los datos posteriores al ADC le da al fotógrafo la misma flexibilidad que hubiera tenido en un cuarto oscuro.

Solo los fabricantes saben si el contenido de un archivo sin procesar proviene directamente del ADC o si está adulterado de alguna manera. Uno implica que no , y mi propia inclinación es creer que eso es cierto por razones que van más allá del alcance de responder a esta pregunta.

Como señala Michael Clark en su respuesta, todo lo que hay en un archivo sin procesar que no son datos de imagen es información adicional que se puede usar para tomar decisiones sobre cómo procesarlo.

A menos que esté diseñando su sensor y canalización de procesamiento con la intención principal de obtener la mayor puntuación posible en DxO Mark. Luego aplica algo de reducción de ruido antes de almacenar los datos "en bruto". Al reducir el ruido de fondo antes de probar los datos, parece mejorar la SNR y, por lo tanto, la DR. Entonces, ¿qué pasa si las fuentes puntuales de luz, como las estrellas tenues, desaparecen junto con el ruido? Es un mejor sensor, ¿verdad? ¡DxO lo dice!
@MichaelClark: Menos mal que Volkswagen no fabrica cámaras. ;-)
Si una empresa utiliza la condición previa de WB, la segunda empresa reduce el ruido y la compresión con pérdida y la tercera aplica correcciones de lente directamente a los datos, no podría estar de acuerdo con su declaración de que "las probabilidades son muy buenas de que lo que obtiene en un archivo sin procesar es directamente del ADC ". No está en todos los modelos de cámara, pero a mucha gente le pilló de sorpresa...
@MirekE: Sin pruebas de que eso realmente esté sucediendo, ninguno de nosotros puede decirlo, así que actualicé mi respuesta en consecuencia.
@MirekE: (1) El tipo de reducción de ruido que produciría lo que DXO observó está completamente dentro del ámbito de posibilidad de los sensores contemporáneos, y no afirman de qué lado del ADC creen que sucedió. (2) Es discutible si los artefactos de compresión cuentan como alteración intencionada. (3) Todo lo que señala la página de Adobe es que muchas cámaras aplican correcciones de lente a formatos no sin procesar y que otras incrustan el perfil de la lente como metadatos que luego aplica Adobe, no la cámara. (4) Una vez más, es muy probable que suceda en el dominio analógico.
Los comentarios no son realmente un buen lugar para un debate detallado. Dejaré sus comentarios sin respuesta y dejaré que el lector decida.