¿Podría ser prácticamente posible una configuración de "exposición universal"?

Un sensor digital realmente no se describe mejor como "lectura de datos". Una manera mucho mejor de describirlo es "recolectar fotones" que luego se convierten en datos midiendo las cargas eléctricas microscópicas que producen una vez que finaliza el período de recolección . No tienen la capacidad de registrar continuamente el estado cambiante de cada píxel a medida que recogen la luz. Y dependiendo de la poca o la cantidad de luz que caiga sobre el sensor, puede tomar mucho tiempo para que suficientes fotones lleguen al sensor antes de que se generen más que datos aleatorios. Por otro lado, en condiciones de luz muy brillante, a veces todos los pozos de píxeles pueden llenarse tan rápido que se pierden los fotones adicionales que caen sobre el sensor.

En el primer escenario, no se recolectan suficientes fotones para crear un patrón perceptible a través del "ruido" generado por la energía que fluye a través del sensor que se usa para recolectar los voltajes creados por los fotones que caen en los pozos de píxeles. Por lo tanto, no se recopila información utilizable. Toda la foto está oscura con manchas aleatorias de color y luz.

En el segundo escenario, se recopilan tantos fotones que cada píxel se lee con el mismo valor máximo, llamado saturación total, y dado que cada píxel de la imagen tiene el mismo valor, no se conserva información utilizable. Toda la foto es de color blanco brillante sólido.

Solo cuando suficientes fotones inciden en un sensor, las áreas con más fotones por unidad de tiempo tienen un valor de lectura más alto que las áreas con menos fotones incidiendo en ellas por unidad de tiempo. Solo entonces el sensor recopila información significativa que puede diferenciar entre áreas de brillo variable.

Imagine colocar varios cubos de agua en su jardín para recolectar gotas de lluvia. Imagina que todos tienen algo de agua pero la tiras antes de colocarlos. Algunos se colocan debajo del alero del techo de su casa. Algunos se colocan debajo de grandes árboles en su jardín. Algunos se colocan al aire libre. Algunos se colocan debajo del caño que vierte el agua de las canaletas al jardín. Entonces empieza a llover.

Digamos que solo llueve por muy poco tiempo: 15 segundos. Hay unas pocas gotas de agua en cada balde. Pero no hay suficiente agua en cada cubeta para poder saber si cada cubeta puede haber tenido más agua de lluvia o si solo le quedaron unas pocas gotas más en la cubeta cuando vació el agua antes de colocar las cubetas. en la yarda. Como no tienes suficientes datos para poder determinar cuánta lluvia cayó en qué partes del jardín, tiras todos los cubos y esperas a que llueva de nuevo.

Esta vez llueve durante varios días. Para cuando deja de llover, todos los cubos del patio se están desbordando. Aunque está bastante seguro de que algunos cubos se llenaron más rápido que otros cubos, no tiene forma de saber qué cubos se llenaron más rápido y cuáles se llenaron en último lugar. Por lo tanto, debe volcar los baldes nuevamente y esperar a que llueva más.

En tu tercer intento llueve durante tres horas y luego deja de llover. Sales al patio e inspeccionas tus baldes. ¡Algunos están casi llenos! ¡Algunos apenas tienen agua en ellos! La mayoría tiene cantidades variables de agua entre los dos extremos. Ahora puede usar la ubicación de cada balde para determinar cuánta lluvia cayó en cada área de su jardín.

La razón por la que alteramos la exposición en las cámaras digitales es para intentar recolectar suficiente luz para que las áreas más brillantes estén casi saturadas, pero no del todo.Idealmente, esto ocurre con la cámara en la sensibilidad ISO base. A veces, sin embargo, no hay suficiente luz para hacer esto. Incluso con la apertura más grande disponible, no podemos recolectar suficiente luz en la mayor cantidad de tiempo que nos atrevemos a dejar el obturador abierto (debido al movimiento de nuestros sujetos). Lo que hacemos en este caso es ajustar la configuración ISO en nuestra cámara para que todos los valores que salen del sensor se multipliquen en un factor que lleva los valores más altos a un punto donde están casi, pero no del todo saturados. Desafortunadamente, cuando amplificamos la señal (los voltajes creados por los fotones que aterrizan en los pozos de píxeles) también amplificamos el ruido (los voltajes irregulares aleatorios producidos por la corriente utilizada para recolectar los voltajes de cada pozo de píxeles). Esto da como resultado una relación señal-ruido más baja.lo que disminuye la cantidad de detalles que podemos crear a partir de los datos que hemos recopilado del sensor.

Existen otras limitaciones técnicas que impiden que las cámaras mantengan un "total acumulado" de la cantidad de fotones recolectados en varios intervalos mientras el obturador está abierto. Arroje suficiente dinero al problema y algunas de esas limitaciones pueden superarse, al menos parcialmente. Pero las leyes de la física tendrían que cambiar o tendríamos que cambiar por completo la forma en que los sensores cuentan los fotones antes de que se puedan superar otras de esas limitaciones. Eventualmente, la tecnología en algunos o todos estos dispositivos podría reemplazar la forma en que actualmente capturamos imágenes de muy alta calidad, pero aún no estamos cerca de eso.

Ya tenemos parte de la tecnología para esto. Nuestro término para recordar las lecturas del sensor en cada punto de exposición es "video", y lo que solicita es la reconstrucción de una imagen fija óptima a partir de múltiples cuadros de video.

Para obtener una descripción general del trabajo de Microsoft Research sobre esto, comience aquí: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Para ver un ejemplo disponible, consulte la aplicación Synthcam, que se puede usar para reducir el ruido en condiciones de poca luz al combinar cuadros de video tomados con la cámara de un teléfono: https://sites.google.com/site/marclevoy/

Esto está muy lejos de ser práctico para la fotografía cotidiana, pero es concebible que las cámaras futuras capturen muchos fotogramas de video de alta definición y alta velocidad de fotogramas, lo que le permitirá al fotógrafo lograr el resultado deseado seleccionando y combinando más tarde.

Actualización de finales de 2016: cuando escribí la respuesta original, estaba lejos del mercado. A finales de 2016 parece mucho más cerca. La aplicación "See In The Dark" de Marc Levoy integra múltiples cuadros de video con estabilización en un teléfono inteligente de consumo para producir imágenes utilizables a la luz de la luna. Vea también la cámara Light L16 , que integra múltiples sensores pequeños en una sola imagen.

La pregunta original se basa en una suposición incorrecta (acerca de que el sensor digital no cambia de estado durante la exposición), pero el concepto está relacionado con la idea del sensor de imagen cuántica (QIS) investigada por Eric Fossum .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

El QIS es un cambio revolucionario en la forma en que recopilamos imágenes en una cámara que se está inventando en Dartmouth. En el QIS, el objetivo es contar cada fotón que golpea el sensor de imagen y proporcionar una resolución de mil millones o más de fotoelementos especializados (llamados jots) por sensor, y leer planos de bits de jot cientos o miles de veces por segundo resultantes en terabits/seg de datos.

Tal dispositivo sería (citando la pregunta)

"recordar" cuáles fueron las lecturas del sensor en cada punto de exposición

y teniendo el conjunto de datos completo, podríamos, por ejemplo, "cambiar" el tiempo de exposición efectivo después de capturar la "fotografía".

Hoy en día, esto se puede aproximar grabando un video y combinando fotogramas en el posprocesamiento para simular tiempos de exposición más largos (limitados por el rendimiento de la cámara, la resolución del modo de video y la velocidad del obturador, pero muestra la idea)

Si el QIS funciona según lo prometido, también introduciría otras características interesantes, como un mejor rendimiento con poca luz, mayor rango dinámico, sin aliasing, sensibilidad completamente personalizable (por ejemplo, como una película), sin configuraciones ISO, resolución ajustable frente al ruido.

Anuncio reciente: http://phys.org/news/2015-09-breakthrough-photography.html

La película cambia físicamente durante el período de tiempo que está expuesta. Sin embargo, un sensor digital no lo hace; es solo lectura de datos.

Eso realmente depende del tipo de sensor. El tipo de sensores CMOS que se utilizan en las DSLR de hoy en día acumulan una carga eléctrica en cada píxel con el tiempo, por lo que, de hecho, cambian con el tiempo como lo hace la película. Si no funcionaran de esa manera, la imagen existiría solo mientras el obturador estuviera abierto. Los sensores CCD (la otra tecnología común para los sensores de imagen en las cámaras) también funcionan de esta manera, acumulando luz con el tiempo.

¿Hay alguna razón por la que la cámara no pueda "recordar" cuáles fueron las lecturas del sensor en cada punto de exposición?

Eso es exactamente lo que hace la cámara cuando graba una imagen. Sin embargo, creo que lo que quiere decir es que si el sensor pudiera leer la intensidad de la luz instantánea, entonces podría ajustar la exposición después del hecho al valor que desee. Como se explicó anteriormente, no es así como funcionan la mayoría de los sensores de imagen. Por otro lado, podemos y , a menudo , ajustamos bastante la exposición en el posprocesamiento.

Si el almacenamiento de datos no fuera un problema, ¿hay alguna razón por la que esto no podría ser la norma, al menos para la fotografía profesional y artística?

En cuanto a "recordar" los datos del sensor, es la norma para muchos fotógrafos. La mayoría de las cámaras le permiten grabar imágenes en formato "RAW", y estos son prácticamente los datos que se leen del sensor, además de un poco más de información sobre la configuración de la cámara en ese momento. Las imágenes RAW ocupan mucho más espacio que otros formatos como JPEG, pero le dan al fotógrafo la libertad de reinterpretar los datos más tarde, por lo que puede cambiar fácilmente configuraciones como la temperatura del color y el balance de blancos en el posprocesamiento.

Otros ya han explicado por qué esto no funcionará, técnicamente. Quiero mencionar por qué no funcionaría en la práctica .

Si el almacenamiento de datos no fuera un problema, ¿hay alguna razón por la que esto no podría ser la norma, al menos para la fotografía profesional y artística?

Considere la magnitud de las diferentes condiciones de iluminación de las que podemos querer tomar fotografías. Incluso ignorando los extremos como la astrofotografía (en la que a menudo se fotografían pequeñas motas de luz rodeadas de un negro casi total), todavía se tiene fotografía terrestre vespertina o nocturna y paisajes invernales cubiertos de nieve muy iluminados. Voy a usar los dos últimos como ejemplos.

Además, supondré que para recrear con precisión cualquier exposición deseada, debemos exponer el sensor hasta el punto de saturación total.

Además, supondré que podemos leer los valores del sensor de forma no destructiva. (Este es probablemente uno de esos problemas que caen en la categoría de "tirar suficiente dinero al problema y podría resolverse").

En el caso de la fotografía nocturna, necesitaríamos exponer el sensor durante mucho tiempo para saturar todos los píxeles, lo que significa que cualquier foto, sin importar de qué queramos tomar una foto, tomará un tiempo absurdo . La imagen turística clásica de bailarines en un bar al aire libre se vuelve casi imposible porque, bueno, es posible que puedas tomar algunas de ellas durante toda la noche. No es bueno. Entonces no podemos exponer a la saturación, al menos no indiscriminadamente. (Exponer a un porcentaje de píxeles saturados es igualmente inútil, pero por diferentes razones; intente obtener la exposición exactamente correcta cuando tome una fotografía de una chimenea con fuego ardiendo en ella. Eso es casi imposible; no importa cuánto lo intente, algunoslos píxeles se sobredimensionarán o grandes franjas de la imagen quedarán terriblemente subexpuestas).

Al fotografiar un paisaje cubierto de nieve muy iluminado, como una vista invernal durante el día cuando sale el sol, la exposición a la que aspira el sistema de exposición automática de la cámara ("18 % de gris") es lamentablemente inadecuada. Es por eso que a menudo ves fotos de nieve que son oscuras, y donde la nieve parece más de un gris claro que blanco. Debido a esto, a menudo usamos una configuración de compensación de exposición positiva que da como resultado que la nieve se exponga como un blanco casi saturado. Sin embargo, esto significa que no podemos confiar en el sistema AE de la cámara para determinar cuándo finalizar la exposición: si lo hacemos, dichas imágenes estarán invariablemente subexpuestas .

En otras palabras, la exposición a la saturación total no es práctica en muchos casos, y la exposición para hacer feliz al sistema AE es inadecuada en muchos casos. Esto significa que el fotógrafo aún tendrá que hacer algún tipo de elección, y en ese punto, al menos nos conviene quedarnos con lo que tenemos y a lo que los fotógrafos están acostumbrados, mejorando los sistemas AE y facilitándole al fotógrafo ( más fácil?) acceso a la configuración de compensación de exposición. Al aumentar el rango dinámico prácticamente utilizable del sensor, podemos permitir (incluso) una mayor latitud en los cambios de exposición en el posprocesamiento; las SLR digitales originales eran terriblemente caras, pero realmente horribles en este sentido en comparación con los modelos básicos de hoy en día.

Todo lo cual se puede hacer plenamente dentro del marco de lo que ya tenemos. Esto no quiere decir que mejorar drásticamente el rango dinámico utilizable del sensor sea fácil , pero probablemente sea mucho más fácil de lo que está proponiendo, y es un problema en el que los proveedores tienen experiencia trabajando.

Los profesionales, casi por definición, saben cómo utilizar los equipos de su oficio. Realmente no es diferente si son fotógrafos o pilotos de transbordadores espaciales . Especialmente cuando se puede hacer sin causar una sobrecarga de información, por lo general es mejor dar al usuario el control total del equipo profesional. En mi opinión, las réflex digitales de alta gama actuales son bastante buenas para alcanzar el punto óptimo en esto.

Simplifiquemos el problema para entender por qué siempre tendremos que hacer concesiones.

Inventemos la cámara que deseas, pero con un solo píxel monocromático. Debe poder recibir y notificar de manera confiable al procesador sobre la recepción de un solo fotón. También necesita poder recibir y notificar al procesador de la recepción de, en términos prácticos, fotones incontables e infinitos.

El primer caso en una situación donde no hay luz. El segundo en el caso de incluso una cantidad moderada de luz.

El problema principal es que simplemente no tenemos la tecnología para crear un sensor con un rango dinámico tan amplio. Siempre vamos a tener que ceder, y en este momento estamos cediendo al seleccionar un rango más alto donde el sensor puede aceptar fotones casi infinitos y darnos una lectura que sugiere una cantidad relativa de luz que incide en el sensor. No los cuenta en absoluto, pero actúa como lo hacen nuestros ojos: simplemente dan una salida relativa a la cantidad de fotones que los golpean, sin intentar contar los fotones.

Esto se complica aún más por el hecho de que esto se recopila con el tiempo.

Un sensor ideal en realidad sería más como un contador Geiger: medir el tiempo entre fotones para darnos una medida casi instantánea de la cantidad de luz que cae sobre el sensor, asumiendo que los fotones están espaciados relativamente uniformemente (lo cual no es cierto, pero es una suposición conveniente, y por qué los contadores geiger promedian con el tiempo al igual que las cámaras).

Los sensores cuánticos tendrían esencialmente el mismo problema. Claro, pueden sentir un fotón individual, pero en algún momento vienen lo suficientemente rápido como para que simplemente no puedas medir el tiempo entre ellos, o incluso contar cuántos vienen por período de exposición.

Así que tenemos este compromiso que requiere que tomemos varias imágenes de varias exposiciones, o agreguemos varias imágenes de la misma exposición alta juntas para eliminar las áreas de poca luz, o dividamos la luz entrante en dos o más caminos con diferentes sensores de diferente dinámica. rango, o construir sensores que puedan agrupar píxeles o apilar sensores de luz, o, o, o - hay literalmente miles de formas en que los fotógrafos han superado este problema básico durante décadas con una amplia variedad de medios.

Es una limitación de la física que no es probable que se supere. Nunca vamos a tener una cámara* sin intervención del fotógrafo que permita tomar todas las decisiones en el posprocesamiento.

* _{Por supuesto, si cambia la definición de cámara, es posible que esté satisfecho con los resultados de otros procesos, pero esto es en gran parte subjetivo. La realidad es que si toma una imagen de una escena con su cámara, luego le muestra la escena a una persona, luego la imagen que tomó, percibirá diferencias debido a las diferencias inherentes entre sus ojos, su sensor de imagen y el proceso que usó para imprimir. la imagen. La fotografía tiene tanto que ver con la interpretación y el arte como con capturar la luz, por lo que un enfoque fanático en la "cámara perfecta" probablemente no sea muy útil.}