¿Podemos mejorar las cámaras de los teléfonos usando sensores separados para cada RGB?

Así que estaba leyendo todo sobre el sistema de múltiples cámaras en el nuevo Huawei P20 Pro, lo que realmente me hizo pensar en cómo podemos usar múltiples cámaras para mejorar la calidad de la imagen, especialmente en una forma tan compacta como un teléfono.

Examiné el filtro de Bayer y noté que cuando cada fotositio recopila la intensidad de uno de los componentes RGB, también descartamos las intensidades de los otros dos componentes RGB. Y entonces tenemos que aproximar las intensidades descartadas usando demosaicing.

En lugar de recurrir a la demostración, ¿qué pasa si creamos un sistema de cámaras que tenga 3 cámaras, cada una responsable de solo una de RGB? No se requiere más demostración. ¿No mejoraría drásticamente la calidad de la imagen final ya que no hay más aproximaciones de color?

¿Sería realmente caro, dado que el P20 Pro ya parece estar bien con 3 cámaras?

En realidad, no pierde tanto como cree con un sensor enmascarado de Bayer. La respuesta de los sensores debajo de cada filtro de color aún registra parte de la luz de otro color. Es muy parecido a usar filtros de color con una película en blanco y negro para obtener tres rangos tonales diferentes. Es la diferencia entre cómo responde cada cuadrícula con un filtro centrado en un color diferente lo que permite interpolar la información de "color" (que también es exactamente cómo la visión humana "crea el color"). Para obtener más información, consulte: Los archivos RAW almacenan 3 colores por píxel, ¿o solo uno?
pierdes alrededor de 2/3 de la luz, no, no porque hay 3 canales y deben cortar 1/3 del espectro para que se vea bien para los matemáticos. los filtros intentan imitar la visión humana y maximizar la eficiencia al mismo tiempo y el compromiso más común es filtrar alrededor de 1/2 a 2/3 de la luz, que se puede calcular exactamente midiendo el área debajo de la transmisión del filtro curvas. para los que no confíen en los números sin alma ;-) aquí un valiente está quitando físicamente los filtros bayer, aumentando la sensibilidad del área expuesta: goo.gl/tbCdMA
@szulat para algunos de los mejores sensores, que tienen una eficiencia en el rango superior de los 50, en realidad es menos de la mitad de la luz que se pierde, no 2/3.
@MichaelClark no, porque el QE informado generalmente significa una eficiencia máxima para la "mejor" longitud de onda única (por ejemplo, verde). la transmisión del filtro Bayer a través de longitudes de onda debe agregarse además de eso.
@szulat Eso todavía significa que los pozos de píxeles "rojo" y "verde" están contribuyendo. Si solo los pozos de píxeles "verdes" detectaran una longitud de onda "verde" específica, ningún sensor enmascarado de Bayer podría superar el 50 %. Muchos hacen. Es la diferencia entre lo que pasan los tres filtros diferentes lo que permite que los convertidores sin procesar creen "color" a partir de valores de luminancia monocromáticos. Ese 10% adicional puede parecerle insignificante, pero sin él no hay "color" en las imágenes (digitales o de película). De hecho, no existe el "color" sin él en nuestros sistemas ojo/cerebro.
Si le interesa el concepto de dispositivos de múltiples cámaras (los científicos de imágenes generalmente los llaman generadores de imágenes de matriz múltiple), es posible que le interese leer el Light L16
@MichaelClark aunque no puedo decir cómo se midió el rendimiento particular del sensor de la cámara de más del 50% QE, la forma estándar es calcularlo por separado para cada filtro. entonces, por ejemplo, el 55% significa que los píxeles verdes reaccionan con 55 de cada 100 fotones verdes, lo que no dice nada sobre la eficiencia roja y azul para la luz verde (que es cercana a cero, ese es el propósito de tener el filtro bayer en primer lugar). En pocas palabras: el valor único de QE solo es casi completamente inútil aquí, mejor busque las curvas de transmisión de bayer cfa y la eficiencia cuántica absoluta frente a las curvas de longitud de onda
@MichaelClark en cuanto a colores, ¡sí! podría hacer un filtro bayer "diluido", filtrando muy poco, permitiendo que entre mucha luz en el sensor y aumentando la sensibilidad. pero la información de color debería calcularse amplificando la diferencia de canal, lo que significa amplificar el ruido. esa es una de las razones por las que el sensor foveon o los sensores CMY fallan tanto con poca luz, a pesar de tener la ventaja teórica de usar más luz que un sensor bayer normal. así que, al final, todo el mundo está usando el buen viejo bayer regular.

Respuestas (4)

Tu idea es muy interesante. Pero hay algunos problemas muy serios.

  1. Paralaje. Debido a que los sensores se desplazarán entre sí, "verán" una imagen diferente. Y el proceso de crear una foto de esas 3 será un desafío serio y necesitará mucha potencia informática.
  2. Espacio. En los móviles no dispones de mucho espacio por lo que añadir un sensor más, óptica, cables puede ser inviable
  3. Precio. Agregar más censores y ópticas aumentará el precio. Y especialmente este mercado es muy sensible en esta dirección. Al final, el teléfono es principalmente para hablar (en mi humilde opinión)
  4. Necesidades del mercado. ¿Cuántas personas querrán fotos aún mejores desde el teléfono?
  5. Limpieza. Ahora (quizás) limpie una lente, luego limpiará 3. Cierto, son pequeñas, pero mantiene su teléfono (generalmente) en el bolsillo

Seguro que esta lista se puede ampliar, pero espero que esto sea suficiente.

EDITAR: relacionado con el punto 1, si los sensores están en un plano, esto "distorsionará" adicionalmente las imágenes capturadas por ellos. Y esto significará que en primer plano deberías tener 3 sistemas de enfoque diferentes.

Parallax: muchas cámaras de teléfonos ya combinan imágenes de múltiples sensores muy bien, como P20 Pro.
Pero no se divide por color...

La calidad de imagen de los teléfonos inteligentes modernos está limitada por el diminuto tamaño del sensor, la calidad de la lente y la difracción, no por el proceso de demostración.

Por lo tanto, la idea no parece ser útil.

Tenga en cuenta que el P20 mencionado anteriormente presenta una cámara monocromática, lo que presenta el mismo tipo de problemas con el registro de imágenes que las hipotéticas cámaras separadas R, G y B (paralaje, imágenes inconsistentes entre canales). Y el objetivo era aumentar la sensibilidad a la luz baja en lugar de la resolución del color. Porque la resolución del color no es un problema y a nadie le importa.

Muchas cámaras de vídeo ya hacen justo lo que te propones. Pero utilizan un sistema de división de haz entre la lente y los sensores que, básicamente, reduce la cantidad de luz que llega a cada sensor en aproximadamente la misma proporción que cuando se utiliza un filtro enmascarado de Bayer.

El mayor problema de hacerlo con tres lentes diferentes manteniendo un alto grado de precisión es la complejidad y el costo de crear conjuntos de lentes perfectamente combinados. Esto no es irresoluble, pero la solución probablemente sea más costosa y computacionalmente compleja que usar una máscara de Bayer y una demostración.

En lugar de recurrir a la demostración, ¿qué pasa si creamos un sistema de cámaras que tenga 3 cámaras, cada una responsable de solo una de RGB? No se requiere más demostración. ¿No mejoraría drásticamente la calidad de la imagen final ya que no hay más aproximaciones de color?

Cada una de esas tres cámaras necesitaría un filtro de un solo color frente a ella para usar las diferencias comparativas de cada una para producir una imagen de "color". Esto significa que la misma proporción de luz que es absorbida/reflejada por los pequeños filtros en un sensor enmascarado de Bayer aún sería absorbida/reflejada por los grandes filtros de un solo color frente a cada uno de los tres sensores independientes. Sin un filtro de color diferente delante de cada una, todas serían cámaras monocromáticas idénticas que producirían los mismos datos.

Esto es lo que pasa con el "color": no existe el "color" en la naturaleza. La luz solo tiene longitudes de onda. Las fuentes de radiación electromagnética en ambos extremos del espectro visible también tienen longitudes de onda. La única diferencia entre la luz visible y otras formas de radiación electromagnética, como las ondas de radio, es que nuestros ojos reaccionan químicamente a ciertas longitudes de onda de radiación electromagnética y no reaccionan a otras longitudes de onda . Más allá de eso, no hay nada sustancialmente diferente entre "luz" y "ondas de radio" o "rayos X". Nada.

Los conos en nuestras retinas se componen de tres tamaños diferentes, cada uno de los cuales responde mejor a una longitud de onda diferente de radiación electromagnética. En el caso de nuestros conos "rojo" y "verde", hay muy poca diferencia en la respuesta a la mayoría de las longitudes de onda de la luz. Pero al comparar la diferencia y cuál tiene una respuesta más alta, los conos rojo o verde, nuestros cerebros pueden interpolar hasta qué punto y en qué dirección hacia el rojo o hacia el azul, la fuente de luz es más fuerte.

El color es una construcción de nuestro sistema ojo-cerebro que compara la respuesta relativa de los tres conos de diferentes tamaños en nuestras retinas y crea una percepción de "color" basada en las diferentes cantidades que cada conjunto de conos responde a la misma luz. Hay muchos colores que los humanos perciben que no pueden ser creados por una sola longitud de onda de luz. "Magenta", por ejemplo, es lo que crea nuestro cerebro cuando estamos expuestos simultáneamente a la luz roja en un extremo del espectro visible y a la luz azul en el otro extremo del espectro visible.

sí, es bueno notar que ya existen sistemas similares. pero el "problema más grande" que mencionas ya no es un problema real, ahora que todo se puede corregir fácilmente en el software. como lo demuestran teléfonos como el P20 pro, o incluso el más extravagante "Light 16". en realidad, la lente perfectamente combinada ni siquiera puede existir porque siempre hay paralaje y tales imágenes tendrían que procesarse en gran medida cada vez.
Y otro problema en el sentido del teléfono será el tamaño. Dicho sistema dividido requiere cierta profundidad que generalmente no está disponible en los teléfonos.
El problema de la profundidad para el divisor de haz debería ser evidente. Pero el punto principal es que el divisor de haz también reduce la cantidad de luz que llega a cada sensor. Por lo tanto, la cantidad de fotos que se reducen un píxel o la sensibilidad general del sistema con un sistema de una lente/tres sensores no aumenta con respecto a un sensor enmascarado de Bayer.

Esta tecnología existe en forma de cámara de 3ccd/3-chip . Habría algunos problemas al colocar el prisma en el espacio disponible en un teléfono. Creo que terminarías con algo al menos tan grueso como un iPhone gen1, pero podría ser necesario algo más cercano al grosor de una baraja de cartas. Supongo que el mercado podría ser lo suficientemente fuerte como para admitir un dispositivo de este tipo. Hubo suficiente interés para que los pedidos anticipados se agotaran para el hidrógeno de $ 1200 . Sé que casi compro uno.

¿Podemos mejorar las cámaras de los teléfonos usando sensores separados para cada RGB?
RespuestasAquíPolítica de privacidad1y, 0v