Raw RGB desde sensor de imagen CMOS a conversión de escala de grises

Un proceso de demostración de alta calidad está lleno de sutilezas, pero se puede obtener una respuesta muy económica si se puede aceptar una pérdida del 50 % en la resolución espacial. Simplemente sume grupos de cuatro píxeles del sensor para obtener un solo píxel gris. Suponiendo que su sensor tenga un patrón de filtro Bayer "típico", habrá el doble de sensores verdes que rojos o azules. Luego, la suma de grupos cuadrados de cuatro píxeles generará Y = 2*G + R + B, lo que enfatiza demasiado el componente azul, pero para casos simples como verificar el enfoque del sistema óptico, eso no será un problema.

Entonces, para una disposición típica de píxeles que se ve así:

G R G R G R....
B G B G B G
G R G R G R
B G B G B G
.
.
.

Obtendría una salida Y para cada grupo de cuatro, con una resolución espacial más baja:

Y   Y   Y

Y   Y   Y

La implementación de esto se puede hacer en hardware (como en un FPGA) con solo la memoria suficiente para almacenar la mitad de una línea de escaneo, ya que puede sumar los píxeles de entrada en pares en la primera línea, luego en pares e incluyendo la suma de la línea anterior en cada uno. segunda linea.

También podría generar tantos píxeles Y como entradas haciendo una ventana deslizante, lo que requeriría una línea de escaneo completa de memoria en hardware.

Hacerlo "bien" implica una serie de pasos de procesamiento, pero la operación principal es aplicar filtros espaciales para estimar imágenes monocromáticas R, monocromáticas Gy Bseparadas con una resolución idéntica, teniendo cuidado de alinearlas correctamente. Dadas esas imágenes alineadas, es sencillo calcular Yen cada píxel.

Se puede encontrar una implementación de un sistema demostrativo bastante sofisticado en dcraw , que consume datos de sensores sin procesar y emite imágenes JPG. Los datos sin procesar del sensor se pueden obtener de muchas cámaras digitales de gama alta, pero generalmente están gravados por secretos comerciales que dificultan su interpretación para terceros. Coffin y su comunidad de usuarios han realizado un gran esfuerzo en la ingeniería inversa de los formatos de archivo sin procesar escritos por tales cámaras. Pero también se puede utilizar en su contexto.

Al desarrollar proyectos de cámara en el pasado, tomé píxeles sin procesar directamente de los sensores CMOS capturados en la RAM, los volqué a un archivo y pasé el archivo a través de dcraw.

El problema relacionado para una cámara prototipo es enfocar la óptica de su primer prototipo, para tener píxeles que puedan significar algo y así probar que todo funciona mostrando un JPG terminado de su banco.

El primer paso es encontrar y usar los modos de patrón de prueba en su sensor. Con eso, generalmente puede obtener patrones de referencia con contenido conocido para probar su flujo de datos y electrónica. Luego, puede cambiar a la óptica real con cierta confianza en que los píxeles sin procesar son significativos y concentrarse en lograr que la óptica le brinde una imagen enfocada.

Una técnica que usé en el pasado para una cámara basada en un soporte de lente de montura M12 fue enfocar la lente bastante decente con el soporte de lente montado en una placa de evaluación que tenía un software que proporcionaba una vista en vivo en una PC. Luego bloqueé la lente y moví todo el soporte de la lente a mi prototipo. Debido a las ligeras variaciones en la posición del sensor en relación con la PCB y el orificio de montaje, no fue perfecto, pero fue lo suficientemente bueno como para obtener una imagen reconocible.