Si todos los satélites Starlink tuvieran cámaras de nivel de teléfono y visores simples, ¿podrían ser competitivas las imágenes procesadas por su red de imágenes de súper resolución?

Me preguntaba; si todos los satélites Starlink tuvieran módulos de cámaras de alta calidad para teléfonos celulares en telescopios simples, ¿podrían combinarse y procesarse las imágenes resultantes de tal manera que se formara una red de imágenes de súper resolución?

¿Podría algo así tener algunas ventajas competitivas, al menos en algunos casos?


Importante:

Imágenes de superresolución

https://en.wikipedia.org/wiki/Event_Horizon_Telescope - Es cierto que una red global de radiotelescopios.

Potencialmente relacionado: ¿Puede el apilamiento de imágenes permitir que este telescopio satelital de 0,25 m alcance una resolución de 0,65 m? y ¿ Qué es la cámara periscopio de un teléfono inteligente? ¿Y, cómo funciona? y Oppo presenta una verdadera lente de zoom continuo para teléfonos inteligentes Los Starlinks no tienen el tamaño de un teléfono celular, pero tienen la forma de un teléfono celular . Si se tiene que integrar en el paquete plano, habrá un espejo plano de 45°.
Para tu información, acabo de preguntar ¿Qué tan gruesos son los satélites Starlink?
Eso es un desarrollo lógico.
Impresionante pregunta. ¿Los sats de Starlink tienen mucha libertad en el control de actitud? Ingenuamente, para obtener superresolución a través de múltiples sensores, parece que necesitaría apuntar simultáneamente la mayoría de los visores a un objetivo.
Aparentemente no hay ningún usuario de mensajería directa. Solo quería dar las gracias por la migración, etc. @uhoh.
@mancelpage ya SE está realmente enfocado en las preguntas y sus respuestas, no para hacer networking o discusiones individuales (por eso me gusta tanto). Hay salas de chat asociadas con cada sitio, pero por lo general no son muy activas.
@ 0xDBFB7 Entiendo tu significado. Incluso los satélites relativamente cercanos en diferentes ángulos podrían tener dificultades para llegar al mismo lugar, especialmente si la cámara de periscopio antes mencionada está configurada para hacer zoom. Sería ideal si la cámara pudiera inclinarse de forma independiente hasta cierto punto, aunque solo sea momentáneamente, para maximizar los miles de satélites capaces de tomar rápidamente imágenes ampliadas de una ubicación durante un corto período de tiempo.
¿Para qué lo quieres usar? ¿Mirar hacia abajo a la Tierra? (Tal vez se podría hacer algo útil de esta manera, aunque soy escéptico). ¿O mirando hacia el espacio? (En cuyo caso: no, esto no sería útil en absoluto).
@PeterErwin La observación espacial es más interesante para mí. ¿La limitación es la baja calidad de las cámaras/visores, la escalabilidad de las imágenes de superresolución o ambas cosas? Me imagino que las redes neuronales pueden entrenarse con datos reales y simulados de manera efectiva, pero tal vez haya una limitación en arrojar datos puros si son varios niveles de magnitud más bajos que los estándares actuales. ¿Quizás el periscopio Starlink más grande posible , configurado para zoom máximo y escalado?

Respuestas (2)

Entonces, limitándome a las observaciones espaciales:

No, por varias razones.

I. Desde un punto de vista astronómico, las cámaras de los teléfonos celulares son terribles para captar imágenes. Por sí mismos, tienen pequeñas aberturas, normalmente de 1 o 2 mm de diámetro. Las aperturas más grandes hacen dos cosas: mejoran la resolución angular máxima posible y recogen más luz. La resolución escala con el diámetro de la apertura; el Telescopio Espacial Hubble (HST) , con su espejo principal de 2,4 metros de diámetro, tiene una resolución unas dos mil veces mejor que la cámara de un teléfono móvil. El poder de captación de luz escala con el área de la apertura; esto significa que HST tiene el poder de captación de luz de aproximadamente 5 millones de cámaras de teléfonos celulares de 1 mm de apertura.

Ahora, dijiste "en telescopios simples", lo que implica que estás usando la cámara del teléfono celular solo para su generador de imágenes (el sensor de imagen y la óptica que lo acompaña). Pero ahora tienes que gastar dinero extra en el telescopio real , incluida la óptica especial que envía su luz al módulo de la cámara; este telescopio probablemente tendrá al menos un metro de tamaño y una masa de cientos de kilogramos, lo que significa que será al menos tan grande como la propia nave espacial Starlink.

Hay otros problemas, como la falta de filtros seleccionables por el usuario. La cámara WFC3-UVIS (UV + óptica) en HST tiene alrededor de 60 filtros diferentes, para usar en responder diferentes tipos de preguntas científicas; el sensor de la cámara de un teléfono celular no tiene filtros, excepto los filtros R, G y B por píxel que tienen los sensores de imagen de la cámara para uso del consumidor. Incluso si agregara un módulo de filtro frente al módulo de la cámara, los filtros RGB fijos por píxel significarían que solo 1/3 de los píxeles se podrían usar en un momento dado (por ejemplo, si seleccionó un "rojizo" filtro, solo los píxeles con filtros R por píxel verían alguna luz).

Las cámaras de los teléfonos móviles también tienen componentes electrónicos ruidosos, lo que genera imágenes ruidosas. Esto se debe a que el uso típico de la cámara de un teléfono celular involucra escenas absolutamente inundadas de luz (al menos desde la perspectiva de un astrónomo). El ruido adicional de la electrónica generalmente no se nota en tales casos. Pero si está tratando de observar objetos astronómicos débiles, realmente importa. Los generadores de imágenes astronómicas de luz visible son de mayor calidad y se enfrían a temperaturas de nitrógeno líquido para reducir el ruido electrónico.

II. Hay más en hacer un telescopio espacial astronómico que funcione que simplemente pegar un módulo de cámara en un satélite. Debe poder apuntar todo con mucha precisión a su objetivo y mantenerlo apuntando en la dirección correcta mientras toma una imagen, aunque el satélite se mueva rápidamente por el espacio. Para hacer esto, necesita cámaras y sensores auxiliares ("guía"), y computadoras para analizar las imágenes de las estrellas vistas por las cámaras guía y calcular los ajustes necesarios, y algunos medios para rotar el satélite para mantenerlo apuntado correctamente, a través de giroscopios. , ruedas de reacción o pequeños propulsores.

tercero Las "redes de imágenes de superresolución" no existen, excepto en el caso de las matrices interferométricas (de las cuales el Event Horizon Telescope es un ejemplo). Pero estos funcionan preservando y combinando la información de fase de la luz entrante de múltiples telescopios. En el caso de los radiotelescopios, la fase cambia lo suficientemente lento como para poder grabarla y combinarla más tarde en una (super)computadora. En el caso del EHT, los datos registrados de unos pocos días de observaciones eran tan voluminosos que se cargaron en discos duros que se enviaron a un centro de procesamiento central.

La luz óptica cambia de fase demasiado rápido para ser registrada de manera factible (y si pudiera, ¿cómo transmitiría la información?), por lo que la combinación debe hacerse en tiempo real enviando la luz desde diferentes telescopios a un instrumento central. Por lo tanto, no desea que una "cámara" registre imágenes en cada satélite; en cambio, desea algún medio para redirigir la luz entrante a un satélite central especial donde se combinan los haces de luz. La combinación tiene que hacerse con una precisión exquisita. Esto es posible en tierra, donde ninguno de los telescopios se mueve; en órbita, con todos los satélites moviéndose constantemente entre sí, esto sería terriblemente difícil.

(Tenga en cuenta que no he mencionado nada sobre el uso de "redes neuronales" u otras formas de aprendizaje automático. Eso se debe a que serían inútiles, ya que están destinados a producir datos inventados de apariencia plausible, y lo que desea son datos reales : - lo que realmente hay en el espacio en este momento).

¡Gracias! Ia) ¿Valdrían la pena los periscopios mencionados por @uhoh en un grado apreciable como alternativa a los telescopios grandes y engorrosos? ¿O la mejor implementación sería todavía muy escasa? Ib) Eso suena muy problemático. La única solución sería múltiples cámaras/periscopios con diferentes filtros, ya sea en diferentes satélites o múltiples por? Complicado de cualquier manera. Ic) Realmente entiendo muy poco sobre cómo funcionan las imágenes de súper resolución y sus limitaciones, pero creo que la reducción de ruido al comparar miles de imágenes electrónicas ruidosas debería ser posible al menos, ¿verdad?
IIa) Si el periscopio antes mencionado es factible, con el tamaño de un paquete plano compacto razonable para el satélite (incluso si el zoom todavía apesta para su tamaño), el módulo será muy discreto en comparación con el propio satélite. Ya estoy confiando en un hipotético que puede no ser el caso. Pero si dicho periscopio se puede usar en un grado apreciable, ¿no podría girarse independientemente del satélite? IIb) Requerir más procesamiento y sensores en los propios satélites suena como una seria limitación si el procesamiento debe realizarse con una latencia mínima. ¿Cuál es el rqrmnt de latencia?
IIIa) Este es un territorio que no tengo idea de nada , incluso más que I y II. Las matrices de imágenes de superresolución óptica probablemente habrían sido una mejor redacción y es posible que no sean comparables. Es cierto que los ejemplos que he encontrado de conjuntos de cámaras que logran imágenes de súper resolución tienen cámaras directamente apiladas una al lado de la otra. La distancia de cada satélite hace las cosas más complicadas, y no sé si se puede obtener más información o inferencias de esta complejidad, o si es solo un obstáculo en el procesamiento de imágenes de satélites a cierta distancia entre sí.
@mancelpage El diseño de la cámara de periscopio no ayuda en absoluto. Permite un campo de visión más pequeño (un efecto de teleobjetivo) pero no cambia el tamaño de la apertura, por lo que tiene exactamente los mismos problemas cuando se trata de limitar la resolución angular y el poder de captación de luz.
@mancelpage Sí, en principio, puede obtener una reducción de ruido agregando muchas imágenes, suponiendo que pueda alinearlas correctamente (todavía debe asegurarse de que todos los satélites apunten al mismo objetivo y sigan correctamente). Pero como señalé, necesitaría alrededor de 5 millones de teléfonos con cámara, sumados, para obtener la misma sensibilidad a la luz que HST , y este último conserva todas sus otras ventajas, incluida la resolución angular.
Veo. Eso tiene sentido. Ninguna cantidad de prismas o espejos en un periscopio puede aumentar la cantidad de luz que ingresa al orificio original que mira al espacio. Entonces, no hay necesidad de un telescopio real. Gracias por tu tiempo y por enseñarme.
Este es un ejemplo interesante de combinación de múltiples cámaras "pequeñas", donde las imágenes de las cámaras individuales se combinan después del hecho. Esto aumenta la captación de luz (menos ruido en el producto final), pero la resolución angular sigue siendo la misma que la de una cámara individual. Tenga en cuenta que los teleobjetivos = apertura relativamente grande, y las cámaras están cuidadosamente alineadas y orientadas como una unidad. astro.yale.edu/dragonfly/index.html

Esta pregunta parece ser específicamente sobre la observación terrestre, pero las limitaciones subyacentes son las mismas que las de las imágenes astronómicas.

Al combinar varias imágenes, puede hacer cosas como:

  • Reduzca el ruido del sensor o la interferencia de las partículas ionizantes que golpean el sensor.
  • Del mismo modo, rechace los transitorios como destellos de luz solar reflejada, aviones que pasan, etc.
  • Combine imágenes desde diferentes ángulos o momentos para compensar las condiciones de iluminación, genere imágenes de mayor contraste o resalte cambios, elimine obstrucciones o haga modelos 3D.
  • Compensar un sensor de baja resolución.

Lo que no puede hacer es aumentar la resolución más allá del límite de difracción de la óptica de imagen. En el mejor de los casos, puede producir una mejor imagen del producto borroso de difracción de la óptica.

Las técnicas de aprendizaje automático se pueden usar para adivinar qué características podrían producir la imagen borrosa, pero realmente no estás imaginando esas características. Si sabe que un vehículo es de una marca y modelo en particular, puede sintetizar una imagen más nítida de él, pero esto es agregar información a la imagen, no extraer más de ella. Una red neuronal buscará lo que ha sido entrenada para encontrar, en lugar de lo que realmente está ahí... al final, acabas de automatizar la pareidolia. Mire DeepDream para ver ejemplos extremos de esto en acción.

Personalmente, me interesa más la observación espacial que la terrestre. 'En la superresolución óptica [imágenes], se trasciende el límite de difracción de los sistemas.' ¿No es el objetivo de las imágenes de súper resolución crear imágenes de mayor resolución que la que puede producir la óptica original? Cuanto mayor sea el conjunto de datos, menos artefactos de las redes neuronales. Relacionado: inducción bayesiana más allá del límite de difracción tradicional
Las técnicas ópticas mencionadas requieren cosas como la iluminación estructurada o el sondeo directo del campo cercano, lo que las hace solo adecuadas para la microscopía. Y las redes neuronales, como dije, producirán aquello en lo que han sido entrenadas, no lo que realmente está allí. No extraen detalles adicionales, los inventan.
También hay conjuntos de cámaras directamente adyacentes entre sí que parecen lograr imágenes de súper resolución. Creo que la pregunta es si este es un buen caso de uso para imágenes ópticas de súper resolución en lugar de que las imágenes ópticas de súper resolución superen los límites de difracción óptica , y su comentario anterior que dice que no lo es puede ser correcto.
y, sin embargo, space.stackexchange.com/a/24422/12102 La idea en la pregunta es que puede tener varias imágenes desde cada una de las muchas direcciones. En ese caso, algunas personas afirman que el producto final después de combinar todo puede ser mejor que el simple límite de difracción de una sola imagen.
Esa "borrosidad" de la imagen del Hubble fue para compensar el espejo primario incorrectamente molido. Como señala el texto, está muy por debajo del límite de difracción. Con la corrección de la óptica, el Hubble obtiene imágenes como esta: esahubble.org/images/opo0322a .