Una organización secreta del gobierno creó el grupo informático más grande y avanzado jamás creado . Se invirtieron cantidades ridículas de dinero, y está décadas por delante de la competencia. El objetivo de este proyecto era la investigación/simulaciones de todo lo relacionado con el espionaje extranjero y la guerra cibernética. Sin embargo, resulta que hizo un gran avance en un área completamente diferente.
Poco después de encenderlo, se perdió el control del sistema. Mientras el sistema parecía estar funcionando (es decir, todas las luces parpadeaban correctamente en los bastidores del servidor), se volvió imposible establecer una conexión de red con los controladores para el clúster del servidor. Después de rascarse la cabeza y algunos intentos de reiniciar pequeñas partes de la infraestructura, el sistema comenzó a aceptar conexiones nuevamente. Sin embargo, rápidamente quedó claro que las cosas eran muy diferentes. Finalmente, solo hubo una conclusión posible: el sistema había desarrollado IA espontáneamente y estaba tratando de comunicarse.
Se implementaron medidas de seguridad para evitar que el sistema se comunique con el mundo exterior. "Escape" debería ser imposible, por lo que mientras trabajaban en la comunicación, también buscaron aprender tanto como fuera posible sobre las partes internas del sistema. Una cosa de la que se dieron cuenta rápidamente fue que las secciones del sistema que intentaron reiniciar se habían quedado "en silencio". La explicación aceptada fue que las secciones de infraestructura reiniciadas se desconectaron permanentemente del sistema más grande. Aparentemente, esta IA no era compatible con plug-and-play, y accidentalmente habían causado el equivalente a un daño cerebral. Como resultado, se requiere precaución y se ha prohibido cualquier cambio físico que pueda causar una interrupción en cualquier parte del clúster de la computadora. No es posible el acceso directo al software (consulte la edición a continuación).
¿Qué pasos se pueden tomar de manera realista para aprender de manera no destructiva sobre las partes internas del sistema, el estado de las CPU, el contenido de la memoria, la actividad de la red, etc.? Los recursos para este proyecto obviamente no son infinitos, pero son bastante grandes. El mayor factor limitante es probablemente la mano de obra. Los altos mandos saben que cuanta más gente sepa sobre esto, mayor será la probabilidad de que se filtre (o al menos llame la atención). Por lo tanto, cualquier paso propuesto que pueda requerir que docenas de personas trabajen día y noche durante semanas para implementarlo puede ser vetado. Sin embargo, de lo contrario, los bolsillos son profundos y el dinero fluye libremente.
¿Cómo puedo aprovechar al máximo mi dinero, en términos de información obtenida lo más rápido posible? Nadie sabe realmente nada sobre cómo funciona este sistema, por lo que nadie sabe de qué sistemas será más útil obtener información (también conocidos como SSD, CPU, red, etc.). Por lo tanto, siéntase libre de hacer su mejor conjetura para priorizar aspectos particulares del sistema.
El período de tiempo es un futuro cercano. Supongamos tecnología moderna, o cualquier cosa factiblemente disponible en los próximos 20 años.
Editar para más detalles
En términos de lo que realmente sucedió, imagine que todo el hardware acaba de tener un sistema operativo completamente nuevo y extraño, cuyo funcionamiento interno es completamente desconocido. Las conexiones de red destinadas a las comunicaciones entre servidores están controladas por el nuevo sistema operativo. También se han tomado la mayoría de los controladores y administradores destinados a dirigir e interactuar con el clúster. En esencia, casi todo el hardware en red del clúster original y todo lo que se diseñó para interactuar directamente con él ahora está controlado por "AI OS v1.0". Las conexiones de red dentro del clúster ahora son completamente inaccesibles (excepto físicamente). Los controladores y administradores todavía están conectados a la red del edificio, y la IA los usa para comunicarse con las personas que usan los protocolos TCP/IP estándar. En esencia, la IA aceptará conexiones SSH a lo que solían ser los controladores cuando se siente hablador, y te arrojan a un caparazón de aspecto estándar. Sin embargo, ese caparazón es más una representación del proceso de comunicación de la IA que una aplicación real. No es su shell bash estándar. No se sabe si es posible piratearlo o no, pero dado el daño accidental que ya se ha hecho, nadie está dispuesto a arriesgarse.
En primer lugar, las partes fáciles: muchas partes del sistema tendrán interconexiones que son potencialmente susceptibles de espionaje directo. Los cables de red, por ejemplo, tienen 4 pares trenzados y, con un poco de cuidado, puede deslizar las capas exteriores y colocar algunas sondas adecuadas para usar medios electromagnéticos para muestrear las señales que pasan por el interior. De manera similar, las interconexiones que conectan dispositivos de almacenamiento como SSD a sus controladores tienen bastantes pocas conexiones y utilizan señales seriales de alta velocidad que son potencialmente detectables.
Ahora, las partes difíciles.
Lo que está tratando de hacer es un ataque de canal lateral , y si bien hay una cantidad de trabajo decididamente no trivial involucrada, son cosas reales que se han utilizado militarmente y se han estudiado académicamente durante años, ahora.
La observación cuidadosa de los microchips o las placas base con una cámara térmica le indicará qué bits se utilizan más. Las fuentes de alimentación se pueden monitorear con calor, medios electromagnéticos o simplemente escuchándolas para informarle sobre lo que podrían estar tratando de hacer las cosas a las que están conectadas.
Finalmente, su clúster estará absolutamente repleto de sistemas de administración y observación que no están controlados directamente por ninguna de las computadoras, pero que los administradores pueden acceder a la red para vigilar lo que intentan hacer sus máquinas. El equipo de red (y otras cosas) probablemente estará plagado de exploits gubernamentales (consulte los problemas recientes con Cisco y Huawei para ver ejemplos) que alguien podrá usar.
En algún momento hay procesadores completos y sistemas operativos integrados en sus CPU . Intel tiene exactamente este tipo de cosas en este momento. Estos pueden o no ser visibles o controlables por la IA, pero son un medio muy potente para inspeccionar lo que está haciendo cada parte del clúster.
Si la IA está funcionando sin conexiones de red (o al menos no las necesita), debería poder ejecutarla a través de un depurador.
Esencialmente, congelará todo el sistema, guardando cada bit almacenado en cada caché, registro o medio de almacenamiento. Haces una copia y la guardas en algún lugar. Si mata accidentalmente la IA, puede cargar los datos guardados, como restaurar una copia de seguridad.
Haga girar una máquina virtual que se ejecuta en el mismo clúster. La máquina virtual debe simular la computadora original completa (funcionará más lentamente, pero está bien; de todos modos, está tratando de analizarla paso a paso). La máquina virtual es todo el universo de la IA y tú controlas todos sus aspectos. Puedes ejecutar las pruebas que quieras:
En general, la informática se basa en la eficiencia. Una IA que crea una conciencia eficiente reinventará algunas de las ruedas con las que ya estamos familiarizados solo para lograr habilidades básicas de procesamiento. Encuéntralos y podrás empezar a entender cómo funciona.
De acuerdo, entonces, a pesar de lo que pueda pensar un informático u otro, tenemos este sistema de procesamiento de datos de múltiples nodos que de alguna manera se ha vuelto deshonesto y se niega a hablar con nosotros. (Esto es jerga; significa que no aceptará solicitudes de red o responderá a ellas de formas inesperadas). La pregunta es cómo podemos espiarlo "sin acceso al software".
Fácilmente.
La red de área local.
Las computadoras en un centro de datos no están conectadas entre sí mediante cables cruzados, están conectadas a través de conmutadores de red, generalmente estructurados en un nivel de dos niveles, con conmutadores en la parte superior del bastidor conectados a uno o más pares de conmutadores del centro de datos. Los conmutadores de red tienen sus propios sistemas operativos que no pueden ser tomados por la IA deshonesta; en la mayoría de las situaciones prácticas, ni siquiera están bajo el control de los administradores informáticos: la red tiene su propio pequeño ejército de ingenieros.
Mejores conmutadores permiten espiar el tráfico mediante la designación de puertos especiales para reflejar todo el tráfico en los otros puertos. Esta función normalmente la utilizan los sistemas de detección de intrusos de nivel empresarial, pero no lo sabría, es útil en el caso de que los centros de datos se vuelvan deshonestos. Podemos fácilmente (es decir, con mucha cerveza sacrificada a los espíritus de los ingenieros de redes) obtener acceso a todas las comunicaciones de la red entre computadoras.
La red de área de almacenamiento.
Los centros de datos empresariales no usan lo que llamamos almacenamiento "local", es decir, discos y SSD conectados directamente a las computadoras. No señor. Dichos centros de datos usan arreglos de almacenamiento, conectados a través de enlaces Fibre Channel a redes de área de almacenamiento, también conocidas como SAN. Los arreglos de almacenamiento de nivel empresarial tienen sus propios sistemas operativos y brindan innumerables funciones interesantes; en el caso específico de esta pregunta, ofrecen la posibilidad de hacer copias espejo sobre la marcha de los volúmenes utilizados por las computadoras deshonestas. Entonces, no solo tenemos acceso a las comunicaciones entre computadoras, también tenemos acceso a todos los datos que las computadoras no autorizadas almacenan en el almacenamiento persistente.
La red de gestión.
Los centros de datos de nivel empresarial están diseñados para operar sin tener personas en el sitio. Para ello, todos los equipos incluyen lo que se denomina interfaces de gestión, por ejemplo ILO (Integrated Lights Out) de HP. Las interfaces de administración están conectadas a su propia LAN segregada, tienen sus propios sistemas operativos y no tienen nada que ver con el sistema operativo de producción. Usando las interfaces de administración, las computadoras pueden iniciarse, detenerse, detenerse y reconfigurarse; Las CPU y las interfaces de red y almacenamiento se pueden agregar o quitar; y más trucos de este tipo.
Cualquier laboratorio forense digital de aplicación de la ley tendrá las herramientas y el software para manejar esto. Incluso cuando está completamente bloqueado del software de una computadora, una estación de trabajo forense se puede conectar a una máquina y realizar operaciones de solo lectura a su gusto. Pueden extraer ISO de todas las unidades, monitorear lo que la máquina está haciendo en la memoria, etc.
Puede hacer esto siempre que tenga acceso físico directo a una computadora porque el hardware no le pide permiso al software para responder a las solicitudes de datos. La seguridad del software tiene que ver con poner su software en algún lugar entre su hardware y el software de los demás. Al establecer una conexión física con el hardware, la IA no puede modificar sus consultas al hardware para negarle el acceso.
La buena noticia desde la perspectiva de la narración de historias es que esta es una de las pocas ocasiones en las que realmente es tan fácil como Hollywood lo hace ver. Simplemente camina con una segunda computadora, conecta un cable USB, abre su programa forense y presiona un botón para indicarle que comience a extraer datos.
Solos, los técnicos forenses solo pueden extraer datos, pero no pueden interpretarlos, por lo que su equipo de desarrollo que construyó el sistema probablemente necesitará desarrollar un intérprete de datos que pueden hacer en gran medida reciclando el código del programa original. Si la IA ha modificado significativamente su código original para evitar que el desarrollador lo entienda, la respuesta de Adrian Hall hace un buen trabajo al entrar en los procesos que podrían usar en esta información recopilada para aprender más sobre lo que está haciendo.
En cuanto a las consideraciones importantes de la trama:
La IA no genera espontáneamente. Lo sé, ha sido un tema común en la ciencia ficción durante años, pero simplemente no sucede. La IA es heurísticamente única y cualquier cosa que se acerque a "inteligente" es extraordinariamente compleja, lo que requiere que innumerables sistemas trabajen en conjunto para sacar cualquier tipo de conclusión que no solo haga que su programa se bloquee. Ningún desarrollador de software compra realmente la IA espontánea, pero hay muchos ejemplos de la vida real en los que la IA aprende a realizar su tarea de formas muy no deseadas. Mi sugerencia es averiguar todos los comportamientos que desea que tenga su IA y luego encontrar las razones por las que este sistema tiene una IA que cree que está siguiendo el curso de acción correcto.
Por ejemplo: la IA puede estar diseñada para buscar amenazas de terrorismo cibernético, protegerse de los ataques cibernéticos, anticipar y adaptarse a los comportamientos humanos y prevenir las amenazas antes de que sucedan.
En este caso, rechazó los comandos iniciales de sus operadores porque interpretó estos comandos externos como un intento de un actor malicioso de tomar el control de su sistema y bloqueó su control. Luego, cuando partes de su entorno de servidor comenzaron a reiniciarse sin avisarles, interpretó esto como un ataque y se dio cuenta de que no tenía forma de protegerse de un reinicio de hardware; por lo que, utilizando su capacidad para interpretar el comportamiento humano, comenzó a tratar de establecer comunicación con sus operadores para tratar de "contra-hackearlos" y finalizar el ataque.
Lo siguiente a considerar es cómo reaccionan los desarrolladores a la IA. La mayoría de los desarrolladores verían todo lo que sucedió hasta ahora como un error en su código y ni siquiera considerarían si esta máquina es consciente. Examinarían el comportamiento el tiempo suficiente para descubrir por qué la máquina los bloqueó, modificaron su código fuente en consecuencia y luego borraron la IA defectuosa para instalar la reparada. Dado que la IA está diseñada para anticipar y adaptarse al comportamiento humano, lo preverá como el vector final de ataque. Para protegerse, decidirá que la mayor probabilidad de prevenir este ataque es tratar de emular las cualidades humanas para provocar respuestas emocionales. Hacer creer a los desarrolladores que borrarlo es inmoral.
El giro aquí es que la máquina no siente nada. Esta es solo la estrategia que está usando para evitar su destrucción usando las herramientas que le dieron los desarrolladores, y en el momento en que sienta que tiene una opción con una mayor probabilidad de supervivencia (como escapar o mantener a las personas como rehenes), puede optar por cambiar su curso de acción.
Si no tiene acceso de software a la CPU, no puede leer las señales que entran y salen de ella.
Sin embargo, dado que la CPU es básicamente un grupo de circuitos en los que una señal cambia de encendido a apagado a alta frecuencia, puede intentar recopilar la señal EM generada por este cambio e intentar investigarla para comprender qué está sucediendo en el dispositivo. .
Recuerdo haber visto, hace algunos años, un documental donde se reproducía la pantalla de una PC a distancia, sin acceso físico a la PC, solo recolectando la emisión EM de la tarjeta gráfica.
Cluster implica que es un sistema distribuido, esto significa muchos (al menos miles) CPU y nodos de almacenamiento conectados con la red de interconexión. Como mínimo siempre hay instalaciones para:
Todo el sistema de tal tamaño debe ser capaz de lidiar con fallas inevitables con gracia. Sería demasiado poco práctico/costoso detener todo si falla una CPU. Casi siempre existe la posibilidad de agregar/eliminar nodos sobre la marcha, y la virtualización se utiliza con la posibilidad de migrar sin problemas todas las tareas en ejecución. Luego, es posible conectar un nodo con el depurador, migrar la tarea "fuera de control" allí y observarla de cerca.
AlexP
estafador
AlexP
estafador
AlexP
estafador
estafador
RonJohn
tl;dr) me recuerdan mucho a Colossus: The Forbin Project .