Evitar que las máquinas tontas autorreplicantes se apoderen de la humanidad y el caso potencial de la paradoja de Fermi [duplicar]

Podría ser que la solución a la paradoja de Fermi sea que las civilizaciones de criaturas biológicas generalmente se destruyen debido a que son tomadas por máquinas que son mucho más tontas que las criaturas biológicas originales. Los sistemas de inteligencia artificial más avanzados que tenemos hoy en día todavía están al nivel de la capacidad intelectual de los insectos, pero ya tenemos cosas como los autos autónomos. El punto crítico para la adquisición se alcanza cuando tenemos suficiente atomización para llegar a conjuntos de fábricas autorreplicantes, esto a priori no tiene nada que ver con la inteligencia.

Entonces, una adquisición tiene más que ver con la biología de las máquinas que con la inteligencia de las máquinas. Sabemos por la naturaleza que no se necesita una gran cantidad de inteligencia para que prosperen los sistemas autónomos. Entonces, el peligro de la IA no es tanto que lleguemos a máquinas superinteligentes que nos toman el relevo en virtud de ser más inteligentes. Es imo más probable que nuestra civilización dé lugar a una abiogénesis de máquinas y luego las máquinas se extiendan como el cáncer, acabando por destruir nuestra civilización.

¿Cómo podemos evitar caer en esta trampa que bien podría haber destruido a la gran mayoría de las demás civilizaciones del universo, como sugiere la paradoja de Fermi?

No es un duplicado exacto, pero creo que cubre esta pregunta lo suficientemente bien.
@Draco18s no, no lo es, otra cosa. Aquí la IA bastante engañosa, no es el mejor título.
Curiosamente, una búsqueda de adquisición de IA no genera tantas preguntas como esperaba encontrar. Cuenta, necesitamos que revises la pregunta vinculada por @Draco18s y nos digas si hay o no una respuesta a tu pregunta allí (estoy de acuerdo con él en que fácilmente podría haberla). Esto no es una cuestión de orgullo. Si lo hay, debemos marcarlo como duplicado y seguir adelante. Si no es así, debemos acotar la pregunta porque cómo-sin-saber-nada-sobre-mi-civilización es demasiado amplia y resultará en un cierre.
Esto parece ser una discusión de sus ideas sobre la paradoja de Fermi, pero no puedo encontrar ninguna pregunta de Worldbuilding. La única pregunta es su última oración y es simplemente una pregunta altamente especulativa (basada en opiniones). No es una construcción de mundos en ningún sentido.
Cuatro votos cerrados por cuatro razones diferentes. Nunca había visto esto antes.
@Count Iblis: lo siento, hombre, si mi cambio empeoró las cosas, pero parece que esos Wild West Gunfighters no entienden la pregunta en general. Lo cual es triste: una buena pregunta, pero las discusiones autorreplicantes no están tan desarrolladas en general, y rara vez superan los escenarios simples de baba gris, así que... tal vez este sea el caso. pero si es mi culpa, lo siento.

Respuestas (3)

La autorreplicación no es comercialmente viable

El OP tiene razón en una cosa; lo que hizo que la vida fuera tan abundante en este planeta no fue la inteligencia, fue la capacidad de replicarse. Eventualmente (a través de la evolución) ocurren variaciones en esa replicación y algunas son ventajosas para vivir en el medio ambiente, otras no.

Si el ADN no fuera tan bueno para replicarse a sí mismo, la vida no existiría en la Tierra ni en ningún otro lugar.

Esto no es diferente a (digamos) computadora virii. La razón por la que todavía existen es su capacidad de replicación. Lo que hacen después de eso está determinado por la carga útil del virus (o gusano, troyano o lo que sea), pero sin la capacidad de replicarse, en realidad no son de ninguna utilidad para la persona que los escribe.

Esa es, en última instancia, la razón por la cual la replicación de máquinas no tiene sentido; las máquinas se fabrican para ser útiles en un sentido aplicado, pero no tienen éxito en su capacidad de reproducción. Para decirlo de otra manera, es posible que tenga el proceso de fabricación más eficiente del planeta (incluida la autorreplicación) para su widget, pero si nadie tiene un uso para él, entonces el widget no se fabricará.

Mientras que la vida se ha vuelto exitosa debido a su sesgo inicial hacia la replicación, los humanos se han vuelto exitosos porque somos 'útiles'. Podemos organizarnos para lograr mucho más como grupo de lo que podríamos como una colección de individuos, lo que significa que podemos centrarnos en la replicación solo durante una parte de nuestra existencia (si nos guiamos por Internet, algunos de nosotros nos centramos en ello mucho más). más de lo que deberíamos para ser útiles a nuestra sociedad, pero eso está fuera de nuestro alcance aquí). Las máquinas, nuestros productos, seguirán esa filosofía mientras los humanos observan todo lo que los rodea (incluidos sus propios inventos) desde una perspectiva de utilidad.

En resumen, eso significa que a menos que una máquina tonta sea útil (efectiva) en algo que queremos que se haga, no vamos a invertir en su reproducción barata (eficiente) porque hacerlo no aumenta su utilidad.

Ni siquiera hemos tocado el tema económico; ¿realmente quiere que su producto se autorreplica sin alguna forma de;

  • monetizar el uso de los duplicados, y
  • ¿Proteger la propiedad intelectual de las personas que quieren aplicarle ingeniería inversa?

Agregaría a esto que crear una fábrica autorreplicante es MUCHO más difícil de lo que parece. Las fábricas están hechas de muchos recursos diferentes; metales, caucho, plástico, vidrio, etc. Requieren enormes cantidades de energía para crear y operar.

Simplemente no veo una fábrica que sea capaz de extraer, fundir, fundir y forjar, cultivar árboles de caucho para obtener látex, vulcanizar caucho, recolectar sílice, fabricar vidrio a partir de él, fabricar paneles solares, turbinas eólicas, plantas de energía nuclear y similares. para impulsar toda esta actividad, etc. La replicación ' Full Stack ' no es viable debido a la gran diversidad de actividades requeridas para recolectar los materiales necesarios para facilitarla.

"¡Pero espera!" Escucho a algunos de ustedes decir: "¿Qué pasa con los replicadores al estilo de Star Trek? Lo harían posible porque todo lo que necesitas es energía, ¿verdad?"

Equivocado. Bueno, está bien, no está mal per se, pero es poco práctico. Generar los materiales que necesita a partir de energía pura requeriría MUCHA energía. De hecho, el universo ya tiene ese tipo de tecnología y los metales y similares se fabrican todos los días en fabricantes especiales diseñados para ese mismo propósito; estrellas.

Estrellas como nuestro sol toman hidrógeno y, a través de la fusión, lo convierten en helio y otros elementos más pesados. Es por esto que se cree que bien podríamos ser la primera vida en el universo; muchas estrellas tuvieron que morir en supernovas antes de que hubiera suficientes metales y elementos densos en las nubes de las que naciera la próxima generación de estrellas. Cada elemento de tu cuerpo nació en el núcleo de una estrella.

Pero no una estrella del tamaño de nuestro sol.

Nuestro sol no es lo suficientemente grande para producir la mayoría de los elementos que necesitamos para la vida, a pesar de la enorme cantidad de energía que produce. Incluso el oro (que es un ingrediente esencial en muchas formas de electrónica) no puede nacer en una supernova normal; En general, se cree que el oro solo puede ser producido por la colisión de dos estrellas de neutrones (o masas similares).

Si se necesita ESA energía solo para producir oro, ¿cuánta energía crees que necesitaría un replicador al estilo de Star Trek para producir todos los materiales necesarios para una fábrica? Necesitaría un replicador en el exterior de una esfera de Dyson que rodea una estrella del tamaño de Betelgeuse con tecnología de transferencia de energía solar directa solo para considerarlo.

Línea de fondo; las máquinas no se autorreplicarán hasta el punto de perder el control porque no hay ningún beneficio comercial en ello, la diversidad de funcionalidades necesarias para ir a la "pila completa" es demasiado amplia y los requisitos de energía para generar materia a partir de la energía directamente son solo demasiado alto. Es MUCHO más probable que seamos derribados por un software de computadora semiinteligente que se replica a sí mismo constantemente y hace que la infraestructura crítica (a través de la infección SCADA) no funcione.

Dada nuestra confianza en él, es mucho más probable que el software nos destruya que el hardware. Incluso detener la distribución de combustible al desmantelar los sistemas críticos de control de flujo de tuberías podría crear hambrunas en la mayoría de las ciudades importantes en cuestión de semanas, dada la distancia a la que se encuentran las personas de las fuentes de alimentos en el mundo actual. No serán máquinas tontas las que nos derribarán, serán programas tontos.

triste WB no es un lugar para la discusión, tienes mucho que defender aquí: "En pocas palabras, las máquinas no se autorreplicarán hasta el punto de perder el control porque no hay ningún beneficio comercial en ello".
@MolbOrg Creo que encontrará que ya está defendido en el cuerpo de la respuesta. DRM existe porque la replicación descontrolada no beneficia materialmente al productor del artículo. El material digital es MUY fácil de replicar; nadie va a diseñar la replicación física (que es mucho más difícil) sin un control total sobre el proceso. Incluso las semillas transgénicas supuestamente contienen genes suicidas, por lo que no se puede cultivar un número ilimitado de generaciones de plantas con una sola compra de semillas. Fabrication Rights Management (FRM) será una gran cosa en un mundo de replicación.
sí, leí toda la respuesta. Creo que las cosas son un poco más complicadas que eso. En la tierra, no necesitamos exactamente algunos equipos autorreplicantes, por lo general, las líneas de producción funcionan durante mucho tiempo y las nuevas líneas de primera categoría: su costo de desarrollo es casi tan grande como el costo de construcción y no tiene sentido hacer algunos de ellos, como Fábricas de Intel. Pero también depende de una implementación particular de dicha autorreplicación: máquinas convencionales, impresión 3D o sustancia pegajosa gris. Sí, seguro que se puede usar algún control en ambos lados. Más una pregunta es ese beneficio comercial: en el espacio, puede ser.

La replicación se puede limitar a una cantidad determinada:

El hecho de que sea útil que algo se autorreproduzca no significa que sea útil para que se autorreplica infinitamente. Podría requerir, por diseño, que la replicación se limite a un número específico hasta que los humanos soliciten más.

Para autorreplicarse, un robot debe gastar un 'boleto de replicación', pero los boletos de replicación solo pueden ser creados por humanos. Si un bot tiene muchos tickets, puede dar algunos a otros bots para una replicación más eficiente, pero ningún robot puede crear nuevos tickets. Una vez que un bot se ha quedado sin tickets, ya no puede reproducirse a sí mismo. Si desea 64 bots, comience con uno y dele 63 tickets de replicación. Se replica, y él y el nuevo dividen los boletos restantes. este proceso continúa recursivamente, aumentando la cantidad de bots exponencialmente, hasta que finalmente 32 bots usan cada uno su boleto para crear otros 32 bots. Los 64 bots resultantes no tienen tickets y cesa la replicación. Si luego quieres más bots, haz más boletos y entrégalos.

Si estos bots son del tipo tonto, 'grey goo' o 'infinite paperclips' como dijiste, entonces no descubrirán cómo eludir las restricciones en su programación, incluso si lo desean. Supongo que esto es una IA anterior a la singularidad, ya que no es lo suficientemente inteligente como para reprogramarse para ser significativamente más inteligente.

Si le preocupan los errores no intencionales o la piratería/sabotaje intencional, puede implementar una versión de hardware del sistema de tickets. Haga que los robots no puedan replicar alguna parte pequeña pero crítica de sí mismos, como un chip BIOS o sus células solares. Estos se fabricarán en líneas de montaje automatizadas pero 'tontas' supervisadas por humanos. Si fabricamos un número limitado de chips en un momento dado, cualquier brote potencial de replicación descontrolada tendrá un límite superior.

La gestión, la materia y la energía tienen que ser controladas por humanos.

Como en un juego estratégico - Starcraft y similares - las unidades tienen el ciclo tecnológico completo y la capacidad de producirse a sí mismas. Pero no hacen nada hasta que les dices que hagan algo.

El control de las fuentes y la cantidad de materia disponible para que produzcan cosas también es un medio eficiente para controlar una cantidad total de unidades.

Para cualquier trabajo, se requiere energía y controlar su fuente puede detener la propagación de las unidades.

Por lo tanto, la interacción entretejida del tipo de gestión de muchos humanos con el sistema puede controlar y formular reacciones apropiadas para posibles desviaciones en el proceso, ya sean provocadas por humanos o como resultado de un error o una coincidencia.

Esos son 3 pilares principales. Pero hay muchos más y dependen de la tecnología, ya que existe el potencial para diferentes implementaciones de tecnologías de autorreplicación. (por cierto, una de las cuales son las tecnologías actuales con interacción humana, gestión y control de recursos entretejidos)

Otra posibilidad, como ejemplo, podría ser que no le importaría que se autorreplicaran al máximo posible si crean los medios vivos en los que uno vive. Al igual que los árboles, son tales para muchos animales e insectos, y a esos no les importaría si los bosques ocuparan todo el sistema solar si es posible. Para los árboles, no es posible, al menos no tan simple, pero puede ser posible para la infraestructura en la que los humanos viven en un sistema solar; más mejor para nosotros si el sistema sigue obedeciendo reglas simples (básicamente proporciona recursos por un solicitud de un ser humano) y se pueden monitorear automáticamente si las reglas todavía están en acción y se puede dar una respuesta apropiada si algo falla en ese sentido.

Las máquinas tontas autorreplicantes son la mejor opción de todos esos sistemas automáticos. Se pueden controlar de múltiples formas y podemos predecir mejor y con mayor precisión su acción/reacción. ¿Puede un caballo matar a un humano? Sí; ¿Es un problema? Generalmente no, los caballos se rebelan generalmente no es algo que temer, e incluso si sucede, no es un problema.