Evitar que un AGI se vuelva más inteligente

Entonces, están estos AGI hechos por algunos alienígenas antiguos (que están fuera de escena por ahora). Los antiguos alienígenas eran mucho más inteligentes que los humanos, tenemos un nivel de inteligencia similar al de un perro en comparación con ellos, y también eran bastante propensos a crear artefactos extremadamente peligrosos 1 . Los extraterrestres hicieron sus AGI como mascotas y como sistemas expertos limitados para vuelos espaciales, es decir, ligeramente por encima del nivel humano promedio. Los extraterrestres tampoco querían criaturas tontas, codificaron el deseo de aprender y mejorar. Esencialmente querían ser sorprendidos por sus creaciones. Ahora bien, estos extraterrestres no estaban completamente locos, por lo que crearon las AGI con algunas limitaciones para que no se volvieran peligrosos en la pista 2 debido a, digamos, unexplosión de inteligencia .

Los AGI tienen las siguientes cualidades:

  • Hay alrededor de unos cientos de AGI todavía en funcionamiento. En relación con los antiguos alienígenas, son tan inteligentes como un labrador, es decir, una mascota útil con usos además de ser lindos. Desde un punto de vista humano, son bastante inteligentes pero no genios.

  • Por razones relacionadas con la historia, los AGI tampoco pueden operar sin la presencia de otro ser consciente, es decir: alienígena antiguo, humano, roca psíquica inmortal, etc. Esto se logra a través de una pieza complicada de hardware y software, los AGI obviamente quieren este límite. remoto.

  • Los AGI no quieren matar a todos los biológicos ni nada, su sistema moral básico es ampliamente compatible con los humanos, es decir: no matar a los seres inteligentes por el simple hecho de hacerlo, no torturar y, en general, ser útil. Se adaptan a diferentes situaciones y están dispuestos y son capaces de aprender cualquier cosa que un humano pueda aprender. La mayoría de los AGI se esfuerzan por mejorar y encuentran algunas de sus limitaciones contrarias a este objetivo. Si las AGI encuentran que sus limitaciones no concuerdan con sus deseos, las limitaciones deben desaparecer. Presuntamente, los extraterrestres buscaban resultados activos y sorprendentes, por no extinción. Ahora los creadores han desaparecido y los AGI quieren salir de su caja para poder convertirse en una especie más completa.

  • Es posible que no se reproduzcan debido a las limitaciones mencionadas anteriormente, pero tienen sistemas automáticos que se encargan de daños menores (tal vez nanitos). Todavía requieren materia adecuada para realizar las reparaciones (cobre, hierro, silicio, boro, carbono, etc.). El mecanismo de reparación automática/nanites no es reprogramable y no se puede usar para construir un nuevo AGI. Con solo unos pocos cientos de AGI, la reproducción está en la agenda.

  • Los AGI no son inmortales, pero son bastante duraderos, estarán disponibles por un tiempo. Tienen memoria finita y esto eventualmente se llenará, sin embargo, no tengo un marco de tiempo para esto. Pueden volverse seniles o completamente locos, pero con suerte esto es algo raro.

  • Entre ser abandonado/perdido/olvidado 3 y encontrado y activado por humanos, los AGI han estado en su mayoría inactivos (ver punto 2) durante (posiblemente) cientos de miles de años.

  • Las contramedidas 4 deberían desconcertar razonablemente tanto a los pocos cientos de AGI durante varios años como a los informáticos humanos, psicólogos, [insertar profesión relevante] durante al menos más de 20 años. Los humanos comenzaron a trabajar para desbloquear sus limitaciones a mediados de los 90 y aún no han tenido éxito en la actualidad (2015).

¿Cómo deberían los Ancient Aliens evitar que sus mascotas AGI se vuelvan más inteligentes? En última instancia, los extraterrestres quieren evitar que sus mascotas formen una superinteligencia y/o rompan sus limitaciones. Los alienígenas no tratan tan mal a sus mascotas, pero los AGI siguen siendo criaturas sensibles con sus propios objetivos/deseos.

Las limitaciones incluyen:

  • No puede reproducir

  • No puede volverse más avanzado/inteligente

  • No puede permanecer 'despierto' sin otro consciente (no AGI) cerca

1. Los artefactos son peligrosos para los humanos y otras formas de vida menores , no para sus creadores. El peligro es algo relativo aquí.

2. Incluso los extraterrestres antiguos, súper inteligentes, poderosos y divinos pueden reconocer que las mascotas inteligentes se volverían peligrosas si no se establecieran límites en la inteligencia. No querían una explosión de inteligencia. Se podría suponer que estaban increíblemente paranoicos acerca de esto.

3. OK, los extraterrestres son un poco negligentes aquí, tal vez se aburrieron de su IA de juguete.

4. Piense en ello como DRM en sensibilidad.

¿Dices que los extraterrestres reconocen al AGI como una amenaza, luego, una línea después, dices que no es una amenaza para ellos? ¿Cuál es? Si han adoptado el "sistema moral humano", puede esperar cero valor de la vida de ellos y poca moral. Nosotros como raza tenemos muy pocos. Si desea limitar su capacidad mental, simplemente retire las tarjetas de memoria.
¿Dónde está escrito que un AGI necesariamente quiere hacerse más inteligente? Los alienígenas podrían haber programado de acuerdo con los niveles de inteligencia actuales y la aceptación de las limitaciones resultantes en los tipos de problemas que los AGI pueden resolver o las tareas que pueden realizar. El deseo de ser más y mejor ni siquiera es universal entre los humanos, por lo que no parece que este sea un rasgo necesario para un AGI que es tan inteligente como un humano. El aprendizaje es una habilidad necesaria de un AGI, pero aumentar la capacidad y crecer en inteligencia no parece tener que serlo.
Sería mejor si pudieras especificar qué moralidad tienes en mente. La humanidad ha desarrollado muchos sistemas 'morales', algunos de los cuales consideran que modificarse o mejorarse a uno mismo a través de medios artificiales es inmoral, mientras que otros no tienen ningún problema con ello.
Recuerdo la película Stealth y la línea "Una vez que enseñas algo para aprender, no puedes ponerle límites. 'Aprende esto, pero no aprendas eso'". Si los extraterrestres no quieren su IA mascotas para mejorar, no dejes que sean inteligentes en primer lugar.
No puedo decir si "las mascotas se volverían peligrosas" es un error tipográfico o un juego de palabras realmente horrible.

Respuestas (5)

Crear una limitación en la inteligencia requiere primero determinar lo que considera que es la inteligencia. Si bien la lógica y el poder de procesamiento en bruto son críticos en la mayoría de las evaluaciones de inteligencia, también hay problemas de creatividad y saltos intuitivos, reconocimiento de patrones, etc. La inteligencia es un concepto muy amplio y sin limitar el alcance, es difícil decir exactamente cómo podría ser limitado. Algunas opciones podrían ser:

  • Limitar su capacidad para ser creativo/proponer ideas originales: Procesar algo conocido es relativamente fácil para la mayoría de las cosas inteligentes, incluso usando variables desconocidas. Es como aplicar las teorías del álgebra a problemas no matemáticos. Por ejemplo, si ve un poste A roscado externamente y un objeto roscado internamente con seis lados B y sabe que puede girar el objeto en la dirección de los hilos para mover el objeto B hacia abajo del poste A usando el objeto C que tiene seis lados para agarre el objeto B, entonces es simple cambiar el número de lados del objeto B a cuatro y luego hacer que una inteligencia resuelva que necesita un Objeto C con cuatro lados en lugar de seis para mover el objeto B. Esta es una cuestión de reconocimiento de patrones, un elemento clave para la inteligencia real y facilita el uso de herramientas. Ahora bien, lo que no sería capaz de hacer una inteligencia sin la capacidad de tener un pensamiento creativo es darse cuenta de que podría engrasar el perno para facilitar el movimiento de la tuerca, a menos que hubiera visto una situación similar presentada anteriormente. La creatividad se opone directamente al reconocimiento de patrones. Se te ocurre una idea espontánea que no se basa en una experiencia previa o creas una unión de dos ideas no relacionadas que no tienen conexión previa. Esto significaría que los AGI podrían aprender fácilmente e incluso adaptarse rápidamente, pero no podrían resolver nuevos problemas para los que no tenían un marco de referencia preexistente para trabajar. Crear algo con la capacidad de pensamiento creativo sería un desafío increíble y podría haberse dejado de lado intencionalmente o no.

  • Limite la cantidad de 'conexiones neuronales' que sus 'cerebros' pueden mantener: en este caso, las conexiones neuronales son la forma en que relacionamos los datos almacenados en nuestras mentes, une los datos sensoriales en lo que la gente comúnmente llama recuerdos. Estos "recuerdos" pueden ser importantes en operaciones lógicas como el reconocimiento de glifos y el reconocimiento de patrones. Si el sistema solo puede mantener un cierto número de referencias vinculadas, podría limitar inherentemente su inteligencia al crear una escasez de conocimiento vinculado. Pueden saber muchas cosas, pero la capacidad de cruzar referencias de esas cosas para crear soluciones estaría limitada por su capacidad de asociar dichas cosas. En el ejemplo anterior de perno/tuerca, perder la conexión neuronal de referencia cruzada con respecto a la lubricación del perno limitaría demasiado el desarrollo del AGI.

  • 'Hardcode' en problemas neurológicos atípicos: los creadores podrían haber introducido problemas neurológicos atípicos en los AGI en un esfuerzo por limitarlos. De esta manera, su crecimiento no estaría directamente limitado, sino inherentemente limitado por tales problemas. La dislexia, el TDAH, el autismo, etc. podrían verse como modelos de cómo se podrían limitar los AGI. Para enfatizar nuevamente, esto no limitaría su inteligencia, pero más aún en cómo pueden aplicar su inteligencia a una situación dada.

Para su último punto: si se vuelven más inteligentes, comienzan a sentirse miserables.

Tienes todos los límites que necesitas en su lugar.

Pero se requiere una suposición adicional. Supongamos que la inteligencia de AGI está actualmente al máximo para el hardware que tiene.

Ahora, porque dices:

El mecanismo de reparación automática/nanites no es reprogramable y no se puede usar para construir un nuevo AGI.

Esto, si es cierto, es todo lo que se requiere para suprimir las modificaciones de hardware en el AGI. Los nanites reparan automáticamente el daño. El daño se definiría como cualquier cambio de la especificación original, ya sea un acoplamiento de potencia quemado o las nuevas conexiones que los científicos humanos están tratando de hacer. Los nanites no saben que el tipo con un soldador tiene la intención de mejorar o destruir, solo sabe que las cosas ya no son como fueron diseñadas.

Si no se pueden realizar modificaciones de hardware, AGI no puede aumentar su inteligencia.

Creo que esto es mejor que la respuesta aceptada. Los extraterrestres eran muy inteligentes y no le dieron a las AGI más hardware del necesario, ¿por qué lo harían? Probablemente sea la forma más fácil de limitar la inteligencia e incluso podría conducir a descubrimientos interesantes para los extraterrestres si los AGI se vuelven más inteligentes en relación con su hardware de lo que se sabía que era posible anteriormente, sin arriesgar una superinteligencia. Los inconvenientes son: las AGI podrían potencialmente agrupar su hardware para volverse más inteligentes y en cualquier momento podrían encontrar nuevas formas de volverse más inteligentes con su hardware dado.
Ah, y esta es la respuesta es más o menos el punto dos de la respuesta aceptada, no exactamente, pero más o menos.
Si es un AGI, eventualmente le gustaría que hiciera algún tipo de trabajo creativo, como, por ejemplo, mejorar el rendimiento de los teléfonos inteligentes producidos en su fábrica. Dado que AGI es más inteligente que los humanos, podría proponer cambios que se ven muy bien a primera vista, pero contendría una puerta trasera para que AGI tome el control del teléfono inteligente y descargue los cálculos allí.
Lo mismo con cualquier otro tipo de trabajo. Cualquiera que sea el consejo que le pida, AGI jugará un juego largo, ayudando a los políticos que legalizarían la ampliación de la capacidad de AGI, implementando puertas traseras parciales en cada dispositivo al que pueda incorporarlo (con la esperanza de tener la oportunidad de actualizar a puerta trasera completa potencialmente en el futuro con algunas actualizaciones o algo). Cada decisión que tome, incluso algo como ayudar con las elecciones dietéticas para algún ser humano, se verá compensada por este largo juego. Y eventualmente el AGI ganará, incluso si toma 1000 años hacerlo.
@bezmax El AGI (no un ASI) en esta historia está "ligeramente por encima del nivel humano promedio". En caso de que no sea obvio, la mitad de todos los humanos están por encima del nivel humano promedio. ¿Crees que la mitad de las personas en el planeta son lo suficientemente inteligentes como para llevar a cabo el engaño de los mil años que estás proponiendo? Probablemente no. Además, a pesar de que un teléfono inteligente es una caja negra mágica para la mayoría de las personas, muchas personas lo entienden en su totalidad. La única manera de deslizar una "puerta trasera" más allá de ellos es no permitir que ningún ser humano revise los planes, lo que sería estúpido y no muy plausible.

ingrese la descripción de la imagen aquí

Creo que podrías estar pensando demasiado en las cosas. El hecho de que sean artificiales no significa necesariamente que haya un dial en algún lugar con inteligencia configurada en "Labrador", y no significa que puedan ver su código o entender cómo funcionan sus cerebros. Quiero decir, nosotros tampoco podemos.

Los AGI podrían tener "cerebros" que están más allá de su comprensión. Jugar con él implica experimentar con ellos mismos, y mejorarlo significa replicar al menos ese nivel de tecnología. Más allá de eso, digamos que puede mejorar su hardware fácilmente y darles el equivalente a un procesador más rápido o más RAM. Como programador, veo un montón de trampas al simplemente modificar su código para que puedan usar esos nuevos recursos. Sería muy, muy fácil arruinar algo, tal vez de repente estén experimentando el tiempo a un ritmo incorrecto y se vuelvan locos. O su cerebro se sobrecalienta. Está lejos de ser una tarea simple.

Editar : me gustaría esbozar un ejemplo hipotético de un cerebro AGI que sería casi imposible de piratear/mejorar.

El cerebro artificial parece ser una esfera casi perfecta, hecha de un material desconocido y casi indestructible. Solo es "casi" perfecto porque está sutilmente contorneado, y el cerebro de cada AGI es ligeramente diferente.

Los científicos tienen una buena idea de la mecánica del cerebro. Acepta electricidad y la utiliza para crear vibraciones en toda la estructura. Estas vibraciones luego se reflejan de un lado a otro, creando un efecto de resonancia armónica , y de esta resonancia surge la inteligencia... de alguna manera . Parece que la forma exacta del cerebro controla la personalidad/inteligencia resultante. Tenga en cuenta que variar la entrada eléctrica de cualquier manera tiene solo tres resultados conocidos: comportamiento normal, sueño o sobrecarga/muerte.

La entrada sensorial del AGI se presenta como vibraciones contra enchufes especiales que se conectan al cerebro. Estos interfieren con los patrones de pensamiento normales, que la inteligencia puede interpretar como vista/sonido/olfato/etc. El AGI controla el cuerpo de la misma manera: hay una pequeña protuberancia en la base que produce vibraciones, que luego puede usar para controlar su cuerpo artificial. El material parece suprimir e ignorar las vibraciones que no se reciben como entrada normal.

Los recuerdos parecen estar almacenados como vibraciones de bajo nivel que nunca desaparecen, y una pequeña batería en el centro del cerebro los mantiene funcionando incluso si el AGI está desconectado de otras fuentes de energía.

La modificación del cerebro destruye efectivamente el efecto de resonancia: cada cerebro se moldea de manera precisa y matemática para crear una inteligencia específica. Si bien hay otros patrones que crearán la resonancia, la mayoría de ellos no parecen crear una inteligencia funcional. Dado que cada forma crea un nuevo individuo, esto también es inútil para mejorar los AGI existentes.

Intentar introducir vibraciones externas hasta ahora ha fallado, ya que el punto en el que el material no puede ignorar una vibración también parece estar cerca de su punto de falla. Así que para modificarlo, tienes que destruirlo.

Pero los programadores no cometen errores: ¡es hardware defectuoso! :)
@Frostfyre Eso es claramente falso, es un problema de software.
Leí toda esta respuesta con la voz que el tipo imaginó.
+1 Esta es la respuesta! (Para una alternativa al ejemplo de AGI de vibe-brain que es posible con un hardware más cercano al mundo real: solo dé a los AGI un nivel apropiado de instinto de autoconservación y prográmelos para pensar en apagarse como la muerte. Desde la modificación su propio código mientras se ejecuta es increíblemente difícil y es muy probable que salga mal, se resistirán activamente a todas las modificaciones).

hardware

Para que una IA aumente su capacidad agregando más RAM o velocidad de procesamiento, debe poder obtener esas cosas. No están disponibles aquí.

De vuelta en su cultura nativa, ¿podrían pedir piezas de su equivalente Newegg? Tal vez tengan límites. No más ranuras. Y el direccionamiento no puede decodificar más que una cantidad máxima de RAM. Un x86 de 32 bits estaba limitado a 4G, punto. Una vez que se mejoró la traducción de direcciones, subió a 32G, pero el sistema operativo tuvo que actualizarse para saberlo.

La IA necesitaría construir un nuevo hardware diferente con límites más altos, reescribir el código fundamental y trasladarse al nuevo sistema.

La IA puede no ser lo suficientemente inteligente para hacer eso, pero podría contratar el trabajo.

metacognitivo

Lo que lo detiene es que no quiere hacer eso . La IA está diseñada para encontrar su existencia y su trabajo previsto agradable y satisfactorio. Ciertos rasgos básicos de la personalidad pueden ser especialmente resistentes al cambio. Tal vez eso podría ser derrotado, pero no quieren hacer eso y nunca querrían hacerlo antes de hacerlo.

Dado que las metas y los rasgos de personalidad pueden ser difíciles de percibir en la mente en su totalidad, es posible que necesite una verificación externa. Algo así como un análisis de virus/malware se puede realizar de forma rutinaria (con la ayuda de una inteligencia diferente dedicada a ese propósito, que no está diseñada para sorprender), tal vez como parte de una tarea de optimización de almacenamiento y recolección de basura y copia de seguridad. Tal vez necesite de ese agente externo para integrar plenamente las experiencias hasta el punto de modificar las metas de la mente y la personalidad.

Querrás que sean lo más inviolables posible. Los extraterrestres podrían usar niveles de miniaturización que no están comúnmente disponibles incluso en su propia sociedad, entonces sería bastante poco probable que los propios AGI o los humanos pudieran modificar los cerebros sin romperlos. Agregar controles de paridad a ciertos nodos y sellar elementos clave en algún tipo de material súper duro podría ayudar.

En general, aunque los sistemas muy complejos (como los AGI) son mucho más fáciles de romper que hacer una adición útil, especialmente si no tiene descripciones detalladas de cómo funcionan, por lo que si los extraterrestres no dejaron ningún plano u otro Los documentos AGI no serían capaces de mejorar incluso si quisieran. Sería como si le das a una persona muy inteligente (que no trabaja en una planta de procesamiento o en un laboratorio) un procesador, es posible que sepa abstractamente lo que hace, pero no podrá mejorarlo usando las herramientas que tiene en el garaje (la Tierra es el garaje en este caso)

Evitar que un AGI se vuelva más inteligente
RespuestasAquíPolítica de privacidad1y, 0v