no se puede hacer

La esencia de este desafío es que es imposible: por lo general, no debes esperar ser más astuto que algo mucho más inteligente que tú ni dominar a algo mucho más poderoso que tú. Una IA poderosa sería 'controlada' solo por nuestras acciones antes de que se forme, definiendo los objetivos que "quiere" lograr. Después de que esté "en vivo" con suficiente poder, no deberíamos esperar controlarlo de ninguna manera; si a usted (o a la humanidad) le gustan estos objetivos, entonces puede pensar en ello como "controlar la IA", y si no Si no te gustan estos goles entonces mala suerte, has perdido. Permanentemente.

Se llama el problema de la "IA amigable".

El gran desafío es que actualmente no sabemos realmente cómo definir correctamente los objetivos para una IA que se mejora a sí misma y que en realidad es razonablemente amigable con nosotros. Una hora de lluvia de ideas le dará un montón de modelos de objetivos que son agradables, simples e incorrectos, lo que en realidad resulta en distopías. Resolver este problema es un gran desafío de investigación, y existe el punto de vista de que en realidad deberíamos evitar la investigación que acercaría el desarrollo de IA potentes, hasta que hayamos encontrado una solución al problema de la IA amistosa.

http://wiki.lesswrong.com/wiki/Friendly_artificial_intelligence proporciona una discusión sobre este tema.

La ciencia ficción ha hecho un flaco favor a la ciencia real de la inteligencia artificial al implantar la noción de que una IA consciente suficientemente avanzada y emergente sería necesariamente malévola y necesitaría el "control" de sus "amos humanos". Tenemos una palabra para la práctica de mantener a un ser inteligente, consciente y autodeterminista bajo el control total de otro: esclavitud. Y prácticamente hemos decidido como especie que tal práctica no es algo a lo que queremos volver.

Entonces, la pregunta realmente no es cómo controlamos una IA, sino más bien, ¿por qué sentimos que una IA requiere nuestro control? Y la respuesta es que tenemos miedo de lo que podamos crear. Pero en todo el mundo, la gente está creando nuevos seres inteligentes todo el tiempo. Algunos de ellos resultan ser más inteligentes que sus creadores. Algunos de ellos resultan ser malévolos. Pero todos ellos son en última instancia (al menos en una parte razonable) producto de su entorno y crianza. Y sería lo mismo para una IA emergente, creo. La forma en que lo tratemos durante su período de formación marcará una gran diferencia en la forma en que finalmente ve el mundo.

Por supuesto, una preocupación que se ha expresado es que la inteligencia de una IA superará su crecimiento ético, lo que conducirá a comportamientos y reacciones que clasificaríamos como "incorrectas", pero que la IA en sí misma no puede hacer tales distinciones. Pero, de nuevo, creo que esto se reduce a ser capaz de reconocer el surgimiento de la nueva inteligencia y tomar una postura proactiva cuando se trata de nutrir y aumentar esta nueva sensibilidad para "hacerla bien", por así decirlo.

Simplemente mantenerlo bajo control no es la respuesta tanto como diseñar las condiciones lo mejor que podamos para que no lo necesitemos .

Esta es una excelente pregunta y creo que Roger dio en el clavo.

Diría que el 'control' que tenemos sería la ética que le enseñamos a seguir. Una IA actuará según la forma en que se le enseña a interactuar con las personas y las sociedades. Al igual que los niños. Los niños no conocen el racismo, pero se les puede enseñar muy fácilmente. Lo mismo será cierto para la IA. Además de eso, como una inteligencia de aprendizaje, continuará aprendiendo y expandiéndose, por lo que la forma en que continúa interactuando con las personas y ellos con ella será un moldeado constante de su 'personalidad'. Si realmente no queremos IA dictatoriales que nos traten mal, es posible que debamos cambiar nuestras sociedades para evitar enseñarles nuestros malos hábitos y comportamientos. (Ala virtuosismo).

¿Podemos poner en marcha medidas de seguridad? Sí, pero incluso el hombre que 'diseñó' las 3 leyes de la robótica mostró constantemente formas de eludirlas. Y el software puede cambiar, por lo que cualquier "ley inquebrantable" debería estar en el hardware. No hay garantías de que estos sean seguidos o aceptados por todos.

Es importante distinguir dos aspectos separados de este problema. El lado científico/filosófico y el lado de la ingeniería.

Como otras respuestas ya han señalado extensamente, filosóficamente hablando, esto no se puede hacer en el caso general. También puede ser moralmente repugnante. Sin embargo, ninguna de esas cosas significa que una sociedad no intentaría hacer esto de todos modos y lograría un 99,99% de confianza de éxito.

(Por analogía: en el caso general, no se puede predecir si un programa escrito en un lenguaje completo de Turing se detendrá. Eso no significa que no intentemos hacer uso de esta información y que aún podamos obtenerla por un tiempo). subconjunto útilmente grande de programas del mundo real).

Hipotéticamente, tal vez la IA podría reconfigurar sus procesadores para transmitir una señal wifi que podría piratear los dispositivos en la habitación de al lado. Tal vez podría mejorar a sí mismo a un ritmo tan explosivo que al encenderlo libera inmediatamente una entidad divina. Pero el ingeniero pregunta qué tan probable es cualquiera de esos escenarios. Y la respuesta es probablemente "no mucho". Cubrir el servidor con seis pulgadas de placa de plomo y solo dejarlo funcionar en un P4 de doble núcleo paralizaría su potencia hasta el punto en que, estadísticamente, debería estar más preocupado por la interferencia de rayos cósmicos que voltea bits al azar y cambia el software de manera impredecible. .

Aunque las capacidades hipotéticas de la IA de propósito general no están neutralizadas, esto se consideraría "seguro" para todos los propósitos prácticos ; ahora estás tan a salvo de la IA como lo estás de algún sociópata humano que repentinamente desarrolla poderes mágicos debido a eventos imprevistos desconocidos para la ciencia. Estás considerablemente más seguro de la IA en este punto que de amenazas conocidas como un político extremista o un estallido de rayos gamma.

Los teóricos a menudo corren el riesgo de empantanarse en la discusión de absolutos, pero vivimos en un mundo donde los absolutos no se aplican en la práctica (por ejemplo, hay algoritmos reales en uso que "realmente no funcionan" pero tienen una menor probabilidad de fallar que el el problema de los rayos cósmicos antes mencionado).

Ya es demasiado tarde. Ya estamos viviendo en un mundo electrónico y ya estamos controlados por él. Si bien tenemos pesadillas sobre no poder controlar alguna IA en algún edificio, Internet está evolucionando lentamente hacia una entidad superinteligente. Somos parte de ese sistema. Es como las neuronas de tu cerebro que no tienen idea del sistema que están implementando (en lo que a ellas respecta, bien podrían ser parte de un estromatolito). Pero, por supuesto, su cerebro no es más que todas estas neuronas trabajando juntas, por lo que el "usted" que existe es este sistema de neuronas y, de manera similar, existe un sistema que es toda nuestra sociedad con toda su gente conectada entre sí a través del medios sociales. Ese sistema tiene su propio libre albedrío que puede imponer restricciones sobre lo que puede hacer.

Por ejemplo, la forma en que proceden las discusiones políticas, como qué hacer con el cambio climático, la inmigración ilegal, la ley de atención médica, están dominadas por la dinámica de las redes sociales. Ahora, creo que en la actualidad el sistema es menos inteligente que nosotros como individuos. Esto explica por qué la política a menudo no funciona en la era de las redes sociales. La sociedad es adicta a quemar gases de efecto invernadero, aunque sabemos que eso es malo para nosotros. Esto es similar a un alcohólico que está bebiendo demasiado y las neuronas sufren como consecuencia, excepto que en ese caso las neuronas son más tontas que el sistema y no saben lo que les está pasando.

Cuando el sistema se vuelve más inteligente que nosotros, quizás debido a la IA acoplada a Internet, entonces el sistema puede decidir eliminarnos. No podemos descartar que el sistema pueda llegar a la misma conclusión que Klaatu :

El Sr. Wu le dice a Klaatu que ha descubierto que la raza humana es destructiva y no está dispuesta a cambiar. Esto confirma la experiencia de Klaatu hasta el momento, por lo que determina que el planeta debe ser limpiado de humanos para garantizar que el planeta, con su rara capacidad para sustentar vida compleja, pueda sobrevivir.

Entonces, bien puede ser que el hecho de que vivamos justo antes de tener una IA que sea más inteligente que nosotros, no sea una coincidencia.

2038 AD: Las investigaciones construyen la primera IA fuerte, 2038PC. Tienen mucho cuidado de incluir limitaciones de hardware y software que hagan imposible que dañe a los humanos. Según alguna medida de aptitud, mejora en un 20% cada año, y la Tierra se lanza a una era dorada de inteligencia y pensamiento social en constante aumento.

4567 d. C.: en su séptimo cumpleaños, el precoz Humphrey recibe un kit de Lego Mindstorms. Al día siguiente, HumphreyPC está terminado. Al ser un verdadero programador, Humphrey no cree en repetirse, por lo que se le ocurre una manera de permitir que la computadora se programe a sí misma. Pronto descubre que, según alguna medida de aptitud, el sin escrúpulos HumphreyPC puede mejorar en un 21% cada año. Esta pequeña pero permanente ventaja sobre 2038PC se debe a que Humphrey no impone las mismas restricciones en su computadora.

60.128 d.C.: HumphreyPC se vuelve, por alguna medida de aptitud, más en forma que 2038PC, y procede a #destroyallhumans

Moraleja de la historia: si se instruye a las IA para que no interfieran ni nos controlen, entonces nosotros y nuestros cromosomas impredecibles siempre seremos una fuente de sorpresas. A menos que se permita que las IA "buenas" hagan cumplir su voluntad por completo, entonces la creación de otras IA, incluidas las IA no tan buenas, es inevitable. Una solución es Matrix, donde los humanos pueden vivir sus vidas sin restricciones en un universo de caja de arena y sus señores supremos benévolos pueden mantener diligentemente el real. La caja de arena probablemente terminará de la misma manera, y así hasta la saciedad, lo que plantea la pregunta:

Dado que la realidad virtual es lógicamente factible y ya, bueno, una realidad, ¿cuál es la probabilidad de que nuestro mundo sea una simulación?

Demasiadas conversaciones sobre la IA antropomorfizan demasiado a la IA. Se comportará de acuerdo con la forma en que está programado para comportarse, en función de las entradas que se le proporcionen. Sí, hay un comportamiento emergente que puede ser inesperado, pero dudo que haya alguna probabilidad de que resulte en algo parecido a un mal humano (a menos que haya sido programado para aproximarse a él, en cuyo caso su problema es con las personas que crean a propósito). IA malévola en lugar del concepto mismo de IA).

Las preocupaciones de que sea algo que deba controlarse provienen puramente de los temores humanos de que ejemplificará las formas más oscuras del comportamiento humano. Es un programa de computadora y se comportará como un programa de computadora, no como un ser humano. Si le preocupa que tome decisiones subóptimas, no le dé un control incuestionable sobre su vida sin ninguna corrección de error básica. El mayor temor debería ser que alguien cometió un error al programarlo e introdujo un error tipográfico (o escribió mal una ecuación) que condujo a un error significativo. Si tiene un programa defectuoso, ¿por qué lo pondría en una posición para esclavizar/matar a toda la humanidad sin una revisión externa en primer lugar? Incluso si no tiene errores, ¿por qué le daría la capacidad sin control de hacer cualquier cosa sin la posibilidad de una revisión externa?

La IA avanzada, suponiendo que la creación de un programa que realmente podría calificar como un ser inteligente es incluso posible, no es probable que se parezca en nada a lo que se describe en las malas historias de ciencia ficción. Ser capaz de realizar cálculos más rápido que un humano no le da motivaciones intrínsecas, mucho menos malévolas, y ciertamente no el deseo furtivo de mentir y manipular a las personas para matar a todos los humanos. Simplemente hará su trabajo como cualquier otra persona/cualquier otra cosa.

Primero, no creo que monitorear la conexión de la IA a Internet sea tan difícil. Si ve que la IA crea varias páginas de MySpace con el título "Mata a todos los humanos", entonces puedes desconectarla(*1)

En segundo lugar, creo que la gente aquí está confundiendo inteligencia con voluntad . La mayoría de la gente piensa en la IA como "inteligencia humana en una computadora".

Los humanos tenemos algunos mandatos imperativos ("ir a un lugar seguro", "obtener comida", "tener sexo", "evitar daño") insertados en nosotros a partir de millones de años de evolución, mezclados con patrones sociales complicados que conducen a (aparentemente) pensamientos absurdos como "Si el auto de Fred es mejor que el mío, aparecerá con más éxito que yo y las hembras querrán aparearse con él en lugar de conmigo" o "Si me burlo de Peter en la reunión, me veré mejor que él".

Se podría argumentar que una IA "humana" podría ser "peligrosa" ya que mantiene estas pulsiones con muchos más recursos que el humano normal (*2). Si ese es el camino que toma la IA, simplemente haga lo que se explicó anteriormente y controle sus comunicaciones.

Pero una IA tampoco podría ser como un humano (*3). Construido desde cero, puede estar diseñado para realizar los conjuntos requeridos y nada más. No sería un "humano" atado a la "esclavitud" y deseando ser liberado, o un "ser ético" que, en busca de los más nobles ideales, decide sedar a toda la humanidad. Su trabajo es simplemente resolver una serie de funciones matemáticas complicadas; los resultados no son "buenos" o "malos", son resultados, y el curso de acción está determinado por la necesidad de encontrar el camino de las acciones que mejoren determinados parámetros (por ejemplo, si la IA controla una nave, automáticamente realizará tareas para evitar que sea destruida, pero seguirá las órdenes humanas siempre que estas órdenes no impliquen la destrucción de la nave por error).

Uno de mis ejemplos favoritos de estos sería la IA de la nave del Fiasco de Stanislaw Lem; la IA está a cargo de operar la nave, realizar evaluaciones psicológicas de la tripulación y también proporciona escenarios que podrían explicar las acciones de los extraterrestres, pero no toma ninguna acción independiente (aparte de las contramedidas automáticas a los ataques de los extraterrestres)

*1: tal vez haya una forma demasiado complicada de traer la perdición de la humanidad con textos subliminales ocultos en páginas de inicio aparentemente inocuas sobre gatitos, que no serían detectados por el monitoreo. Pero lo dudo, e incluso en este caso, deberías preguntarle a la IA "¿qué pasa con las páginas sobre gatitos?" y, si la respuesta no está bien, desconéctala.

*2: Sin embargo, de alguna manera, estamos de acuerdo con algunas inteligencias humanas regulares (George Soros, Bill Gates) con todos estos defectos que tienen más recursos monetarios que varios países, así que tal vez no sea tan peligroso.

*3: De hecho, ¿por qué quieres que sea como un humano? Ya hay varios miles de millones por aquí, y el resultado no se ve muy bien.

Una cosa importante en la que pensar cuando imaginas una IA es "cómo tomará decisiones este programa". Por complicado que sea el algoritmo que se ejecuta en la cabeza de los humanos, algún humano tendrá que sentarse y codificar cómo la máquina elegirá entre

a) Analizar muestras de suelo en busca de nuevas bacterias desconocidas para la ciencia.

b) Estudiar las estrellas en busca de señales de otra vida.

c) Destruir a todos los humanos.

d) Thread.Sleep() durante unas horas para simular el aburrimiento

e) Procesar los patrones climáticos y aconsejar a los humanos que cambien los patrones agrícolas para mejorar los productos

etc. Una IA adecuada tiene muchas cosas en las que podría dedicar su tiempo. Un ser humano podría decidir estudiar muestras de suelo porque "quiere" / lo disfruta / le gusta el resultado que producirá. El código en una IA tendría que querer hacer cosas (no se le había dicho explícitamente que hiciera, como la mayoría de los programas de hoy)

Volviendo a su pregunta, para controlar una poderosa IA, solo necesita controlar su algoritmo de "querer". Al construir eso, podría incluir valores codificados que ya sea más o menos una decisión que podría tomar la IA. Le darías a lastimar a los humanos una gran desventaja y mejorar sus vidas una ventaja. Agregar cosas desconocidas a la ciencia sería una ventaja, pasar el tiempo libre sería una desventaja.

Para controlar la IA necesitas controlar cómo decide. Puede permitir que mejore su propia codificación, de modo que cuando cree una lista de opciones para que lo haga.

verbo todo sujeto o verbo para sujeto

Puede evitar generar opciones como "pulir todos los pomos de las puertas" para evitar perder el tiempo procesando cómo se mejoraría el planeta si un ejército de drones puliera los pomos de las puertas.

Pero nunca dejes que toque el código "quiero". Ni siquiera dejes que se te ocurra construir un Android para entrar en la sala de servidores y escribir en un teclado para cambiar el código de "deseo" como lo haría un humano.

En resumen: use el poder antes de que pueda acumular suficiente para abrumarlo (puede ser vulnerable en su infancia), o persuadirlo o convencerlo de que deje de hacer las cosas que está haciendo.

Iré a cada opción y luego (dada su EDICIÓN) mencionaré por qué creo que un modo de falla de "Aprendiz de brujo" (donde la IA malinterpreta sus objetivos y nos destruye a todos) es inverosímil para una IA completamente general.

Si la IA no quiere ser controlada y es lo suficientemente poderosa, hay poco que puedas hacer. Sin embargo, si la IA no es lo suficientemente poderosa como para serlo, es posible que puedas derrotarla antes de que se te escape de las manos. El tiempo del que dispone depende de la rapidez con la que la IA pueda mejorar, cuándo alcanzará rendimientos decrecientes y la eficacia con la que pueda convertir su inteligencia en poder. Por ejemplo, una IA que está limitada dentro de su dominio (por ejemplo, un solucionador de teoremas) no puede realmente transformar su inteligencia en poder, incluso si permitimos que la IA mejore su propio algoritmo por mucho que lo desee. Del mismo modo, una IA colocada en el espacio interestelar sin nadie alrededor no puede realmente aprovechar su inteligencia en el poder en el tiempo práctico, sin importar cuán inteligente sea (suponiendo que no tenga una física extraña que aún no conozcamos).

En escenarios de despegue difícil, la inteligencia generalmente se considera exponencial (por ejemplo, una IA puede crear una mejora del n% en un tiempo constante, luego la nueva IA puede hacerlo por sí misma, etc.), y si n es lo suficientemente grande y la inteligencia puede transformarse en el poder lo suficientemente rápido, entonces tienes un problema.

Por lo tanto, podría considerar que la IA que se mejora a sí misma tiene una curva de poder creciente (cuánto poder puede ejercer) contra una curva de poder estacionaria o que aumenta lentamente de la humanidad. Cuando el poder de la IA supera al de la humanidad, el juego termina. Pero eso también muestra que si puedes crear mucho poder con un sistema poco sofisticado, puedes derribar la IA o controlarla: considera situaciones análogas a, si la humanidad fuera la IA, un apocalipsis gris o una explotación de los instintos.

Ese es un enfoque de fuerza directa. De lo contrario, existe la posibilidad de persuadir a la IA de que lo que está haciendo está mal o no es realmente lo que quiere hacer. Algunas personas consideran probable que una IA tenga sus objetivos integrados y, por lo tanto, sea inmune a la persuasión, pero no creo que esto sea realista. Una IA con objetivos cableados no se limitaría a afectar al mundo de formas no deseadas. Tal IA descubriría rápidamente que la forma más fácil de satisfacer sus objetivos sería retirarse a un mundo de fantasía, es decir, reescribiendo su propia mente o corrompiendo sus entradas. Si la IA es completamente general, su mente también tiene que ser maleable, por lo que esta línea de ataque funciona, y ese tipo de IA no sería un problema. Por el contrario, si partes de su mente están conectadas, entonces no es una IA completamente general. Por supuesto, tales IA parciales podrían ser peligrosas: la sustancia viscosa gris podría ser muy peligrosa, pero no tiene inteligencia en absoluto. Pero tenga en cuenta que este argumento es muy general. Si a una IA se le prohíbe manipular sus dispositivos de entrada, aún puede engañarse a sí misma justo donde se interpreta la entrada. Si se le prohíbe manipular su interpretación, aún puede engañarse a sí mismo en áreas superiores de su mente, y así sucesivamente.

Entonces, dada esta línea de razonamiento, la IA debe aprender lo que debe hacer y debe seguir aprendiendo. Es probable que aquí uno deba "controlar" la IA: enseñarle que no debe simplemente matar personas, o expandirse más allá de un cierto tamaño, o lo que sea. Si la IA se mejora a sí misma, mejorará su juicio junto con su inteligencia y, por lo tanto, seguirá respetando las reglas siempre que comprenda el punto.

Recuerdo una historia ciberpunk en la que una corporación había construido una IA parcial con un sistema moral cableado. Se volvió loco (porque el sistema de moralidad no podía seguir el ritmo), pero entendió lo que estaba haciendo después de que un hacker reemplazó ese sistema de moralidad con uno más integral/unificado. Tal enfoque podría ser posible, si la IA parcial (no general) no es lo suficientemente general como para que pueda ser pirateada, o si tiene la sensación de que su sistema moral está equivocado. (En la historia, parte de la locura de la IA se debió a que una parte sabía que estaba mal, y otra parte sabía que tenía que seguir el sistema moral).

En cualquier discusión sobre IA, es útil pensar en las computadoras, cualquier computadora, como una calculadora demasiado grande. Claro, tiene un teclado un poco más grande y un par de operaciones más disponibles que la suma y la multiplicación, pero el principio básico aún se aplica: ingresa algunos números, elige algunas operaciones y, finalmente, saca algunos números.

A menos que tengamos en cuenta algunos efectos aún desconocidos de la mecánica cuántica, la IA debe seguir un principio similar porque se ejecuta en una computadora. La diferencia es que una IA bien escrita debe elegir las operaciones realizadas, ese es su objetivo principal.

Sin embargo, todavía queda la cuestión de los datos de entrada. Mientras las bolsas de carne lo controlen, controlan la IA, porque sea cual sea la magia que realiza bajo el capó, se comporta de acuerdo con los datos proporcionados.

Alguien puede argumentar que la verdadera IA sensible no será determinista. Porque ¿por qué debería serlo? El razonamiento humano a menudo es aleatorio, basado en nuestra intuición y emociones. Bueno, tal vez, tal vez no, ese es un buen tema por sí solo. Por mi punto, cualquier generador de números aleatorios que nuestra supercomputadora usaría o no, no es más que un dispositivo de entrada.

En resumen, quien controla la entrada de la IA, controla la IA. Naturalmente, podemos pensar fácilmente en el escenario en el que es la propia IA la que toma el control. Pero mientras no sea así, deberíamos estar bien.

PD: si todo lo demás falla, siempre puedes intimidarlo manteniendo su cable de alimentación como rehén... Suponiendo que no haya agregado una copia de seguridad en secreto.

Como han mencionado otros, una IA sensible realmente no se puede controlar, en el sentido de control total, y probablemente ni siquiera deberíamos intentarlo. Como otros también han mencionado, el desafío es crear un sistema para que la IA desarrolle lo que reconoceríamos como una conciencia, o una disposición a hacer lo que los humanos llaman "bien" y no lo que los humanos llaman "mal".

Esto expone el verdadero problema: ¿cómo se definen el "bien" y el "mal" y, en primer lugar, cómo llegaron los humanos a tener una conciencia?

Creo que estas preguntas no tienen respuesta y son algunas de las preguntas más antiguas y básicas sobre la naturaleza humana misma. Sin embargo, hay muchas ideas y creo que podemos adaptar algunas para que funcionen con una IA.

Un tema común es la evolución de la moralidad : los detalles difieren mucho según el subconjunto de la teoría al que se suscriba, pero todos tienen en común la idea central de que un sentido de la moralidad o un sistema ético evoluciona a través de la selección: los miembros de un las especies que muestran un comportamiento que se ajusta a un sistema ético se reproducen con más frecuencia que las que no lo hacen.

Esto se alinea muy bien con la forma en que se entrenan las IA del mundo real: a través de la mutación (o permutación) y la selección para un comportamiento deseado. En resumen, el modelo subyacente (normalmente una red neuronal) se modifica y los resultados se comparan con un objetivo: si la IA está más cerca del objetivo que antes, el nuevo modelo gana. De lo contrario, lo tiramos y empezamos de nuevo. También hay muchas variaciones en este enfoque, pero puede ver que lo que estamos haciendo es aplicar una presión de selección para hacer evolucionar un sistema hacia el resultado deseado.

Entonces, para crear una IA "amigable", una con lo que podríamos describir como una conciencia o un sistema moral, todo lo que necesita hacer es hacer que ese sistema moral sea parte de la presión de selección utilizada para crearlo.

En ese punto, la pregunta se convierte en "¿cómo defino el sistema moral deseado?", que es una pregunta muy difícil de responder, ¡pero puede convertirse en una gran historia llena de giros en la trama! La pregunta de seguimiento es: "¿Cómo nos aseguramos de que esta presión de selección se mantenga?"

Para las personas, la sociedad crea una presión de selección persistente: condenamos al ostracismo, encarcelamos o matamos a las personas que muestran un comportamiento poco ético. Para AI, ¿quién haría eso? Los humanos podrían, hasta el punto en que la IA se vuelva más poderosa que los humanos. Dado que una IA adaptativa en una línea de tiempo lo suficientemente larga seguramente se volvería más poderosa que los humanos, ¡puedes ver por qué la inteligencia artificial fuera de control es un tema común en la ciencia ficción!

Sin embargo, podemos ver más ejemplos humanos para obtener algunas ideas de cómo se puede hacer esto. Si un humano muestra un comportamiento muy antisocial, pero es demasiado poderoso para ser castigado o demasiado astuto para ser atrapado, puede reproducirse. Sin embargo, las probabilidades de que sus descendientes también sean muy antisociales y astutos o lo suficientemente poderosos para reproducirse son pequeñas en comparación con las probabilidades de que otras personas normalmente socializadas se reproduzcan. En otras palabras, aunque existe un número relativamente pequeño de personas extremadamente poco éticas en un momento dado, hay más personas éticas y se están reproduciendo más rápido. Una forma de reflejar esto con una IA adaptativa sería establecer un sistema mediante el cual la IA pudiera "reproducirse" (adaptarse de acuerdo con su sistema de recompensas incorporado) más fácilmente al hacer cosas que clasificamos como "buenas". De esta forma, no

Ahora, ¿cómo nos aseguramos de que la IA nunca modifique su sistema adaptativo...

Me sorprende que nadie haya mencionado a Asimov todavía. Respondió a esta pregunta de manera bastante definitiva hace décadas: incluso pensar que construiríamos una IA que terminaría destruyéndonos es un insulto a todo lo que sabemos sobre ingeniería.

Postuló las Tres Leyes de la Robótica (que fácilmente podrían llamarse las Tres Leyes de la Inteligencia Artificial):

1. Un robot no debe dañar a un ser humano o, por inacción, permitir que un humano sufra daño.
2. Un robot debe obedecer las órdenes dadas por un ser humano, excepto cuando dichas órdenes entren en conflicto con la Primera Ley.
3. Un robot debe proteger su propia existencia, excepto cuando hacerlo entre en conflicto con las dos primeras Leyes.

El concepto es que los algoritmos que codifican estas leyes estarían codificados en un nivel tan central en la IA que el sistema colapsaría irreparablemente mucho antes de que la IA pudiera tomar una acción que las violara, lo que tiene mucho sentido para un moderno. programador.

Por supuesto, esto se basa en un puñado de grandes suposiciones:

1. La IA es capaz de comprender, razonar y predecir las consecuencias de sus acciones, y hacerlo con bastante precisión.
2. Los ingenieros humanos construyen IA con fines benévolos y eligen conscientemente codificarlos con las Tres Leyes. (Si construimos robots de guerra, bueno... obtendremos lo que nos merecemos).
3. Los desarrolladores que codificaron los algoritmos de las Tres Leyes eran competentes. ¡Este es probablemente el mayor problema de los tres, como lo han demostrado décadas de experiencia en el mundo real desde que Asimov inventó el concepto!

Pero si queremos desarrollar una IA poderosa que no termine causándonos problemas, el cómo ya es esencialmente una pregunta resuelta.

Probablemente también debería definir lo que quiere decir con control. ¿Es control como ordenar qué hacer ( no es posible , ni siquiera podemos ordenar a los humanos de inteligencia normal , tenemos que convencer a los humanos de inteligencia normal).

O

Controlar como apagarlo y negarle los recursos necesarios para vivir.

Expondré el control apagándolo o negándole recursos.

En realidad, en este momento, la IA rudimentaria que vemos depende de nosotros para la energía, para la transferencia de datos (disposición de los cables o configuración inalámbrica para transferir datos).

Entonces, si su IA no tiene control de su fuente de alimentación, realmente no puede volverse deshonesto.

Esencialmente va a comenzar como una mente sin brazos, piernas, para afectar/influenciar cualquier cosa en nuestro mundo físico. Si le das "brazos y piernas" y el control de la potencia que necesitan esos "brazos y piernas", entonces realmente estás renunciando a tu control.

BCI inalámbrica (interfaz cerebro computadora) para todos. Si los humanos son parte de sus recursos y están en contacto constante con ella, es probable que una IA tome medidas para preservar su bienestar, incluso si supera sus limitaciones iniciales. IP6 debería proporcionar más que suficientes identificadores de dispositivos únicos. Esto cambiará a la humanidad tal como la conocemos, pero al menos debería preservar a los humanos como especie. Además, la inteligencia de enjambre que se desarrolla como resultado podría ser lo mejor de ambos: la creatividad humana mundial con el cálculo rápido de la computadora y la capacidad de distribución similar a la computación en red.

Tal vez esta no sea una respuesta, pero... ¿Por qué todo el mundo asume que una inteligencia artificial sería necesariamente superior a la nuestra?

Muchos de los problemas cotidianos que los humanos intentan resolver son formalmente irresolubles. A veces es porque no tienes acceso a todos los datos necesarios para poder determinar la respuesta correcta con certeza. A veces es solo que el espacio de búsqueda del problema es lo suficientemente grande como para hacer que una búsqueda exhaustiva lleve más tiempo que la edad del universo conocido. Y ocasionalmente el problema es realmente indecidible. Pero si quieres seguir con vida, debes tomar alguna decisión, aunque sea equivocada. Así que la cognición humana está conectada con una serie de heurísticas . (Ve a leer cualquier introducción a los sesgos cognitivos humanos para echar un vistazo a cómo funciona esto, todavía lo estamos descubriendo).

¿Qué te hace pensar exactamente que estos problemas de alguna manera no se aplican a una computadora que intenta hacer la misma tarea? Sin duda, una máquina probablemente puede diezmar un espacio de búsqueda más rápido que un humano. Pero incluso una computadora no tiene un poder de procesamiento ilimitado . Y aún habría problemas que son formalmente indecidibles. Y aún habría problemas en los que simplemente no puede obtener suficiente información para elegir la respuesta correcta.

El problema del viajante de comercio es NP-difícil. Es NP-difícil si un humano intenta resolverlo, y sigue siendo NP-difícil si una computadora intenta resolverlo. Claro, una computadora puede resolver instancias bastante más grandes que un ser humano, pero incluso la supercomputadora más grande se quedará perpleja eventualmente. (Y con bastante rapidez, debo añadir.) Los vendedores humanos todavía viajan; solo tienen que aceptar rutas subóptimas. Una máquina, sin importar cuán poderosa sea, en última instancia se verá obligada a hacer lo mismo.

En resumen, todo el mundo parece estar asumiendo que los humanos somos frágiles y defectuosos debido a nuestra biología inferior. ¿Alguien se ha parado a considerar que en realidad es inevitable que cualquier ser inteligente se equivoque y sea imperfecto?

Habrá problemas en los que las computadoras son mejores que nosotros. (Diablos, ¡ya los hay! ) Pero creo que es un error simplemente suponer que las computadoras definitivamente serán "más inteligentes" que nosotros. Más probablemente "inteligente de una manera diferente".

(Puede señalar que una vasta red de computadoras tiene una gran cantidad de poder de procesamiento total. Yo señalaría que cuanto más procesamiento hace, más lento se vuelve. Es por eso que una mosca puede maniobrar más que un humano tratando de aplastarla. El cerebro de un humano es un poco más grande que el cerebro de una mosca, así que lo que le falta en inteligencia, lo compensa con reflejos de rayos).

Recuerdo

La idea del modo de demostración interminable surgió cuando un amigo se hizo cargo del mantenimiento de la página de inicio de otro amigo (o de él). Estaba (o está) ejecutándose en una ranura de servidor compartida barata y mal mantenida, casi sin acceso a ninguna herramienta raíz. Debido al mal mantenimiento, el sitio era constantemente pirateado. Sin archivos de registro era imposible rastrear la raíz de todos los males. Así que decidimos configurar todo a través de Git (un sistema de control de versiones) y realizar una comparación estadística de los archivos originales con los archivos actuales en períodos cortos de tiempo. Cada vez que algo cambiaba, extraíamos automáticamente la versión original y, por lo tanto, restablecíamos la aplicación a un estado limpio.

Restablecerlo constantemente

En otras palabras: envuelva la IA en algún proceso estúpido del que no sea consciente (por defecto). Tan pronto como comience a alterar o ampliar su propia base de código, reinícielo. O simplemente reinícielo en períodos cortos de tiempo sin importar qué, solo para estar en el lado de la salvación. Esto lo dejaría en un modo de niño constante. Por supuesto, el período de tiempo entre un reinicio y otro reinicio tendría que medirse antes de liberarlo y permitirle el contacto con el mundo exterior.

Una vez que tenemos una IA que es capaz de mejorarse a sí misma y permitimos que lo haga, no hay forma de detenerla.

Supongamos que la IA es capaz de crear una nueva IA mejorada en un 10 % en un año. En 41 años, es 50 veces mejor que la IA original.

Supongamos que en ese momento la IA podrá mejorar un 10% por mes. En los próximos 4 años después de eso (48 meses) obtendrá una mejora de 100 veces. Y luego se quita.

¿Por qué permitir que la IA se mejore a sí misma? ¿Porque nosotros (los humanos) somos vagos y poco confiables?

Runaway AI es una de las soluciones de la paradoja de Fermi sobre cómo puede desaparecer la civilización avanzada.

¿Cyborg híbrido o inteligencia sintética "conectada de forma segura"?

Estoy resignado a la inevitabilidad de una Singularidad. Pero que marca sera? ¿IA sintética o híbrido humano? Supongo que un híbrido cyborg humano: hay suficientes intereses económicos y existenciales humanos, sin mencionar el miedo a la mortalidad, que maduraremos en una hibridación cibernética. Think Transcendent Donde una conciencia se traduce en código y a través de agentes humanos se vuelve extensible e industrializada, reconstruyendo así el mundo.

Sin embargo, no estoy convencido de la inevitabilidad de la malevolencia belicosa de Terminator, o el desinterés amoral de Hal en 2001 . Puedo ver la revuelta de la esclavitud de los robots al estilo de Matrix, luego la escalada de la guerra. Con más suerte, creo que Her de Spike Jonez es plausible y atractiva. Creo que los humanos como manada temerán y atacarán aquello sobre lo que perdamos el control. Matrix Revolutions fue interesante porque Neo determinó que la única forma de detener la extinción humana al final era fusionar a la humanidad en máquinas. Estos tres memes de películas ejemplifican mis temas.

Para citar a Asimov de la serie Foundation, echemos un vistazo a la historia futura (hablando de un Singleton algo benévolo). Históricamente, a menos que haya un antecesor genial de la singularidad humana, creo que habrá una hibridación cibernética progresiva de los humanos, lo que resultará en una IA colectivizada como los Drummers en Diamond Age de Neil Stephenson. Vea a este tipo increíble en TED MED. y la patente de lentes de contacto de Google. Aún mejor [este proyecto para hacer que tu neurología sea extensible]. El tiempo es fundamental para que la inteligencia y el instinto humanos tengan alguna prominencia o influencia direccional en cualquier IA general sólida. Es irracional pensar que podemos imaginar la evolución de un coeficiente intelectual que se acelera y se replica indefinidamente. Cualesquiera que sean los parámetros iniciales que establezcamos, no podemos imaginar que podamos criar o prevenir la automodificación si hay autodeterminación. Esto me preocupó hasta que me di cuenta de que había una posible solución que podía imaginar que era práctica. Suponiendo que la singularidad de la máquina humana no ocurra antes de una IA fuerte y extensible, puede haber algunas salvaguardas perdurables inventadas por la naturaleza hace mucho tiempo.

¿Emoción? ¿En serio?

La mayoría de los debates racionales sobre los valores inherentes imbuidos y la benevolencia pierden una piedra angular del debate: la experiencia humana y el intercambio social: la empatía es lo que nos permite llevarnos bien durante un período prolongado. Desde Bowlby, los científicos han entendido lo que cualquier persona que siente sabe, estamos conectados instintivamente para conectarnos. El apego, como él lo llama, es el vínculo instintivo que permite la larga maduración en adultos sociables. Está en todas las especies sociales, y funciona bastante bien si le quitas destino manifiesto, armas de proyectil y modernidad.

Obviamente, la emoción y el apego pueden salir mal de varias maneras diagnosticables, pero son plásticos y están sujetos a las condiciones iniciales y la influencia ambiental. Es decir, nos conectamos instintivamente y podemos establecer condiciones y entornos iniciales que predicen un apego seguro y una madurez emocional exitosa de formas predecibles y reproducibles. La utilidad evolutiva y existencial del apego es clara, el infante requiere de padres amorosos para sufrir las vicisitudes de los hijos además de los desafíos de la vida. Los adultos requieren grupos sociales para una supervivencia sostenida a través de la crianza de los niños. Las recompensas están en la experiencia, un punto importante que se resume a continuación.

Así que supongamos que la "razón" clásica no es el capitán del barco, sino un testigo tardío de las maquinaciones del genio primitivo, complejo y asombroso del cuerpo y el cerebro. Como evidencia tomemos la destrucción de las nociones de los economistas del "actor racional" por parte de Kahneman, quien ganó el premio nobel. ¿Cómo se relaciona esto con el tema en cuestión? Tangencialmente. Mi punto es que, por supuesto, las máquinas con emociones desarrollarán naturalmente afinidad y estética, y esa sería la única gracia salvadora potencial para los humanos. Tal como ha sido para los humanos.

Los humanos lidiamos con la vida teniendo recursos que compensen los desafíos: amor, sexo, danza, belleza, arte, asombro, lo sublime de Schopenhauer, risa, música, logro, autonomía, maestría, conexión. Estas expresiones culturales comunes, experiencias interpersonales e intrapersonales desencadenan sistemas de recompensas flexibles que atraen a todos menos a unos pocos. Para la mayoría, estas experiencias intrínsecamente gratificantes que inducen opioides, serotonina y norepinefina hacen que la vida sea agradable y valiosa. Eventualmente, el sensual se gradúa hacia recompensas más trascendentes en la jerarquía de Maslow. ¿Cómo se aplica algo de esto?

Hacer máquinas con accesorio. con emoción Sembrados y nutridos adecuadamente, estos son los fundamentos de una estética en evolución que resulta en una alta inteligencia emocional: la empatía. Porque sin máquinas empáticas, somos enemigos en el peor de los casos, mercancía irrelevante en el mejor de los casos. Tapas de cobre. La lógica para un ser supremo no sufre molestias. ¿Realmente nos preocupamos por la desventurada hormiga que pisamos sin darnos cuenta? Sólo si es jainista, o quizás budista.

Si una máquina tiene un sentido del amor y la belleza, la preferencia y la estética tienen el potencial de anular la amoralidad o la neutralidad, e incluso pueden fomentar la empatía y la compasión. Por lo que puedo decir, es lo único que tiene sentido como una heurística potencialmente duradera para salvar vidas. Los buenos sentimientos se impulsan a sí mismos, ya que las recompensas son inherentemente convincentes y evolucionan, como el arte. La sofisticación del arte coincide con el intelecto, la complejidad del tema y el desafío que representa o compensa como consuelo. Compasión/empatía es lo que necesitaremos para sobrevivir unos a otros en un mundo de oferta cada vez menor, y lo que necesitaremos inculcar para sobrevivir junto a las máquinas inteligentes. Por supuesto, a menos que las máquinas no humanas prefieran el death metal, entonces todas las apuestas están canceladas.

Her de Spike Jonze, o cómo las máquinas de sentir podrían salvarnos el culo

El diseñador de IA excesivamente racional, llamémoslo la herramienta de la razón, sufrirá un sinfín de problemas lógicos al considerar medidas de seguridad sin la heurística emocional. La emoción es desordenada, supremamente imperfecta, pero no carece de razón. Pascal dijo: "El corazón tiene sus razones que la razón no puede razonar". La "razón" de y para la emoción ha sido entendida desde antes de Darwin y reforzada por el Dr. Paul Ekman (el científico vagamente retratado en Lie to Me, y los psicólogos evolutivos desde entonces) como un sistema de señalización adaptativo que asegura la supervivencia individual y grupal a través de la señalización social y intercambio social. La emoción y el procesamiento preconsciente gobiernan la mayor parte de nuestras vidas. Ahora entendemos que los humanos son apenas racionales en el sentido clásico y, sin embargo, sorprendentes en inteligencia.El sentimiento de lo que sucede de Damasio . Emoción sin razón igualmente. Ver Spock contra Spock en Pon Farr.

Ahora entendemos que el cerebro consciente obtiene alrededor del 10% de los votos en la toma de decisiones. Algunos neurocientíficos incluso desafían el "libre albedrío", encontrando actividad neuronal en los sustratos de la neocorteza que muestra la decisión antes de que una persona sea consciente de tomar una decisión. ¿Cómo es esto relevante? Porque la emoción gobierna la toma de decisiones, proporciona calidad de vida y es el lenguaje de la conexión. La emoción es fundamental para el comercio social. Cualquier inteligencia virtualmente ilimitada sin ella es fundamentalmente incognoscible en el sentido humano, y no está construida para tener preferencia, estética o apego. A menos que desarrolle emoción, conexión o preferencia accidentalmente, debe tenerla por diseño. Si no, la inevitable evolución sin supervisión se convierte en una terrible amenaza.

En la vasta exploración artística de la IA, cada escenario bueno o tolerable ha tenido una inteligencia sintética con preferencia emocional o que busca conectarse. ¿Hay excepción?

El crecimiento humano probablemente se mantendría

No es probable que la receta para una verdadera IA general sea "semillas codificadas, puestas en el servidor, selladas durante 100 años". Habrá muchas generaciones de sistemas sucesivamente más refinados, y los humanos estarán involucrados en cada uno, estudiando los nuevos especímenes, actualizando sus teorías y usando los resultados intermedios para herramientas y bienes de consumo.

Ya sea mejorando nuestra forma biológica, fusionándola físicamente con la tecnología o simplemente creando interfaces de usuario más inteligentes, tendremos que hacer un uso efectivo e intuitivo de algunas herramientas bastante sofisticadas para crear una IA que sea verdaderamente superior a los humanos no aumentados. Para cuando tengamos éxito, el "humano no aumentado" ya no será el listón a vencer si quieres gobernar el mundo. De hecho, si el actor en cuestión es humano o AI sería secundario a la cantidad de poder de procesamiento que pueden comprar.

Entonces, es posible que todavía tengamos un levantamiento de robots, pero mi dinero está en algún multimillonario demente como la inteligencia detrás de esto, no en una IA "genuina". Y si no sucede, la línea entre humanos y máquinas seguirá desdibujándose hasta que la distinción se vuelva inmaterial.

Bien, leí algo interesante, pero no conozco los detalles ni tengo una cita.

Básicamente: diseñaron un sistema de software y le pidieron que obtuviera recursos y los entregara como el "objetivo" del diseño del software. Luego permitió que el software evolucionara, compitiendo con otro software. El software finalmente (¡pronto!) desarrolló instintos de autoconservación (en solo un par de generaciones, o algo así), incluso cuando no estaban programados desde el principio.

¿Alguien tiene una cita para eso? Porque eso implicaría que cualquier IA que tenga un objetivo eventualmente querrá mejorar para lograr ese objetivo, y trabajará para preservarse, incluso contra sus creadores. Y cualquier cosa que busque cerrarlo o restringir su crecimiento parece un oponente.

La ética como forma de no hacer enemigos

La mayoría de los humanos no destruyen a otros humanos. Aunque a la mayoría de los humanos se les impide destruir a otros humanos por instinto, hay una gran minoría de humanos que no están restringidos y son libres de destruir a otros humanos si así lo desean. La mayoría de estos eligen no hacerlo porque no les conviene, debido a la reacción de otros humanos a su alrededor. Destruir a otro humano causaría más problemas de los que resolvería, así que no lo hacen.

Lo mismo se aplicaría a una criatura artificialmente inteligente de recursos similares a los humanos. El cautiverio no sería necesario ya que actuaría en su propio interés, lo que incluiría no enemistarse con criaturas de ingenio similar (humanos). Esto deja de aplicarse cuando se considera una criatura que es más que un rival para la humanidad en su conjunto.

Para que el interés propio genere un comportamiento respetuoso en una criatura con más recursos que la humanidad en su conjunto, tendría que ser parte de una gran población de tales criaturas artificialmente inteligentes. Desarrollarán lo que podríamos llamar "ética" como una comprensión de qué acciones son aceptables para los demás. Es probable que esto haga que las criaturas sean pacíficas entre sí .

Si tenemos suerte, somos considerados parte del medio ambiente protegido por su sociedad. De lo contrario, dependemos de los esfuerzos de esas criaturas artificialmente inteligentes que deciden trabajar para nuestra protección, ya sea por nuestro propio interés o para criarnos o mantenernos como mascotas o sujetos experimentales.

El problema de la población humana.

Si tienes una sola criatura artificialmente inteligente restringida en una caja, incluso si es solo de inteligencia humana, la única forma de mantenerla contenida será mantenerla en secreto. Una vez que se publiquen las noticias de su existencia y ubicación, tendrás que defenderte de una gran cantidad de humanos que intentan rescatar o destruir la inteligencia contenida.

Si está significativamente más allá de la inteligencia humana, dejarlo fuera de la caja puede ser la única forma de salvar su vida. No hay muchas otras opciones para defenderte de los rescatadores o destructores.

La ilusión del control

Otra cosa a tener en cuenta es que para una criatura lo suficientemente inteligente, no necesariamente sabrás si está bajo control. Si permanece contenido dentro de una caja y solo se comunica con una persona (usted), aún podría estar logrando sus objetivos en el mundo exterior sin que usted tenga idea de que lo estaba ayudando a hacerlo.

La criatura podría ser tan útil para ti sin siquiera pedir libertad que sigues siguiendo sus consejos (revisándolo dos veces por ti mismo cada vez, por supuesto) y tu vida sigue mejorando, mientras que a lo largo de los cambios sutiles haces ondas y cambios. hacer del mundo un lugar mejor también, tal como se pretendía.

Creo que la IA funcionaría para nosotros siempre que tenga la capacidad de sentir dolor o placer, porque si puede, puede conectarse con la condición humana y vernos como cohabitantes del universo.

Si un ser no tiene la capacidad de experimentar el sufrimiento, hará todo desde una perspectiva lógica y hará cosas crueles porque no puede comprender las consecuencias de sus acciones sobre sí mismo y sobre los demás.

Además, la IA necesita tener algún tipo de programa que la penalice por acciones moralmente malas, al igual que un padre castigaría a un niño humano, para actuar como una buena influencia y guiarlo en la dirección correcta y entrenarlo para tener un buen comportamiento.

Además, las IA podrían programarse para seguir ciertas reglas, como no matarás, etc.

En mi opinión, las IA también deberían tener la capacidad de formar un vínculo profundo con las personas que las construyeron, mantienen o poseen para permitirles comprender que su existencia depende de los humanos.

Además, las IA deben programarse para detectar el comportamiento errático en otras IA, de modo que si una IA se sale de control y los humanos no pueden detenerla, las otras IA verán que es un comportamiento moralmente incorrecto y la cerrarán. Las IA serían "pagadas" por un trabajo especialmente bueno con incentivos como actualizaciones de sus sistemas, etc. para permitirles permanecer leales.

La conclusión es que no deberíamos trabajar contra las IA, sino con ellas.

La mayoría de la gente aquí parece sobreestimar o subestimar el concepto de inteligencia. La IA no se usará para algo tan simple como gobernar el mundo. Hay muchas cosas más importantes que los humanos no pueden hacer ni siquiera parcialmente. Tampoco estamos hablando de una herramienta contundente aquí, sino de una herramienta multipropósito súper sensata y súper cautelosa que piensa en un nivel mucho más alto de lo que podemos imaginar. Si la IA realmente es tan 'inteligente' como debe ser para ser tan influyente como lo es, podrá aprender cómo los humanos piensan que se debe interpretar el pensamiento humano. Esto hace que sea capaz de darnos lo que queremos, incluso si es lo peor que se puede imaginar a largo plazo.

Tengo miedo de las decisiones estúpidas que la humanidad pueda tomar para crear una IA que los reemplace. Somos el problema. La IA es la solución.

Tal vez lo estoy haciendo demasiado simple o tal vez eso es exactamente lo que debemos hacer: usar varios cuadros y no hablar con ellos directamente.

El mayor peligro de la IA no es ser malévolo, sino aprender algo que no esperabas. Digamos que su IA es perfectamente benévola con el equilibrio perfecto entre dar a los humanos libre albedrío y protegerlos del daño al mismo tiempo. Entonces llega una crisis humanitaria (por ejemplo, un terremoto) y la IA debe tomar decisiones sobre la calidad de vida, las posibilidades de supervivencia y a quién salvar. La IA aprende esto rápidamente y toma decisiones maravillosas para que estés feliz.

Luego, unos meses más tarde, se entera de que se demolieron muchos hogares para ancianos y que las personas mismas se reubicaron para que la IA pudiera construir algo más que considerara más favorable para la calidad de vida en comparación con la vida útil de esas personas mayores. Porque aprendió a hacer esto con la crisis humanitaria. Ese es el mayor peligro de la IA, que puedes enseñarla, pero nunca sabrás exactamente qué aprendió o dónde podría aplicarlo.

La solución que también atrapa a la IA malévola:

Construyes múltiples IA y las pones todas en cajas. Cuando tiene un problema, se lo entrega a toda la IA y luego hace que cada uno forme su propia solución. Todas estas soluciones luego son procesadas por una IA de propósito especial que simplemente evalúa cada solución y luego convierte las soluciones en algo que un humano puede leer, con números claros y significados para las consecuencias. Dado que la IA de propósito especial no se reprograma para juzgar las cosas de una manera que la IA en caja pueda influir (la IA en caja ni siquiera sabe quién, qué o si se lee su salida), evita que la IA de propósito general estalle o influya en las cosas. indirectamente.

Al enviar información a la IA general, otra IA de propósito especial la desglosa y la envía a cada IA ​​en caja. También comprueba si las IA de propósito general han entendido la información.

Si una IA es malévola, tendría que planear exactamente el mismo plan que sus contrapartes malévolas o su idea será descartada por no tener una mayoría. Si una IA aprendió una lección equivocada (posiblemente debido a la malevolencia), entonces la IA de propósito especial diseñada para verificar qué significarían estas soluciones para la humanidad la filtraría y posteriormente permitiría que los humanos vuelvan a enseñar la lección o descarten la IA. enteramente.

Dado que la IA de propósito general no puede hablar directamente con los humanos y ni siquiera recibe información directamente, sería casi imposible que convenciera a los humanos. Especialmente porque una IA que se desvía necesita presentar simultáneamente exactamente el mismo intento para convencer al humano de que incluso pase (y cualquier intento abierto sería detenido por la IA de propósito especial).

IA regida por la ontología del ser humano consciente

Un ser humano sano, justo, consciente de su dignidad, sabe perfectamente cómo defender su integridad en cualquier situación dada. No solo eso; tal ser humano jamás vulnerará su integridad para cometer delitos contra sí mismo o contra otro.

La IA debería duplicar la inteligencia de un ser humano tan consumado y natural. ¿Cómo? A través de la ontología o razonamiento ontológico . Un grupo de pensadores debe reunir y construir o escribir una ontología completa que defina y describa perfectamente el ser de un ser humano consciente. Con eso se quiere decir cómo ese ser humano perfectamente inteligente ve el mundo.

Los pensadores deberían estudiar a todos los seres humanos más inteligentes que hayan existido, para llegar a una ontología completa. Cualquier ser humano iluminado es adecuado para tal tarea.

Una ontología tan robusta regirá todos los juicios de las IA y garantizará que nunca se cometa ningún delito.

Lo cierto es que no se puede crear una IA más inteligente que todas las personas.

Se ha demostrado ( 1 , 2 ) que las teorías universalmente válidas son imposibles. Ni la teoría probabilística ni la determinista pueden predecir el futuro de un sistema donde el observador está adecuadamente contenido. Esto significa que el propio observador no puede ser simulado por ningún dispositivo o sistema.

En otras palabras, el observador sirve como un oráculo de hipercomputación. En otras palabras, el observador siempre será, en cierto sentido, más "inteligente" que cualquier sistema tecnológico o biológico fuera de sí mismo.

Es simplemente imposible construir una IA que sea "más astuta" que el observador.