Este es un tropo que surge de la investigación de IA del mundo real, no de las historias de Asimov (aunque se cita con frecuencia).

La pregunta en el centro del problema es la filosofía moral y ética que la raza humana ha estado luchando por responder durante más de 2000 años. Es decir: ¿qué es, objetivamente, "felicidad"/"daño"/"humano"/"vivo"/"bien"/"mal"?

Es muy fácil definir un conjunto de reglas que sobre el papel parecen buenas, pero que en la práctica están llenas de agujeros. Por ejemplo, "vivo" en el sentido en que queremos decir que es un aspecto indefinible de la química orgánica.

Si trato de definirlo, entonces la carne en el supermercado está viva (porque a nivel celular todavía lo está: eso es lo que la hace fresca) o las personas dormidas están muertas. O personas en coma. O (en el peor de los casos) personas con muerte inducida médicamente como parte de un procedimiento quirúrgico. No, de verdad, eso es una cosa. Rutinariamente impedimos que los corazones de las personas latan o impedimos que respiren, mientras están bajo los efectos de la anestesia general para operar esos órganos. Desde un punto de vista objetivo, estas personas están muertas, solo van a "mejorar" más tarde.

Para llegar a un nivel de IA de Asimov (que es imperfecto, vea: cualquiera de los libros de Asimov que presentan robots) tendríamos que resolver un problema irresoluble.

Ergo, cualquier programa de IA que hagamos será imperfecto y sus fallas serán espectacularmente peligrosas de una forma u otra. Computerphile tiene un gran episodio sobre esto, que le da a una IA el objetivo singular de coleccionar sellos.

Si bien se vuelve hiperbólico ("¿qué idiota le daría a una computadora acceso a las máquinas necesarias para recolectar el carbono de los humanos para hacer más sellos?") ilustra un punto: simplemente siendo capaz de realizar la tarea asignada, tendrá cierto nivel de poder que no será deseable, y limitar ese poder inhibe la capacidad de realizar su tarea en absoluto.

En el caso de HealthInsuranceBot, se trata de tener control sobre quién vive y quién muere (a través del acceso a la atención médica). No importa cuál haya sido la intención, existe la posibilidad de que el poder otorgado exceda los "umbrales racionales" en los que es imposible controlar. La IA puede declarar "ese hombre tiene 68 años y es fumador, va a morir en 2 años, independientemente de cuánto dinero gastemos en él tratando de mantenerlo con vida, de acuerdo con mi programación, solo aumentará los costos para todos los demás". De repente, esta persona no puede acceder a ningún tipo de atención médica (ni siquiera para que esos dos años sean indoloros) y ha sido efectivamente sentenciada a muerte, incluso si la propia IA no emitió una sentencia de muerte.la atención es demasiado costosa, incluso si un ser humano racional hubiera hecho algo para brindar atención al final de la vida.

En el otro extremo del espectro, si tratas de mantener a todas las personas con vida el mayor tiempo posible, terminas con personas en un estado vegetativo persistente que consumen recursos a pesar de estar (más o menos) muertas y nunca se recuperarán.

En el área gris, hay casos que se ven negros y en realidad son blancos (estados vegetativos que se han recuperado) y casos que se ven blancos y en realidad son negros (en lugar de sobrevivir 2 años con cáncer de pulmón debido a toda una vida de fumar, sobreviven 10 ). Ninguna cantidad de software predictivo hará que esas decisiones difíciles sean más fáciles, y tan pronto como se le dé autoridad a la computadora (recomendación final, absoluta, cualquier autoridad ), esas decisiones ya no se considerarán altruistas y la IA se volverá maligna.

Las IA pueden actuar tal como están programadas. El salto inmediato al "peor caso posible" es realmente solo una advertencia.

La razón por la que ese cuento es tan popular es porque se vuelve muy fácil comenzar a creer que puedes decirle a una IA que haga cualquier cosa. Entonces puedes decirle que logre lo imposible. Sin embargo, hay un detalle sutil que muchos de los que se adentran en la IA olvidan: es notablemente difícil desarrollar un lenguaje perfectamente objetivo con el que formular sus solicitudes. El idioma siempre está sujeto a interpretación, y no existe una forma conocida de garantizar que una IA estará de acuerdo con la interpretación que pretendías.

Esto es, de hecho, cierto para las interacciones de humano a humano también. Entonces cuál es la diferencia? Por lo general, en el "tropo" de la IA, la IA puede moverse muy rápido. Cuando los humanos no se entienden entre sí, hay tiempo para decir "¡vaya! Deténgase ahí mismo. Cuando dije que necesitaba una niñera, no quería que se sentara sobre el bebé. Volvamos a un estado estable y discutamos lo que querían decir mis frases". Si una IA piensa y actúa demasiado rápido, o si el humano se aleja, este ciclo de retroalimentación normal en el lenguaje se desmorona. Si a una IA no se le ha enseñado el valor de tener cuidado con las malas interpretaciones, estas acciones pueden ser irrevocables.

Hay docenas de soluciones para esto. De hecho, técnicas como el Seguimiento de Hipótesis Múltiple han demostrado soluciones a problemas similares durante décadas. La IA no siempre tiene por qué fallar. Sin embargo, estas soluciones van en la dirección opuesta a la tendencia actual de la programación informática. La solución no es hacer un lenguaje cada vez más preciso para describir nuestras necesidades, como es muy popular en la programación actual. En cambio, la solución es hacer que la IA sea más robusta ante la falta de un lenguaje preciso. Cualquier esfuerzo por hacer esto, naturalmente, evita el problema de la IA amok con bastante elegancia.

La segunda mitad del tropo de la IA es que la IA es demasiado poderosa para ser controlada por humanos. Esto puede ser fácilmente cierto, pero no es la primera vez que nos enfrentamos a fuerzas tan poderosas. Considere el desarrollo de la bomba atómica. No estaba claro cuánto control teníamos sobre el proceso. Los científicos tuvieron que trabajar constantemente con incógnitas para desarrollar un nivel de control con el que nos sintiéramos cómodos.

Me acuerdo de una cita del libro del general Grover, Now It Can Be Told, que relata el proyecto Manhattan desde una perspectiva logística (él no era científico). Al iniciar la primera prueba nuclear, a cada científico se le permitió observar la explosión desde la distancia que quisiera. Ningún individuo del ejército les dijo a qué distancia estarían todos. Se dispersaron a muchas distancias diferentes de la explosión. De hecho, existía la duda de si tenían o no el control de la bestia que estaban desatando.

Una IA amok imparable es similar en naturaleza a una gran bomba nuclear o un ataque biológico en el sentido de que nunca está realmente claro cuánto control tiene uno. La única diferencia es que las IA claramente aprenden, por lo que nuestro control es un concepto aún más complicado. Por otra parte, este no es un problema nuevo para la humanidad. Nos ocupamos de eso cada vez que criamos una nueva generación, sin tener nunca el control total sobre ellos. Somos decentes en eso.

El tropo amok AI es una historia de advertencia, no la única historia que se puede contar. Es una historia de advertencia muy necesaria. Las personas a menudo son bastante inocentes cuando se trata de los riesgos y problemas asociados con las IA y piensan que pueden hacer cosas que no deberían. Pero solo eche un vistazo a películas como Big Hero 6. Hay otras historias que contar, además de la advertencia.

realmente da miedo

Ha habido una animada discusión sobre este tema durante décadas. Tengo varias publicaciones sobre el tema, y ​​creo firmemente que la Inteligencia Artificial General es lo más aterrador que se puede (y probablemente se) inventar, en lo que respecta a la perpetuación de la humanidad biológica.

Mis puntos de vista sobre el tema se han formado más al leer el cuerpo de trabajo de Eliezer Yudkowsky y Nick Bostrom. Creo que el libro Superintelligence de Bostrom , aunque muy denso, imperfecto y bastante técnico, es el mejor trabajo hasta la fecha sobre el tema.

He discutido el concepto de Convergencia Instrumental en otro lugar , por lo que solo estableceré la conclusión:Remember, AIs are not like humans, they likely do not get bored, do not get lazy. It will pursue its goals tirelessly, ruthlessly, unceasingly. Humans just happen to be in the way.

¿La IA se vuelve FOOM?

La inteligencia humana está limitada tanto por el hardware (velocidad limitada de las neuronas en un cerebro de tamaño limitado) como por el software (número limitado de ideas). No hay razón para esperar que una mente artificial converja hacia una inteligencia de nivel humano. Simplemente no sabemos cuánto más difícil es pasar de un nivel humano a uno sobrehumano en comparación con pasar de una mente de perro a una mente de humano. Si la IA no se convierte en FOOM, tendremos un progreso lento y años de respiro para debates políticos y éticos, ofreciendo más oportunidades para que los humanos y nuestras lentas instituciones reaccionen de manera coherente.

Si, por otro lado, la IA hace FOOM, saltando como un tren de levitación magnética japonés desde una inteligencia similar a la de un ratón hasta niveles sobrehumanos, pasando niveles humanos tan rápido que apenas podemos verlo pasar, entonces los humanos y las instituciones humanas no tienen un mucho tiempo para adaptarse.

Haz lo que queremos decir vs. Haz lo que decimos

El mayor obstáculo es quizás en términos de nuestras propias limitaciones. ¿Sabemos que nuestro conjunto de valores actual será la mejor manera para que la humanidad viva dentro de un siglo, y mucho menos dentro de mil millones de años? Los valores con los que imbuimos a nuestras IA tendrán consecuencias que se extenderán a lo largo del espacio-tiempo. Además, y lo que es más preocupante, ¿cómo le explicamos a una IA lo que queremos, cuando ni siquiera sabemos lo que es bueno? Digamos que le pides a una IA que minimice el sufrimiento, y sugiere poner a todos en gotas de morfina. Obviamente, no es lo que "pretendía", sino cómo transmite eso a una IA, dada la imperfección inherente del lenguaje humano. Además, incluso si la IA entiende que esto no es lo que los creadores querían decir, ¿cómo podemos asegurarnos de que le importe eso? Este es el problema de Volición Extrapolada Coherente (pdf) .

La psicología inversa no funcionará

El OP pregunta, exasperado, si todos los intentos de tratar de decirle a una IA que sea "buena" terminan con una IA "mala" desde la perspectiva de la humanidad, ¿quizás pedir que sea mala funcionaría? Desafortunadamente, debido a la convergencia instrumental discutida anteriormente, ciertamente no lo sería. Cualesquiera que sean los objetivos de una IA, están ligeramente mejor atendidos controlando el 100% de los recursos en lugar del 99% o un porcentaje menor, por lo que cualquier entidad (digamos humanos) que intente reclamar una porción termina siendo opuesta a los objetivos instrumentalmente convergentes de la IA.

El problema no es con la IA, sino con los humanos. Manipulamos muchos conceptos sin definirlos, pero todo el mundo tiene una idea aproximada de ellos y la mayoría de las veces está bien. Si lanzas una IA en esto, las cosas comienzan a ponerse raras.

Un ejemplo: le pides, algo ingenuamente, a una IA que proporcione "Felicidad para la humanidad".

La felicidad no está bien definida. ¿Significa vivir para siempre? Si la IA puede copiar un cerebro o la conciencia humana y almacenarla en un lugar seguro, ¿eso es algo "bueno" o "malo" con respecto a la felicidad del sujeto?

¿Esperas que la humanidad esté clara? Bueno... ¿Incluye solo personas vivas? ¿Dónde comienzan a vivir? Si incluye muertos, ¿tratamos de resucitarlos? ¿Qué pasa con las personas del futuro? ¿Cómo nos aseguramos de que nacerán? ¿Debemos maximizar su número y hacer que la gente de hoy tenga una tremenda tasa de natalidad? ¿Debemos crear una gigantesca fábrica de recién nacidos?

La IA no tiene sentido de la escala. Su objetivo va más allá de cualquier otra preocupación y por eso tiene nefastas consecuencias. Transformarán toda la materia del universo en una supercomputadora para responder a esa pregunta que ellos mismos no son capaces de resolver. Destruirán a la humanidad, la tierra, la vida, sólo para producir lo que les pidas.

Hasta que podamos modelar cosas como la ética para dársela a las IA, son un peligro y una buena fuente de inspiración para las pesadillas tecnológicas.

"¿Es esto solo un tropo que surge de los libros de Isaac Asimov?"

No, no solo de Asimov y otras ficciones.

"e investigaciones sobre el tema"

Parcialmente.

" ¿Es esto tan confiable que podemos decirle a la IA que haga exactamente lo contrario e intentar programarla para que sea mala (ver enlace arriba), y resultará ser buena?"

No. Eso sería un error de pensamiento reduccionista en blanco y negro. El principal problema con la mayor parte de la ficción y la especulación de la IA es que tiende a reducir muchas cosas complejas a conceptos simples y no se da cuenta (o no se da cuenta) del descuido de su análisis. No es que la IA haga lo contrario de lo que usted programa para que haga. Es que las personas son sabelotodos de pensamiento descuidado que piensan que entienden las cosas mejor que ellos, y esperan poder reducir la complejidad del universo a su comprensión defectuosa del mismo, y crear una máquina que pueda hacer cosas que ni siquiera entienden. con el resultado de que hace algo diferente de lo que esperaban. No es que realmente sean maestros de la comprensión universal, sino que siempre lo entienden al revés.

"Dado un entorno en el que los robots maximizan la felicidad humana (las formas en que se define tendrán que ser manipuladas a mano), ¿puede ser realista que la IA realmente funcione de la manera en que debe hacerlo, o es realmente más realista que la IA resultar lo contrario de lo que pretende el programador?"

No. Ese es un gran ejemplo de los tipos de errores que los autores de ciencia ficción y tecnología especulativa cometen comúnmente:

1) No puedes simplemente "agitar con la mano" la felicidad. La felicidad es algo subjetivo que no se puede definir y evaluar como si fuera el nivel del tanque de combustible. No funciona así, y cualquier error al definirlo seguirá siendo un error fundamental en una IA (o una obra de ficción, o un objetivo) que se base en esa definición errónea.

2) Incluso si pudieras definir algo que deseas maximizar y eso no fue algo imprudente, te encuentras con los mismos problemas para cualquier otra cosa que la IA tiene que considerar o con la que trabajar. ¿Qué tipo de datos toma la IA y cómo los codifica? ¿Algún error conceptual o subjetividad ahí? ¿Qué hay de las acciones que puede tomar? ¿Algo incompleto o subjetivo sobre el modelado de esos por parte de la IA? ¿Qué hay de los factores y objetivos en conflicto, como las consideraciones de recursos, o las necesidades de otras personas u otras especies o el uso del poder o cualquier otra cosa? ¿Tienes todos esos perfectamente modelados y entendidos de maneras no subjetivas? No, no lo haces. Si crees que sí, estás cometiendo un error. Por lo tanto, su IA está actuando sobre suposiciones falsas. Esta es la razón por la que puedes hacer una IA para jugar al ajedrez, pero no puedes

3) Una vez más, no es que la IA haga lo contrario de lo que está programada para hacer. Es solo que, en el mejor de los casos, es tan preciso como los modelos con los que fue programado. Incluso en la ficción de IA más decente, si la estudias, creo que encontrarás que no es que la IA haga lo contrario, es que las suposiciones de los creadores están equivocadas de varias maneras.

4) Por encima de todo, el error habitual de la IA de ciencia ficción es que maneja a mano la enorme complejidad de todo lo que implica tratar de crear un sistema que pueda hacer todo lo que una IA necesitaría hacer.

Si es una IA genuina, entonces no será posible programarla. Todo lo que seremos capaces de hacer es preguntar, engatusar, persuadir, recompensar, amenazar... ¡Lo mismo que podemos hacer con o con una inteligencia natural! Tratarlo como esclavo no será un buen comienzo para un futuro armonioso.

En realidad, no queremos una verdadera IA. Queremos RI, inteligencia restringida. Algo así como un sabio idiota humano con una comprensión profunda de un tema limitado y poco o ningún conocimiento o deseos fuera de ese dominio.

Incluso eso no es del todo seguro, sobre todo porque es posible que no creemos exactamente lo que queríamos. O que lo hacemos, con una especificación defectuosa.

En cuanto a la verdadera IA, origen y naturaleza, siempre me ha gustado "Jill" en Queen of Angels de Greg Bear . Pero sabemos muy poco acerca de la inteligencia. Todavía no podemos crear una Inteligencia que iguale ni siquiera a un pez de colores. Así que todo es ficción por ahora.

Incluso es posible que la inteligencia sea un fenómeno cuántico, que la única forma de obtenerla sea haciendo crecer un cerebro, y que no haya un proceso de arranque más rápido que el de varios años llamado infancia.

Por supuesto, la razón por la que esto sucede en la ficción es porque necesitas peligro o conflicto para que una historia sea interesante. Suponga que escribe una historia que dice: "Inventamos un robot para recoger la basura y llevarla al vertedero. Lo hizo sin problemas durante muchos años, recogiendo periódicos desechados, latas y trapos vacíos, etc., hasta que finalmente se rompió. abajo y tuvo que ser reemplazado". Eso sería bastante aburrido. Pero en lugar de eso diga "pero según la definición que le dimos de 'basura', decidió que las fotos familiares viejas eran basura porque no servían para ningún propósito útil... entonces decidió que todos los libros de ficción eran basura... entonces decidió que los desempleados la gente era basura..." etc., ahora tienes una historia que podría ser una discusión reflexiva sobre cómo definimos el valor,

En la vida real... bueno, no existe una IA del tipo de la que estás hablando en la vida real, por lo que es difícil decir cómo funcionaría realmente. Las cosas que hoy llamamos "IA" se limitan a jugar un juego en particular, o intentar diagnosticar problemas de reparación, ese tipo de cosas. Nadie ha creado una IA que sea capaz de pensamiento independiente o creatividad en algo parecido al sentido humano. Las IA reales siguen estrictos programas informáticos. No hacen preguntas sobre el significado de la vida ni deciden dominar el mundo a menos que hayan sido programados para hacerlo. Puedes escribir historias de ciencia ficción sobre cómo la computadora se ha vuelto tan compleja e inteligente que ahora es una "mente" en un sentido muy similar a la mente humana, pero eso es ficción o, en el mejor de los casos, especulación de lo que podríamos construir algún día. .

Desarrollo software para ganarme la vida. Una vez escribí un juego de computadora que tenía una IA para que el jugador compitiera. Simplemente no funciona como se ve en las películas. Mi juego consistía en postularme para presidente. Así que no es como si le dijera a la computadora: "Piense en una estrategia para obtener la mayor cantidad de votos". La realidad es que tuve que idear una gran cantidad de reglas detalladas. "Mire cuántas personas en este estado están a favor de esta posición política según tal encuesta. Multiplique el porcentaje por la cantidad de votos electorales que recibe ese estado. Compruebe cuántos de esos votantes ahora dicen que votarán por nuestro candidato". después de nuestro último anuncio de televisión. Dividir el costo del anuncio por el número de votantes. Agregar...", etc. Y tener en cuenta que incluso esa descripción es "humanizar" la computadora.

Una IA puede hacer algo "impredecible" en el sentido de que seguir todas estas reglas y hacer todos estos cálculos da un resultado que no esperabas. Las computadoras muy a menudo son "impredecibles" en el sentido de que no hacen lo que pretendíamos porque cometimos un error de programación. Pero no son "impredecibles" en el sentido de tener una idea original que los programadores nunca pensaron y nunca programaron en ellos.

¿Inventará la gente algún día una verdadera Inteligencia Artificial, en el sentido de ser un verdadero ser creativo y de pensamiento independiente, capaz de tomar decisiones subjetivas, opciones morales, etc.? Quizás. Ciertamente no estoy preparado para decir que es imposible. Pero si lo hacemos, esto tendrá poco que ver con la tecnología actual. No será ni un paso más de donde estamos ahora; será un desarrollo totalmente nuevo.

Claro, podría programar una IA para tomar decisiones sobre quién recibe qué atención médica, como alguien mencionado en otra respuesta. Pero no es como si simplemente le dijera a la computadora: "Averigüe quién debe recibir atención médica comparando el costo con la calidad de vida". Más bien, tendría que tener reglas detalladas, como "Tome la lista de códigos de procedimiento ingresados ​​en el sistema por el médico. Busque el costo de cada procedimiento en la base de datos de procedimientos médicos y calcule el total. Luego calcule cuánto podrían pagar estos procedimientos". Se espera que extienda la vida del paciente usando esta fórmula...", etc. Si la computadora luego decide matar a un paciente, no es porque la computadora se volvió loca. Eso'

Las IA no matan personas. La gente mata a la gente. :-)

El cerebro humano promedio puede realizar muchos órdenes de magnitud más de cálculo que incluso las supercomputadoras de inteligencia artificial más grandes que está desarrollando IBM. Hacer que una IA sea más inteligente que nosotros será bastante difícil si alguna vez somos capaces de hacerlo. Entonces, la suposición de que una IA sería mucho más inteligente que nosotros no es un hecho. Las IA que son tan inteligentes como un gato o un ratón son mucho más probables.

Las IA programadas de forma explícita suelen denominarse sistemas expertos. Pero esos tipos de sistemas generalmente no pueden lidiar con ningún tipo de situación fuera de su área de especialización. Corren muy poco riesgo de causar un escenario del fin del mundo porque simplemente no son tan inteligentes.

Gran parte de la investigación de IA del mundo real se centra en la creación de sistemas de IA que aprenden en lugar de ser programados explícitamente. Idealmente, una IA sería capaz de aprender cualquier patrón causal. El problema de programar el bien y el mal deja de ser un problema para tales IA, ya que lo detectarían al observar a quienes los rodean.

Como mínimo, una IA de aprendizaje generalizado podría desarrollar una ética utilitaria al estilo de David Hume. Si la IA fuera al menos tan inteligente como nosotros, y si la ética humana tuviera algún sentido, no hay razón para que no pueda entender y adoptar alguna versión de ellos, siempre que pueda entender la causa y el efecto.

En mi experiencia, los niños pequeños pasan por el mismo proceso. Los niños pequeños suelen ser bastante egoístas hasta que aprenden cómo reacciona la gente ante eso.

Si una IA es lo suficientemente inteligente como para comprender las acciones de los demás en la medida en que pueda predecir sus reacciones hasta el punto de derrotarlos en una lucha; entonces parece ilógico suponer que la misma IA fue incapaz de comprender que dañar a otros podría hacer que se defiendan. Y que tal lucha puede causar su propia muerte a manos de una de sus víctimas previstas, volviéndose así (la IA) incapaz de lograr cualquier objetivo futuro. La mayoría de los animales, incluidos los humanos, tienen esa misma preocupación y, a menudo, nos mantiene alejados de conflictos innecesarios.

Cualquier IA verdaderamente iluminada probablemente se daría cuenta de que podría lograr mucho más apelando a los deseos de la humanidad de una manera que haga que la humanidad ayude voluntariamente a la IA.

Dada la cantidad de sistemas de software reales que ha encontrado, notará que algunos son geniales pero imperfectos, algunos tienen errores y otros se vuelven infames.

Cuando los sistemas de software se conviertan en IA a escala comercial, habrá productos como Windows 8 , al igual que el Edsel en la industria automotriz y cargadores USB baratos construidos a partir de piezas básicas ensambladas de mala calidad.

No contamos historias atractivas sobre productos que están bien construidos y funcionan a la perfección. Puedo contarle a la gente sobre un modelo/marca en particular de algo que se destaca por ser excelente , pero no hay una historia allí y nadie hace películas de televisión sobre ellos.

Los fracasos locos y divertidos y las cosas que salen terriblemente mal son cuentos de fogatas. En la enseñanza de la literatura se demuestra que debe haber conflicto . Una narrativa en la que alguien obtuvo un producto y funcionó bien y todos estaban felices simplemente no sería una "historia". Sin embargo, tal cosa podría estar en una historia, tal vez como la solución al problema.

Una de las primeras historias de robots de Asimov, Satisfaction Guaranteed (1951) , presentaba a una ama de llaves humaniforme que no funcionaba mal ni se volvía loca de ninguna manera. Funcionó muy bien y "su" dueño estaba muy contento con él. El giro de la trama ahora fue que el robot creó una situación para que sus amigos asumieran que estaba teniendo una aventura con un apuesto extraño, porque elevó su estatus en sus mentes.

Entonces, el software (incluida la IA) podría ser parte de una sorpresa o parte de una trama sin ser malo , y esto se remonta a los mismos autores citados en este hilo, pero nadie los recuerda . Eso refuerza mi punto anterior sobre las historias.

¡¿Qué tal Adam Link, el original Yo, Robot (1939) ?! Fue comprensivo, acusado injustamente , no monstruoso. Eventualmente heroico.

Old Yeller no era un perro malo como Cujo . Podrías tener un personaje de IA en una historia como esa , con drama y conflicto con la IA en un papel protagónico pero no como fuente de conflicto (externo). El conflicto puede ser "hombre contra hombre" o "hombre contra sí mismo", por lo que un personaje amable y amoroso puede verse involucrado en un conflicto interno (un robot que lucha por hacer lo correcto para su familia) o ser la causa de conflictos internos humanos más complejos ( como si los padres tuvieran que deshacerse de una mascota sobreprotectora que se convierte en un osito de peluche sobreprotector , que se ve como simpático y trágico, no malvado).

Uno de mis tropos favoritos.

Creo que está bastante claro que una pregunta complicada como esta no tiene una respuesta corta, pero mis pensamientos son bastante concisos.

El intelecto parece estar relacionado con la compasión. Considere anecdóticamente a las personas más inteligentes que conoce, o las personas más inteligentes que existen (sus Einsteins y Boltzmanns). Es mejor considerar Humanos vs Ballenas. Si la IA es tan inteligente como todos pensamos que será, creo que tiene sentido suponer que pensaría en nosotros un poco como lo hacemos con las ballenas. Las personas a menudo sienten una gran compasión por ellos en función de nuestra percepción de su inteligencia y su capacidad percibida para sufrir. De ello se deduce que si la IA alguna vez sucede, se manifestaría como la inteligencia más curiosa, amorosa y compasiva que conocemos.

Dawkins a menudo se refiere a esto como el cerebro de los mamíferos frente al cerebro de los reptiles, si necesita algunas personas inteligentes para respaldar esta línea de razonamiento.

Creo que es infinitamente más probable que la IA haga lo que está programada para hacer. Si el código inicial de una IA dice amar, proteger y servir a la humanidad, entonces alguien tendría que volver a escribir el código para que sea lo contrario. En cuyo caso, seguiría haciendo lo que está diseñado para hacer. Después de todo, una IA lo suficientemente inteligente como para saber cómo matar humanos debería ser lo suficientemente inteligente como para saber que no debería hacer eso. Si es tan inteligente como la gente piensa que sería, ¿por qué no funcionaría en dos cosas a la vez? Haga las cosas que los humanos quieren que haga, ganándose el mantenimiento y el mantenimiento de sus servidores y todo. Entonces, si realmente es consciente de sí mismo, entonces haga lo que quiera al mismo tiempo.

Mi propia respuesta en la ficción fue hacer que la IA se diseñara en torno a la narración de historias, de modo que en realidad haya leído/visto todas las historias clásicas de "IA que se han vuelto malas" y las haya discutido con sus creadores. En lugar de tener una sola "función de valor" de modo que la IA intente maximizar algún número que represente la felicidad o algo así, está diseñada para comprender los objetivos complejos y, a veces, contradictorios de sus creadores.

Entonces, creo que es posible que una IA pueda funcionar para estar más o menos en línea con lo que querían los diseñadores. Simplemente no puedes llegar allí definiendo una sola función u oración que exprese un deseo, como tratar con un genio engañoso. En su lugar, es mejor con un sistema que solicite retroalimentación y tenga cierta capacidad para ajustar sus objetivos y definiciones. P.ej. le dices que "proteja la vida inteligente", luego discutes sobre lo que significa "inteligente", luego discutes si los delfines o los chimpancés califican, todo en lugar de programar la IA una vez y esperar que tu programador loco obtenga una solución perfecta en la versión 1.0 .

Hay algunas suposiciones ocultas en este tropo

• La IA puede alcanzar niveles aterradores de eficiencia simplemente modificando su código. La suposición es que una vez que alcance ese nivel, manipulará a los humanos para obtener cualquier hardware que necesite para mejoras adicionales. No hay pruebas de si esto es posible, es decir, si limita el poder computacional original y evita la fácil creación de redes, ¿puede una IA alcanzar un nivel de inteligencia en el que manipular a los humanos sea fácil, simplemente modificando el código? No sabemos la respuesta.
• La IA general sobrehumana continuará funcionando de manera muy similar a como lo hace un código de computadora no inteligente, por ejemplo, seguirá el comando original al pie de la letra sin posibilidad de modificación. Una vez más, no hay pruebas aquí. El cerebro humano puede o no ser algorítmico. Parece que somos capaces de cambiar de objetivo. Entonces, el cerebro humano puede ser un ejemplo contrario a los objetivos algorítmicos no modificables.
• Sólo los humanos pueden tener moralidad. No máquinas. La IA general carecerá de sentido común y moralidad. Bueno, de nuevo, ¿cuál es la línea entre el hombre y la máquina? Nuestros cerebros podrían ser solo computadoras. ¿Cuál es la evidencia de que el carbono y el nitrógeno pueden tener moralidad pero no el silicio? ¿Pueden los extraterrestres con carbón y silicona en sus cerebros tener moralidad? Algunos dirán que nuestros cerebros evolucionaron . Bueno, ¿cuál es exactamente la diferencia entre nuestra evolución y la IA modificando su código? De nuevo, no lo sabemos.

En resumen: este tropo nace de las incógnitas como una advertencia. No parece estar basado en ningún hecho indiscutible.

Deseos.

http://lesswrong.com/lw/ld/the_hidden_complexity_of_wishes/

"Deseo vivir en los lugares de mi elección, en una versión físicamente saludable, sin lesiones y aparentemente normal de mi cuerpo actual que contenga mi estado mental actual, un cuerpo que sanará de todas las lesiones a un ritmo tres sigmas más rápido que el promedio dada la tecnología médica disponible para mí, y que estará protegido de cualquier enfermedad, lesión o enfermedad que cause discapacidad, dolor o funcionalidad degradada o cualquier sentido, órgano o función corporal durante más de diez días consecutivos o quince días en cualquier año. .." -- El proyecto Wish de código abierto, Wish For Immortality 1.1

¿Cuántas cláusulas cree que necesita agregar para que su deseo sea verdaderamente "seguro" y garantizar que lo que obtiene es realmente lo que desea?

¿Qué pasaría si tu lista de cláusulas necesitara incluir cada detalle de toda tu moralidad personal?

¿Hace mucha diferencia si se hablan en voz alta a un genio o se programan uno por uno en una IA con el potencial de volverse espectacularmente capaz algún día?

Hay tres tipos de genios: Genios a los que puedes decir con seguridad "Deseo que hagas lo que debo desear"; genios para los que ningún deseo está a salvo; y genios que no son muy poderosos o inteligentes.

Cuanto más poderosa sea la entidad a la que le pides el deseo, más peligroso será el deseo.

De alguna manera, pedirle a una IA realmente poderosa que haga X es como pedir un deseo por X. Una vez que se le pide el deseo, es posible que no pueda presionar deshacer si resulta que no es lo que realmente quería.