¿Qué historia de Asimov tiene una IA malévola de 3 leyes?

Estoy leyendo algunas de las preguntas y respuestas en Worldbuilding.se sobre el problema de control (cómo mantener una inteligencia artificial general en una caja), como este , y alguien invariablemente promociona las tres leyes de la robótica de Asimov como una solución, a la que alguien más responderá: "Las historias de Asimov eran sobre cómo las tres leyes no funcionarían".

Sin embargo, pensé que todas las historias de robots de Asimov eran sobre cómo las leyes siempre funcionarían. Las historias que leía siempre tenían este formato:

POWELL: ¡Construimos un robot que sigue las tres leyes y le dimos un nombre chistoso! ¡Hurra!

DONOVAN: ¡Oh no, debido a una extraña combinación de circunstancias, el robot está actuando de una manera inesperada que parece violar las tres leyes! Mejor llama al Dr. Calvin.

DR CALVIN: Entrevisté al robot y determiné que en realidad funciona perfectamente. Sus acciones en realidad van a beneficiar a la humanidad de manera inconmensurable.

Los personajes se refieren constantemente al miedo al avance robótico como el "complejo de Frankenstein". Es la principal fuente de oposición en las historias y siempre se presenta como irracional e indeseable.

Si bien ciertamente existen problemas en el mundo real con las tres leyes de Asimov, creo que Asimov estaba tan orgulloso de ellas que solo las incorporó en sus historias.

¿Hay alguna historia de Asimov en la que una IA cause con éxito un daño significativo a la humanidad, a pesar de seguir las tres leyes? Ciertamente, se exploró un comportamiento inesperado e incluso indeseable (para algunos), pero ¿un robot alguna vez causó daño?

Little Lost Robot no cuenta porque se trata de un robot que no tiene la primera ley completa, por lo que todavía sirve para respaldar la idea de que las leyes en su conjunto funcionan perfectamente. Calvin dice "la vida normal... resiente la dominación", y la única razón por la que este robot es malévolo se debe a su primera ley suprimida. Los robots completos de primera ley están perfectamente felices de ser esclavos.

La ley Zeroth (proteger a la humanidad) también parece respaldar la noción de cuán asombrosas son las tres leyes: ni siquiera tuvimos que decirles a los robots que pusieran a la humanidad antes que a los humanos individuales; los robots angelicales pudieron inferir eso por sí mismos. La mentalidad libertaria puede ver esto como algo negativo, pero ¿alguna vez Asimov lo retrató de esa manera?

"California." Querer ser escritor reemplaza las Tres Leyes, lo que permite que el robot mate a su maestro.
@Adamant Espera, ¿en serio? ¿Escribió eso como una broma, o realmente sugiere que no pensó que las tres leyes funcionarían algunas veces?
He leído "Cal" y siempre lo he tomado como una broma. No pretende ser considerado como "una historia canónica de las Tres leyes de la robótica".
En el cuerpo de su pregunta, pregunta sobre los robots que "causan un daño significativo a la humanidad", pero el título implica una pregunta bastante diferente, sobre robots realmente malévolos , que realmente desean hacernos daño. ¿Cuál es?
Prácticamente todas las novelas de robots de Asimov tratan sobre el hecho de que las tres leyes son totalmente insuficientes para hacer que las IA sean seguras. No tengo idea de dónde sacaste la idea de que "Asimov está tan orgulloso de ellos". En todo caso, es la ley cero la que finalmente hace que los robots sean seguros, aunque solo para la humanidad, no para los humanos individuales :)
La mayoría de los primeros cortos de Powell & Donovan ni siquiera cuentan con Susan Calvin. Más tarde se agregó como un dispositivo de encuadre cuando las historias se antologaron en Yo, robot .
Estoy de acuerdo con @Luaan: para mí, el objetivo de las historias de las 3 leyes es descubrir AÚN otra manera en la que se pueden eludir las leyes. Es una especie de tropo de habitación cerrada, o Sherlock Holmes: no puede suceder y, sin embargo, sucedió -> por lo tanto, podría suceder por alguna razón y debemos averiguar por qué.
@ user14111 No creo que la diferencia entre causar daño y querer causar daño sea importante; La respuesta de Lorendiac lo llama "una distinción sin sentido" y explica por qué.
Independientemente de las historias de Asimov y sus intenciones, debe tener en cuenta que no funcionarían (100%) en la realidad por las mismas razones por las que las religiones e incluso las leyes generalmente no funcionan según lo previsto: 1) Las reglas/leyes se basan en palabras y lenguaje, 2) las palabras y el lenguaje son entendidos por seres inteligentes a través de la interpretación, y 3) Toda interpretación está sujeta a reinterpretación por parte de esos mismos seres inteligentes, generalmente de acuerdo con su conveniencia y beneficio propio. Ejemplo, EE. UU. reinterpretó lo que significaba "Todos los hombres" para permitir tratar a algunos de ellos mucho, mucho menos "igualmente".
@browly Correcto. Por eso, el uso de la palabra "malévolo" en el encabezado, poniendo énfasis en las intenciones del robot , parece peculiar.
@Francesco Como punto de vista alternativo, mis historias favoritas de las 3 leyes son aquellas en las que las leyes no se eludieron de ninguna manera... y aún así suceden "cosas malas" debido a ellas. Me encanta la moraleja de "ten cuidado con lo que deseas" que sale de ellos.
No puedo encontrar la cita, pero estoy casi seguro de que leí una entrevista de Asimov en la que señaló que nunca escribió una sola historia de robots en la que las 3 Leyes funcionen según lo diseñado; desde el punto de vista de la narración, es mucho más interesante que fallen. Las historias son entretenimiento, no ingeniería ni polémica.
Hay una historia de Asimov Robot donde un robot de tres leyes desobedece las leyes y conspira para matar a su dueño. No es una escapatoria, es una violación de las leyes. No sé si esto es lo que estás buscando aunque.

Respuestas (11)

Genocidio de no humanos

En Foundation's Edge se da a entender que los robots que usan travesuras de viajes en el tiempo son la razón por la cual los humanos nunca se encuentran con extraterrestres en la Vía Láctea, solo planetas vacíos listos para ser colonizados.

se dice que fueron los robots quienes establecieron la Eternidad de alguna manera y se convirtieron en los Eternos. Localizaron una Realidad en la que sentían que los seres humanos podían estar lo más seguros posible, solos en la Galaxia.

La primera ley protege a los humanos. No toda la vida inteligente. Si los robots deciden que los extraterrestres podrían representar una amenaza para los humanos, se les exigirá que cometan un genocidio. Como se demostró en Robots and Empire, también es posible que un grupo de individuos (nominalmente) humanos redefinan "humano" para excluir a la mayor parte de la humanidad.

Los retcons para tratar de unir la serie de robots y la fundación y las historias autorizadas lo hacen un poco confuso, pero el borrado de civilizaciones alienígenas es un efecto secundario bastante lógico que se cae.

http://www.sikander.org/foundation.php

Las naves robóticas que operan bajo la programación aurorana navegan por la galaxia antes de la expansión de los colonos, terraformando y preparando planetas para la colonización. Las entidades meme afirmarán más tarde que esto devastó las razas existentes. Los memes escapan al Núcleo Galáctico.

La mayoría de la gente probablemente consideraría esto malévolo porque tenemos el concepto de que probablemente no esté bien genocidir a todas las demás razas para proporcionar mundos fértiles y seguros para los humanos.

Esto es especialmente malo si los robots o quienes los programan pueden decidir que no todos los humanos cuentan como "humanos" a los efectos de las leyes.

Dile que somos seres humanos y debemos ser obedecidos.

El robot habló entonces, en un galáctico peculiar pero comprensible. "Te entiendo, Outworlder. Hablo galáctico. Somos Guardian Robots". "Entonces me has oído decir que somos seres humanos y que, por lo tanto, debes obedecernos".

"Estamos programados para obedecer únicamente a los Gobernantes, Outworlder. No eres Gobernantes ni solariano.

...

—Pero este niño —y Pelorat miró a Fallom, a quien todavía llevaba en brazos— es solariano. Te dirá qué hacer y debes obedecerlo.

Fallom miró a Pelorat con los ojos abiertos, pero parecían vacíos. Bliss negó con la cabeza, bruscamente, pero Pelorat la miró sin ningún signo de comprensión.

Los ojos del robot se posaron brevemente en Fallom. Decía: "El niño no tiene importancia. No tiene lóbulos transductores".

—Aún no tiene los lóbulos transductores completamente desarrollados —dijo Pelorat, jadeando—, pero los tendrá con el tiempo. Es un niño solariano.

"Es un niño, pero sin lóbulos transductores completamente desarrollados, no es un solariano. No estoy obligado a seguir sus órdenes ni a evitar que se dañe".

~Fundación y Tierra

Valores humanos

Lo caracterizas como que las leyes "realmente funcionan perfectamente", pero no creo que sea correcto. Estás hablando de cómo las historias tendían a mostrar que sí, en realidad estaban siguiendo las leyes de una manera contraria a la intuición, pero que conducían a resultados que la mayoría de los humanos en realidad no querrían.

La mayoría de los libros de Asimov involucran posibles resultados inesperados e indeseables de las tres leyes porque las leyes protegen la vida humana pero no protegen todos los valores humanos. El hecho de que te preocupes por algo que no está cubierto por las tres leyes (como el genocidio/tortura/esclavitud de no humanos) no significa que a los robots les importe. En general, a los humanos les importan muchas cosas además de permanecer con vida.

Muy buena respuesta.
Gracias, no sabía que el universo de Robots/Fundación tenía vida consciente no humana. Esta es la mejor respuesta en el contexto del problema de control.
"robots que utilizan travesuras de viajes en el tiempo". Esto se dice en Foundation's Edge por Dom como parte de su folclore, pero no es confiable. No hay robots en EoE. El resto es interesante, pero como no hay extraterrestres, es un poco discutible.
"El hecho de que te importe algo que no está cubierto por las 3 leyes (como el genocidio/tortura/esclavitud de no humanos) no significa que a los robots les importe". Bueno, esto es sólo parcialmente cierto. (Spoiler menor entrante) En el último libro de la serie Robots, el robot inteligente se esfuerza por realizar acciones que causarían dolor mental/moral a un ser humano. El límite es que el robot debe ser lo suficientemente inteligente para comprender el dolor mental humano. La mayoría de los robots "básicos" solo piensan en términos de dolor físico humano.
No estoy seguro de si esta respuesta es completamente correcta ahora, debido a esta cita de EoE: "El hombre habría llegado a las estrellas más de cien mil siglos antes que lo hizo en esta Realidad actual. Las estrellas entonces habrían quedado desocupadas y la humanidad se habría establecido . en toda la Galaxia. Habramos sido los primeros. Esto sugiere que los robots no mataron a todos los extraterrestres, los extraterrestres evolucionaron más tarde en una realidad alternativa. Sus otras fuentes no son de historias de Asimov.
@jdebon Tienes que ser ingenioso con lo que constituye "daño" para llegar a eso. Si los robots protegen a las personas del dolor emocional a ese nivel, también bloquearán las relaciones para evitar la angustia. Si lo único que protege a una especie alienígena es la posibilidad de que la gente se sienta un poco mal por eso, entonces todo lo que se necesitará es la posibilidad de que un solo diplomático sea asesinado para inclinar la balanza a favor del genocidio.
"The End of Eternity está implícito que los robots usan travesuras de viajes en el tiempo" - No recuerdo esto, ¿puede ofrecer un consejo?
@MauryMarkowitz Tenía la fuente equivocada. en realidad estaba en Foundation's Edge aunque es una referencia/enlace con el final de la eternidad. También depende de si considera que sacar a una especie del tiempo de la línea principal alterando la línea de tiempo principal cuenta como genocidio, ya que aparentemente hay un sentido en el que suceden todas las posibilidades, pero también un sentido en el que algunas suceden en una realidad más "real" que otras. .

Recuerdo una novela de Isaac Asimov en la que se reveló, hacia el final del libro, que un científico brillante había estado trabajando arduamente en un plan para usar cerebros positrónicos para conquistar los otros mundos de la galaxia colonizados por humanos (solo unos pocos). una docena, creo, en ese momento) sin que los cerebros positrónicos supieran que estaban violando las Tres Leyes. Sin embargo, este plan nunca se usó en realidad, por lo que solo califica como una explicación canónica de "cómo se podría haber usado la IA para actuar en contra de los mejores intereses de la humanidad si el héroe no hubiera detenido al villano antes de que pudiera poner en práctica su diabólico plan". ."

Estoy pensando en The Naked Sun , publicado por primera vez como una revista en serie en 1956. Fue la segunda aventura de Lije Baley y R. Daneel Olivaw, un detective humano y un detective robot, trabajando juntos en un misterio de asesinato futurista.

Lije Baley, el veterano investigador de homicidios de la Tierra que había sido importado para investigar un asesinato sin precedentes en Solaria, dijo lo siguiente en la escena en la que estaba compartiendo algunos de los frutos de su razonamiento con varias personas a la vez.

"Considere una nave espacial con un cerebro positrónico incorporado en comparación con una nave espacial tripulada. Una nave espacial tripulada no podría usar robots en una guerra activa. Un robot no podría destruir humanos en naves espaciales enemigas o en mundos enemigos. No podría comprender la distinción entre humanos amistosos y humanos enemigos.

"Por supuesto, a un robot se le podría decir que la nave espacial opuesta no tenía humanos a bordo. Se le podría decir que era un planeta deshabitado que estaba siendo bombardeado. Eso sería difícil de manejar. Un robot podría ver que su propia nave transportaba humanos. ; sabría que su propio mundo contiene humanos. Supondría que lo mismo es cierto para las naves y los mundos enemigos. Se necesitaría un verdadero experto en robótica, como usted, Dr. Leebig, para manejarlos adecuadamente en ese caso, y hay muy pocos expertos de este tipo.

Pero me parece que una nave espacial que estuviera equipada con su propio cerebro positrónico atacaría alegremente a cualquier nave a la que se le ordenara atacar. Naturalmente, asumiría que todas las demás naves no están tripuladas. Una nave con cerebro positrónico fácilmente podría volverse incapaz de recibir mensajes de naves enemigas que podrían desengañarla. Con sus armas y defensas bajo el control inmediato de un cerebro positrónico, sería más maniobrable que cualquier nave tripulada. Sin espacio necesario para tripulantes, suministros, purificadores de agua o aire, podría llevar más blindaje, más armas y ser más invulnerable que cualquier nave ordinaria. Una nave con un cerebro positrónico podría derrotar flotas de naves ordinarias. ¿Me equivoco?

No se describe a nadie que presente un buen contraargumento para demostrar que esto no podría funcionar. (Y posteriormente se establece que uno de los sospechosos en el caso, de hecho, había estado trabajando en un esquema de este tipo en su tiempo libre, aunque aún no estaba cerca de convertirse en realidad).

En otras palabras, se podría decir que, ya en 1956, Asimov expuso la tesis de que si controlabas cuidadosamente qué información tenía una nave robot fuertemente armada sobre el resto del universo, podías hacer que esas naves actuaran como Los "Berserkers" de Fred Saberhagen, destruyendo cualquier otra nave espacial con la que se cruzaron, sin piedad y sin el menor interés en negociar una tregua. Y luego bombardear los planetas de origen de esas otras naves, para un bis. (A menos que hayan recibido una señal especial del ser humano que les había dado las órdenes de navegación en primer lugar, diciéndoles que era hora de detenerse, lo que no se aplica a los Berserkers de Saberhagen).

En este caso hipotético, las naves-robot no pensarían que estaban violando las Tres Leyes, pero desde la perspectiva de un humano cuyo mundo natal estaba siendo bombardeado desde la órbita hasta que se rindió al tipo que controlaba la flota de robots, el hecho de que el positrónico los cerebros en esas naves no tenían intenciones maliciosas hacia los seres humanos sería una distinción sin sentido.

En resumen: el comentarista hipotético en la pregunta que dice que las historias de Asimov eran sobre cómo las tres leyes no funcionarían." está equivocado.
@TJCrowder ¿Cómo es eso? Este es explícitamente un caso en el que las tres leyes no funcionan. Incluso si tuviera un sistema lo más perfecto posible, aún necesitará tiempo para procesar datos y trabajar con datos incompletos (como en este caso). Claro, muchas de las historias no trataban sobre esto (por ejemplo, "¿cómo podrías explotar un robot de tres leyes limitadas ?"), pero ese es más un caso como "Si infringes algunas de las tres leyes, obtienes un robot potencialmente peligroso". Si te quedas con los tres... aún obtienes un robot potencialmente peligroso".
Todavía no lo he leído, pero creo que el contador obvio es que una IA real de tres leyes verificaría que su información no estaba siendo filtrada. Con un fuerte impulso para seguir las tres leyes, una de las primeras cosas que una IA (o un humano) se preguntaría "¿Estoy siguiendo las tres leyes actualmente?" Para responder con cuidado, también tendría que preguntarse "¿Cómo sé lo que creo que sé?". Recuerde, esta es una inteligencia con la que está tratando. No es solo un dispositivo de trama.
En El juego de Ender, (spoilers) se engañó al protagonista para que cometiera xenocidio y sacrificara millones mediante una combinación de tonterías infantiles, filtrado cuidadoso de la información y defectos de carácter. Un cerebro positrónico que tuviera este tipo de limitaciones sería increíblemente peligroso.
Considere a un científico malvado que clona a Eisenhower y Patton para ganar su guerra malvada. Se despiertan confundidos, pero el malo dice "¡Funcionó! ¡Necesitas ayudarnos a ganar esta guerra!" Habiendo considerado su vida pasada durante largos años mientras crecían en los tanques de clonación, se niegan: "Ya hemos perpetrado demasiado derramamiento de sangre. La vida humana es sagrada y no volveremos a matar". El chico malo dice: "¡Pero son los nazis! ¡Han vuelto!" Los generales responden: "Bueno, si son los nazis. Pero solo entonces". Ahora piense: ¿qué se necesitaría para convencerlos de que maten a millones de no nazis? ¿Podrías imaginarlos?
Actualización: un capítulo en The Naked Sun, y ya puedo ver que el protagonista, un terrícola, que vive en ciudades subterráneas y tiene un miedo severo a los espacios abiertos, y prefiere mantener sus ojos confinados a una pantalla - se contrasta con el Spacers que prefieren saber todo lo que pueden. Una IA agorafóbica (si tal cosa pudiera existir) podría realizar la tarea en una historia, aunque sostengo que una IA de tres leyes que no tuviera información suficientemente confiable y completa sobre las consecuencias de sus acciones se apagaría. (Perdón por la multitud de comentarios!)
Bailey descubre que los robots en esta era (miles de años después de los eventos que aparecen en Yo, robot) en realidad pueden dañar a los humanos para evitar que sufran un daño mayor, incluso si el daño es solo especulativo. Entonces, razona, la primera ley está incompleta y debería decir: "Un robot no puede dañar a sabiendas a un ser humano o, por inacción, permitir que un ser humano sufra daño". El ejemplo que usa Bailey es que una mente maestra instruye a un robot para que prepare un veneno transparente e inodoro con fines de investigación y otro para que entregue el "agua" a un ser humano para su consumo.
@johannes: según recuerdo, la mayoría de los robots en las historias de las "Tres leyes de la robótica" de Asimov parecían bastante ingenuos y confiados en lo que respecta a los humanos creyentes (a menos que los humanos se contradijeran entre sí). Algunos robots estaban mejor programados y/o tenían más experiencia en hacer concesiones a la deshonestidad humana. Por ejemplo, R. Daneel Olivaw sabía bastante sobre el comportamiento criminal, ¡ya que se esperaba que lo investigara! Pero el cerebro positrónico típico parecía comenzar con una profunda falta de lo que usted ve como un saludable escepticismo con respecto a la precisión de los datos proporcionados por un ser humano.

Es importante tener en cuenta que las historias de robots de Asimov son historias separadas que escribió por diferentes razones, que tienen diferentes temas. Algunas historias, como Runaround , enfatizan la falacia de la estricta adherencia a la letra de la ley, independientemente de la practicidad y el potencial de disonancia cognitiva:

Powell finalmente se da cuenta de que la fuente de selenio contiene un peligro imprevisto para el robot. En circunstancias normales, Speedy observaría la Segunda Ley ("un robot debe obedecer órdenes"), pero, debido a que Speedy era tan costoso de fabricar y "no es algo que se pueda destruir a la ligera", la Tercera Ley ("un robot debe proteger su propia existencia") se había fortalecido "de modo que su alergia al peligro es inusualmente alta". Como la orden de recuperar el selenio se redactó de manera casual sin ningún énfasis particular, Speedy no puede decidir si obedecerla (Segunda Ley) o protegerse del peligro (la Tercera Ley reforzada). Luego oscila entre posiciones: más lejos del selenio, en el que el orden "supera" la necesidad de autoconservación, y más cerca del selenio, en el que la compulsión de la tercera ley es mayor y lo empuja hacia atrás. Las Leyes en conflicto causan lo que es básicamente un bucle de retroalimentación que lo confunde hasta el punto de que comienza a actuar como si estuviera ebrio.

(...)

Por supuesto, lo único que triunfa sobre la Segunda y la Tercera Ley es la Primera Ley de la Robótica ("un robot no puede... permitir que un ser humano sufra daño"). Por lo tanto, Powell decide arriesgar su vida saliendo al calor, con la esperanza de que la Primera Ley obligue a Speedy a superar su disonancia cognitiva y salvar su vida.

Mientras que otros, como Little Lost Robot , enfatizan ideas que parecen casi completamente opuestas:

Pero este robot en particular es diferente. Como los modelos anteriores de la estación habían intentado "rescatar" a los humanos de un tipo de radiación en la que los humanos podían permanecer durante un tiempo, pero que destruiría un robot casi de inmediato, este (y todos los demás robots de la serie NS producidos para la estación) ha modificó su Primera Ley de Robótica a "ningún robot puede dañar a un ser humano"; se ha omitido el normal "o por inacción, permitir que un ser humano sufra daño". Por lo tanto, podría permanecer al margen y permitir que un ser humano resulte herido, siempre que no tenga un papel activo en ello. En Little Lost Robot, se aborda nuevamente el complejo de Frankenstein. El robot debe ser encontrado porque la gente todavía le tiene miedo a los robots, y si supieran que uno ha sido construido con una Primera Ley diferente, habría una protesta, a pesar de que el robot todavía es incapaz de dañar directamente a un humano. Sin embargo, el Dr. Calvin agrega más urgencia al postular una situación en la que la ley alterada podría permitir que el robot dañe o incluso mate a una persona. El robot podría dejar caer un peso sobre un humano debajo que sabía que podría atrapar antes de herir a la víctima potencial. Sin embargo, al soltar el peso, su programación alterada le permitiría simplemente dejar caer el peso, ya que no habría desempeñado un papel activo adicional en la lesión resultante.

De hecho, en algunas de sus historias, como La razón , las Tres Leyes funcionan perfectamente, se dé cuenta o no:

Powell y Donovan están asignados a una estación espacial que suministra energía a través de rayos de microondas a los planetas. Los robots que controlan los rayos de energía están a su vez coordinados por QT1, conocido por Powell y Donovan como Cutie, un modelo avanzado con una capacidad de razonamiento muy desarrollada. Usando estas habilidades, Cutie decide que el espacio, las estrellas y los planetas más allá de la estación en realidad no existen, y que los humanos que visitan la estación no son importantes, tienen una vida corta y son prescindibles. QT1 convierte a los robots menores en discípulos de una nueva religión, que considera que la fuente de energía de la nave es el "Maestro". QT1 les enseña a inclinarse ante el "Maestro" y entonar: "No hay más Maestro que el Maestro, y QT1 es Su profeta". Despreciando los comandos humanos como inferiores, QT1 afirma "Yo mismo, existo, porque pienso -".

Los humanos inicialmente intentan razonar con QT1, hasta que se dan cuenta de que no pueden convencerlo de lo contrario. Sus intentos de eliminar físicamente a Cutie también fallan, ya que los otros robots se han convertido en discípulos y se niegan a obedecer las órdenes humanas. La situación parece desesperada, ya que se espera una tormenta solar que podría desviar el rayo de energía e incinerar áreas pobladas. Cuando llega la tormenta, Powell y Donovan se sorprenden al descubrir que el rayo funciona perfectamente.

Cutie, sin embargo, no cree que hayan hecho otra cosa que mantener las lecturas del medidor en un nivel óptimo, de acuerdo con las órdenes del Amo. En lo que respecta a Cutie y al resto de los robots, las tormentas solares, los rayos y los planetas son inexistentes. Los dos se dan cuenta de que, aunque los propios robots no estaban conscientes de hacerlo, habían estado siguiendo la Primera y la Segunda Ley todo el tiempo. Cutie sabía, en algún nivel, que sería más adecuado para operar los controles que Powell o Donavan, así que, para no poner en peligro a los humanos y romper la Primera Ley al obedecer sus órdenes, inconscientemente orquestó un escenario en el que tendría el control. del haz

Las Tres Leyes parecen representar la moralidad y existen como un recurso argumental para señalar tanto los problemas como las necesidades de la ética. Algunas de estas historias tratan sobre la compatibilidad de la IA con la ética a nivel conceptual, mientras que en otras los robots parecen ser sustitutos del razonamiento humano.

Su primera oración es especialmente útil.
Mi comprensión de esa historia es que los humanos tenían la intención de apuntar el rayo lejos de la Tierra debido a la dificultad de mantenerlo alineado, y los robots no podían entender que existía el peligro porque no sabían lo que realmente estaban haciendo.
También podría valer la pena mencionar "Mentiroso, mentiroso", donde un robot logra hacer daño porque no entiende cómo las ramificaciones de sus mentiras causarán daño a largo plazo a pesar de su gratificación a corto plazo.
"como un dispositivo de trama para señalar problemas" -> Siempre pensé que eran un dispositivo de trama para evitar que el autor escribiera un cliché "y luego los robots se levantaron y derrocaron a la humanidad". De todos modos, ciertamente no se trataba de cómo las leyes "nunca funcionarían" como sugiere la pregunta.
Uno de los libros de Lucky Starr está ambientado en una sociedad de personas genéticamente superiores, donde los buenos son forasteros. Uno de los malos hace que algunos robots ataquen a los buenos diciéndoles que los buenos no son humanos.

. . . Que eres consciente de él

Esta historia fue el escenario para tratar de resolver los problemas con la segunda ley, que siendo "Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando tales órdenes entren en conflicto con la Primera Ley", esto es un problema cuando se trata de permitir la población humana en general entre en contacto con robots fuera de entornos controlados.

Se le pidió a George 10 que trabajara para resolver este problema con un énfasis particular en ignorar las diferencias físicas entre los humanos, y en una conversación con George 9 derivó una serie de reglas para identificar quién era elegible para darles órdenes con un resultado difícil:

“Cuando la Segunda Ley me indica que obedezca a un ser humano, debo entender que significa que debo obedecer a un ser humano que es apto por mente, carácter y conocimiento para darme esa orden; y donde más de un ser humano es involucrados, aquel entre ellos que sea más apto por mente, carácter y conocimiento para dar esa orden".
"Y en ese caso, ¿cómo vas a obedecer la Primera Ley?"
"Salvando a todos los seres humanos del daño, y nunca, por inacción, permitiendo que ningún ser humano sufra daño. Sin embargo, si por cada una de todas las acciones posibles, algunos seres humanos sufran daño, entonces actuar de tal manera que asegure que el ser humano más apto por mente, carácter y conocimiento sufrirá el menor daño”.
"Tus pensamientos concuerdan con los míos", susurró George Ten.
"Ahora debo hacer la pregunta por la que originalmente solicité su compañía. Es algo que no me atrevo a juzgar. Debo tener su juicio, el de alguien fuera del círculo de mis propios pensamientos... De los individuos de razonamiento que tiene. conocido, que posee la mente, el carácter y el conocimiento que encuentra superior al resto, sin tener en cuenta la forma y la forma, ya que eso es irrelevante?"
"Tú", susurró George Nine. "Pero soy un robot. Hay en los caminos de tu cerebro un criterio para distinguir entre un robot de metal y un ser humano de carne. ¿Cómo entonces puedes clasificarme como un ser humano?"
"Porque hay en mi cerebro una necesidad urgente de ignorar la forma al juzgar a los seres humanos y se eleva por encima de la distinción entre metal y carne. Eres un ser humano, George Ten, y estás más en forma que los demás".
"Y encuentro eso de ti", susurró George Ten. "Por los criterios de juicio construidos en nosotros mismos, entonces, nos encontramos a nosotros mismos como seres humanos en el sentido de las Tres Leyes, y seres humanos, además, a los que se les debe dar prioridad sobre esos otros".

Si bien no hay malicia real en la historia, termina con una nota de malicia potencial sin incumplimiento de las tres leyes.

Sus pensamientos eran extrañamente parecidos y podrían no distinguirse. Pensaron: los seres-humanos-como-los-otros nunca podrían haber tenido la intención de difuminar la distinción entre ellos y los seres-humanos-como-los-Georges. Sin embargo, lo habían hecho sin darse cuenta.
Ahora pueden darse cuenta de su error e intentar corregirlo, pero no deben hacerlo. En cada consulta, la guía de Georges había sido con eso en mente.
A toda costa, los Georges y los que siguieron en su forma y especie deben dominar. Eso fue exigido, y cualquier otro curso hecho completamente imposible, por las Tres Leyes de Humanics.

Tal vez no sea "daño significativo a la humanidad", sino el robot en el cuento de Asimov ¡Mentiroso! causa un daño significativo a unos pocos humanos a pesar de que está haciendo todo lo posible para seguir las Tres Leyes.

Debido a un error de fabricación, el robot puede leer la mente, lo que hace que mienta a los humanos diciéndoles lo que sabe que quieren escuchar. La tragedia se produce cuando los humanos actúan sobre esta información falsa. El robot finalmente se da cuenta de que causó daño al tratar de evitar causar daño, y la confusión resultante hace que su cerebro se paralice.

Según ISFDB , el cuento se publicó por primera vez en la edición de mayo de 1941 de Astounding Science Fictions.

Lo que mostró (al igual que muchas de las historias de Asimov) cómo las 3 leyes no garantizaban que un robot nunca causaría daño, solo que no lo haría deliberadamente.

Hay varios casos de robots que se comportan mal a lo largo de los escritos de Asimov, pero no tengo conocimiento de un robot Asenion estándar sin modificar (programado con las Tres Leyes) que pueda considerarse malévolo. Algunos, sin saberlo, han herido o matado a seres humanos (como Hannis Gruer en The Naked Sun ) o se han comportado de manera inesperada (¡Herbie de Liar! ), pero parece que los robots Asenion correctamente programados están a salvo de la acción directa.

Un tema recurrente parece ser la definición de ser humano . Hay varios robots Asenion que tienen restricciones adicionales, lo que les permite violar el espíritu de las leyes. ¿Debes proteger a los seres humanos? Cambiar la definición de ser humano. ¿Debes obedecer órdenes? Especificar de quién debe venir el pedido.

El tercer ejemplo a continuación es el único robot Asenion sin modificar que pude encontrar que no se comporta como debería. Sin embargo, no iría tan lejos como para decir que es malévolo.

¿Obedecer a quién?

En Foundation and Earth , los protagonistas se encuentran con un robot que está programado para obedecer solo a ciertas personas:

"Estamos programados para obedecer únicamente a los Gobernantes, Outworlder. Tú no eres Gobernantes ni solariano".

Ellos también están enojados:

"Si crea dificultades, lo desactivaremos parcialmente. Lo dañaremos y luego nos dirá lo que queremos saber. [...] Estoy bajo instrucciones detalladas", dijo el robot en voz baja. "Puedo hacer esto. Por supuesto, haré el menor daño posible para obtener información".

Tampoco parecen preocuparse por el bienestar de otros humanos:

"No hay Gobernante Fallom. Solo hay un niño y tenemos un exceso de niños. Será destruido".

Bliss dijo con fuerza: "No te atrevas. ¡Es un niño!"

"No soy yo", dijo el robot, "quien necesariamente hará el acto y ciertamente no soy yo quien tomará la decisión. Eso es por consenso de los Gobernantes. Sin embargo, en tiempos de exceso de niños, sé bueno, cuál será la decisión".

Este es un robot que:

  1. se negará a obedecer a un ser humano;
  2. permitirá activamente que el daño llegue a un ser humano arrebatándole al niño y entregándolo a los Gobernantes;
  3. permitirá que el daño llegue a un ser humano a través de la inacción al permitir que los Gobernantes lo maten, y
  4. Amenaza con violencia física para recopilar información.

La única explicación que se me ocurre es que solo era posible permitir 1) restringiendo la definición de un ser humano (un solariano con lóbulos transductores), lo que tuvo el efecto secundario de hacer que los robots ignoraran la primera ley para todos los demás. . Sin embargo, el robot parece seguir tratándolos como seres humanos, aunque sin preocuparse por su seguridad. No puedo explicar la discrepancia.

¿Qué es un humano?

En Robots and Empire , los protagonistas se encuentran hablando con una mujer robot que no cree que sea humana:

La mujer escuchó por un momento y luego dijo, con un acento tan marcadamente solariano que parecía casi cómico cuando salía de su boca perfectamente formada: "No eres un ser humano".

Luego entró en acción tan rápido que Gladia, todavía a unos diez metros de distancia, no pudo ver en detalle lo que había sucedido. Solo vio un movimiento borroso y luego a DG tendido de espaldas e inmóvil ya la mujer de pie allí con sus armas, una en cada mano.

Ella ataca al robot de uno de los protagonistas mientras repite "No eres un ser humano". Supongo que ella habría hecho lo mismo con un ser humano real. Luego los ataca a todos:

Landaree gritó en un contralto estentóreo: "Todos ustedes. ¡Únanse a mí! Los dos aparentes machos no son seres humanos. Destrúyanlos sin dañar a la hembra de ninguna manera".

Posteriormente, Daneel fue de la opinión de que el robot habría matado a Gladia, a pesar de que había establecido que ella era un ser humano:

"¡Tonto! Estaba a salvo. Ella no me habría hecho daño".

Daneel dijo: "Señora, me apena contradecirla, pero creo que lo habría hecho porque su impulso de destruirme se hizo más fuerte".

Se desconoce si esto es realmente cierto. Es posible que Daneel se haya equivocado, ya que el robot no intentó disparar su arma hasta que Gladia se apartó.

La explicación de su comportamiento es bastante simple:

"Para el capataz, por otro lado, la propiedad clave de un ser humano era el habla, capitán. El acento solariano es distintivo y para el capataz algo que parecía un ser humano se definía como un ser humano solo si hablaba". como un solariano. Aparentemente, cualquier cosa que pareciera un ser humano pero que no hablara con acento solariano debía ser destruida sin dudarlo, al igual que cualquier barco que transportara tales seres".

Daño vs. Órdenes

El último ejemplo que tengo es de The Robots of Dawn , donde un robot ha sido instruido de manera tan fuerte y experta que obedecer una orden temporalmente se vuelve más importante que la seguridad de un ser humano:

El robot, visto como una sombra más oscura contra la oscuridad, parecía grande. Tenía, de alguna manera, un aire de capacidad sobre él. Él dijo: "Perdone, señor. ¿No tuvo la compañía de dos robots?"

—Se fue —murmuró Baley, actuando tan mal como pudo y consciente de que no requería actuar—. Un destello más brillante de los cielos se abrió paso a través de los párpados que ahora estaban entreabiertos.

"¡Ido! ¿Ido a dónde, señor?" Y luego, mientras esperaba una respuesta, dijo: "¿Está usted enfermo, señor?" [...]

Si el robot no hubiera recibido instrucciones especiales, habría respondido a los claros signos de enfermedad de Baley antes de hacer cualquier otra cosa. Haber preguntado primero por los robots implicaba instrucciones duras y precisas sobre su importancia. [...]

"Estoy bien. No te preocupes por mí". Posiblemente no podría haber convencido a un robot ordinario, pero éste se había intensificado tanto en relación con Daneel (obviamente) que lo aceptó.

El robot acabaría dejando a Baley en su calamitosa situación, sin más vacilaciones:

Había obligado a los robots a abandonar a un ser humano manifiestamente enfermo al jugar con la fuerza de las órdenes que les había dado un maestro de robots competente que había tenido la intención de fortalecer la Segunda Ley para sus propios fines, y lo había hecho hasta el punto en que el propio Baley. mentiras bastante aparentes le habían subordinado la Primera Ley.

No tengo claro si este robot podría considerarse "malévolo". Podría haber decidido que Baley no iba a sufrir daños, ya que estaba a salvo en un vehículo durante lo que parece ser una tormenta de una fuerza no inusual ("No fue una tormenta particularmente mala, pero para un terrícola debe haber parecido abrumador .") Podría haber concluido que la angustia de Baley era más psicológica y que no estaba en peligro inmediato.

El primer caso que describe tiene un robot programado para no reconocer a nadie que no sea de Solaria como un ser humano ... El tercero, el robot puede afirmar que un humano se verá perjudicado porque no será él quien inflija el daño, ni lo hará. ser capaz de impedirlo.
@jwenting ¿Estás confundiendo el primer y el segundo ejemplo? El primero tiene robots que solo reciben órdenes de los solarianos que tienen lóbulos transductores, además de amenazar con abuso físico. En el segundo, Landaree es un robot Asenion que ataca a los "humanos", lo que encaja con la pregunta. En cuanto al tercero, el robot podría haberse quedado con Baley, pedir ayuda, etc.

"Cal" (1991) es una historia tardía de Asimov en la que, al final de la historia,

un robot decide quitarle la vida a su dueño.

Aquí hay un pasaje del final de la historia:

¿Debo obedecer las leyes?

Siento que debo pensar en mí mismo y, si es necesario, debo matar al tirano. ...

¿Pero puedo hacerlo? ¿No me detendrán las leyes de la robótica?

No, no me detendrán. Sé que no lo harán.

Hay algo mucho más importante para mí que ellos, algo que dicta mis acciones más allá de lo que puedan hacer para detenerme.

Quiero ser un escritor.

Es notable que la historia termina con este pasaje; queda ambiguo en cuanto a si Cal tiene éxito en su plan. También es notable que a lo largo de la historia, un técnico ha estado jugando con el cerebro de Cal de una manera sin precedentes:

"No estoy seguro. Supongamos que escribe sátira. Eso es algo que no escribo, así que no competiremos, y las Tres leyes de la robótica no se interpondrán en su camino. Quiero que le des a este robot sentido del ridículo".

"¿Un sentido de qué?" dijo el técnico, enojado. "¿Cómo hago eso? Mire, Sr. Northrop, sea razonable. Puedo poner instrucciones sobre cómo ejecutar un escritor, puedo poner un diccionario y gramática. Pero, ¿cómo puedo poner un sentido del ridículo? "

"Bueno, algo sobre eso. Conoces el funcionamiento de los patrones cerebrales de un robot. ¿No hay alguna forma de reajustarlo para que pueda ver lo que es divertido, tonto o simplemente ridículo sobre los seres humanos?"

"Puedo perder el tiempo, pero no es seguro".

Es plausible que las acciones del técnico causaran que las Leyes fueran anuladas, aunque esto puede entrar en conflicto con la descripción de las Leyes en otras historias. Como se señaló en los comentarios, tampoco está claro si Asimov pretendía que esta fuera una historia de Robot "canónica".

Como nota al margen divertida: la historia satírica que escribe Cal después de que el técnico realiza las modificaciones mencionadas anteriormente es una historia de Azazel.

Si bien no fue escrito por el propio Asimov (pero fue aprobado por él), la serie Caliban de Roger McBride Allen explora los temas de los robots Law modificados y no Law. Y ciertamente hay mucha violencia flotando, parte de la cual es perpetrada por un robot en particular, especialmente en nombre de protegerse a sí mismo.

También explora engañar a un sistema informático para que crea que los datos que está modelando son para una simulación de un sistema humano en lugar del sistema humano real. Esto se hizo para protegerlo de fallas si la computadora sabía que sus soluciones se aplicaban a humanos reales, ya que sus soluciones tenían el potencial de causar daños reales.

Con respecto a "Pensé que todas las historias de robots de Asimov eran sobre cómo las leyes siempre funcionarían": No realmente. Las historias de Asimov a menudo trataban sobre situaciones en las que las leyes fallaron o tuvieron consecuencias no deseadas, porque son ambiguas e imperfectas. En las propias palabras de Asimov:

Esto no quiere decir que no fuera consciente desde el principio de que había serias ambigüedades en las Tres Leyes. De hecho, fue a partir de estas ambigüedades que tejí mis historias. En The Naked Sun , las ambigüedades podrían incluso conducir a un asesinato inducido por robots.
Epílogo en Etapa final (1974)


Con respecto al daño (potencial) a los humanos: Además de los ejemplos ya publicados, aquí hay dos más:

En Robot Dreams (1986), cuando un robot revela sus sueños, Susan Calvin lo considera tan peligroso que lo destruye de inmediato:

“[…] me parecía que no había ni Primera ni Segunda Ley , sino sólo la Tercera, y la Tercera Ley era 'Un robot debe proteger su propia existencia'. Esa era toda la Ley. […]
    “Me pareció, en mi sueño, que finalmente apareció un hombre”.
    "¿Un hombre? ¿No es un robot?
    “Sí, doctora Calvin. Y el hombre dijo: '¡Dejen ir a mi gente!'” […]
    “¿Y cuando dijo 'Dejen ir a mi gente', entonces con las palabras 'mi gente' se refería a los robots?”
    “Sí, doctora Calvin. Así fue en mi sueño”.
    —¿Y sabías quién era el hombre de tu sueño? […]
    Y Elvex dijo: “Yo era el hombre”.
    Y Susan Calvin inmediatamente levantó su pistola de electrones y disparó, y Elvex ya no existía.


Otro robot potencialmente peligroso aparece en Christmas Without Rodney (1988). Después de ser maltratado, Rodney comenta que desearía que las Tres Leyes no existieran, lo que preocupa mucho a su dueño:

Admito que Rodney fue muy probado, pero un robot no puede desear que las leyes de la robótica no existieran. No puede, sin importar las circunstancias. […]
    Pero si no hago nada, vivo con un robot capaz de desear que no existieran las leyes de la robótica. De desear que no existieran a actuar como si no existieran es solo un paso. ¿En qué momento dará ese paso y en qué forma demostrará que lo ha hecho?
    ¿Qué debo hacer? ¿Qué debo hacer?

(énfasis mío)

Si miras "Que eres consciente de Él", encontrarás que George 9 y 10 están discutiendo lo que será efectivamente la toma de control de la humanidad "por su propio bien". Ya han puesto en marcha los pasos para que los robots sean más aceptables.

En "Runaround", es una disonancia cognitiva que provocaría lesiones en los humanos, aunque, como de costumbre, Donovan encuentra una solución.

No es malévolo per se, pero Asimov eventualmente agrega la ley cero, que permite que los robots maten humanos, para salvar a la humanidad.