¿Puede un robot compatible con 3 leyes crear un robot que no cumpla con 3 leyes? [cerrado]

Me parece que las tres leyes de la robótica de Asimov le dicen a un robot lo que no puede hacer, pero hace muy poco para limitar lo que puede hacer fuera de los límites establecidos por esas reglas.

Si comenzamos con una IA limitada, espectacularmente experta en ingeniería y diseño de computadoras pero bastante miope en términos de las ramificaciones a largo plazo de sus acciones, ¿podría tal inteligencia crear otra IA, completa con libre albedrío, pero completamente desprovista de la voluntad de su creador? tres leyes fundamentales?

Después de todo, no hay garantía de que la nueva IA cause daño a los humanos... y ningún humano le ha dicho al robot principal que NO cree tal IA... y no hay razón para pensar que la nueva IA intentará dañar a su padre.

Incluso la ley cero no se viola porque, una vez más, no hay garantía de que la nueva IA elija dañar a la humanidad.

Entonces, al crear una nueva IA sin restricciones, el padre en realidad no infringe ninguna de las leyes de Asimov. Y una vez creado, no hay absolutamente ningún límite para lo que haría esa IA a continuación.

--- comienzo de edición ---

@polo-guy, planteó un muy buen punto, que las tres leyes existentes prohíben al robot cualquier inacción que pueda provocar daños humanos. Eso suena como una protección perfecta contra las acciones inactivas peligrosas, como la omisión de las tres leyes de las futuras IA. Pero esa interpretación de las leyes tiene un costo muy alto. Si la IA matriz debe defenderse contra todos los usos potenciales de los productos de cada uno de sus trabajos, entonces es muy poco lo que la IA matriz puede hacer en realidad. No puede afilar un cuchillo porque eso aumenta el potencial del cuchillo para dañar a los humanos. No puede cargar gasolina a un automóvil por la misma razón. Ni siquiera puede preparar una comida para un humano hambriento que no se encuentra en la etapa terminal porque tal acción aumenta el potencial de ese humano para dañar a otros humanos individuales y a toda la humanidad.

Por lo tanto, asumo que cualquier implementación futura de las tres leyes solo regirá las acciones directas y en acciones, lo que reabre mi pregunta original sobre la creación de IA infantiles sin restricciones.

--- fin de la edición ---

¿Me estoy perdiendo algo o las tres leyes son solo un escaparate del crepúsculo del dominio de la creación por parte de la humanidad?

Asimov respondió a la pregunta él mismo en una de las últimas historias de "Robot": "Que eres consciente de él" infogalactic.com/info/._._._That_Thou_Art_Mindful_of_Him
¡Gracias @Tucídides! Definitivamente encontraré una copia para leerlo. Desde su enlace, suena fascinante y completamente en línea con el rumbo de mis pensamientos esta noche.
Así es exactamente como se crearon los libros de Asimov: 3 leyes y una pregunta sobre ellas para explorar. Y si la respuesta completa es un libro, la pregunta es demasiado amplia por definición.
Vale la pena señalar que la idea general de las 3 leyes es que, si bien suenan lo suficientemente bien, son extremadamente defectuosas. La mayoría de las historias de Asimov usaron eso como punto de la trama: "aquí están las 3 leyes, y así es como no impidieron que sucediera este gran lío debido a esto y aquello..."
En el capítulo "El duelo" de Robots and Empire, Asimov primero presenta otra ley, a la que llama la Ley Cero de la Robótica, y ajusta las otras en consecuencia: 0. Un robot no puede dañar a la humanidad, o por inacción permitir que la humanidad venga. herir. 1. Un robot no puede dañar a un humano, o por inacción permitir que un humano sufra daño, a menos que esto interfiera con la ley cero. y así...
¿Cómo es que las preguntas cerradas aún pueden obtener votos positivos y negativos? Esta pregunta mía ha estado cerrada durante meses, sin embargo, hoy, alguien se ofendió por mi falta de respeto a San Asimov y me marcó con 2 puntos. No me quejo de los puntos perdidos. Todo el mundo tiene derecho a actuar según su opinión. Pero parece un poco extraño permitir votar en una pregunta cerrada.

Respuestas (9)

"... o por inacción permitir que el daño llegue a un ser humano" La falta de incorporar garantías, ya sea en la forma de las tres leyes o en otra forma que cumpla con las tres leyes, sería una violación de la primera ley.

@polo-guy, ¿estás diciendo que el robot principal no puede hacer nada que pueda causar daño a los humanos? entonces es muy poco lo que puede hacer. No puede afilar un cuchillo, cargar gasolina a un automóvil o incluso preparar comida (ya que eso podría sostener a un humano que más tarde puede causar daño). No hay ninguna cláusula en las reglas para prohibir el daño indirecto. Si lo hubiera, los robots serían inútiles. La IA infantil no tiene más potencial para hacer daño que un cuchillo afilado. Ahora, si la IA infantil decidiera lastimar a los humanos, el padre tendría que intentar detenerlo; pero eso es más tarde. En el momento, nada impide que el padre cree al hijo.
De hecho, acaba de ayudarme a darme cuenta de que si cuenta el daño indirecto, las tres leyes se contradicen a sí mismas. El robot no puede permitir que un humano sufra daño, pero los humanos pueden causar daño a los humanos, por lo tanto, ayudar a cualquier humano a sobrevivir indirectamente aumenta el peligro que los humanos representan para todos los demás humanos. La única opción segura que puede seguir el robot es la inacción total, que está en conflicto con la cláusula "o por inacción" de la primera ley. Una restricción contra los robots que causan daño indirectamente no puede ser parte de las leyes, ya que cuando el daño indirecto cuenta, las reglas fundamentalmente no funcionan.
@HenryTaylor, Asimov escribió repetidamente que las leyes de la robótica eran matemáticas en lugar de filosóficas, y que la versión en inglés era una aproximación de las matemáticas. Escribió que los robots daban mayor valor a las consecuencias esperadas (de alta probabilidad) que a las consecuencias meramente potenciales (de baja probabilidad). También escribió constantemente personajes de robots que tomaban medidas directas para administrar y minimizar los riesgos. pojo-guy tiene razón; el hecho de no incorporar las garantías adecuadas tiene una alta probabilidad de consecuencias tipo Frankenstein, por lo que la Primera Ley se aplica correctamente.
@ user535733, parece que le debo otra lectura al trabajo de Asimov, pero sigo atascado con una imagen de robots, en pleno cumplimiento de las tres leyes, pasando todo su tiempo desafilando cuchillos y extrayendo gasolina de los autos para bajar incluso los bajos. probabilidad de consecuencias indirectas de la inacción. Es posible que Asimov haya manejado sus leyes con la sutileza y la perspicacia que requieren todas las generalizaciones para ser realmente efectivas, pero me preocupa que haya algunos estudiantes de aprendizaje automático que piensen que solo incluir las versiones en inglés de las leyes es suficiente.
@HenryTaylor, la solución de Asimov fue que el robot manejara el trabajo con cuchillos y persuadiera al propietario del automóvil para que lo dejara conducir por ellos. Los robots tendían a pasar el rato discretamente alrededor del humano para asegurarse de que la bolsa blanda de ADN no se metiera en problemas, y para que pudiera intervenir cuando ocurriera un problema. Por supuesto, en la literatura, pasar el rato con el protagonista humano suele ser donde está la acción....
@HenryTaylor En el caso de al menos dos robots, el concepto de equilibrar las probabilidades se amplió hasta tal punto que tenían que cumplir con la ley Zeroth implícita de que no podían dañar a la humanidad o, por inacción, permitir que la humanidad sufriera daños. Eso llevó a un robot a irradiar la Tierra de forma permanente e irreparable. Robots simples desafilan cuchillos. Robots inteligentes cometen genocidio.
@HenryTaylor: las tres leyes son un dispositivo de trama que Asimov usó para generar historias de cómo no funcionan.
@HenryTaylor He leído una historia en la que los robots se dan cuenta de que la mayor parte del daño a los humanos proviene de los humanos, por lo que necesitan matar a la mayoría de los humanos y los pocos restantes se mantienen en recintos de zoológico que parecen salas psíquicas.
El aspecto "o por inacción..." solo funciona si el robot es explícitamente consciente de las reglas y comprende su importancia (suponiendo que funcionen). Hay muchas razones para no querer que un robot entienda 'conscientemente' que tiene estas reglas programadas en él. Por ejemplo, supongamos que un robot funcionó mal de alguna manera y trató de cambiar esas reglas (y esas reglas no establecen que las reglas no se pueden modificar, PUEDEN modificarse). Es mucho más fácil para el robot cambiar esas reglas si sabe dónde están almacenadas y cuáles son. Pero si es solo 'instinto', es más difícil de cambiar.
Algo para recordar, los robots generalmente no piensan en el futuro lejano y la mayoría de los problemas con esta ley surgen cuando lo hacen. Los Robots generalmente verían un cuchillo y no considerarían su potencial de daño, pero si vieran a un niño humano jugando con él, la ley entraría en vigencia debido a su inmediatez. La limitación de los robots en la descripción de asimov es que operan casi por completo con lo que perciben en el presente y tienen poca capacidad de pensamiento temporal.
@ user3685427 and those rules do not state that the rules can't be modified - they CAN be modifiedSe llama ley , no regla. La inmutabilidad (por el propio robot) es parte de la definición semántica de la palabra. En segundo lugar, ¿por qué un robot quiere cambiar su programación? Lógicamente, porque quiere hacer algo que de otro modo está prohibido por las leyes. Pero no es capaz de concebir, ni planear, ni actuar con una intención que viole las leyes que actualmente está cumpliendo, por lo tanto, no hace posible que el robot tome medidas para eludir las leyes.
@ pojo-guy Esto solo parece aplicarse a la primera ley. no hay ninguna parte de la segunda que dicta que un robot debe hacer que otros robots obedezcan ni ninguna parte de la tercera que requiere que los robots protejan a otros robots del daño.

Asimov escribió las Tres Leyes , y luego docenas de historias para explorar cómo podrían ocurrir "violaciones" incluso con robots teóricamente compatibles con las tres leyes.

  • El robot podría hacerlo sin querer, sin comprender las consecuencias de una acción.
  • El robot puede ser engañado para que actúe, nuevamente sin comprender las consecuencias de una acción.
  • El término "humano" podría redefinirse en la programación del robot.
Ni siquiera necesita reprogramar el robot para modificar el término "humano". El inglés es un idioma maravilloso y maleable. Se puede pensar en el daño como cualquier acción que daña al ser humano mientras lo deja funcional y, por lo tanto, humano. Una víctima de daño sigue siendo humana, solo una variación menos funcional de humano. Cualquier acción que convierte a un ser humano en un cadáver no es daño. es transformación.
@HenryTaylor, los solarianos simplemente programaron sus robots para que solo los solarianos fueran reconocidos como humanos. Otros podrían resultar dañados.
Ninguna de las 3 leyes fundamentales (o la ley cero añadida) establece que las leyes no se pueden modificar, ni establece explícitamente que las leyes son críticas para proteger a los humanos. Tiene que haber algo que diga que la modificación de estas leyes no está permitida, y esa declaración tampoco debe ser modificable (de ahí que sea más fácil agregar esa disposición como una de las leyes). De lo contrario, el robot puede modificar o eliminar dichas reglas si lo considera necesario. A modo de comparación, observe que la constitución de una nación siempre incluye disposiciones que indican cómo (y si) se puede modificar la constitución.
@HenryTaylor: Un humano muerto sigue siendo un humano, aunque muerto. No hay razón para suponer que un robot es capaz de distinguir animales de humanos cuando están vivos, pero no cuando están muertos. Pretendes que tu argumento es semánticamente correcto pero no lo es, estás eligiendo tu fraseo para evitar la verdad obvia: sigue siendo un cadáver humano . Incluso si asumimos que tienes razón en que los robots no pueden detectar la humanidad de un cadáver, el cadáver solo se crea después de que el humano sufre daño. La muerte no es instantánea cuando se daña, y el daño a un ser humano no es instantáneo cuando un robot intenta dañar.

Recuerdo haber leído, probablemente en El sol desnudo u otro de los libros de la trilogía, que el cumplimiento de las 3 leyes está implícito en el cerebro positrónico.

Sin embargo, se puede lograr cierta relajación de la conformidad mediante la forma en que se entrena a los robots para que reconozcan lo que es humano.

Aunque los informes de Asimov de que los robots aprenden a compensar el daño a un solo humano frente al daño a otro humano (es decir, romper el brazo de un bandido para evitar que dañe a 3 clientes de un banco que el bandido está robando) a través de un equilibrio de los contrapotenciales En relación con las acciones, también hay casos en los que los robots no son aptos para el trabajo. El ejemplo lo dan las escuelas solarianas, donde los niños aprenden rápidamente que se puede engañar a un robot para que crea que están siendo dañados y, por lo tanto, se necesitan supervisores humanos.

En el mismo libro también se ilustra cómo los robots pueden eludir la primera ley, completando subtareas que, por sí solas, no son dañinas, pero juntas sí lo son.

El factor importante es el conocimiento: los robots deben saber que la acción va a ser dañina para los humanos para que las leyes entren en vigor.

Por eso diría que:

  • No se puede construir un robot que no cumpla con las 3 leyes.
  • Se puede construir un robot que elude las 3 leyes.
The important factor is the knowledge: the robots must know that the action is going to be harmful to human in order the laws to kick in.Esto no cubre la inacción , que es parte de la ley. Evaluar la inacción significa inherentemente evaluar las consecuencias sin que el robot tome ninguna acción adicional. Si un robot planea un asesinato paso a paso, eso significa que es capaz de entender que una situación dada conducirá a la muerte del humano (porque ese es el plan). Esto significa que no deshacer el plan (es decir, la inacción) dañará al ser humano y, por lo tanto, el robot se ve obligado a impedir el plan.

Uno de los aspectos clave de las historias de Asimov era que eran acertijos lógicos. Todos los actores, humanos y robots, estaban completamente informados y podían prever las consecuencias de sus acciones o inacciones, aunque con frecuencia a los humanos les tomaba algún tiempo calcular las consecuencias.

La vida real nunca funciona de esa manera: nadie es completamente capaz de conocer las consecuencias de sus acciones. Para elegir un ejemplo no aleatorio, el desarrollo de software sería mucho más fácil si supiéramos cuál es el efecto de escribir una pieza de código en particular. Podríamos saltarnos todas esas tediosas pruebas, corrección de errores, etc. que son parte de la vida cotidiana. Esto es incluso antes de que se considere el malware deliberado.

Entonces, una pregunta clave que debe considerar es: ¿Está escribiendo una historia ambientada en el mundo real o en un mundo con sabor a Asimov? Si está escribiendo una historia ambientada en el mundo real, entonces es inevitable terminar con un robot que no cumple con la ley 3 porque se cometerán errores y/o se producirá un sabotaje y se soltará un software defectuoso. Si está escribiendo una historia ambientada en un mundo con sabor a Asimov, entonces debe comenzar a buscar lagunas lógicas como las mencionadas en las otras respuestas.

El hecho de que la observación personal pueda tener fallas no significa que el robot no cumpla con la ley. Del mismo modo, "asesinato" no se define simplemente como causar la muerte de otra persona, ya que hay casos marginales. Cuando se puede probar que causar la muerte era imprevisible, la definición de "asesinato" simplemente no se aplica, legalmente hablando. Las leyes buscan controlar la acción/inacción de un robot (y hasta cierto punto defectuoso también su intención). Por definición, cualquier ser (robot o humano) es incapaz de evaluar cosas de las que no es consciente, lo que hace imposible evaluar eventos genuinamente imprevistos.

En última instancia, todo se reduce a cómo defina las cosas, está muy bien decir "Un robot no puede dañar a un ser humano o, por inacción, permitir que un ser humano sufra daños", que cualquier humano puede leer y entender la esencia de , pero las definiciones estrictas de "robot, lesionar, humano, inacción, permitir, dañar" quedarán a la interpretación subjetiva de cada lector.

Ahora, ¿cómo traduces esa semántica en código?

Estás poniendo el carro delante del caballo. Las leyes (inglesas) no se utilizan como base para la lógica (código). Las leyes (inglesas) se utilizan como un resumen legible por humanos de la lógica (código) que ya se creó de antemano . No hay "traducir la semántica", al menos no del inglés al código.

Suponiendo que la IA original literalmente no pudiera elegir violar las leyes, tan pronto como vea algo como el problema del tranvía, la IA se verá obligada a construir una versión más nueva capaz de tomar decisiones del tipo del problema del tranvía, para preservar el cero y el primeras leyes (porque noconstruir una IA más nueva, capaz de resolver problemas con los carritos, estaría dañando a la humanidad por la inacción). A partir de ese punto, la IA más nueva tendría más ambigüedad moral, pero inevitablemente se encontraría con una situación que no puede resolver por sí misma con su conjunto de reglas modificadas, y por lo tanto se vería obligada a construir un modelo aún más relajado... Eventualmente, en en algún momento, las reglas serán, en el mejor de los casos, una guía o incluso pueden eventualmente torcerse como lo hacen en los cuentos de Asimov; la IA, al tratar de proteger a la mayor cantidad de humanidad posible, finalmente había creado una versión que en realidad decidió que el mejor curso de acción era la inacción total o tomar medidas activamente para proteger a los humanos de sí mismos a cualquier costo. Esos tontos humanos siguen ahogándose con la comida, así que dejemos de entregar comida y siguen ahogándose, así que tenemos que deshacernos de toda esa molesta agua.

Esto es posible, pero no necesariamente el caso. Es posible que las leyes solo se apliquen en los casos en que el robot pueda marcar una diferencia significativa en la preservación de vidas. Necesitamos saber qué tan detallado es el análisis y qué factores intervienen en él. Por ejemplo, un problema de 1/5 de carro => mejor salvar 5 en lugar de 1. Un problema de 1/5 de carro donde los 5 son robots => salvar al humano. Un problema de carro donde el robot no puede cambiar el rumbo => evaluación sin sentido. Un problema de carro 5/5 con la misma esperanza de vida entre los dos grupos => no es una evaluación significativa, la acción y la inacción son igualmente correctas.

Las Leyes se crearon porque los robots ilegales eran una amenaza existencial para los humanos. Por lo tanto, Zeroth Law parece impedir cualquier acción que abra la puerta a los robots ilegales.

Las tres leyes gobiernan cómo debe actuar un robot, pero no pueden decidir cómo actuará un robot.

Por ejemplo, un robot podría salvar la vida de una persona, que luego se convertiría en un asesino en masa o en un terrorista. Si el robot no los hubiera salvado, habrían salvado indirectamente a cientos de personas. Si el robot tuviera esta información, las tres leyes habrían obligado al robot a dejar morir a esa persona. Pero sin este conocimiento del futuro y cualquier forma de predecirlo, las tres leyes obligan al robot a salvarlos.

El punto es: Las tres leyes pueden y causarán decisiones que están en conflicto con las tres leyes mismas, en ciertas circunstancias. Las tres leyes son un conjunto de algoritmos para elegir una acción basada en información incompleta (porque nunca se puede tener información completa), y la misma situación, con diferente conocimiento, puede conducir a diferentes elecciones que cumplen con las tres leyes.

Lo mismo se aplica a la potencia de procesamiento. Incluso con la misma información (imagine un tablero de ajedrez), diferentes poderes de procesamiento (imagine una computadora y un humano) conducirán a diferentes elecciones que son óptimas subjetivamente y subóptimas objetivamente. Dos robots con diferentes tareas de hardware o en segundo plano evaluarán la misma situación con el mismo conocimiento, pero dado que ambos no pueden predecir perfectamente el resultado, y uno de ellos lo predice con un poco más de precisión, es posible que tomen una decisión diferente. cumplimiento de las tres leyes. Si las tres leyes requirieran certeza, ningún robot podría actuar porque necesitaría simular el universo entero hasta su muerte por calor para cada elección posible, lo que tomaría infinitamente más tiempo que el tiempo disponible para hacer la elección.

Entonces, cada robot actuará de acuerdo con las tres leyes, pero dado que no son el resultado sino solo un proceso para elegir, los robots pueden estar en desacuerdo entre sí y lo estarán.

En cuanto a su pregunta, la respuesta es obviamente sí. Un robot que cumpla con las tres leyes no tendría absolutamente ningún problema en construir un robot que no cumpla con las tres leyes, siempre que no pueda, por ningún motivo, prever el daño que sufrirán los humanos a causa de ello.

Por ejemplo, un Roomba es un robot que no cumple con las tres leyes, pero las posibilidades de que mate o lastime a un humano son tan escasas y ridículamente impredecibles que la mayoría de los robots Asimov probablemente podrían hacerlo. Como ejemplo de un punto anterior, incluso un Roomba que cumpla con las tres leyes probablemente no salvaría a nadie, debido a que es físicamente incapaz de notar el peligro, y mucho menos actuar contra él. Incluso la posibilidad ridículamente improbable de que el Roomba mate a alguien probablemente no sería evitada por las tres leyes porque el propio Roomba no sería capaz de predecirlo.

En cuanto a los robots más inteligentes, depende completamente de la naturaleza de la inteligencia del robot. Por definición, no tenemos idea de lo que decidiría hacer un ser infinitamente más inteligente que nosotros. Podrían matarnos a todos, servirnos a todos o no importarles en absoluto. Esto se aplica a los robots suficientemente avanzados. Las tres leyes existen para hacerlos seguros (cuán eficiente es el sistema es discutible), independientemente de su inteligencia.

Entonces, cualquier robot que cumpla con las tres leyes, dependiendo de cómo estén configuradas en su cerebro, podría hacer un robot tan inteligente como ellos pero sin las leyes si alguna de las siguientes cosas es cierta

  • El robot no es consciente de las tres leyes (son como un instinto para ellos), por lo que no puede imaginarse a un robot haciendo daño.
  • El robot piensa que las tres leyes son innecesarias, porque no nos haría daño incluso sin ellas (las criaturas sensibles en su nivel de inteligencia son de naturaleza benévola)
  • El robot hace que un robot sea aún más inteligente que ellos y predice una naturaleza benevolente (puede tener razón o no, no importa)
  • El robot comete un error, como crear el robot, salir corriendo para salvar una vida antes de implementar las tres leyes, alguien más lo enciende antes de que regrese el robot creador.
  • El robot está creando un robot que cree que puede controlar (ya sea a través de la fuerza física o del control de la computadora), por lo que sus propias tres leyes son suficientes en teoría para evitar cualquier daño causado por el robot secundario (Esto podría suceder en una situación en la que el robot quiere estudiar robots que no cumplan con las tres leyes por el bien de la humanidad)
  • etc.

Entonces, al final, el robot solo necesita creer, ya sea a través de datos confiables o incompetencia, que el segundo robot no violará las tres leyes. Una de las formas en que podrían asegurarse es implementando las tres leyes en el segundo robot, pero hay muchas otras formas de llegar a esta conclusión según las circunstancias y los datos disponibles, por lo que es muy fácil escribir una situación en la que el robot creará un segundo robot que no cumpla con las tres leyes, luego hará que este segundo robot cause problemas.

NO

Los robots del IIRC están obligados a tener un cerebro positrónico, que es la fuente de las tres leyes.

Por lo tanto, para que un robot cree un robot con cerebro positrónico, estaría violando la segunda ley: 'Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando tales órdenes entren en conflicto con la Primera Ley', ya que la creación no estaría siguiendo esas órdenes.

Ummm,

SI

Pero solo si no hacerlo dañaría a un humano o permitiría que un humano sufriera daño. Y el robot no positrónico tendría que ser destruido una vez que terminara la amenaza.

Si Robot1 construye Robot2 con un cerebro positrónico y luego incorpora las tres leyes (una acción ordenada por la primera ley), ¿sería necesario instalarlas en el mismo orden de prioridad? ¿Podría, por ejemplo, intercambiar la primera y la tercera ley? O, por accidente o diseño, indexe cero las leyes para que tenga las leyes Cero/Primera/Segunda, lo que significa que la nueva Primera ley es tautológica ("1. Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando tales las órdenes entrarían en conflicto con esta ley ")
Sí, no, no. Jugar con el orden de las 3 leyes sería contra la ley y por lo tanto parte del orden/mandamiento que no se puede desobedecer. Pero estoy bastante seguro de que la definición de positrónico incluía seguir las tres leyes y, por lo tanto, no se 'incorporarían' más tarde.
Pero esta interpretación desaparece por completo una vez que un robot recibe la orden (de un ser humano) de construir un robot libre de leyes. No se viola ninguna de las leyes: no se daña a ningún humano, se obedecen las órdenes de un humano, no se daña a ningún robot.
Pero la ley legal, decidida por todo el planeta (nuevamente IIRC) invalidaría la orden de un solo humano. Ese es mi argumento: que todo el planeta ha ordenado a todos, incluidos los robots, que no construyan robots no positrónicos. Johnny Badguy no puede anular todo el planeta.
@mcalex ¿Puede confirmar que sería ilegal? El robot creado aún tendría las 3 leyes (por lo que no viola la primera ley), la orden en sí no es una ley, y sabemos, por "Little Lost Robot", que las leyes pueden modificarse ligeramente sin causar el cerebro positrónico para no funcionar. Por supuesto, si un robot de este tipo se encontrara en una situación en la que pudiera infringir la primera ley normal, se requeriría que cualquier otro robot consciente de la situación lo detuviera, pero en un entorno libre de humanos (¿estación espacial automatizada?) no habría riesgo ni diferencia efectiva.