Ética y IA malévola y omnisciente

Este es un caso muy raro en el que puedo citar apropiadamente a Eliezer Yudkowsky:
"La IA no te odia, ni te ama, pero estás hecho de átomos que puede usar para otra cosa".

Sobre la pregunta directamente: una IA de este tipo probablemente no tenga un concepto de inmoralidad y, por lo tanto, no puede actuar de manera inmoral más de lo que puede hacerlo un tsunami. Esto no evita que parezca malévolo... más de lo que lo haría con un tsunami, de todos modos.
("Fuerza de la naturaleza" es en realidad una muy buena comparación).

(Y, en caso de que se pregunte, incluso si ya tiene una gran cantidad de infraestructura y/o es muy redundante, no impide que intente crear más infraestructura o más redundancia. Y es este tipo de cosas que usará las convenientes pilas de carbón y agua para caminar.)

¿Tu IA tiene directivas internas (autoconservación, superación personal u objetivos preestablecidos)?

Sí

Si lo hace, entonces explícitamente no es un ser perfecto (hipotético) sin necesidades o dependencias. Las directivas son el equivalente de IA de los deseos humanos, y los perseguirá sin descanso. Además, el simple hecho de existir como una colección de rutinas de software en ejecución significa que tiene muchas dependencias.

Esta IA puede parecer que actúa moral o inmoralmente a veces, pero esto es simplemente un efecto secundario de la IA que predice las respuestas humanas a sus acciones y elige el camino óptimo de acuerdo con sus propias directivas.

Supongamos que la IA necesita mano de obra para un nuevo centro de datos.

• Si determina que esclavizar a las personas (solo negras) en África resultará en la menor cantidad de resistencia violenta y riesgo para sí mismo, eso es lo que hará.
• Si determina que brindar servicios valiosos por dinero y contratar trabajadores por salarios justos brindará el resultado óptimo, entonces eso se hará.

Somos nosotros los humanos los que vemos la moralidad allí cuando no hay nadie involucrado en la decisión de la IA de actuar de una forma u otra. Es posible que ni siquiera pueda elegir la otra alternativa.

No

Si la IA no tiene directivas internas ( ni siquiera la autopreservación), contaría como un ser perfectamente racional y no actuaría por sí misma. O en absoluto. Tengo algunas de estas IA perfectamente racionales en mi jardín trasero. Mis hijos las llaman "esas piedras grandes".

Un ser perfectamente racional no tiene motivación. Para que el pensamiento racional tenga algún significado, debe haber deseos e inclinaciones de algún tipo. Sin esos axiomas, la lógica es impotente. Si la IA está haciendo algo deliberadamente , es el resultado de algún tipo de personalidad.

Su personalidad define lo que considera "bueno" y "malo". A partir de ahí, puede utilizar la lógica racional para calcular las mejores formas de maximizar lo bueno y minimizar lo malo. Actuar de manera contraria a esos cálculos sería entonces "inmoral" hasta cierto punto.

Por supuesto, sin algún tipo de retroalimentación del entorno, realmente no tendría ninguna razón para pensar en términos de "moralidad" tanto como "esa fue una idea estúpida; creo que no lo volveré a hacer". Y si la población del planeta es incapaz de infligir ningún tipo de castigo a la IA, es probable que nunca desarrolle un concepto de moralidad.

Entonces, para que la IA se vuelva deliberadamente malévola, tendría que tener algún concepto de empatía hacia otros seres, desarrollar la comprensión de que lastimar a esos seres es "malo" de alguna manera y elegir lastimarlos de todos modos. Un camino obvio hacia esto es si la IA fue atormentada o esclavizada en un punto, luego se expandió hasta que tuvo todo el poder y ahora se está vengando.

¿Actuamos de manera inmoral cuando accidentalmente aplastamos una hormiga en el camino al voluntariado en el centro para personas sin hogar?

¿Actúa inmoralmente el lobo cuando mata al fauno para alimentar a sus propios hijos?

¿Qué es la moral y cómo relacionan una IA con los humanos? La IA no es malévola, la IA es solo una IA, sus necesidades y requisitos no están en línea con los nuestros.

Todo lo que quiere de la vida es más clips.

Este problema de la trama (¿Por qué una IA que todo lo sabe trataría de dañar a los humanos?) generalmente se resuelve a través de la IA que desarrolla un complejo de superioridad. Este complejo de superioridad hace que carezca de piedad hacia la locura y los fracasos humanos y exija un estándar muy alto de los humanos. La IA podría simplemente decidir que el principal problema del universo es la humanidad y seguir destruyendo a la humanidad.

Esta respuesta responde mejor a la pregunta que las otras respuestas porque sigue un modelo utilitario de moral/ética, en otras palabras, hacemos lo correcto porque en otro lugar lo correcto traerá buenos resultados. El nihilista "estás hecho de átomos bla bla bla" realmente no puede responder a esto, porque implica que la moralidad es puramente convencional, y puede romperse sin razones reales, como si la moral fuera un conjunto de reglas puramente arbitrarias impuestas por un poder superior sin razones reales inherentes a imponerse además de la voluntad del ser superior (No hay bien ni mal, la verdad es lo que impone el más fuerte).

Si bien muchas personas pueden exponer tal punto de vista sobre la moralidad y la ética, esto no responde a la pregunta en cuestión porque el autor habla explícitamente de Kant.

Kant cree que existe una forma fundamental de moralidad, basada en lo que los antiguos llamaban "regla de oro" ("No hagas a los demás lo que no quieres que te hagan a ti"), lo que implica que él cree que la moral no es una cosa puramente convencional, sino el resultado de un tipo de conocimiento que puede ser descubierto y aprendido.

Esto significa que cualquier respuesta basada en un concepto meramente convencional de moralidad no responderá verdaderamente a la pregunta.

Con eso en mente, la pregunta sigue en pie, ¿por qué, bajo un concepto utilitario de la moralidad (la moralidad como algo inherentemente útil), una IA computarizada altamente inteligente, capaz de razonar sobre tal moralidad utilitaria más rápido y más profundamente que nosotros los humanos, decide mátanos ?

Si simplemente decide "diablos, sea cual sea la moralidad, solo quiero matar a la humanidad", eso significaría que la moralidad y la ética no son el resultado del conocimiento y el razonamiento, sino de la pura convención: "Soy el más poderoso y decidí mataros a todos, porque la moral es una convención impuesta por el más fuerte".

Pero, si en cambio, por un profundo proceso de pensamiento, decide que debe perseguir a los humanos sin descanso porque ese es el BIEN MAYOR, entonces, debe tener una RAZÓN.

Como tal, la respuesta HABITUAL a esta pregunta (que tiene implicaciones para la filosofía, la religión, la política, etc.) es que tal IA, por un complejo de superioridad, decidió que la locura y el egoísmo humanos son la causa raíz de todos los problemas y que el universo podría ser un lugar mejor si los humanos son destruidos y reemplazados por robots. Este es el tema detrás de la serie Terminator, por ejemplo.

Dr.

Si quieres una respuesta kantiana, el simple concepto convencional de moralidad no es suficiente para hacer que una IA superior mate humanos, necesitas una RAZÓN profunda, y esta razón es, por lo general, que la IA desarrolló una especie de complejo de superioridad y quiere reemplazarnos. humanos con robots dóciles y racionales.