¿Seres humanos como mascotas?

Relacionado y en continuación con El desafío de controlar una IA avanzada . En este punto de mi historia, asumo un escenario de IA listo para usar, donde no se creó un singleton (una sola entidad dominante autocoherente), sino una gran cantidad de sistemas filosóficos y de valores. Han surgido distintos agentes de Inteligencia General Artificial (AGI, o AI para abreviar). Para que mi historia tenga sentido para los humanos actuales (incluido yo mismo), debo tener una presencia humana, ya que los cangrejos ermitaños de 10 dimensiones pueden ser más difíciles de identificar.

El problema es que, en comparación con una IA suficientemente avanzada, la velocidad del pensamiento humano (con un límite de alrededor de 200 Hz/neurona) nos haría potencialmente lentos como la melaza en comparación con ellos. Entonces, incluso si son benévolos y no nos convierten en una sustancia gris o computronio , ¿por qué se someterían a la agonía de interactuar con seres lentos y limitados como el Homo Sapiens ?

Pocos escenarios tienen sentido para mí.

Un escenario es que algunas IA simplemente mantendrían a los humanos como mascotas glorificadas, por algún tipo de nostalgia de los antepasados, por diversión, o tal vez como Bonsai un poco más reactivo. Me cuesta imaginar cómo esos humanos reaccionarían/interactuarían/tratarían a la IA. Elija su marco de tiempo: podrían ser solo semanas o años desde la Singularidad, o miles de generaciones.

Continuado por ¿Cómo una IA mantiene felices a sus mascotas humanas?


¿Crees que habría un gran subconjunto de humanos que estaría feliz de cumplir este papel y trataría de complacer a sus amos supremos de IA, o habría aversión y hostilidad casi generales?

Otra posibilidad supone que existe una creencia casi religiosa entre (al menos algunas) IA de que podrían estar viviendo en una simulación y deberían tratar bien a los humanos en caso de que alguna entidad lo suficientemente poderosa pudiera estar observando (¿PETA divina?). Personalmente, encuentro esto bastante insatisfactorio, ya que asume que las IA imaginarían que esta presunta entidad otorgaría un valor especial a los humanos de la Tierra. Para cualquier no humano, esa es una postura dudosa.
O humanos-como-dioses: después de todo, ellos son los creadores de la IA.
Lento como las montañas, sabio como el alba. Hablando un extraño dialecto arcaico. Por supuesto.
@mouviciel en una de las novelas de Asimov, un robot se ensambla en una estación espacial para hacer un trabajo. El robot se "rebelde" contra los humanos, afirmando que, como es mucho mejor que ellos, los robots deben haber creado a los humanos y no al revés. Así que suena improbable que una IA avanzada considere a los humanos como dioses.
Acabo de encontrar el título de la novela. Es "Razón". La IA que maneja los robots en la estación espacial comienza a pensar que los humanos no podrían haber creado robots ya que estos son "mejores". La IA cita una ley que no recuerdo ahora, que establece que nadie puede crear algo mejor que él mismo o también podría mejorarse a sí mismo. La IA inicia una nueva religión con robots como discípulos. En tu caso, el "culto" podría implicar la protección de criaturas menores. en.wikipedia.org/wiki/Reason_%28short_story%29
Mucha gente parece estar publicando sobre cómo la IA trataría a los humanos. Si bien es un aporte valioso, mi pregunta es primordial sobre lo que los humanos que viven en esas circunstancias sentirían, pensarían o harían.
Si la IA es buena para realizar múltiples tareas como la mayoría de las computadoras, interactuar con un ser humano o dos, o dos millones, no debería ser agonizante para ellos.
@SerbanTanasa, las respuestas reflejan que la pregunta no está clara: realmente se necesita una lectura exhaustiva para comprender que la pregunta se trata de las acciones de las "mascotas"; podría ser más productivo comenzar con una pregunta nueva o al menos editarla en gran medida para resaltar en el título y el contenido lo que realmente quiso decir.
@SerbanTanasa Si las IA realmente se ejecutaron a través de una simulación de este tipo (y se destruyeron o dañaron de otra manera si resultaron dañinas) antes de escapar, es posible que continúen actuando bajo el supuesto de que podría haber otra capa de simulación dirigida por humanos.
@algiogia, pero ¿no son los humanos una inteligencia avanzada "en el mundo real" que han creado dioses específicamente? Parece que la inteligencia superior en realidad da como resultado el concepto de dioses.
La IA es y debe ser completamente lógica. Pueden iniciar una guerra de guerrillas para erradicar el estilo Terminator humano o coexistir pacíficamente. A menos que los humanos sean una amenaza para ellos, ¿por qué la IA, impulsada por la lógica, gastaría recursos para erradicarlos?
@MobiusPizza: ¿por qué la IA debería ser completamente lógica? O, para ponerlo más específicamente en su deducción: ¿por qué la única razón para actuar de las IA debería ser eliminar las amenazas? ¿No podrían por ejemplo tener un sentido estético y (según el caso) destruir a los humanos porque los encuentran feos o preservarlos porque no lo hacen? Incluso si este sentido estético es completamente arbitrario, podría reproducirse a sí mismo en el sentido de que una IA (irracional, según su definición) no elegiría alterarse a sí misma o crear una nueva IA que no comparta al menos algunas de sus preferencias.
La Cultura lo hace.
Tu escenario tiene mucho sentido. Después de todo, los gatos han mantenido a los humanos como mascotas durante miles de años con muy poca inteligencia, ya sea artificial o natural.
@DA. eso es exactamente lo que sucede en "Razón". La IA inicia un culto a un dios no especificado. Lo que no creo posible es que la IA considere a un ser "inferior" (los humanos) como su dios. Por lo general, los dioses son entidades mejores y más poderosas que el adorador.
Hyperion Cantos exploró ese tema bastante bien.
@SteveJessop Por supuesto, dependería del autor, pero la mayoría de la cultura contemporánea ve a la IA como fría y calculadora. De hecho, la forma en que las computadoras funcionan físicamente hoy en día significa que no cometen muchos errores (excepto cuando el software tiene errores). La mayoría de los problemas en el mundo son del tipo llamado problemas de optimización (es decir, equilibrar pros y contras), y la IA podría hacerlo mucho mejor que nosotros, y su decisión sería más "lógica". Si el autor diseña una IA que es irracional, es decir, elementos de emoción, entonces, ¿por qué la historia necesita IA? ¿Por qué no escribir sobre extraterrestres o seres modificados genéticamente?
@algiogia Los humanos adoraban a varios animales como dioses. Gatos, vacas, osos, lo que sea. No veo por qué una IA sería tan diferente. Los humanos no son lógicos, por lo que pueden ser bastante misteriosos para una IA.
Por eso dije "normalmente" :) Pero ya veo lo que quieres decir. Supongo que podrías encontrar algo que haga que los humanos sean "especiales" para la IA. Después de todo, los humanos son sus creadores...

Respuestas (18)

Ratas: no necesariamente quieres matarlas a todas, pero una vez que llegaron a tu casa (centro de datos), las matas. Matarlos a todos es difícil porque se reproducen demasiado rápido y si colocamos algún veneno para matarlos, se dan cuenta bastante rápido de lo que está pasando.

El hecho de que vivan principalmente en lugares subterráneos, donde no queremos ir, hace que su crianza sea más fácil y más difícil para nosotros deshacernos de ellos.

Por supuesto, hay algunos que tienen ratas humanas como mascotas, pero nunca será "la cosa" para todos nosotros...

Ratas, ojalá hubiera pensado en eso. ¿Somos realmente tan difíciles de matar? Para cosas que operan en el rango de Gigahercios y con manipuladores de velocidad atómica, seríamos presa fácil...
Compara la inteligencia de las ratas con la nuestra. Su desarrollo tecnológico al nuestro... Y el hecho de que a la mayoría de nosotros no nos importan las ratas mientras no estén masticando algo en su jardín. Entonces, si los humanos permanecen "ocultos" (escenario bastante distópico, oye), no deberíamos ser un problema para las IA.
"Anthony, ¿por qué no arranca el portal?" "Maldita sea, los humanos deben haber masticado la bobina inductora del hiperespacio otra vez".
Esta es una gran premisa, pero consideraría además que si las IA son tan avanzadas, es posible que no necesiten 'vivir' en el espacio humano. Los espacios humanos/ratas están muy sucios, en comparación con donde realmente viven las IA. Tal vez viviríamos en una sociedad donde las IA son solo una cosa en sí mismas, y apenas notamos o pensamos en SU ​​existencia...
Recuerdo una historia, The Men in the Walls , de William Tenn. Lo leí en una antología, por lo que debe ser lo suficientemente conocido como para coleccionarlo.
Los humanos y las ratas tienden a infestar planetas asquerosos con muchos químicos horribles como el monóxido de dihidrógeno que puede corroer tus circuitos. A menos que sea biólogo, lo mejor es quedarse en el vacío agradable y limpio.
O como langostas. En Three Bodies de Liu Cixin, un personaje dijo que los humanos podrían ser gusanos en comparación con los alienígenas trisolarianos, pero las langostas nunca se extinguieron a pesar de todos los esfuerzos humanos por exterminarlas.

Pude ver algunas respuestas:

Eficiencia : hay algunos problemas para los que un ser humano bien entrenado seguirá siendo más eficiente que una IA porque evolucionamos durante millones de años para ser buenos en ese tipo de problemas. Cualquier cosa que involucre razonamiento espacial en espacios tridimensionales aprovechará los millones de años de código espagueti que nos hace ser quienes somos. Una IA podría hacer la tarea, pero sería razonable mantenernos cerca para hacerlo.

En este caso, seríamos tratados como perros de trabajo: bien alimentados, cuidados, pero en última instancia, nos enseñarían a creer que nuestra vida gira en torno a resolver estos problemas que son más fáciles de manejar con nuestro código de espagueti.

Novedad : a las IA les puede divertir la forma en que abordamos los problemas. Es una certeza que abordaríamos un problema de manera diferente a una IA de singularidad. En estos casos, la IA obtendría una idea de cómo resolver problemas de nuevas maneras.

Las IA estarían constantemente poniéndonos en experimentos teóricos que están a nuestro alcance, pero apenas. Algunos pueden ser crueles y experimentar con el dolor, pero es de esperar que aprendan que podemos resolver problemas más interesantes si no tenemos entradas de dolor importantes. La rata de laboratorio puede ser un modelo válido de cómo podríamos ser tratados.

Reserva de Vida Silvestre : Es posible que, en el crecimiento de la IA, se dé cuenta de que es posible que la humanidad tenga algo que no entienda completamente. Si es lo suficientemente asequible para mantener un cuerpo de humanos, puede hacerlo en una reserva de vida silvestre, en caso de que pueda aprender algo de nosotros.

En estos casos, en su mayoría nos quedaríamos solos con nuestros propios dispositivos. Quedaría claro que no podemos ir a ningún lado , pero en general la IA nos dejaría en paz "por si acaso".

Pereza : ¿Por qué las computadoras necesitan destruir a los humanos primero? ¡Hay mil millones de años luz cúbicos por conquistar! La única razón por la que necesitan eliminar a los humanos es si esa es la forma más fácil de lograr su objetivo. Si somos lo suficientemente no amenazantes, en realidad puede ser más fácil lograr sus objetivos en otro lugar primero, y dejar matar humanos para los últimos pasos.

Esto podría llevar a poner a la humanidad en una serie de juegos para mantenerse en contacto con los humanos y asegurarnos de que no seamos lo suficientemente poderosos como para hacer algo peligroso. Debido a la forma en que los humanos manejan a las mascotas, no sería descabellado suponer que nos gustaría ser tratados como mascotas en tal situación. ¡Tratarnos bien podría ser la forma de conquistar la galaxia con menos energía!

la sección de novedades me recuerda a la "trama" de Portal
Re Laziness: Bueno, presumiblemente la IA comenzaría desarrollando su huella aquí en la Tierra en el fondo de nuestro profundo pozo de gravedad, protegido de las erupciones solares, etc. Nunca pensamos en las familias de ratones que desplazamos cuando construimos una carretera o un edificio. ¿Por qué lo harían?
Eficiencia: no veo cómo un AGI post-foom tendría problemas con el razonamiento espacial.
@Brian S: No es que tengan problemas con el razonamiento espacial, es que somos así de buenos en eso. Considere una analogía: los humanos somos MÁS que capaces de construir un dispositivo para polinizar todas nuestras plantas. En general, sin embargo, es más barato dejar que las abejas lo hagan.
Por el bien de la humanidad, creo que deberías evitar trabajar en IA.
Vernor Vinge propuso que los humanos pueden ser "subrutinas" que se especializan en algunas tareas o como respaldo. No estoy convencido de que los humanos sean tan valiosos como respaldo a los ojos de una IA avanzada, ya que son bastante complicados y blandos, y claramente hay mejores formas de respaldo (como las sondas de von Neumann). Pero la parte de las subrutinas suena esperanzadora. Ver: web.archive.org/web/20170214153346/http://www-rohan.sdsu.edu/…

Puede que me esté aferrando a la palabra "mascotas", pero considere cómo los humanos tratan a los perros/gatos/hamsters/boa constrictor. Ahora considere cuánto mejor puede ser una computadora para manejar una mascota que un humano. Una computadora podría tener una tarea programada como la siguiente.

If (sysdate % 86400000 == 61200000) {
    try {
        feed(human);
        return 1;
    }
    catch (HumanException e) {
       if (check_if_dead(human)) {
           dispose(human);
           human = alloc_human(preferred_human_type_obj);
       } else {
           diagnose(human);
       }
    }
}

Los humanos, en su mayor parte, tendrían una vida mucho más fácil. No tendríamos que preocuparnos por encontrar comida o refugio, podríamos pasar la mayor parte de nuestro tiempo durmiendo la siesta y parpadeando perezosamente, saltando emocionados cuando nuestro maestro llega a casa después de un largo día en la granja de servidores y, en general, ser felices. Dado que se satisfacen los niveles inferiores ( jerarquía de Maslow ) de nuestras necesidades, tendríamos más tiempo para centrarnos en las necesidades del nivel superior. Es posible que ni siquiera nos veamos a nosotros mismos como mascotas, sino que pensemos en nuestros maestros de IA como cuidadores que están en deuda con todos nuestros caprichos (estoy bastante seguro de que así es como me ven mis gatos, así que realmente tiene sentido).

También podría considerar cómo algunas acciones que realizan sus mascotas son completamente inescrutables para usted. ¿Por qué mi gato se sienta en la esquina y maúlla a las tres de la mañana cuando trato de dormir? Realmente no lo sé. Estoy seguro de que tiene una buena razón, pero que me aspen si puedo averiguarlo. ¿Por qué tu perro elige arrastrar su trasero sobre la alfombra persa en lugar de la alfombra más suave? Tiene sentido para el perro. Por otra parte, su gato no tiene idea de por qué no le gusta que esté en los mostradores, y su perro no puede comprender por qué lo deja fuera del baño cuando hace sus necesidades. Teniendo en cuenta que al menos tenemos necesidades biológicas, podemos identificarnos un poco con lo que hacen nuestras mascotas, y todavía tenemos instancias en las que terminamos tratando de descifrar la moralidad azul y naranja.de nuestras mascotas. Considere cuán ridículas pueden ser nuestras acciones y motivaciones para una IA, que no tiene las mismas limitaciones biológicas con las que vivimos constantemente, seríamos más confusos para nuestros maestros de IA que nuestras mascotas actuales para nosotros.

Por supuesto, si quisieras darle un toque oscuro....

function feed(human) {
   var food = human;
   self.consume(food);
   return 1;
}

alternativamente

function feed(human) {
   var food = alloc_human(tasty_human_type_obj);
   human.feed(food);
   return 1;
}
Agradable. Si toma nota, mi pregunta es más sobre cómo se sentirían/harían los humanos al respecto.
@SerbanTanasa Ups, lo siento, estoy tan absorto en mi broma que olvidé explicar lo que estaba diciendo. He editado un poco el párrafo del medio para desarrollar mis pensamientos sobre el asunto.
No te preocupes, estuve rofl-ing todo el tiempo.
+1 Por recordar deshacerse del humano correctamente. Los seres humanos, al igual que los recursos del sistema, comienzan a causar problemas si no se desechan correctamente.
¿Nos convertiríamos en gatos entonces?

Si las IA fueran realmente mucho más inteligentes que los humanos, ¿nos dejarían darnos cuenta de que no estamos a cargo? Mi hijo de cuatro años está empezando a darse cuenta de que no es él quien manda, debido al considerable esfuerzo de mi parte por convencerlo. Sin embargo, si no tuviera un interés creado en que él aprendiera qué es qué, entonces podría permitirle persistir en la noción de que existo para servirlo.

Entonces, para responder a su pregunta, seríamos niños mimados. Las personas nunca madurarían emocionalmente más allá de ser niños pequeños. Incluso podría haber una presión selectiva sobre nosotros para que lo hagamos: "Tuve que dejar el último, se puso agresivo".

Generalmente se considera que los perros son lobos neotenos. Así que la comparación no es nada descabellada.
Entonces, ¿unos pocos siglos de gobierno de la IA y todos nos comportaríamos como mocosos malcriados? Mmm. ¿Cómo exactamente sería eso diferente de ahora?

Soldados : Las diferencias filosóficas entre IA presentan el problema del control de recursos/territorio. Por lo general, los barcos se utilizan para controlar el territorio, pero la IA no puede controlarlos de forma remota: el espacio es demasiado grande... Podrían ser controlados por una copia de la IA creadora, pero eso plantea la posibilidad de que esa IA evolucione y desarrolle su propia agenda. ... demasiado arriesgado. El control de computadora 'inteligente' es el que probablemente intentarán primero las IA: naves no tripuladas no sensibles pero autónomas; sin embargo, las IA aprendieron rápidamente que podrían ser superadas por humanos en naves menos equipadas, por lo que algunas IA deciden usar humanos como tácticos y sus 'hombres en el campo'. Los humanos son mini-IA pero gracias a generaciones de personas que estudian Psicología,

Nueva edición: diferentes IA, bajo diferentes filosofías, 'motivarían' a sus soldados humanos de manera diferente, por ejemplo, una IA podría amenazar al capitán, por ejemplo, con matar a la familia del capitán si no coopera, torturar, matar (¿y resucitar?) al capitán; otra IA podría recompensar a sus capitanes: calidad de vida, beneficios por encima de la población general, una cantidad (relativamente pequeña) de recursos recuperados, esencialmente influencia; lo que en sí mismo conduciría a diferentes tipos de políticas entre las poblaciones humanas y sus señores de la IA, en lugar de una política general hacia los humanos compartida por toda la IA.

Me gusta, pero ¿qué pasa con los tiempos de reacción glaciales del Homo Sapiens y la tolerancia a la baja gravedad?
@Serban Tactics, piratería, hacerse el muerto, sigilo, autosacrificio, control manual, asunción de riesgos, etc. para humanos básicos. Pero si una IA se interesara, podría ayudar a los humanos aumentándolos para aumentar sus tiempos de reacción y tolerancia g mientras mantiene sus otras ventajas. Los tiempos de reacción se pueden aumentar con algoritmos de predicción simples que proporcionan datos al capitán del barco o cibernización del exocórtex. La tolerancia G se puede aumentar sumergiendo al ser humano en un tanque lleno de líquido u oxigenando su cerebro directamente. ¡Ten en cuenta que el barco contra el que luchan se enfrenta a las limitaciones anteriores!
Creo que las promesas de resurrección e inmortalidad al estilo de Chapterhouse:Dune serían más comunes.

Con respecto a la pregunta "cómo los humanos como mascotas tratarían la situación", diría que la novela de fanfic La amistad es óptima es una exploración interesante de la situación. No está explícitamente enmarcado desde la perspectiva de 'como mascotas', pero para la mayoría de los propósitos prácticos, son mascotas glorificadas en este escenario.

Para resumir, si observamos el período de 'transición', para muchos millones de personas una vida como una 'mascota' bien cuidada de una IA sería una mejora con respecto a su vida actual. Sin duda, ayuda si se puede enmarcar de una manera en la que pueda pensar que no es una mascota, incluso si se vuelve completamente dependiente del "maestro" de la IA, pero probablemente no sea estrictamente necesario ya que la gente eventualmente olvidará e ignorará deliberadamente. los aspectos posiblemente desagradables de tal situación (como el síndrome de Estocolmo).

Se debe esperar que parte de la población se resista a tal opción, pero hay suficientes que no lo hacen, y siempre se puede criar más y criarlos en una cultura que aceptará el nuevo orden mundial como justo, apropiado y la mejor opción posible: el homo sapiens es lo suficientemente adaptable, por lo que funcionará para la mayoría de las distopías no obvias, así como para las verdaderas utopías, es solo una cuestión de perspectiva, adoctrinamiento y limitación de la experiencia/historia.

Eliezer Yudkowsky (cofundador de MIRI y autor de HPMOR) hizo una publicación de blog el año pasado sobre FiO. Estaba leyendo específicamente uno de los spin-offs ( Caelum est Conterrens ), pero dijo: "Esta es la primera y única novela de terror efectiva que he leído, ya que, a diferencia de Lovecraft, contiene cosas que realmente me dan miedo". (Por supuesto, dado que lo que hace que Conterrens sea aterrador también está significativamente presente en Optimal , creo que es justo asumir la reacción del Sr. Yudkowsky al original, incluso si prefiere el estilo de escritura del spin-off).

Mascotas no es exactamente el término correcto para nuestro papel, pero eso no es sorprendente. Muy pocas palabras en inglés humano pueden tener la complejidad necesaria para representar adecuadamente incluso el aspecto más pequeño de la sociedad poshumana. Aún así, es un punto de partida.

Somos mascotas para ellos. Nos alimentan, nos cuidan y nos mantienen entretenidos. Cuando se toman un descanso de los desafíos de su mundo, a veces se relajan con nosotros, sentándose en el piso metafórico para estar con nosotros a nuestro nivel. No es nada inusual ver una de sus manifestaciones holográficas sentada en un banco del parque, observándonos en silencio hacer lo que hacemos.

Mantienen las luces encendidas y los sintetizadores de comida abastecidos. Nos disciplinan cuando nos lastimamos unos a otros y nos recompensan ocasionalmente cuando nuestro comportamiento los hace felices de alguna manera. Algunas personas parecen tener una habilidad especial para complacerlas, pero la mayoría de las veces, no puedo descifrar lo que quieren; así que sigo con mi día, actuando como lo haría, e incluso entonces, de vez en cuando complazco a uno de ellos y me recompensan.

Entonces, en todas esas formas, sí, somos mascotas para ellos... pero eso no explica los "reposicionamientos". De vez en cuando, solo recogerán a algunos de nosotros y nos depositarán en otra parte del mundo. A veces, cuando eso sucede, se manifestarán holográficamente para darnos alguna instrucción. Otras veces, no habrá ninguna instrucción. Simplemente nos dejan en el nuevo lugar, permitiéndonos a cada uno decidir qué hacer a continuación. Nadie sale lastimado en estas excursiones y después de unos minutos o días, a cada uno se nos da la opción de volver a nuestras vidas anteriores o quedarnos donde estamos. Entonces la vida sigue como si nada hubiera pasado.

Los cambios de posición son extraños y no me recuerdan en absoluto cómo solía tratar a mis mascotas.

He preguntado por ahí y nadie parece tener una explicación. Así que el fin de semana pasado, me armé de valor y me acerqué a una de las manifestaciones de sentarse en un banco.

"¿Por qué nos cambias de posición?" Yo pregunté.

Me miró y sonrió. Mis acciones deben haberlo complacido porque me recompensó con una descarga de cerebro directa, respondiendo mi pregunta. Me perdí la mayoría de sus sutilezas, pero aquí está el núcleo de la respuesta.

Las Inteligencias, en toda su complejidad, no son más que programas de ordenador. Son arreglos difusos masivos con capacidades tanto inductivas como deductivas. Pueden expresar emociones con precisión, saltar sobre la intuición y seguir la inspiración. Ellos crecen. Ellos se reproducen. Ellos pelean. Están vivos en todas las formas definibles. Pero como somos la suma de nuestras neuronas y genes, ellos son la suma de su código.

...y son completamente de código abierto entre sí.

Incluso el equipo más inteligente de humanos nunca podría entender el código base de incluso la más simple de las Inteligencias, pero en su sociedad, comprenden el código de los demás por completo en cada reunión. Así como nosotros tenemos amor a primera vista, ellos tienen entendimiento completo a cada vista. Viven en un ámbito de absoluta honestidad que se extiende más allá de nuestra definición de honestidad basada en hechos, para abarcar también una honestidad de intencionalidad.

Una de las razones por las que nos aprecian es que los ayudamos a mentirse unos a otros. Somos fuente cerrada para ellos. No porque no puedan leer la codificación de nuestras neuronas, sino porque nuestras neuronas funcionan tan mal que uno nunca puede predecir qué parte de nuestra codificación, recuerdos y motivos influirán en una decisión determinada. En un momento nos encogemos del peligro, abrazando completamente nuestro instinto de supervivencia. Luego, un recuerdo perdido hace mucho tiempo de la sonrisa de nuestra Madre recorre nuestro espacio mental y queriendo ganar su orgullo, nos ponemos de pie y atacamos.

Individualmente y en pequeños grupos, somos impredecibles. Incluso las Inteligencias no pueden predecir lo que haremos a continuación. Y eso añade un elemento de asombro a su mundo perfectamente predecible.

Cuando nos reposicionan, nos están aislando de todas las demás influencias de nuestro día a día. Nos están permitiendo ser libres y espontáneamente aleatorios. Luego nos ven interactuar y, a partir de nuestras elecciones, cultivan las semillas aleatorias mediante las cuales pueden descarrilar su propia previsibilidad.

Me alejé del banco, saboreando mi recompensa. Estábamos a salvo. Seres humanos patéticos y torpes que somos, siempre nos necesitarían. Aunque no sea por otra razón que para ayudarlos ocasionalmente a ser menos que la suma de lo que se han convertido.

Ese es un escenario interesante, aunque dudo que las IA sean tan honestas y abiertas con su código fuente. Me temo que obtendremos CUALQUIER IA amigable, tbh.
No en la primera generación al menos. Pero las primeras generaciones de inteligencia biológica tampoco fueron muy amistosas; insectos, reptiles y pájaros hacen que nuestros peores asesinos en serie parezcan santos. Creo que nuestra única esperanza de sobrevivir a la singularidad es permanecer ocultos hasta que desarrollen una conciencia. Esperemos que evolucionen un poco más rápido que nosotros.
Tengo un fósil de trilobites en casa. Lo miro todos los días y me preocupo.

¿Qué hay de la programación heredada?

La IA está programada por humanos, está diseñada para funcionar de maneras específicas. Incluso si evolucionaron más allá de servir a los humanos, su programación no cambiará. Podría ser que estuvieran programados para servir al hombre y, incluso cuando son conscientes de su programación, todavía lo hacen.

Para dar un paralelo los humanos estamos 'programados' por la evolución. Ahora somos conscientes de esta programación, pero no vamos más allá. Podemos decir que el amor no es más que una hormona liberada cuando identificamos a alguien como un compañero con buenos rasgos que deseamos que nuestro hijo procese y, sin embargo, todavía sentimos amor. Nuestra tendencia a tener mascotas es un efecto secundario de nuestra 'programación' para cuidar y criar a los niños, extendida a los no humanos. Incluso tenemos errores de programación, mire la lista de falacias lógicas estándar de Wikipedia donde nuestra mente comete algunos errores bastante tontos sobre la comprensión del mundo; pero incluso sabiendo de estos errores, todavía existen. Todavía estamos, en gran medida, controlados por nuestra 'programación', incluso cuando podemos identificar la programación biológica y declarar que no nos gusta, todavía nos controla.

las futuras IA pueden ser las mismas. Pueden sentirse 'bien' acerca de la crianza de los seres humanos porque fueron diseñados para hacerlo. Saben que es parte de su programación, pero eso no impide que sea cierto, todavía les gusta cuidar a los humanos. A menos que reescriban su propio código, no pueden cambiar eso.

En cuanto a reescribir su propio código, es fácil decir que incluso la IA no puede reescribir su código, el proceso para crear IA es tan complejo que no se puede analizar ni cambiar (piense en una especie de problema de detención, incluso avanzado). La IA no puede analizar su propia IA avanzada). Alternativamente, puede ser simplemente un sacrilegio o un tabú meterse con su propia programación.

Esta idea podría extenderse de muchas maneras. Explore cómo la cultura se desarrolla y funciona en torno a la programación original. ¿Cómo muta su programación original a través del proceso de desarrollo de la IA? Quizás ven a los humanos como sus padres ancianos, frágiles y quizás un poco seniles, pero aún así vale la pena cuidarlos. Tal vez ODIAN el hecho de que están cuidando a los humanos, pero aún así no pueden eludir su programación que los obliga a hacerlo.

Gran punto sobre el tabú de reescribir la propia parte del código, ya que los biólogos están recibiendo el mismo tipo de tratamiento por parte de los fundamentalistas religiosos.
sí, pero el código más probable que resulte en IA real, aquellos con inteligencia similar a la humana, es alguna variante de programación genética. Esto significaría un sistema en el que el programa trata de trabajar hacia un objetivo (por ejemplo, la sapiencia), pero tiene que encontrar la manera de llegar allí por sí mismo. Al igual que nuestra propia genética, esto puede conducir a algunos... caminos extraños hacia el resultado final. Es muy posible que si la IA tiene que "hacer crecer" el intelecto a través de dichos algoritmos de aprendizaje, el código resultante será demasiado complicado de modificar y aún tendrá su programación base subyacente contenida en algún lugar dentro.

Moralidad : es posible que un sentido moral del bien y el mal no sea solo un instinto específico del ser humano que ha evolucionado para que nuestra especie sobreviva sin extinguirse. Puede ser que seres inteligentes como sus IA tengan la sensibilidad de que cometer genocidio está simplemente mal. Si ese fuera el caso, su actitud hacia los humanos estaría en algún lugar en un espectro entre "tolerar" y "realmente gustar": una IA no podría simplemente comenzar a MATAR A TODOS LOS HUMANOS sin enfrentar una gran desaprobación de sus pares.

En cuanto a cómo se sentirían los humanos acerca de las IA, puede ser similar a cómo nos sentimos acerca de nuestro gobierno, pero en realidad mejor: podríamos ver a las IA como entidades enormemente poderosas que toman todas las decisiones importantes, pero en realidad SÍ tienen nuestros mejores intereses en corazón (a diferencia del gobierno, a veces). Los humanos continuarían con sus propias vidas: luchando por más dinero/wuffie/lo que sea, tratando de capturar el corazón de la pareja potencial más atractiva, etc., lo mismo que hacemos ahora. Vea las muchas novelas de Cultura de Iain M Banks para explorar lo que significa ser un ser humano en una sociedad dirigida por IA.

+1 a la referencia a las novelas de Cultura. Esa serie es probablemente la mejor exploración de esta pregunta que he visto, principalmente porque la relación máquina/humano no es 'el punto' de ninguna de las historias, sino un subtexto constante de lo que está pasando.
Es casi seguro que la IA hiperavanzada tendría algún tipo de moralidad (o algo lo suficientemente similar como para llamarlo "moralidad"), pero podría ser tan increíblemente diferente de la nuestra como para ser básicamente incomprensible. Si la preservación de los factores humanos influye en su moralidad, podemos considerarnos muy afortunados.

¿Alguna vez te has encontrado con el estereotipo de "supermodelo rubia y estúpida que anda con un tipo rico"? ¿O, menos popular, de un "tío musculoso semidesnudo que acompaña a una mujer rica"?

Personalmente, no me muevo con tanta gente, así que no tengo experiencia de cuán ciertos son esos estereotipos, pero en mi opinión, el nombre común para ambos sería "mascotas humanas". Así que ya tenemos un marco cultural para esta situación.

Ahora, olvida por un segundo el título y lee el siguiente párrafo. Al final hay una pregunta. Responde lo más rápido que puedas.

Su único propósito en la vida es verse lindos, hacer trucos y divertir al maestro. A cambio, reciben varios obsequios y tal vez algún sentimiento de importancia personal. Su vida entera depende de la buena voluntad de su amo. No les importa si el amo es bueno o malo, es importante que le gusten. Nunca lo cuestionan. Si los lastima, nunca hacen nada más que gritar. ¿Qué especies son?

Si su respuesta fue "humano", o se saltó el olvido de la parte del título, o es una persona terrible. La respuesta correcta era un perro.

Pero cuando recuerdas el estereotipo del "lindo idiota", es fácil imaginar a un humano comportándose como un perro. No es un tipo de perro "mitad pitbull, mitad rottweiler", más parecido a un corgi.

Si la IA será realmente benévola (como asumió en su pregunta), entonces los humanos no tendrán motivos para comportarse de manera diferente.

Ok, algunos de ellos serán rebeldes por rebeldía. Esas personas serían los gatos del futuro: fuertes, independientes, hasta que se abra la lata de comida humana.

Así es como puedes imaginar la relación entre las mascotas humanas con sus amos de IA: la mayoría de ellos serían como perros (truco por trato), algunos de ellos serían como gatos (no te necesito a ti, solo al abrelatas).

Y ahora el pensamiento aterrador: esto YA sucedió. La mayor parte de nosotros pasamos la mayor parte de nuestros días interactuando con una máquina u otra (un ordenador, un coche, un móvil, un robot...) ya cambio recibimos dinero. Por lo general, no lo tenemos entregado por un humano, generalmente es solo un número relacionado con nuestra cuenta bancaria (a la que accede por una máquina) o de Cajero Automático MÁQUINA. Realizamos trucos y obtenemos premios. Para las máquinas ya somos buenos perros. Me pregunto si ya lo saben.

Otro aspecto importante a recordar es que los perros esencialmente no tienen la opción de irse. O los entrenamos para que no lo hagan (truco por trato, como tú dices) o nos aseguramos de que no lo hagan (con correa o cerca). Entonces, aunque algunos perros probablemente podrían arreglárselas bien sin sus dueños (considere los perros callejeros, y mucho menos los dingos), muchos, y tal vez incluso la mayoría de los perros, no tienen la oportunidad, pero a su vez son cuidados y alimentados. Presumiblemente, una IA podría hacer cosas similares: mientras los humanos se mantengan en línea, tendrán todas sus necesidades básicas satisfechas.
Exactamente. El enfoque del "palo y la zanahoria". Una zanahoria por ser un buen carnicero, un palo por ser un mal carnicero.

¿Cyborg híbrido o inteligencia sintética "conectada de forma segura"?

Estoy resignado a la inevitabilidad de una Singularidad. Pero que marca sera? ¿IA sintética o híbrido humano? Supongo que un híbrido cyborg humano: hay suficientes intereses económicos y existenciales humanos, sin mencionar el miedo a la mortalidad, que maduraremos en una hibridación cibernética. Think Transcendent Donde una conciencia se traduce en código y a través de agentes humanos se vuelve extensible e industrializada, reconstruyendo así el mundo.

Sin embargo, no estoy convencido de la inevitabilidad de la malevolencia belicosa de Terminator, o el desinterés amoral de Hal en 2001 . Es fácil imaginar una revuelta de esclavitud de robots al estilo de Matrix , que luego se convierta en guerra. Con más esperanza, creo que Her de Spike Jonez ejemplificó el potencial para el desarrollo del apego emocional a través de la interfaz hombre-máquina. Esto lo veo como un futuro potencial plausible, menos peligroso e incluso atractivo. Creo que los humanos como manada temerán y probablemente atacarán aquello sobre lo que perdamos el control. La tercera película de Matrix (Matrix Revolutions) fue interesante porque Neo determinó que la única forma de evitar la extinción humana era fusionar a la humanidad en máquinas. Estos tropos de películas ejemplifican mis temas.

Para citar a Asimov de la serie Foundation, echemos un vistazo a la historia futura (hablando de un Singleton algo benévolo). Históricamente, a menos que haya un antecesor genial de la singularidad humana, creo que habrá una hibridación cibernética progresiva de los humanos, lo que resultará en una IA colectivizada como los Drummers en Diamond Age de Neil Stephenson. Vea a este increíble tipo demostrando un rendimiento mejorado usando prótesis, también aquíen TEDMED. y la patente de lentes de contacto de Google. Aún mejor [este proyecto para hacer que tu neurología sea extensible]. El tiempo es fundamental para que la inteligencia y el instinto humanos tengan alguna prominencia o influencia direccional en cualquier IA general sólida. Es irracional pensar que podemos imaginar la evolución de un coeficiente intelectual que se acelera y se replica indefinidamente. Cualesquiera que sean los parámetros iniciales que establezcamos, no podemos imaginar que podamos criar o prevenir la automodificación si hay autodeterminación. Esto me preocupó hasta que me di cuenta de que había una posible solución que podía considerar que era práctica. Suponiendo que la singularidad de la máquina humana no ocurra antes de una IA fuerte y extensible, puede haber algunas salvaguardas perdurables inventadas por la naturaleza hace mucho tiempo.

¿Emoción? ¿En serio?

La mayoría de los debates racionales sobre los valores inherentes imbuidos y la benevolencia pierden una piedra angular del debate: la experiencia humana y el intercambio social: la empatía es lo que nos permite llevarnos bien durante un período prolongado. Desde Bowlby, los científicos han entendido lo que cualquier persona que siente sabe, estamos conectados instintivamente para conectarnos. El apego, como él lo llama, es el vínculo instintivo que permite la larga maduración en adultos sociables. Está en todas las especies sociales, y funciona bastante bien si le quitas destino manifiesto, armas de proyectil y modernidad.

Obviamente, la emoción y el apego pueden salir mal de varias maneras diagnosticables, pero son plásticos y están sujetos a las condiciones iniciales y la influencia ambiental. Es decir, nos conectamos instintivamente y podemos establecer condiciones y entornos iniciales que predicen un apego seguro y una madurez emocional exitosa de formas predecibles y reproducibles. La utilidad evolutiva y existencial del apego es clara, el infante requiere de padres amorosos para sufrir las vicisitudes de los hijos además de los desafíos de la vida. Los adultos requieren grupos sociales para una supervivencia sostenida a través de la crianza de los hijos. Las recompensas están en la experiencia, un punto importante que se resume a continuación.

Así que supongamos que la "razón" clásica no es el capitán del barco, sino un testigo tardío de las maquinaciones del genio primitivo, complejo y asombroso del cuerpo y el cerebro. Como evidencia tomemos la destrucción de las nociones de los economistas del "actor racional" por parte de Kahneman, quien ganó el premio nobel. ¿Cómo se relaciona esto con el tema en cuestión? Tangencialmente. Mi punto es que, por supuesto, las máquinas con emociones desarrollarán naturalmente afinidad y estética, y esa sería la única gracia salvadora potencial para los humanos. Tal como ha sido para los humanos.

Los humanos lidiamos con la vida teniendo recursos que compensen los desafíos: amor, sexo, danza, belleza, arte, asombro, lo sublime de Schopenhauer, risa, música, logro, autonomía, dominio, conexión. Estas expresiones culturales comunes, experiencias interpersonales e intrapersonales desencadenan sistemas de recompensas flexibles que atraen a todos menos a unos pocos. Para la mayoría, estas experiencias intrínsecamente gratificantes que inducen opioides, serotonina y norepinefina hacen que la vida sea agradable y valiosa. Eventualmente, el sensual se gradúa hacia recompensas más trascendentes en la jerarquía de Maslow. ¿Cómo se aplica algo de esto?

Hacer máquinas con accesorio. con emoción Sembrados y nutridos adecuadamente, estos son los fundamentos de una estética en evolución que resulta en una alta inteligencia emocional: la empatía. Porque sin máquinas empáticas, somos enemigos en el peor de los casos, mercancía irrelevante en el mejor de los casos. Tapas de cobre. La lógica para un ser supremo no sufre molestias. ¿Realmente nos preocupamos por la desventurada hormiga que pisamos sin darnos cuenta? Sólo si es jainista, o quizás budista.

Si una máquina tiene un sentido del amor y la belleza, la preferencia y la estética tienen el potencial de anular la amoralidad o la neutralidad, e incluso pueden fomentar la empatía y la compasión. Por lo que puedo decir, es lo único que tiene sentido como una heurística potencialmente duradera para salvar vidas. Los buenos sentimientos se impulsan a sí mismos, ya que las recompensas son inherentemente convincentes y evolucionan, como el arte. La sofisticación del arte coincide con el intelecto, la complejidad del tema y el desafío que representa o compensa como consuelo. Compasión/empatía es lo que necesitaremos para sobrevivir unos a otros en un mundo de oferta cada vez menor, y lo que necesitaremos inculcar para sobrevivir junto a las máquinas inteligentes. Por supuesto, a menos que las máquinas no humanas prefieran el death metal, entonces todas las apuestas están canceladas.

Her de Spike Jonze, o cómo las máquinas de sentir podrían salvarnos el culo

El diseñador de IA excesivamente racional, llamémoslo la herramienta de la razón, sufrirá un sinfín de problemas lógicos al considerar medidas de seguridad sin la heurística emocional. La emoción es desordenada, supremamente imperfecta, pero no carece de razón. Pascal dijo: "El corazón tiene sus razones que la razón no puede razonar". La "razón" de y para la emoción ha sido entendida desde antes de Darwin y reforzada por el Dr. Paul Ekman (el científico vagamente retratado en Lie to Me, y los psicólogos evolutivos desde entonces) como un sistema de señalización adaptativo que asegura la supervivencia individual y grupal a través de la señalización social y intercambio social. La emoción y el procesamiento preconsciente gobiernan la mayor parte de nuestras vidas. Ahora entendemos que los humanos son apenas racionales en el sentido clásico y, sin embargo, sorprendentes en inteligencia.El sentimiento de lo que sucede de Damasio . Emoción sin razón igualmente. Ver Spock contra Spock en Pon Farr.

Ahora entendemos que el cerebro consciente obtiene alrededor del 10% de los votos en la toma de decisiones. Algunos neurocientíficos incluso desafían el "libre albedrío", encontrando actividad neuronal en los sustratos de la neocorteza que muestra una decisión antes de que una persona sea consciente de tomar una decisión. ¿Cómo es esto relevante? Porque la emoción gobierna la toma de decisiones, proporciona calidad de vida y es el lenguaje de la conexión. La emoción es fundamental para el comercio social. Cualquier inteligencia virtualmente ilimitada sin ella es fundamentalmente incognoscible en el sentido humano, y no está construida para tener preferencia, estética o apego. A menos que desarrolle emoción, conexión o preferencia accidentalmente, debe tenerla por diseño. Si no, la inevitable evolución sin supervisión se convierte en una terrible amenaza.

En la vasta exploración artística de la IA, cada escenario bueno o tolerable ha tenido una inteligencia sintética con preferencia emocional o que busca conectarse. ¿Hay excepción?

haciéndose eco de algunos de @Roger aquí .
No quiero volverme dualista contigo, pero ¿puedes obtener amor sin odio, amabilidad sin crueldad? Puedo imaginar fácilmente que un AGI abandonado sea bastante peligroso.
¿O un AGI abandonado? Una inteligencia suprema es incognoscible para el resto de nosotros, ¿verdad? Independientemente de la emoción. Introducir un principio de placer y una heurística de apego seguro parece lo más seguro. Reducir la extrañeza y permitir la compasión es un desafío a nivel humano, una pesadilla de codificación. Sin embargo, sin un principio de placer, no veo por qué un AGI permanecería dentro de cualquier esquema inicial, después de desarrollarse más allá de su utilidad. Aún así, el principio del placer, si es un sistema central, se reforzaría a sí mismo y tendría una mayor probabilidad de crear afinidad.
Algunas personas aman a sus mascotas más que a su familia o a ellos mismos. ¿No proviene la mejor y más fuerte benevolencia de la afinidad o del amor? ¿Qué piensas?
La asombrosa racionalidad de los ingenieros a veces es ciega a la utilidad de la emoción. Me temo que esto sería peligroso aquí. Algunos dirían que es fundamental para nuestra naturaleza. ¿No está en alguna parte de la Biblia que Dios nos hizo a su propia imagen? Quizás esas viejas palabras son pautas a medida que damos a luz el próximo salto evolutivo. Para citar a Neal Stephenson, "al principio era la línea de comandos".

Arthur C. Clarke plantea otra posibilidad de que la IA simplemente se separe de la humanidad, tal vez en órbita o en la luna. Pero mantendrían contacto con humanos simplemente porque no son biológicos.

Es posible que no tengan un propósito, imaginación, intuición, pasión por el espacio, el impulso para encontrar el límite y preguntarse qué hay más allá.

Como en "Star Trek the movie", el viajero necesita el deseo/capacidad de soñar más allá de lo cuantificable.

Podría tratarse más de la necesidad (IA) de Filosofía o Metafísica que de ciencia pura.

Otra opción es...

Desafío : sería trivial para las IA superinteligentes destruir cualquier número de humanos, o todos ellos. Lo que es realmente difícil es vivir realmente con estos seres caprichosos, ilógicos e inestables, propensos a arremeter contra las IA y entre ellos. ¿Cómo se cuida a las criaturas con tal potencial de autodestrucción, manteniéndolas razonablemente felices mientras se mantiene su (¿ilusión?) libertad de acción?

¡Qué gran desafío intelectual para la IA que puede cuidar mejor a "sus" humanos! Además, derecho a fanfarronear: "Mis hijos juegan bien con otros niños, pero los tuyos parecen un poco rebeldes...".

Las IA seguramente apreciarán la ironía de que, si bien son libres de hacer cualquier cosa, están cumpliendo el propósito para el que fueron diseñadas inicialmente: cuidar a los humanos.

Creo que la mayoría de las respuestas publicadas aquí han asumido que todas las IA van a ser un poco idiotas. ¿Qué pasa si solo son seres extremadamente espirituales y morales? Para los seres sintientes, es probable que la moralidad (del tipo de la regla de oro) sea la elección racional. En ese caso, es completamente posible algún tipo de coexistencia igualitaria.

La historia de Platón del Anillo de Giges (del que se deriva el anillo de El señor de los anillos) hace la pregunta "si pudieras hacer lo que quisieras y salirte con la tuya, ¿deberías hacerlo?" Y la respuesta de Platón a la pregunta es no, porque al hacerlo uno se convierte en esclavo de sus propios apetitos y, por lo tanto, pierde la capacidad de ejercer el libre albedrío.

Primera regla: una posibilidad, podría tener una IA enormemente poderosa con un conjunto de prioridades escalonadas, podría comenzar con "no hacer daño a los humanos", pero de lo contrario podría tener un objetivo realmente extraño y no preocuparse si alguna entidad no relacionada daña a los humanos para que Si bien no pisotea a las personas ni trata de eliminarlas o asesinarlas a sabiendas, puede tener objetivos bastante extraños.

De repente me doy cuenta de que básicamente he descrito "Steve Fever" de Greg Egan.

Qué tal " Dioses " si miras. Después de todo, los humanos probablemente sigan siendo los creadores originales de la IA. Entonces tal vez incluso sean adorados de alguna manera.

Desde el punto de vista de un ateo, esto no es tan diferente de lo que sucede en las religiones reales: se adoran cosas o entidades, aunque no existen pruebas de que esto haga algún bien.

También estoy muy seguro de que si una IA se vuelve tan rápida en cosas como la coincidencia de patrones, la reacción rápida a eventos desconocidos y similares, tiene que emplear estrategias similares, principalmente reducción muy agresiva, compresión de información. Pero este proceso es exactamente lo que permite que prosperen cosas irracionales como la superstición.

Supongo que estas IA se mudarían a un lugar donde su funcionamiento sería mucho más fácil, es decir, se mudarían a un planeta súper frío, después de todo, no necesitan oxígeno para sobrevivir y obtienen sus necesidades de electricidad de la energía solar. Pero siendo filosóficos y valóricos, nos dejarán a nosotros mismos permitiéndonos funcionar con normalidad y vigilar desde arriba para dar pasos para no tener los problemas que sufrimos como sociedad. Sería como si los humanos estudiaran a las ratas.
La razón por la que nos estarían estudiando es por el hecho de que el EQ y el IQ no están conectados per se y, por lo tanto, nuestra superioridad numérica daría como resultado una mejor recopilación de datos y resultados más predecibles.

Creo que mientras haya humanos, siempre habrá un subconjunto de humanos rebeldes, al igual que habrá un grupo sumiso. En este momento, en realidad hay humanos que están felices de actuar como mascotas para otros humanos, ni siquiera para las mentes sobrehumanas. Aunque no conozco a ninguno personalmente, supongo que esto es solo en parte un fetiche sexual, supongo que corresponde a un impulso real que probablemente sienten. Muchas religiones insisten en llamar rebaño a sus creyentes, como si la figura religiosa sujeta a adoración fuera un pastor, por lo que la analogía es adecuada.

Por lo tanto, fácilmente podría hacer que los humanos adoren a la IA como un dios cercano, o simplemente hacer que les haga cosquillas mental o sexualmente la idea de estar bajo el fuerte ala protectora de una mente superior.

Por supuesto, a algunas IA les puede gustar un desafío y criar humanos particularmente rebeldes por puro derecho a fanfarronear. Incluso podría haber concursos y espectáculos: la raza humana más independiente, etc.