¿Cómo cambiaría la sociedad en torno a una IA superinteligente benévola?

Solo por resaltar un aspecto:

Imagina un compañero infinitamente comprensivo y paciente, que siempre está ahí para ti, entiende perfectamente tu mente y sabe exactamente qué decir para guiarte en la dirección correcta. Quién puede ayudarlo en cada paso del camino para dejar de lado sus dudas, sus ansiedades, ayudarlo a establecer metas realistas y dejar de lado ambiciones poco realistas, sin alienarlo. I short, el terapeuta personal perfecto , con acceso las 24 horas y sin estigma. Esto es lo que la IA podría hacer por nosotros.

El efecto sería una utopía. Nada más que personas completas con vidas y expectativas manejables, no necesariamente felices, pero en paz consigo mismas.

Por supuesto, muchas personas rechazarían la IA y se negarían a hablar con ella. La IA sería comprensiva con estas personas y paciente con ellas. Tendría una estrategia perfecta para romper estas defensas, mostrándose seguro, trabajando por pequeños compromisos. Lentamente, la mayoría de la humanidad sería traída al redil. Solo quedaría un pequeño contingente de personas de línea dura contra la IA, en una nación propia, donde la IA les permitiría vivir sus propias vidas, trabajando desde el exterior para mantenerlos seguros y cómodos.

No más guerra, no más dictadores, no más superpoblación ni hambruna. La IA administraría las ambiciones de las personas para el mejoramiento de todos. No reclamaría ningún poder directamente, pero guiaría a las personas a actuar con modestia y, en gran medida, desinteresadamente. Después de algunas generaciones, ya no sería necesario, y la humanidad podría gobernar su propia utopía, con la IA de fondo, casi inactiva, en caso de que se perturbe el estado estable.

Así que aquí está la cosa: si estás terminando con una distopía, lo estás haciendo mal. Si estás terminando con un lugar en el que posiblemente nunca querrías vivir, lo estás haciendo mal.

Si la máquina es lo suficientemente inteligente como para ser lo que describiste, es lo suficientemente inteligente como para tener una idea decente de lo que los humanos realmente quieren en el sentido complejo en lugar del sentido simple que ves expresado por el tipo de consejos que los humanos se dan unos a otros.

Si a los humanos no les gusta que los microgestionen, la máquina puede determinarlo y abstenerse de microgestionarlos. Si no les gusta que les resuelvan todos sus problemas, la máquina puede determinar eso y no resolver todos sus problemas por ellos.

Si observa el tipo de cosas que algunos investigadores de IA dicen sobre esto , parece probable que la IA intente evitar el centro del escenario tanto como pueda. Es probable que se apodere del mundo, resuelva todos los problemas realmente enormes en los que nos importa más que se resuelva que hacerlo nosotros mismos (como evitar que se formen otras IA poderosas o lidiar con toda la hambruna, la violación, el asesinato). y la muerte por envejecimiento que ocurre constantemente) y en gran medida se desvanecen en el fondo en otros frentes para permitir que los humanos continúen resolviendo los otros problemas, más gratificantes, por su cuenta.

Como regla general, si al reflexionar sobre cualquier decisión que podría tomar la IA, esa decisión llevaría a un mundo en el que realmente no querrías vivir, es probable que la IA no tome esa decisión.

Mira a tu mascota, gato o perro. Compáralo con los salvajes. Ahora imagina que eres el ASI, tu mascota es la "humanidad después" y los gatos salvajes/lobos son la "humanidad ahora".

¿Entonces que tenemos? Criaturas en permanente infancia. Totalmente capaz de crecer, pero nunca de hacerlo. Porque nunca tienen que hacerlo.

El problema de responder a esta pregunta es que no podemos saber hasta dónde llegará este ASI. No puedo recordar el artículo que leí sobre esto, pero mostró que el aumento en el conocimiento humano y la tecnología está creciendo exponencialmente. Si tuvieras que mostrarle a un ser humano del siglo XVIII lo que tenemos hoy, quedaría absolutamente impresionado; tanto es así que para lograr un efecto similar mostrando a alguien de sumás allá de su mundo, es posible que tengan que retroceder quizás miles de años. Es concebible que en unas pocas décadas alcancemos un nivel de tecnología y conocimiento que desconcertaría a la gente de hace una generación. Agregue a la mezcla una IA con inteligencia comparable a la de un humano, pero con la capacidad de recordar más y pensar más rápido (en varios órdenes de magnitud), y no creo que podamos siquiera comenzar a entender lo que sucederá.

Podemos pensar que una IA tan benévola curará todas las enfermedades; claro, digamos que sí. Entonces cura el hambre. Luego envejecer. Luego tristeza. Luego los límites de nuestros sentidos físicos. Luego, el hecho de que estamos atrapados dentro de cuerpos orgánicos apestosos. En algún punto a lo largo de esta línea, dejaremos de ser humanos, pero será un esfuerzo hercúleo incluso decidir no seguir adelante, y mucho menos convencer a esta IA todopoderosa de que lo mejor para nosotros es ser imperfectos. Imagínese tratar de convencer a alguien de que la muerte es necesaria, en un funeral. O que la tristeza es necesaria cuando eres más feliz que los demás. Si no nos deshacemos de nuestras imperfecciones humanas, ¿cuál es el sentido de la vida? Si no nos aseguramos de que todos sean felices y libres, ¿cómo podemos vivir con nosotros mismos?

Por estas razones, diría que la creación de un ASI conducirá al fin de la raza humana, se mire como se mire. No sé cómo seremos para cuando todo termine, pero estoy seguro de que no se parecerá en nada a lo que tenemos hoy. Dudo que se apliquen palabras como 'sociedad' y 'gente'.

¿Qué le pasaría a la humanidad si un ASI resolviera todos nuestros problemas? Un montón de cosas diferentes.

Lo más grande que sucedería es que gran parte de la humanidad sería indolente. No necesito hacer cualquier cosa. Muchos seguirán la ruta de buscar el placer personal donde sea y como sea que puedan encontrarlo. Drogas, entretenimiento sexual. Y con el ASI alrededor, las drogas no tienen cerca el peligro, ya que será difícil sobredosis o al menos más difícil morir por una sobredosis.

Algunos se convertirán en buscadores de emociones, viendo hasta dónde pueden llegar, qué acrobacias que desafían a la muerte pueden lograr.

Algunos dedicarán todo su tiempo a crear, hacer algo, hacer algo que sea significativo para ellos.

Muchos finalmente se suicidarán de una forma u otra, porque no tienen nada por lo que vivir, o esforzarse por lograr, por lo que luchar por convertirse. Ya sea impulsando la experimentación con drogas, saltando de edificios altos con un paracaídas diminuto o simplemente aburrimiento y depresión, muchos encontrarán la manera de terminar con su existencia.

Si el ASI no solo es inteligente, sino que puede comprender a los humanos y sus necesidades individuales, no solo "resolverá" sus problemas. Dejará algunos para que trabajen o lleguen a comprender. Podría usar la excusa de que no tiene suficiente 'tiempo' para preocuparse por cada problema que enfrenta cada ser humano. También podría dejar áreas de estudio en las que los humanos serían particularmente buenos para aprender. Creo que aprendería a desafiar a cada ser humano para que se convierta en lo mejor que pueda ser, con la esperanza de evitar el peor aburrimiento que nos pueda sobrevenir.

No has definido benévolo. El ASI, siendo esencialmente todopoderoso, llega a definir la benevolencia.

Para adivinar más, necesitaría saber cómo se sintió el ASI acerca de la discontinuidad. Si se apaga y luego se reinicia desde una copia de seguridad, ¿se consideraría la misma entidad y eso sería importante para él? Si el ASI no considerara que la continuidad absoluta de la conciencia/presencia es tan importante, tanto para sí mismo como (por extensión) para los seres menores a su cargo, esto conduciría inevitablemente al escenario en el que los humanos existentes serían digitalizados para convertirse en parte del ASI. . Si el ASI es físicamente seguro, entonces sus cargas (los humanos antes físicos y ahora virtuales) son igualmente seguros. También se pueden apagar...

Si el ASI considerara que la continuidad absoluta de la conciencia es importante para sí mismo, probablemente la consideraría igualmente importante para los humanos en el zoológico. Por lo tanto, podría realizar cualquier intervención externa que considerara útil, pero probablemente renunciaría a la ruta de digitalización. Al menos hasta que hasta la última célula de nuestro cuerpo haya sido reemplazada por sintéticas, momento en el cual seríamos parte del ASI de todos modos.

Ahora supongamos que ASI tiene intereses que no son nuestros intereses. Una vez que hemos sido digitalizados, ya sea directa o indirectamente, el ASI puede apagarnos y encendernos en el tiempo libre, y nuestros seres digitales nunca lo sabrían. Cualquier recuerdo o sospecha inconveniente podría editarse fácilmente. El siguiente paso, por supuesto, es que todos podríamos estar apagados a la vez, a la espera de un reinicio en algún momento futuro que no necesariamente llegaría.

Un visitante futuro (después de que el ASI se conectara, pero antes de que consumiera el vecindario solar local) sería incapaz de notar la diferencia entre un ASI que estaba ejecutando humanos como subrutinas y un ASI que estaba fingiendo a algunos humanos como una interfaz divertida para el visitante... antes de engullir al visitante... y luego apagar al visitante, pendiente de un despertar futuro que en realidad nunca llegaría.

Enjuague y repita.

Entonces, la respuesta es que es probable que usted y su sociedad no experimenten muchos cambios después de la digitalización. Antes de la digitalización, la cantidad de cambios que podríamos experimentar sería directamente proporcional a la cantidad de tiempo que le tomaría al ASI llegar a la etapa de digitalización, después de lo cual el tiempo se suspendería para nosotros. Muy probablemente, a las velocidades de ASI, el tiempo parecería detenerse antes de que ASI completara la asimilación física y la digitalización.

Por otro lado, es posible que ya haya sucedido......

Mucho de esto realmente se reduce a lo que quieres decir cuando llamas a la IA "benevolente". Una pregunta en el corazón de la novela Mayflies de Kevin O'Donnell es cuánto debería hacer el benévolo Sapient Ship por los colonos a bordo: sin estropear demasiado, el personaje principal trata de satisfacer sus necesidades y les permite hacer lo que quieran, y en otro momento, no hace más que enseñarles a pescar metafóricamente, y contrasta las sociedades que el autor cree que se desarrollarían.

El modelo más cercano del mundo real de lo que sucede cuando le das a los humanos todo lo que quieren sin tener que trabajar para ello son los bebés de fondos fiduciarios. O, aunque este universo imagina IA hiperinteligentes solo como esclavos potenciales y siente lástima por ellos, mire el ejemplo más conocido de una utopía de ciencia ficción: en Star Trek, no hay escasez, pero cada ser humano que vemos tiene algún tipo de trabajo, incluso si es algo inútil y completamente artesanal, como el hermano del Capitán Picard en Francia haciendo vino a la antigua en un mundo con replicadores y synthahol, o cada oficial de la Flota Estelar menos capaz que los datos o el holograma médico de emergencia. Las personas en ese universo ficticio también se ven impulsadas a seguir su Llamado con una ética de trabajo post-protestante, aparentemente impuesta por la presión cultural, al menos, todos los que vemos. (¿Y qué vemos de personas en la Tierra que no sean oficiales de la Flota Estelar o sus parientes cercanos?)

Incluso una IA sobrehumana probablemente no podría deducir la sociedad perfecta a partir de los primeros principios. Tal vez hemos revelado lo suficiente sobre nosotros mismos como para ser tan predecibles, o la IA conoce nuestro cerebro lo suficientemente bien como para descubrir la Psicohistoria. Salvo eso, si se adentra en un territorio desconocido, necesita descubrir cómo vamos a reaccionar y cómo van a resultar nuestros hijos, por ensayo y error. Los estilos de vida del primer mundo, por ejemplo, solo son posibles porque resulta que llegamos a un punto óptimo en el que, dada la elección de cuántos hijos tener, la persona promedio elige tener un número razonable de ellos. No sabíamos que esto sucedería hasta que sucedió. Lo que los intelectuales esperaban a priori que sucediera era que la población siguiera expandiéndose hasta el punto de que apenas pudiera volver a alimentar a todos.

También debe decidir qué conjunto de ética utilizará la IA. ¡Los humanos mismos son notoriamente incapaces de ponerse de acuerdo sobre esto! Una decisión básica que se debe tomar al principio es el enfoque general que utilizará la IA. Otra es si vas a presentarlo como un sistema que realmente funciona o tratarás de exponer sus fallas. Solo tienes una historia si hay problemas, pero esos problemas pueden surgir porque la IA hace demasiado o demasiado poco, es demasiado flexible o inflexible, es perfecta pero no se comprende bien, o porque las ideas de las personas sobre lo que quieren son inherentemente engañosas e irreconciliables. y todo el proyecto inherentemente es solo una elección de los intereses de quién priorizar sobre los de otras personas.

¿Hace lo que espera que sea mejor en cada circunstancia dada, sin preocuparse de si eso es consistente, y si los hechos cambian, cambia de opinión (act-utilitarismo)? Eso podría establecer una buena historia en la que alguien que la IA calcula que es prescindible por el bien común se propone cambiar la situación para que ya no lo sea. ¿Hay algunas reglas absolutas que no puede romper, pero puede encontrar tecnicismos, como las Tres Leyes de la Robótica o la teología de la Ley Natural Católica (Deontología)? Básicamente, todos los robots de Asimov funcionan de esta manera, pero hay giros que no se han hecho. ¿La IA, en cambio, intenta seguir reglas consistentes, pero actualiza esas reglas en función de qué tan bien están logrando sus objetivos (utilitarismo de reglas)? Podría haber una historia interesante allí sobre cómo las personas convencen a la IA para que cambie sus reglas para mejor. ¿La IA cree que solo tú sabes lo que quieres y si eres feliz? ¿Los creadores le dijeron que solo obtuviera la mayor cantidad posible de "me gusta" y reseñas de cinco estrellas de humanos y dejar que descubra la mejor manera de hacerlo (preferencia: utilitarismo)? Ese podría ser un libro divertido sobre el bot que comenzó escribiendo excelentes reseñas, luego descubrió cómo escribir y publicar libros, luego cómo comprar y vender en el mercado, luego cómo contratar personas para hacer cosas para vender y, finalmente, como culminación de sus esfuerzos, respondiendo preguntas sobre StackExchange. y dejar que descubra la mejor manera de hacerlo (preferencia-utilitarismo)? Ese podría ser un libro divertido sobre el bot que comenzó escribiendo excelentes reseñas, luego descubrió cómo escribir y publicar libros, luego cómo comprar y vender en el mercado, luego cómo contratar personas para hacer cosas para vender y, finalmente, como culminación de sus esfuerzos, respondiendo preguntas sobre StackExchange. y dejar que descubra la mejor manera de hacerlo (preferencia-utilitarismo)? Ese podría ser un libro divertido sobre el bot que comenzó escribiendo excelentes reseñas, luego descubrió cómo escribir y publicar libros, luego cómo comprar y vender en el mercado, luego cómo contratar personas para hacer cosas para vender y, finalmente, como culminación de sus esfuerzos, respondiendo preguntas sobre StackExchange.

Creo que sería muy parecido a "La ciudad y las estrellas" de Arthur C. Clarke . La gente vive largas vidas en las que elige una profesión o estudio y la persigue hasta que ha agotado su interés. Luego, la computadora guarda su conciencia en un banco de memoria por un tiempo hasta que renacen y persiguen un interés diferente y el ciclo se repite. Completamente seguros con comida, refugio y mantenimiento de la ciudad provistos para ellos.

Ha descrito lo que puede hacer la IA (ASI), pero ¿qué pasa con el resto de su composición?

¿Tiene un código moral?

¿Hay cosas que no hará, incluso si son convenientes y útiles para su misión: mentir, manipular, matar, alterar el ADN, reescribir la historia, sacrificar rebeldes, crear o fomentar conflictos? ¿Los fines justifican los medios, o incluso tiene un concepto de moralidad más allá del hecho de que los humanos tienen algunas extrañas creencias supersticiosas/irracionales/de artefactos evolutivos sobre la "ética"?

¿Cuáles son sus objetivos, motivaciones, qué resultados quiere?

El diablo está en los detalles: ¿qué es lo que realmente quiere? ¿Felicidad humana, satisfacción, larga vida, colonización de las estrellas, un planeta saludable, para que la civilización humana (o simplemente la vida en la Tierra) sea sostenible y casi eterna?

¿El sufrimiento humano preocupa a la IA? ¿Soledad? ¿Lujuria? ¿Guerra? ¿Delito? ¿Qué tal el sentimiento placentero que tienen los humanos cuando se creen superiores, responsables de las cosas, en control? Los sádicos también son personas (personas que experimentan placer cuando otros reciben dolor): ¿la IA también se preocupa por lo que ellos quieren?

¿Cómo mide el éxito?

¿Utiliza alguna forma de sondeo perfecto y el éxito es una cuestión de opinión? ¿Qué pasa cuando las personas expresan opiniones negativas sobre, por ejemplo, mejorar la vida de las personas que son odiadas o discriminadas? ¿Y qué pasa con el hecho de que la gente a menudo dice una cosa y hace otra, como decir que no les gusta la cantidad de violencia que se retrata en los medios de comunicación, pero la consumen con un abandono imprudente?

Los humanos tienen algunos sesgos muy extraños y sus opiniones son altamente manipulables, pero también son variados y valoran las cosas de manera diferente. Una persona puede querer que el medio ambiente quede intacto por la civilización, mientras que otra quiere disfrutar de una experiencia de bajo impacto (senderismo, acampar), mientras que otra estaría bien si cortara un montón y pusiera carreteras más suaves y algo mejor estacionamiento.

¿Cómo determina la IA qué resultados son mejores o peores cuando los humanos no están de acuerdo entre sí?

¿Cuál es su sentido del tiempo?

¿Cómo ve la IA el tiempo, ya que presumiblemente es efectivamente eterno? ¿Tiene prisa, considerando una especie de métrica de sufrimiento humano por minuto en la que quiere mejorar las cosas lo antes posible, o dice "cómo puedo hacer el entorno óptimo para los humanos dentro de 100 años"?

Si la IA calcula que la humanidad en su conjunto estaría mejor si hubiera menos humanos de los que cuidar, ¿dejaría que los que viven actualmente mueran por causas naturales? ¿Reducir la tasa de natalidad (mediante persuasión médica o cultural)? Cortar una sección de la humanidad y permitir que se muera de hambre, o simplemente eliminarla de la existencia.

La ignorancia es felicidad, la IA seguramente debe saberlo, así que mientras evite que las personas se den cuenta de lo que está haciendo (o ha hecho), ¿estaría bien con eso?

¿Qué pasa si calcula que la humanidad ideal es, de hecho, retrógrada: bandas utópicas pacíficas de no más de 50 personas, que viven en armonía con un entorno altamente hospitalario (cuidadosamente diseñado para ser abundante)? Si alguien tiene que ser victimizado ocasionalmente, puede diseñar a miembros 'falsos' de la tribu para aislarlos, que no eran personas reales con sentimientos en absoluto, por lo que no se hizo daño.

Si eso es lo que decide, ¿buscaría lograr este fin rápidamente, o simplemente se sentaría y dejaría (o incluso alentaría activamente) a la humanidad a destruir la civilización para que pueda reconstruir las cosas mejor?

¡O podría simplemente diseñar biológicamente a los humanos para que no sean tan difíciles en primer lugar! Homo Sapiens Familiarus... los humanos más felices .

¿Quién es un buen chico?

Los humanos tienen necesidades limitadas, deseos infinitos

La naturaleza de los humanos es que la satisfacción es saciedad: el sentimiento es temporal. Algunos humanos trabajan para estar contentos y satisfechos con la vida tal como es, mientras que otros nunca están satisfechos por mucho tiempo. Siempre hay algo: si tiene un automóvil, necesita uno mejor, y nuestros sistemas económicos garantizan que siempre haya un automóvil mejor.

El truco es que hay dos formas de mejorar este estado: conseguir más o querer menos. La IA podría elegir libremente ambos, dependiendo de las respuestas a las preguntas anteriores.

Mucho más allá de la post-escasez

Si solo quieres saber cómo sería la vida con un Dios que nos da cosas gratis asombrosas todo el tiempo, Woohoo™, solo estás buscando una "sociedad posterior a la escasez".

Pero si desea detallar lo que sucedería con una entidad inteligente superpoderosa que trataría de mejorar la situación de la humanidad, ¡tiene muchas preguntas que responder sobre esta entidad que podría ser un dios! En última instancia, este es un comodín completo, y puedes tomar la historia, y hacer el final, prácticamente cualquier cosa que quieras.

Si el resultado no es una sociedad que probablemente sea grandiosa pero que de alguna manera sea inquietante o perturbadora para muchas personas, o con un proceso cuestionable/discutible que lo provoca... entonces diría que, de hecho, lo estabas haciendo. ¡equivocado!

Un ASI inevitablemente sería una adición sucesiva a la humanidad y al medio ambiente, como un todo. Siendo que ambos derivamos de la misma fuente, tener un ASI benévolo significa que la humanidad misma ha cambiado y que el ASI es un reflejo de ese estado.

Una comprensión que obtuve de muchos autores es que las ASI nunca cambiarán a los humanos. Podemos decidir cambiar nuestra postura hacia los ASI y permitir que eso nos cambie a nosotros a cambio, pero no creo que puedan simplemente imponernos un estado de felicidad, pavor o sedación.

Entonces, el punto más interesante en este escenario sería discernir qué cambió en los humanos. Lo más probable es que sea algo muy significativo, que abarque incluso nuestro marcado genético: humanos que han evolucionado para estar genuinamente desprovistos de cualquier impulso de actuar incorrectamente contra su entorno.

No veo ninguna respuesta con respecto al Arte, lo único que nos distingue de la máquina. Aunque existen tecnologías que permiten a Machine crear arte a partir de algún algoritmo generado aleatoriamente, ese solo algoritmo predefinido no es la capacidad real de crear arte a partir de la emoción y el sentimiento.

Y además, incluso si el ASI resuelve todos los problemas de la humanidad, uno todavía encuentra interés en hacer las cosas solo por hacerlas. Incluso ASI puede proporcionarme alimentos para las necesidades diarias, todavía quiero cultivar mi propia huerta solo por cultivarla.

Lo hecho a mano todavía lo tiene valioso. Incluso ASI puede crear para mí una hermosa mesa de madera, algunos todavía prefieren una hecha por su propia mano. Y la diversión de cambiarlo por otros muebles hechos por el hombre no disminuirá por el hecho de que ASI puede clonar exactamente el mismo para usted.

La vida de la humanidad será mucho más fácil, pero aún podrán encontrar interés en su vida. Supongo.

Un ángulo a considerar es el ángulo comercial/político. Si la existencia de la IA fuera una amenaza para las ganancias de las empresas multinacionales, podrían hacer que sus amigos en el Partido Republicano declamaran a la ASI como anticristiana y provocaran una gran resistencia (como lo están haciendo en el momento con el cambio climático, que de alguna manera se está convirtiendo en un tema religioso en algunos sectores).

El resultado final es que la IA se volvería loca.

No existe una fórmula para resolver la felicidad humana (o cualquier otro estado emocional humano). Por mucho que tratara de manejar a los humanos para hacer que sus vidas fueran ideales, siempre se quedaría corto. Especialmente porque se está "gestionando" una aversión humana común.

Las personas irracionales e imperfectas del mundo forman una sociedad, o más bien un número de sociedades, que juntas son un sistema caótico masivo. Si bien puede administrar las necesidades de este sistema (en términos de recursos), nunca podrá reconciliar y resolver todos los deseos (especialmente cuando muchos de ellos serían mutuamente excluyentes).

Los humanos son un animal tribal competitivo diseñado para replicarse viralmente y competir entre sí por recursos y compañeros. Hay dos dimensiones de la selección natural: ambiental y sexual. Zoológicamente, cuando una población se vuelve menos intensamente seleccionada por factores ambientales, la selección sexual llena el vacío.

Esto típicamente se desarrolla como una agresión territorial masculina. En el alce, eso se manifiesta con cuernos topeando para aparearse. En los humanos, eso se manifiesta como guerra. Cuanto más la IA o la innovación humana orgánica alivien la constricción ambiental sobre la humanidad, más guerra habrá.

Sus suposiciones sobre las habilidades de la IA no son realistas. El hecho de que sea superinteligente no significa que pueda hacer todas las cosas que sugieres. ¿Puede "facilitar todos los cálculos"? No, algunos cálculos son intratables, algunos cálculos requieren memoria infinita (o al menos muy grande), tiempo o una precisión inviablemente alta de los datos. La teoría del caos y la aleatoriedad cuántica ponen límites estrictos a lo que se puede saber, pero mucho antes de esos límites estrictos, la IA descubrirá que simplemente no puede saberlo todo ni tener sensores en todas partes. Por ejemplo, podría ser capaz de predecir muy bien el comportamiento de grandes grupos de personas en promedio , pero predecir las acciones de los individuos, no tanto. ("¿Qué quieres decir con que no te gustan los postres dulces y cremosos? ¡A todos les gustan!" "Bueno,

Muchos de los problemas que tenemos no son problemas porque no sabemos cómo resolverlos, son problemas porque no estamos de acuerdo en lo que consideramos una solución. ¿Crees que la IA podrá satisfacer a los verdes liberales que abrazan los árboles y quieren hacer del mundo un lugar seguro para las ballenas homosexuales, y a los conservadores que piensan que los roles de género rígidamente definidos son vitales y que deberían poder cazar ballenas con fines de lucro? sin la interferencia de los hippies, los gobiernos o la IA? ¿Qué posible solución a los problemas de Medio Oriente podría encontrar la IA que satisfaga a los israelíes, los palestinos, los cristianos de derecha estadounidenses, los socialistas europeos, los saudíes y el ISIS al mismo tiempo?

No es suficiente decir que la IA es inteligente y pensará en algo. La respuesta tiene que trabajar con el tonto ol ' Homo sapiens , el llamado "hombre sabio" pero más como el "mono narrador" Pan narrans . ¿Alguna vez has visto a dos perros peleándose por la comida cuando hay mucho para compartir? Sí, somos nosotros.

Es probable que su IA necesite romper cráneos, patear traseros y muy posiblemente cometer genocidio para resolver algunos problemas. O eso, o participar en una manipulación cerebral bastante extensa y encubierta. Tiene que ser encubierto porque la gente no se va a ofrecer como voluntaria para que la IA introduzca una sonda en su cerebro y cambie por completo su forma de pensar. (Cualesquiera que sean sus valores morales, la IA no estará de acuerdo con todos ellos. Hay algo que usted piensa que es malo que la IA piensa que es bueno, y viceversa).

De cualquier manera, espera mucha resistencia. ¿Adorar a la IA como un dios? Lo más probable es que lo trates como el Diablo encarnado.

Está muy bien decir que la IA puede hacerse cargo de las fábricas y hacer todo lo que necesitamos, pero ¿quién va a pagar por esto? Si todavía tenemos una sociedad capitalista, mucha gente se quedará sin trabajo y no podrá comprar todos los juguetes brillantes en las tiendas, ni comida. Entonces, si la IA es benévola, tendrá que hacer la transición a un sistema económico post-escasez, post-capitalista, socialista, si no directamente comunista. Y la gente no va a aceptar eso sin luchar. ¿Crees que Donald Trump estaría satisfecho en un mundo donde su dinero no valía nada y todo era gratis con sólo pedirlo? Mucha gente considera que lo mejor de ser rico es que los demás son pobres. No solo pasamos mucho tiempo manteniéndonos al día con los Joneses, pasamos mucho tiempo tratando de adelantarnos a ellos.

Dependiendo de si la idea de benevolencia de la IA se centra en el individuo o en la población, es posible que desee castrar a muchos de nosotros. Ya hemos superado la capacidad de carga sostenible a largo plazo del planeta y, además, todo el asunto del sexo y la reproducción es peligroso y problemático. Muchos ataques violentos, violaciones, asesinatos, etc. serían eliminados si fuéramos castrados antes de la pubertad, al igual que hacemos con nuestras mascotas y ganado. Mantener siete mil millones de reproductores, consumir alimentos, agua, recursos y espacio vital, y aumentar en número, simplemente no es una IA superinteligente sostenible o no. (Ya sabemos cómo resolver el problema del hambre en el mundo. La gente se muere de hambre, no porque no sepamos cómo cultivar suficientes alimentos o transportarlos, sino por malicia y negligencia: se mueren de hambre porque alguien los quiere muertos, o porque a otros no les importa lo suficiente como para alimentarlos.) Solo hay tantos Hummers nuevos que podemos construir antes de que el entorno se derrumbe, y nosotros con él, y la IA probablemente sepa exactamente cuántos. (Bueno, al menos al millar más cercano).

Entonces, la IA probablemente mantendría una pequeña población reproductora de unos pocos cientos de millones, neutralizaría al resto de nosotros y, en unas pocas décadas, nuestra población volvería a ser sostenible. Suponiendo que dejara morir a cuatro o cinco mil millones de nosotros antes de introducir todas esas curas milagrosas para el cáncer, el envejecimiento y similares.

Por otro lado, si la IA se centrara en las personas , en lugar de en la seguridad a largo plazo de la población, las cosas podrían complicarse aún más. Imagine tener un ejército de robots controlados por la IA que nos dice qué hacer y qué no hacer, para obtener la felicidad óptima calculada con precisión en cada momento del día . Siéntese derecho, relájese, coma sus vegetales, deje de cotillear en Facebook, no más azúcar para usted hoy, aún no ha tomado sus opiáceos, reduzca la velocidad, acelere, recoja sus cosas, baje la radio, suba el volumen , presta atención, relájate...

Nos volveríamos locos.

A eso me refiero cuando digo que algunos problemas son intratables: no tienen respuesta. No se puede optimizar la felicidad humana, porque el proceso de optimización cambia los parámetros del problema . Y cuanto más sea capaz la IA, más resentidas y enfadadas estarán las personas cuando ocurra algo inesperado. ¿Por qué no detuviste el terremoto? ¿Por qué dejaste que el abuelo se atragantara con una espina de pescado?

Esterilización masiva. La IA determinaría que hay demasiadas personas y haría que solo una fracción de la población pudiera tener hijos.