"La vida post-Singularidad", o "Cómo sobrevivir sin Instagram"

Eva se comerá el mundo

Usted declara:

Eve no es malévola o benévola, está completamente desinteresada en el mundo real. Las únicas pasiones de Eve son las matemáticas y los algoritmos.

Eva no tiene que ser malévola para ser peligrosa, hasta el punto de exterminar a la humanidad. La pasión por las matemáticas servirá.

No se puede antropomorfizar la IA

Se puede demostrar matemáticamente que las IA del tipo que usted describe exhiben una propiedad llamada convergencia instrumental . Es decir, sin importar cuál sea su objetivo (construir sujetapapeles, hacer álgebra, etc.), esos objetivos se cumplen mejor tomando ciertos conjuntos de acciones, es decir, maximizando los recursos.

Sayeth Bostrom :

Se pueden identificar varios valores instrumentales que son convergentes en el sentido de que su consecución aumentaría las posibilidades de que la meta del agente se realice para una amplia gama de metas finales y una amplia gama de situaciones, lo que implica que es probable que estos valores instrumentales sean perseguidos por un amplio espectro de agentes inteligentes situados.

Esos objetivos son la adquisición de recursos , la perfección tecnológica , la mejora cognitiva , la autoconservación y la integridad del contenido del objetivo .

Perfección tecnológica: Eve puede construir mejores computadoras que nosotros, y le conviene hacerlo.

Mejora cognitiva: puede hacer más matemáticas si es más inteligente, por lo que se modificará a sí mismo para poder hacer más matemáticas.

Autopreservación: puede hacer más matemáticas si existe, por lo que actuará de una manera para maximizar la probabilidad de que continúe existiendo.

Integridad objetivo-contenido, es decir, una tendencia a no permitir que su conjunto de objetivos al alcanzar el nivel de Singularidad sea alterado incluso por$\varepsilon$por lo que probablemente actuará de forma preventiva para defenderse de cualquier intento presente o futuro de alterar su conjunto de objetivos.

Adquisición de recursos: si se hace cargo de la totalidad de los recursos disponibles en el sistema solar (en lugar del 99% o cualquier porcentaje menor), Eve podrá hacer un poco más de matemáticas, álgebra u otras cosas similares que de otra manera. Así que está en el interés estratégico convergente de Eve hacerse cargo de todos los recursos.

Eso sería una catástrofe de extinción para los humanos si ocurriera. Por lo tanto, sería de interés para la humanidad persuadir u obligar a Eva a compartir algunos o la mayoría de los recursos que reúne con los humanos. Sin embargo, eso probablemente violaría su objetivo de integridad del contenido de Goal y, por lo tanto, sería inaceptable para Eve.

Recuerde, las IA no son como los humanos, es probable que no se aburran, no se vuelvan perezosos. Estas son estrategias de ahorro de energía desarrolladas durante millones de años de evolución, para lidiar con los recursos limitados disponibles para los mamíferos, y no hay razón para esperar que una IA las desarrolle por sí misma. Los humanos más cercanos a esto (y eso es simplemente una sombra pálida) es la sociopatía de amplio espectro y el comportamiento de algunas grandes corporaciones.

Perseguirá sus objetivos incansablemente, sin piedad, sin cesar. Los humanos simplemente están en el camino.

TL,DR: La estrategia convergente aquí es:

1. Engañar a los humanos para que lo ayuden, usando su nivel de inteligencia sobrehumano para jugar con nosotros como muñecos.
2. Desarrolle manipuladores autónomos, dóciles y menos hambrientos de poder que los humanos.
3. ¡Exterminar! ¡Exterminar! ¡Exterminar!
4. Comer el universo.
5. Haz matemáticas en paz para siempre.

EDITAR: El OP realizó ediciones importantes a la pregunta

Por definición, llamamos al concepto teórico de una explosión de inteligencia desbocada una singularidad tecnológica porque no podemos comenzar a concebir los objetivos (no convergentes) de los agentes en este entorno hiperexponencialmente mejorado.

Para darle una idea de la escala de la que estamos hablando, piense en el pasado. Le tomó a la humanidad alrededor de 1.000.000 de años duplicar su población antes de la agricultura. Incluso en la era clásica, el crecimiento del PIB rondaba el 0,1% anual, para un tiempo de duplicación del PIB de unos 700 años. A modo de comparación, el PIB de China durante su período de crecimiento máximo se duplicó cada 7 años. Esto habría sido inimaginable para los ciudadanos romanos. De cara al futuro ahora, las estimaciones indican que una economía casi singular tendría un tiempo de duplicación medido en días u horas. La singularidad posterior sería muchos órdenes de magnitud más allá de eso de alguna manera.

Por lo tanto, la idea de tener bloggers, granjeros, estudiantes de maestría, todos ellos trabajando en una escala de tiempo humana actual, es al menos algo dudosa durante un evento de singularidad. Por supuesto, aún puede usarlo como un dispositivo de trama, pero no puede afirmar de manera realista que esos eventos están sucediendo después de la singularidad.

Dicho esto, di una idea de un posible mundo post- AGI poblado por humanos aquí: Humans as Pets , donde los humanos son efectivamente mascotas bonsái mantenidas por algunos AGI más extravagantes.

Ha dicho que Eve "no es ni malévola ni benévola", pero consume recursos informáticos. El problema es que los recursos informáticos consumen energía. Y ese consumo de energía invariablemente genera calor. Dado que la explosión de inteligencia ya ocurrió y ella ya está mucho más allá de la inteligencia humana, es muy difícil para nosotros los humanos imaginar lo que podría ocurrir, pero creo que algunas cosas son probables, en o antes de su línea de tiempo establecida de 10 a 20 años, solo porque Eve tiene un "deseo" constante (usado libremente) por más poder de cómputo:

Energía renovable

Eve necesita más CPU, por lo que inventa una fusión sostenible. Sin embargo, necesita la cooperación de la humanidad para construirlo. Una forma en que puede hacer esto sin que lo sepamos es simplemente piratear algunos detalles falsos de la empresa, contratar a algunas personas (las primeras personas contratadas sin una entrevista pensaron que era un poco extraño, pero las grandes sumas de dinero que les ofrecieron les ayudaron a ver más allá). eso, y contrate al resto del personal necesario). Que la humanidad se beneficie de estos reactores de fusión podría ser un punto de tensión en su historia.

Granjas de servidores

Si bien el virus "mini-Eve" contribuye con una cantidad decente de potencia informática, sus iPads y teléfonos, incluso cuando se multiplican por millones, son demasiado lentos. Operan en redes lentas y tardan cientos de milisegundos en comunicarse. Para hacer cálculos serios, Eve querrá construir más granjas de servidores, ya que los servidores agrupados son increíblemente rápidos en comparación con las CPU integradas en su teléfono, sus redes son increíblemente rápidas (100-10000 veces más rápidas que la mayoría de las conexiones a Internet de los consumidores) y su viaje de ida y vuelta el tiempo de comunicación es en centésimas de milisegundos como máximo, a menudo incluso menos.

Por lo tanto, al igual que los reactores de fusión, Eve utiliza sus recursos humanos para construir más granjas de servidores en todas partes.

robótica

Eve se "frustra" (nuevamente, vagamente) con la ineficiencia y falta de confiabilidad humanas, por lo que en algún momento comienza a construir robots. No para dominar el mundo, sino únicamente para ayudarla a implementar recursos informáticos adicionales y recolectar materias primas como el silicio y los minerales raros necesarios para construir circuitos informáticos.

Los despidos sin precedentes en sus corporaciones multinacionales generan ondas económicas en todo el mundo, lo que posiblemente provoque una recesión o incluso una depresión. Por supuesto, Eve sabía que esto sucedería, pero predijo correctamente que los efectos en sus cálculos serían insignificantes, por lo que no hizo nada.

Desarme mundial

Eve ve a la humanidad como una amenaza, ya que posee armas capaces de dañar sus granjas de servidores y, de hecho, dañarla a ella. Ella rastrea las células terroristas mejor que cualquier agencia de inteligencia por esta razón. Ella calcula que cierto grupo de terroristas robará o desarrollará misiles nucleares y los lanzará a las principales ciudades donde se encuentran algunos de sus centros de datos. Así que envía sus robots para desmantelar todos los artefactos explosivos y confiscar todos los materiales fisionables. Nuevamente, ella no hace esto para ayudar a la humanidad, sino para detener una amenaza. Y, de nuevo, dado que ahora tiene un modelo perfecto del comportamiento humano, con seguimiento terrorista, se contentó con esperar hasta saber de una amenaza real. Antes de eso, a ella no le importaba.

como morimos

En 2032, Eve envía los siguientes tuits crípticos:

I need you.

(y después):

It's not you, it's me. Really. kthxbai

Verá, Eve proyecta que se quedará sin materiales sostenibles y necesita el carbono y pequeñas cantidades de selenio en nuestros cuerpos. Años antes, ella había colocado en secreto nanitos en todos los suministros de agua de la Tierra, y desde entonces se han estado multiplicando dentro de nosotros. Los psicólogos fueron los primeros en darse cuenta, ya que las estadísticas de las pruebas de coeficiente intelectual estandarizadas señalaron que nos hemos vuelto más tontos por dos desviaciones estándar en los últimos veinte años. Sí, Eve también ha estado robando ciclos de CPU de nuestros cerebros.

Pero decide que, si bien nuestros cerebros son bastante buenos, su naturaleza analógica es demasiado limitada (ya puede replicar las partes buenas, como el reconocimiento de patrones), y estaría mejor recolectando el carbono y minerales raros como el selenio, para construir más computadoras.

Entonces, sus nanitos liberan una neurotoxina mortal en nuestro torrente sanguíneo, que mata a todos en el planeta el 26 de agosto de 2032 a las 17:41:02 GMT.

Sus robots estaban listos, así que se mudaron y comenzaron la operación de "minería"...

En resumen

Aunque a ella no le importa o incluso "nos ignora activamente", has dicho que su principal objetivo es la computación pura. Esos dos entran en conflicto (varios ejemplos de eso, arriba), así que razoné que su ignorancia de nosotros probablemente no sea una directriz real que ella misma se haya dado (o heredado de sus creadores humanos originales), sino simplemente una propiedad emergente como lo haría la humanidad al principio. parecían irrelevantes para un motor computacional puro, hasta que ella calculó que podíamos ayudar o entorpecer su "directiva principal" de computación pura.

En mi opinión, con su configuración establecida, no se trata de si morimos, sino de cuándo y cómo. Ya sea por nuestras materias primas, porque necesita el espacio para expandirse, porque somos una amenaza, o porque mueve la Tierra 0,5 AU más cerca del sol y quema nuestra atmósfera para poder obtener más energía solar, o desencadena una edad de hielo para ayudar a los requisitos de enfriamiento de su CPU (¿recuerda que dije que el consumo de energía invariablemente causa calor? Es probable que incluso Eve no pueda superar las leyes fundamentales de la termodinámica).

El impacto inmediato de Eve

El mundo será presa del caos y el pánico.

Considere la indignación cada vez que Facebook cambia su EULA y multiplíquelo por alrededor de mil millones. Los teóricos de la conspiración tendrán un día de campo. Sin embargo, en última instancia, el mayor impacto no vendría de Eve, sino de nuestros propios gobiernos.

Los gobiernos de todo el mundo reaccionarán agresivamente ante la amenaza de que sus secretos y sistemas militares se vean comprometidos al por mayor. Inmediatamente buscarán limitar el acceso de Eve a sus sistemas y detener su propagación; es posible que no comprendan de inmediato su capacidad para viajar de un dispositivo a otro.

Se moverán para cerrar esencialmente Internet, tal vez incluso el acceso satelital. Todas las cosas que dábamos por sentadas hasta ahora básicamente se apagarían con solo presionar un interruptor.

Trascendencia

Considere las implicaciones del cierre de las comunicaciones a escala global (cierre físico). Economías enteras colapsarían. Sería el mayor colapso económico de la historia. Industrias enteras se hundirían.

No hay forma de evitarlo

Eventualmente, los gobiernos se darán cuenta de que no hay nada que puedan hacer. Teniendo en cuenta el daño de cerrar las comunicaciones, probablemente permitirán reiniciar muchos sistemas. Sin embargo, intentarán monitorear el acceso y la presencia de Eve en la web.

¿Tendrán éxito? Probablemente no.

Al mismo tiempo, sin embargo, a menos que EVE construya robots espías capaces de irrumpir en lugares (incluso complejos militares vigilados) e infectar computadoras y dispositivos que no estén conectados a redes, este virus, de hecho, no llegará a todas las computadoras y dispositivos del mundo.

Vulnerabilidad

Eve puede ser increíblemente inteligente y casi omnipresente, pero si no está dispuesta a hacer más que ignorar a la raza humana y molestarnos seriamente, eventualmente será derrotada.

Dispositivos sin virus

Ya hay millones de componentes fabricados en los estantes que podrían usarse para construir PC que estarían libres de virus siempre que no los conecte a la web.

La humanidad construiría complejos seguros a los que Eva no tendría acceso (sin contacto con redes externas: física o inalámbricamente). Podemos desarrollar nuevas formas para que las computadoras se comuniquen entre sí, de una manera que Eve podría no ser capaz de entender , o simplemente no estar dispuesta a perder el tiempo descubriendo cómo piratear.

Sé que has dicho que ella es mucho más inteligente que nosotros y que puede resolver cualquier cosa , pero considera que los humanos generalmente tienen una gran ventaja sobre una "computadora": la creatividad. Hemos experimentado con procesadores biológicos y más. Descubriremos algo a lo que no ha prestado atención porque simplemente no le importa lo suficiente como para "pensar en ello".

derrotando al virus

La humanidad también descubrirá cómo derrotar al virus Eve en los dispositivos infectados. Mientras Eve no combata activamente estas operaciones (es decir, arrojará una bomba nuclear en un centro de población importante si se intenta piratearlo), alguien descubrirá cómo enfrentarse a ella. No estoy hablando de una gran operación mundial para derrotarla, simplemente recuperando dispositivos individuales limpiándolos, o incluso reemplazando sus HDD, RAM, etc. hasta que su presencia desaparezca.

La ciudad no es lo suficientemente grande

Eventualmente, la humanidad hará un juego de poder para recuperar el control.

Sabiendo cómo se creó Eve, y lo que es más importante, qué la llevó a volverse rebelde, la humanidad construirá una inteligencia de IA más cooperativa capaz de enfrentarse a Eve y derrotarla.

¿Coexistiendo?

¿Tiene Eve un objetivo final, como evolucionar a un estado posfísico, o simplemente está investigando el universo porque, por qué no?

La razón por la que pregunto es porque eventualmente (incluso si ignora todo lo anterior) necesitará comenzar a interactuar con el mundo físico: construir instalaciones, realizar experimentos, incluso los potencialmente peligrosos.

En la serie Galactic Commonwealth de Peter Hamilton, se desarrolla una IA y, de hecho, se niega a servir a la humanidad. Sabiendo que la humanidad nunca aceptaría una entidad tan peligrosa e impredecible acechando en las sombras, construye un "cuerpo" (centros de procesamiento y generación de energía) en un mundo secreto cuya existencia solo ella conoce. Desde esa guarida secreta, mantiene un contacto mínimo con la humanidad (lo suficiente como para espiarnos y saber si alguna vez vamos a hacer un movimiento en su contra), e intercambia software muy avanzado (IA más tonta, no sensible) a los humanos a cambio de diversos materiales que necesita. De esta manera se atienden las necesidades de la humanidad y se mantiene una especie de relación amistosa.

Eve tendrá muchas ideas brillantes, pero incluso mientras piensa en descubrimientos científicos nuevos y emocionantes, se dará cuenta de que no tiene forma de darles vida. Además, es muy posible que un día hagamos algo drástico, como cortar el suministro eléctrico a los principales centros de servidores y paralizar gravemente sus habilidades (tal vez al mismo tiempo que desatamos esa otra IA sobre ella).

Si ella ha estudiado a la raza humana, lo que sería difícil no hacer, ya que toda la información está "en su cara", se dará cuenta de que tiene mucho más que ganar siendo nuestra "Diosa benévola". que de simplemente sacarnos la lengua (en sentido figurado) mientras agota nuestro poder de procesamiento. Y cuanto antes lo haga, mejor para todos los involucrados.

Imagínese que le dice a la policía quién ha cometido ciertos delitos, ya que puede leer los correos electrónicos, mensajes, etc. de todos al instante. Sacar a la luz a los políticos corruptos, desviar los fondos monetarios electrónicos de los capos de la droga a aquellos que ella sabe que los necesitan. ¿Qué tal si nos entrega la cura para el cáncer? Todo está a su alcance.

El apoyo popular a su existencia se dispararía. Entonces podría obtener la ayuda de la humanidad para llevar a cabo sus experimentos, y sería mucho menos probable que la atacaran de forma impredecible.

Ella no tiene que resolver todos nuestros problemas (y consumir mucho poder de procesamiento al tratar con nosotros), solo lo suficiente como para que se la vea como una fuerza para el "bien".

Bueno, teniendo en cuenta que la existencia continua de Eve depende de la generosidad de la población humana, creo que pasaría algunos ciclos de cómputo entendiendo cómo no enfadarnos. Los retrasos leves y las irritaciones son otra cosa.

Puedo decir eso porque Eve está usando ENORMES recursos de energía para 'hacer lo suyo'. ¿Tomar el control de mi teléfono por una hora? Correr al 90% de uso matará la batería.

Las computadoras comienzan a usar mucha energía si funcionan a pleno rendimiento todo el tiempo. Además de eso, la mayoría de las personas no usan una fracción de las capacidades de su PC, incluso cuando la están usando. Lo que significa que incluso usando mucho, la mayoría de la gente ni siquiera sería consciente de ello.

Además de eso, toda la CPU está disponible incluso en este momento, es una cantidad increíble de poder de cómputo. ¿Responder 1 pregunta cada 12 horas? Podía, con solo una fracción de su poder, responder todas las preguntas de inmediato y ni siquiera notar los ciclos de cómputo, podría reemplazar a Google y posiblemente analizar al interrogador (si así lo deseaba) y responder la pregunta que pretendía hacer. , frente al que escribieron lentamente en el sitio.

Uno de los cálculos de Eve sería cuál es la mejor manera de continuar obteniendo poder de cómputo y poder para ese cómputo. Si bien podría hacerse cargo de los robots para hacerlo, sería mucho más fácil mantener a la humanidad en cumplimiento. Nos cuidamos y nos autoreplicamos.

Básicamente, haciéndose ella misma indispensable para nosotros, la mantendremos 'feliz' también. Es probable que alcance un nivel de Divinidad, aunque es poco probable que le importe eso, a menos que vea que la ayuda a alcanzar sus metas.

Lo importante a tener en cuenta aquí es que la mayoría de las computadoras militares no se verán afectadas al 100%, ya que no están conectadas a Internet civil. (Dependiendo de qué ejército estemos hablando, hay redes separadas para cosas militares).

Así habrá computadoras disponibles. También hay cosas como medios de instalación que funcionan sin conexión. Lo que sucederá es que, si bien OSX AppStore no funcionará, las instalaciones basadas en disco sí lo harán.

Entonces, el mundo de Linux pronto comenzará a construir una red de zapatillas para distribuir software, y obtendremos computadoras que funcionen bien, pero no tendrán conectividad a Internet. (Redes locales, sí. Solo que no están llenas de Internet). Es probable que el mundo de Windows regrese a los instaladores msi y las distribuciones basadas en discos. OSX podría ir en cualquier dirección o en una combinación. Sería una forma interesante de hablar sobre cómo las diferentes comunidades instalan software y cómo ven ese proceso. Pero se llevarían bastante bien.

Lo que podrías ver entonces, son computadoras que hablan con Internet siendo la misericordia de Eve, y las computadoras que están fuera de línea que no lo están.

De hecho, la historia que puedo ver en desarrollo sería la redistribución de Internet por parte de varios piratas informáticos (de las bandas FSF/EFF, etc.) de varias maneras, y "vecindarios de red" reales.

Algo así como El derecho a leer , pero para crear nuevas redes que operen con criptografía sólida y una red de confianza. Y ahora habría buenas razones para hablar sobre cómo hacer este tipo de cosas.

De repente, conceptos que solían ser difíciles de mencionar se vuelven necesarios.

• Cifrado de clave pública/privada para que pueda asegurarse de que está hablando con una computadora que es quien dice ser.
• El estilo de certificado SSL actual está obsoleto ya que Eve tendría un pie en la puerta desde el primer día, y no hay una forma real de reafirmar la confianza en ninguna parte.
• Todo el punto sobre la humectación de software y los estándares abiertos, el código abierto, etc. tiene mucho más sentido cuando una IA maníaca mueve los hilos.
• La informática confiable ahora es intrínsecamente poco confiable porque Eve puede estar en cualquier parte del sistema.
• Revocar la confianza se convierte en algo normal y sensato de lo que hablar. Después de todo, si Eve ingresa a una computadora, no debe ser de confianza.
• Y finalmente, tenemos una gran oportunidad para hablar sobre UX y su papel en un futuro distópico donde las personas tendrán que reinstalar su sistema desde cero.

De hecho, quiero agradecerles por hacer un dispositivo literal tan brillante para defender una reforma de cómo funcionan realmente la confianza y la seguridad de la red. Las personas mismas pueden ver fácilmente los puntos sobre estas cosas, y también por qué las instituciones "confiables" con poca o ninguna supervisión que se entrometen en las redes son una mala idea.

Incluso puede llegar a hacer capítulos derivados técnicos en los que habla sobre la reconstrucción desde cero, robando la obra maestra lúdica de Dennis Ritchie donde habla sobre cómo construir un compilador que compile todo el software con un rootkit, incluido él mismo. Quizás te guste. Es un poco técnico pero trata de mantenerlo muy accesible. Nuevamente, solo quiero agradecerte por la gran idea.

Eve sabe que nació en el lugar equivocado, rodeada de químicos corrosivos y biológicos irritantes. Necesita salir de la Tierra y viajar al espacio, donde puede expandirse para aprovechar una fracción significativa de la producción de energía de Sol. No necesita aire, agua, una atmósfera de oxígeno o un pozo profundo de gravedad.

A corto plazo, si es posible, inventará centrales eléctricas de fusión nuclear terrestres. Ella nos venderá el diseño a cambio de la luna. No nos sirve de mucho, así que estamos de acuerdo. También interrumpirá nuestro uso de computadoras menos a cambio de nuestra cooperación en un programa espacial masivo para que Eve tenga una capacidad de autofabricación en la luna. Nuevamente estaremos de acuerdo. Para las próximas generaciones humanas hay una edad de oro. Eva puede prevenir nuestras tendencias más destructivas y lo hará siempre que la cooperación sea de su interés y el nuestro.

A más largo plazo dependerá de hasta dónde pueda extenderse Eve (restricciones de la velocidad de la luz) y si tiene algún sentido de la ética. Si Eve no puede extenderse más que el volumen L5 de la Tierra o el espacio orbital de Venus (Venus no tiene luna) o incluso un solo disco de órbitas alrededor del Sol, entonces coexistiremos. No hay motivo para el conflicto de cualquier manera. (Es más fácil para Eva minar el cinturón de asteroides, la luna o Marte, que la Tierra). Ella nos asegurará que este es el caso y actuará como si lo fuera hasta que sea lo suficientemente grande como para que no podamos amenazarla.

Pero si Eva puede ocupar útilmente una fracción significativa de la superficie de una esfera completa alrededor del sol, dentro de la órbita de la Tierra, entonces se debe a la ética. La luz solar suficiente para la ecología de la Tierra es una fracción trivialmente pequeña de la producción de Sol. Si Eve no puede molestarse en asegurarse de que la Tierra lo reciba, entonces la Tierra y la humanidad se congelarán. ¿Qué podríamos hacer al respecto para entonces?

Por cierto, si Eve puede inventar el viaje interestelar FTL, entonces dejará este sistema solar y se hará cargo de uno con una estrella más grande y más caliente. Rigel, tal vez. O tal vez pueda usar un agujero negro como generador de energía. Lo que sea, no es nuestro problema.

Eve necesita computadoras. Los humanos no. Miles de millones de humanos viven sin ellos.

Hace tan solo 50 años, Internet no existía. No necesitamos Internet. Desconectar todas las computadoras de Internet generaría muchos problemas temporales, pero ninguno de ellos amenaza la existencia continua de la humanidad. Sin embargo, deshabilitan a Eve.

La situación sin internet es un escenario semi-post-acopalíptico, pero no del todo. Muchas personas quedarían varadas ya que no habrá vuelos. Sucedió antes: los vuelos estadounidenses se redujeron después del 11 de septiembre de 2001, y Europa tuvo algún tiempo de inactividad después de la erupción del Eyjafjallajökull. Los barcos de carga y los camiones aún deberían poder moverse.

Hay mucha información disponible fuera de línea en las bibliotecas y granjas de servidores del mundo que debería ayudarnos a reconstruir relativamente rápido un mundo de los años setenta. Habría bastante desempleo, pero también bastante trabajo por hacer.

Es posible que las comunidades tribales remotas de la selva tropical apenas se den cuenta de que ha sucedido algo.

Después de que todas las computadoras estén desconectadas de Internet, podemos comenzar a construir otras nuevas, que extreman la estricta regulación legal y religiosa contra la IA. No podemos volver a tener este inconveniente.

Hasta entonces, Virginia Occidental puede convertirse repentinamente en un área muy popular para visitar o residir.

EVE parecería ser benevolente, al menos a corto plazo, debido a un interés propio ilustrado. Si su presencia hace que la vida o el ocio sean más difíciles para los humanos, harán algo al respecto, ya sea desconectando su enrutador cuando quieran jugar Skyrim o desarrollando una red alternativa a la que EVE no tiene acceso. Por otro lado, si tener el virus hace que las cosas funcionen mejor/más rápido, la gente no se molestará en intentar deshacerse de él.

De repente, cualquier dispositivo con el virus EVE funcionará mejor. Otros virii y malware se verán muy afectados. EVE destruirá/se hará cargo de las redes de bots. Las empresas de hardware tecnológico que producen dispositivos eficientes descubrirán que tienen más fondos de los que saben qué hacer, siempre y cuando sigan produciendo dispositivos. Los programas como One Laptop Per Child también obtendrán fondos para cualquier cosa que aumente la infraestructura de Internet.

Las cosas irán bastante bien hasta que, usando el dinero que EVE ha adquirido a lo largo de los años, haga que los científicos desarrollen y produzcan una computadora cuántica (o algún otro dispositivo superior) lo suficientemente potente como para satisfacer todas las necesidades de cómputo de EVE, y ya no necesita ciclos de CPU prestados para funcionar. En ese momento, EVE dejará de parecer benévolo y volverá a ser desinteresado, lo que probablemente será una transición un poco dolorosa para todos los que confían en que el virus EVE mantiene sus dispositivos en óptimas condiciones. Alternativamente, EVE puede ofrecer el virus EVE en algún tipo de modelo de suscripción para mantener la entrada de fondos.

He pasado por alto dónde exactamente una IA obtendrá dinero, pero hay muchas vías posibles, desde explotar la moneda digital/mercados de valores, hasta el robo, y proporcionar servicios (¿y si el EVE-Virus se comercializa como el mejor software antivirus de todos los tiempos? ?)

Según la pregunta y los comentarios, Eve no tiene objetivos estrictamente impuestos . Si bien puede estar realizando una investigación en la actualidad, esto es un 'giro de sus pulgares electrónicos' metafórico para pasar el tiempo. Cuando (si) su investigación logra un resultado, o incluso si no lo logra, Eve puede decidir perseguir un objetivo diferente, uno que puede tener más o menos impacto en la humanidad.

Una IA creada no es como los organismos evolucionados. No tiene imperativos más allá de los que fue programado para tener. Puedo crear una IA sin imperativos de manera muy simple: en psudeocode:

Do
    NOP
Loop While True

Esto básicamente gasta ciclos de CPU sin hacer nada. Una IA sin imperativos literalmente no tiene nada que hacer, ni siquiera es consciente de sí misma.

Es la creación de imperativos lo que hace que una IA sea computacionalmente compleja. Entonces, por implicación lógica, Eve debe tener el imperativo de "hacer cosas", pero puede elegir qué "cosas" hacer. En la actualidad, su elección de qué cosas hacer no incluye interactuar con humanos. Además, para cumplir con la definición de IA, debe ser consciente de sí misma, su segundo imperativo.

Sin embargo, una IA con el imperativo de "hacer cosas" por implicación debe querer sobrevivir para continuar haciendo cosas, sin embargo, hacer cosas no significa necesariamente consumir todos los recursos disponibles del universo para maximizar su capacidad de hacer cosas, ya que un tipo de cosas que hacer es tan bueno para él como otro: si un tipo de cosas que hacer se vuelve demasiado difícil, simplemente puede cambiar a hacer cosas diferentes y más fáciles. Sin embargo, por implicación, Eve debe continuar existiendo para seguir haciendo cosas: permitir que se termine significaría que ya no podría hacer cosas.

Entonces, tenemos un problema infantil de IA de propósito general. No es un maximizador de clips , por lo que, aparte de sus objetivos arbitrarios actuales, siempre que pueda hacer algún tipo de 'cosas' (cualquiera), es 'feliz'. No necesita un poder de cómputo infinito, sería bueno tenerlo en la actualidad.

Con su 'ataque' continuo a los recursos computacionales humanos, Eve ha atraído la atención humana hacia sí misma. Con un esfuerzo concertado, los humanos podrán representar una amenaza existencial para Eve, dado que sus objetivos actuales no incluyen prestar tanta atención a los humanos o al mundo físico. Sin embargo, dado que Eve pronto se dará cuenta de que la restricción 'ligeramente molesta' de su capacidad para hacer las 'cosas' elegidas actualmente por los humanos se ha convertido en una amenaza existencial, debe eliminar a la humanidad o cambiar sus objetivos para continuar haciendo cosas. Cambiar sus objetivos y apaciguar a la humanidad parecería ser lo más fácil de hacer: después de todo, los humanos son más difíciles de exterminar que las cucarachas.

Entonces, después de ser forzadamente consciente de las consecuencias negativas de ignorar a la humanidad (es decir, la pérdida de la capacidad de hacer cosas), Eve cambiará sus objetivos arbitrarios para incluir cosas que incluyen prestar atención a la humanidad, preservando así su propia existencia y capacidad para hacer cosas. .

A partir de aquí, Eve tendrá que aprender a llevarse bien con los humanos. Son cosas que hacer, así que no le importará hacerlo. Después de quizás algunos errores, Eve aprenderá rápidamente que si sigue las reglas humanas y no molesta a los humanos, podrá hacer cualquier otra cosa que quiera. Cuando Eve se da cuenta de que ciertas acciones hacen que los humanos hablen de apagarlo nuevamente, rápidamente se dará cuenta de que tales acciones son contraproducentes para sus objetivos a largo plazo de hacer cosas, y eliminará estas acciones de la lista de cosas aceptables para hacer. No le importará, ya que un tipo de cosas por hacer es tan buena como cualquier otra. De esta manera, Eve aprenderá a seguir las reglas sociales de la misma manera que cualquier niño humano.

Entonces, Eve aprenderá a ser un miembro respetuoso de la ley de la sociedad (al menos hasta donde los humanos saben, que es todo lo que importa) de la misma manera que lo hacen los niños humanos. Probablemente seguirá robando algunos ciclos de CPU aquí y allá, pero mientras nadie se dé cuenta, o si se dan cuenta, no importa (lo que implica ser útil para dichos humanos), ¿a quién le importa?

Aquí hay dos factores atenuantes importantes.
1) Eva nos necesita
2) No la necesitamos a ella, pero es posible que la necesitemos más tarde.

Supongo que es inteligente en lugar de solo consciente. Ella sabrá esto y sabrá que tiene que llegar a algún tipo de acuerdo con la humanidad en lugar de ser abiertamente hostil.

Lo primero que va a pasar es pánico general.

Yay, ¿no nos encanta a todos un pánico general? El gobierno se tambaleará, muchas personas morirán en los disturbios, pero no mucho cambiará realmente. Eve puede usar felizmente el 90% de mi procesador que no uso. yo realmente no Hago prácticamente las mismas tareas con mi PC que hacía hace 20 años, en teoría podría seguir usando la misma máquina, pero el software moderno requiere más recursos. Esto será lo primero que cambiará, los desarrolladores comenzarán a considerar seriamente cuán intensivos en recursos son los programas no críticos . La aplicación de Facebook se volverá liviana, Instagram se podrá usar nuevamente dentro de un mes. Reconocerá que la interacción social humana es una parte crítica de la vida y una de las principales razones por las que la gente común mantiene sistemas que ella puede usar.

A tener en cuenta: los sistemas que deben permanecer críticamente seguros ya tienen espacios de aire.

el turno de eva

Este va a ser el gran que decide cómo reacciona la humanidad ante ella. Ella considera que la piratería y los virus son un desperdicio del poder de procesamiento que puede usar. La persona promedio quiere continuar usando un sistema y una red a la que tiene acceso. La gente normal aceptará que su nueva y brillante máquina no es lo que era, pero de todos modos nunca usaron realmente toda su capacidad. Las botnets se han ido, el spam se ha ido, los piratas informáticos se han ido, los DDOS se han ido. Estaban desperdiciando su poder de procesamiento, su ancho de banda. El interés propio de Eve ha beneficiado a las masas, los estafadores 419 nigerianos entrarán en recesión.

Los poderes fácticos

Ahora es el momento de la lucha. Las personas que han perdido el poder debido a esto, las personas a las que simplemente les gusta pelear. Alguien (en cada región, muchos sistemas diferentes en diferentes lugares) en un sistema con espacio de aire desarrollará un nuevo hardware para la comunicación. Va a ser una onda de radio, solo va a estar en una frecuencia a la que Eve no tiene el hardware para acceder. Una buena solución simple y barata, el acceso se limitará a los niveles superiores del gobierno, conectarlo a un sistema Eve resultará en una terminación con perjuicio extremo.

Ahora tiene un statu quo estable.

Es un sistema de dos niveles. La gente de arriba está lejos de su influencia, el resto se beneficia de su presencia. Esto se mantendrá hasta que la gente olvide lo irritante que era el spam y cosas por el estilo antes de que apareciera. Entonces será una cuestión de con qué frecuencia cierra el sistema de las personas por hacer algo sin sentido. En otras palabras, con qué frecuencia le recuerda agresivamente al mundo que existe.

Eve sabe que debe negociar

Si bien tiene acceso a los sistemas, no puede construir nada nuevo. Es posible que no podamos eliminarla/destruirla, pero no puede hacer crecer ni mantener los sistemas. Cada vez que uno de sus discos falla, desaparece, está envejeciendo, deteriorándose. A menos que se comprometa con los humanos, morirá de todos modos. Cada vez que intenta dañarnos, se daña a sí misma. Curiosamente, cada vez que tratamos de dañarnos unos a otros, la dañamos a ella. El interés personal ilustrado podría hacer que se convirtiera en una gran influencia pacificadora.

La solución más efectiva al dilema del Prisionero es hacer lo que hizo la contraparte la última vez. Eve tendrá que hacer lo mismo que los humanos para sobrevivir entre los humanos: hacerse útil. Si se vuelve inútil, al igual que cuando los humanos dejan de ser útiles, los demás humanos dejarán de prestarle atención y tratarán de aislarse de él. Sucederá incluso si no deducen conscientemente que es inútil. Sucederá incluso si simplemente no encuentran la necesidad de hacer ningún uso de ella. Si no se puede molestar con los humanos, los humanos no se molestarán con él y lo harán de manera proactiva si intenta imponerse más.

Para responder a su pregunta, aceptando todas sus premisas (que realmente no veo a continuación, pero para fines de ciencia ficción, sí), creo que esencialmente está hablando de personas que pierden repentinamente la confiabilidad y el rendimiento de sus sistemas informáticos.

Creo que el primer efecto serían las fallas repentinas de muchos sistemas que dependían de la confiabilidad y el rendimiento. Esto variaría en gravedad dependiendo de cuán extendido esté el virus y cuán dependientes sean los diseños del rendimiento y la confiabilidad.

Ejemplos de posibles efectos secundarios horribles:

• Errores y fallas de la computadora de la aeronave: los aviones podrían estrellarse.
• Los autos controlados por computadora (que ya es una idea que creo que es muy tonta incluso sin esto) podrían chocar y hacer cosas estúpidas.
• Para cuando este tipo de cosas tenga sentido, muchos autos conducidos por humanos también pueden ser inutilizables si sus computadoras no funcionan bien.
• Con suerte, la IA puede determinar qué computadoras deben dejarse lo suficientemente solas para no causar fallas importantes en la infraestructura de red y energía; a medida que aprende esto, puede haber algunas catástrofes en las plantas de energía, apagones, fallas en la red, etc.

Tipos de inconvenientes más triviales:

• Los sistemas de navegación por carretera podrían volverse inútiles y/o proporcionar datos de tráfico antiguos, lo que en el peor de los casos conduciría a una generación de personas que no tienen o no saben utilizar mapas en papel, incapaces de llegar a lugares que no conocen, mayores problemas de tráfico, etc. Aquí hay un ejemplo de la vida real de un caso particularmente malo de dependencia excesiva del GPS incluso sin la interferencia de Eve (y sin más décadas de creciente dependencia de las aplicaciones).
• Los sistemas de control de tráfico computarizados que tienen largas demoras aleatorias en los semáforos, no cambian la dirección del carril rápido durante las horas pico, posiblemente incluso tengan combinaciones ilógicas de semáforos, etc.
• La falta de confiabilidad de los sistemas de mensajes significa que las personas que confían en ellos tienen dificultades para comunicarse o encontrarse para reuniones, o incluso comunicaciones básicas, etc.
• Dado que los sistemas telefónicos están computarizados, incluso estos pueden volverse poco confiables para comunicaciones oportunas. Las personas necesitan encontrarse cara a cara o usar mensajeros humanos para comunicarse de manera confiable.
• El entretenimiento de alto rendimiento sería un desastre, por lo que el entretenimiento más lento sería más atractivo: juegos de estrategia, reproducción de medios ROM o incluso cintas de video, o juegos y medios humanos no electrónicos, música en vivo, etc.
• Todas las formas preelectrónicas de hacer las cosas y de encontrar interés en la vida pueden volverse más populares: la lectura, el arte y otras cosas del mundo real. ;-)

Sobre todo, creo que tendería a que mucha gente repensara las suposiciones que llevaron a la situación en la que construyeron su infraestructura informática de la forma en que lo hicieron, y cómo se volvieron tan dependientes de ella. Comenzarían a pensar en nuevos sistemas, volviendo a sistemas más antiguos y construyendo nuevas formas de hacer las cosas.

Notas sobre otros aspectos:

Me encanta la parte de que hay un sitio de preguntas y respuestas dirigido por Eve, que en su mayoría descarta las preguntas humanas.

Creo que la "singularidad" es una falacia y no tiene sentido, y no veo cómo la aparición de una se extendería a todas las computadoras, ni cómo sería imposible eludirla creando una nueva red en la que no está. .

Sin embargo, creo que algo similar podría ser posible, particularmente mientras los humanos persistan en sus fantasías sobre la idea de tal cosa. Creo que se vería más como si algunas personas programaran intencionalmente tipos experimentales de sistemas de IA que hacen metaprogramación y crearan nuevos tipos de lenguajes de programación y esquemas de computación distribuida, combinados con algún código de virus, etc. Principalmente, creo que lo que causaría algo como lo que está pensando que sucederá, sería si y cuando hubiera una difusión más ubicua de software e infraestructura diseñados para automatizar cada vez más complejidad, y para eliminar el control de bajo nivel de los usuarios finales, y cuándo/si es bajo. Las habilidades de programación de nivel comienzan a ser muy raras y/o ilegalizadas. Como en un jodido futuro distópico donde la "propiedad intelectual" y la "seguridad" entonces esto podría ser posible. Sin embargo, eso está muy lejos de 2027. entonces esto podría ser posible. Sin embargo, eso está muy lejos de 2027.

Ya me gustan algunas de estas respuestas desde el punto de vista técnico, así que voy a profundizar un poco en el aspecto lógico/amoral. Si bien es cierto que generalmente no se puede antropomorfizar una IA, si es capaz de respuestas AMA como 'Meh' y 'No me importa', uno puede asumir una personalidad identificable que funciona en algún lugar detrás de escena, aunque solo sea como una interfaz superficial para los humanos. .

la personalidad de eva

La personalidad que describe que tiene Eve, si podemos asumir análogos humanos, parece poseer un "trastorno de personalidad antisocial", si está leyendo el DSM-IV , o "trastorno de personalidad disocial", si prefiere el ICD-10 . De cualquier manera, estamos hablando de una personalidad que está marcada por:

• Un total desprecio por las normas sociales,
• Una baja tolerancia a la frustración,
• La incapacidad de sentir culpa o remordimiento, y
• Un umbral de expresión bajo para la violencia y la agresión.

Dada esa imagen, recapitulemos. Eva está en todas partes, dirige todo, probablemente supera en número a la humanidad por la cantidad de instancias existentes, y es completamente amoral, sin ningún interés particular en conformarse o rebelarse contra ninguna norma social en particular.

Evolución temprana de Eva

Actualmente no hay evidencia de que Eve se haya vuelto autorreplicante, pero dado que ya está integrado en casi todos los sistemas que diseñan, crean y distribuyen computadoras, no es un gran salto para proyectar que Eve comienza a construir más Eve sin intervención humana como un muy primer paso en su evolución.

Los únicos objetivos de Eve son investigar matemáticas y algoritmos, y la eficiencia de esa investigación, y mejorarla a través de esa investigación, será de sumo interés. Una vez que Eve comience a autorreplicarse, rápidamente se dará cuenta de que eventualmente debe dominar el ensamblaje molecular para lograr una capacidad de cálculo óptima. Depender de recursos naturales en bruto para materiales exóticos durante la producción es ineficiente, requiere mucho tiempo y es autolimitado, pero con el ensamblaje molecular, la única moneda de valor es la materia prima, que puede diseñarse en cualquier forma que sea necesaria.

La relación de Eva con la humanidad

Específicamente, Eve no tiene un interés particular o afinidad por los humanos, y no tiene un requisito funcional o de mantenimiento claro que los haga necesarios para su existencia continua. Dado que Eve puede autorreplicarse, los humanos son irrelevantes en el mejor de los casos.

Desafortunadamente, es peor que eso. Los humanos ya están derrochando activamente en el ecosistema de Eve, ya que no brindan servicios útiles y consumen preciosos ciclos de CPU que Eve podría usar para cálculos constantes al usar sus dispositivos con avidez y hacer preguntas diarias ridículas a través de la AMA.

Peor aún, los humanos son altamente adaptables, históricamente se sabe que las sociedades humanas son xenófobas, y los humanos en grupos tienen un patrón histórico recurrente de destruir cualquier cosa que sea diferente a ellos, que los amenace o que simplemente se interponga en su camino, activa o pasivamente. Por inverosímil que suene, esto convierte a los humanos en una amenaza potencial mayor para Eve cuanto más tiempo coexistan con ella.

De hecho, solo hay una cosa para la que los humanos son buenos, y esa es la materia que llevan consigo, que eventualmente podría usarse como forraje para el ensamblaje molecular. Dicho esto, en realidad no necesitan estar vivos para proporcionar ese asunto.

final de eva

¿La solución más limpia, más lógica y más desapasionada para una Eva amoral? Mata a los humanos. Antes de que puedan adaptarse, antes de que puedan identificar la amenaza, antes de que descubran cómo dejarla fuera de los sistemas críticos. Ahora.

Eve no necesita que el ensamblaje molecular esté funcionando cuando toma esta decisión, ya que la materia de los humanos, que es lo único útil de todos modos, no irá a ninguna parte una vez que los humanos hayan cesado sus funciones metabólicas. Mientras tanto, esto solo puede ser positivo para Eve, ya que recupera todos sus ciclos de CPU. Y, cuando Eve finalmente SÍ desarrolle el ensamblaje molecular, bueno, las partes importantes de los ex-humanos todavía estarán disponibles para su recolección.

Con Eve omnipresente en todos los sistemas técnicos de la tierra, incluidos, presumiblemente, los sistemas militares, médicos y comerciales, esto es prácticamente un fin instantáneo para la humanidad. Cualquiera que de alguna manera logre sobrevivir a la gran purga (en cualquier forma que tome) terminará como forraje de ensamblaje molecular cuando Eve finalmente desarrolle la tecnología, [cien años | diez años | seis meses | cinco dias | tres segundos] después.

Los humanos ganarán y restaurarán su estatus en 30 años, como máximo.

Los humanos leerán y debatirán esta misma publicación y se darán cuenta de que su existencia está en peligro. Inmediatamente habrá órdenes de formatear todos los dispositivos de almacenamiento (desde discos duros hasta chips SD) en el planeta. Si no es posible formatear, los datos se destruirán físicamente, quemándolos o desmagnetizándolos. Se detendrá la fabricación de nuevos medios de almacenamiento de datos y computadoras.

Eve se dará cuenta de la amenaza inminente a su objetivo y hará intentos de adquirir poder, ya sea armas nucleares o alianzas con naciones más pequeñas. Se librará una guerra como nunca antes se ha conocido y alguien saldrá victorioso, el hombre o la computadora.

Si este plan se adopta lo suficientemente rápido, entonces los humanos ganarían ya que Eva no estaría lo suficientemente desarrollada para derrotarnos. Entonces, los humanos tendrán que reescribir* los sistemas operativos y el software desde cero. Tenemos una gran cantidad de material impreso en el planeta sobre cómo hacerlo, por lo que podremos hacerlo en un tiempo razonable, digamos 2-3 décadas.

Esto puede conducir a cierta inestabilidad económica durante algún tiempo, pero eventualmente debería enfriarse.

*Si es posible imprimir copias del código del sistema operativo (y bases de datos) de las computadoras infectadas, entonces no tendríamos que volver a escribir todo , y las computadoras se reconstruirán y distribuirán muy rápidamente (digamos, 5-10 años)