¿La necesidad de control limitaría la expansión de un agente racional superinteligente en el universo?

Mis pensamientos van así:

  • Postulo un agente racional superinteligente, que se da, o asume, el control sobre su civilización madre. Llamo a este agente "el Gobernante".

  • Postulo que para ejecutar operaciones locales eficientes lejos de su ubicación, el Gobernante debe permitir cierto grado de autonomía local, y cuanto más grandes, más alejadas y más complejas sean las operaciones, mayor autonomía se necesita. Para esto, postulo que tendrá que diseñar nuevos agentes/esbirros inteligentes para servirlo.

  • La humanidad aún no ha resuelto el problema de la IA amigable y, por lo tanto, no sabemos si se puede confiar en los agentes autónomos. Nuestra estabilidad mundial actual y la paz relativa en una sociedad de agentes autónomos (nosotros) pueden descansar sobre nuestra vulnerabilidad mutua. MAD es un ejemplo. Piensa también en la frase "El poder corrompe".

  • Un diseñador de IA superinteligente tiene una ventaja, a saber, la superinteligencia. No tiene que controlar una inteligencia más fuerte que la suya, pero puede hacer uso de otras más simples. En esta etapa de la historia, sin embargo, el Gobernante sabrá con certeza que, en general , no se puede confiar en que los agentes autónomos no creen agentes más inteligentes, y que la inteligencia necesaria para crear una superinteligencia (o una explosión de inteligencia) está en el simple ser humano. nivel. Puede darse el caso de que cualquier agente lo suficientemente sofisticado para liderar un planeta o un sistema solar deba estar hecho con algún tipo de sistema de recompensa interno (piense en la dopamina) que, en el fondo, entra en conflicto con los objetivos de otros agentes, incluido su creador.

  • Incluso si los agentes locales pueden volverse confiables, ¿cómo pueden el Gobernante y sus secuaces saber realmente que las señales que reciben son enviadas voluntariamente por el supuesto remitente y no están manipuladas? Supuestamente, muchas de las señales enviadas entre un poderoso representante local y el Gobernante serán las órdenes y eventos más importantes, como guerras y encuentros con nuevas especies, los cuales pueden provocar la manipulación de señales. La manipulación en el aire (o el vacío) probablemente se puede descartar mediante el cifrado cuántico, EDITAR: pero supongo que la interferencia de la señal no puede. La interferencia de señales aísla potencialmente al vasallo local del Gobernante, lo que significa que el vasallo debe tomar decisiones por su cuenta, lo que podría dañar al imperio.

  • Este no es simplemente un caso especial del problema de tomar decisiones bajo incertidumbre. Es el caso de correr el riesgo de arruinarlo todo sin lograr casi nada en el corto plazo (quizás cientos de millones de años). ¿Por qué alejar la materia útil de la mejor fuente de energía que tienes?

  • Mi hipótesis es que un Gobernante racional, por defecto, no se expandiría en el universo. Podría ejecutar programas SETI, sondas espaciales "no tripuladas" y hacer/permitir operaciones limitadas en el sistema solar, al alcance de medidas de control y vigilancia no autónomas (o no inteligentes). Una consecuencia es que impediría que todos los demás abandonaran el espacio que puede controlar directamente. (Tal vez esa "zona de confort" es mucho más pequeña que el sistema solar).

  • Si, por otro lado, algún objetivo final eclipsa en parte los objetivos instrumentales convergentes (también conocidos como "unidades básicas de IA") de poder y seguridad, podría ser más expansivo. Creo que es un pensamiento hermoso: solo aceptando tu propia vulnerabilidad puedes crecer indefinidamente. (Jeje, sé que lo estiré un poco). También podría ser el caso de que alguno de mis "quizás" esté equivocado.

  • Si este problema es tan difícil como sospecho, ¿podría ser una solución a la paradoja de Fermi? Con esto quiero decir que es probable que las civilizaciones avanzadas creen agentes racionales superinteligentes, y que impidan la expansión del espacio (constituyendo lo que Nick Bostrom llama un Gran Filtro), y esa es la razón por la que no nos encontramos con un muchos extraterrestres a pesar de que sus civilizaciones pueden haber existido durante cientos de millones de años.

Tengo poco conocimiento sobre el estado del arte en medidas de seguridad/confianza, y estoy seguro de que alguien puede arrojar más luz sobre esto. Es decir: La pregunta principal en el título, y la (in)validez de mi razonamiento al respecto.

Apéndice 1: Es concebible que el Regente en algún momento decida migrar a una estrella más joven o más grande, para cumplir sus objetivos a largo plazo. Y no es del todo inconcebible que dejaría atrás una planta de energía de esfera Dyson no inteligente. En realidad, la creación de una esfera de Dyson, si eso está dentro de la "zona de confort" del Gobernante, podría impulsar un arma poderosa para la supresión de las estrellas vecinas. Pero cualquier cosa puede suceder entre el momento en que se activa la alarma en el otro sistema y el momento en que llega el rayo de la muerte de este sistema para destruirlo. El peor de los casos podría ser rayos mortales imparables que van en ambos sentidos...

Apéndice 2: El arma de haz de neutrino-antineutrino propuesta podría convertirse en una realidad en el futuro, y se describe como de acción instantánea e imposible de defender. Esto puede (incluso más que las armas nucleares) forzar una mente distribuida o una estructura de poder, posiblemente con problemas de confianza interna . Una alternativa es tener algún tipo de solución doppleganger, de modo que casi nadie sepa quién es el Gobernante real, si eso es posible.

Apéndice 3: No hago suposiciones sobre otros agentes en general, pero el Gobernante puede diseñar a sus secuaces . Se supone que este es un escenario relevante para la vida real, posiblemente dentro de los próximos siglos a partir de ahora. El Gobernante es un agente superinteligente racional. Por lo tanto, representa un límite superior para la inteligencia y la racionalidad humanas, cuyos objetivos finales no se especifican a propósito en esta pregunta. Por lo general, la civilización madre trataría de hacerlo amigable con ellos, pero mi pregunta puede aplicarse si tienen éxito en esto o no. Las conclusiones estratégicas para el Gobernante entonces, podría decirse, también se aplicarán a un emperador con los mismos objetivos finales y, hasta cierto punto, a una organización gobernante, pero no tengo la intención de tener en cuenta los conflictos internos .el Gobernante, a menos que se pueda demostrar que son una posible consecuencia de cualquierGobernante (incluido un agente superinteligente) en el entorno correcto (incorrecto). EDITAR: Si la confiabilidad diseñada por una superinteligencia constituye o no un límite superior para la confiabilidad humana sigue sin decidirse, por lo que puedo decir. Si bien es tentador considerar una superinteligencia "divina", la cantidad de computación gastada en millones de años de evolución de humanos/primates/mamíferos es, no obstante, inmensa. Se dice que el ADN humano tiene alrededor de 1 GB (creo), e incluso si solo 1 kB es esencial para nuestra confiabilidad inherente (si es que realmente existe), encontrar o generar ese código relevante es una tarea enorme. (Una posibilidad para el Gobernante será diseñar minions humanos, al igual que los clones Cylon de Battlestar Galactica).

Apéndice 4: Me gustaría hacer una conexión más fuerte con el concepto de un Gran Filtro de Robin Hansons(Me lo dio a conocer por primera vez Nick Bostrom). El modelo del Gran Filtro es una respuesta a la paradoja de Fermi (Básicamente: "Si la vida inteligente no es extremadamente rara: ¿Por qué no conocemos o escuchamos a muchos extraterrestres, dado que muchos sistemas solares han tenido cientos de millones de años para desarrollarse? y propagar la vida?"). Los Grandes Filtros son barreras casi universales que deben superarse para lograr un imperio espacial. En la ecuación de Drake (para calcular el número de civilizaciones en nuestra galaxia que pueden enviar señales de radio al espacio), muchos de los términos son porcentajes, algunos de ellos se multiplican hasta lo que se puede llamar la prevalencia de planetas que sustentan vida (relacionados con el hipótesis de tierras raras). Entonces existe la probabilidad de que surja vida en un planeta que sustente la vida. Entonces, desviándonos de la ecuación original, se pueden considerar varios pasos más, como el surgimiento de la vida multicelular dada la vida, el surgimiento de la inteligencia dado los sistemas nerviosos, etc. Todas estas etapas son candidatas a ser grandes filtros. Sin embargo, si encontramos vida unicelular en Marte, entonces todos los primeros candidatos a Gran Filtro colapsarán esencialmente. El temor de Bostrom es que el Gran Filtro esté delante de nosotros, y específicamente llama la atención sobre la amenaza de la superinteligencia.Si alguien aquí ha leído el libro de Bostrom "Superinteligencia: Caminos, Peligros, Estrategias": ¿Detalla de qué manera cree que una superinteligencia constituye un Gran Filtro contra nosotros que observa actividad extraterrestre, incluida la actividad de la superinteligencia misma?

Apéndice 5: Si es posible construir una IA con algunos (quizás solo) objetivos estrictamente externos y no egoístas, podría estar dispuesta a soltar copias de sí misma en su misión de "difundir la bondad en el universo". Aunque los objetivos de los agentes serán exactamente los mismos, seguirán teniendo sus perspectivas individuales sobre ellos: entrada sensorial individual y capacidades de control local, y juicios basados ​​en esto. Por lo tanto, existe el riesgo de una "sana confrontación".

¿Asumes que todos los agentes son racionales, o sólo el gobernante? (si el gobernante tiene que lidiar con agentes irracionales, el problema es mucho más difícil para él) ¿Y tengo razón al considerar que al hablar de un "gobernante" te refieres a "algún tipo de organización gobernante" y no necesariamente a una sola persona?
Bienvenido al sitio, Anónimo. Como quizás no sepa, la red de sitios de Stack Exchange está dedicada a preguntas y respuestas específicas, en lugar de un foro de discusión disponible en otro lugar de Internet. "¿Qué opinas?" las preguntas se consideran debates abiertos y se declaran específicamente fuera del tema . Le sugiero que realice el recorrido y explore las preguntas existentes para tener una idea de lo que esperamos de las preguntas.
@Frostfyre Sí, soy consciente de la naturaleza de respuesta a preguntas del sitio. No quiero romper las reglas. La frase "¿Qué te parece?" se refiere a la validez de mis pensamientos, y a la pregunta en el título . También hay algunas preguntas de seguimiento en el texto, algunas de las cuales creo que pueden responderse decentemente. De todos modos, esto está cerca de un foro de ciencia ficción de todos modos, así que supongo que no esperas el mismo grado de preguntas y respuestas estrictas aquí que en, digamos, el foro de matemáticas.
@Kolaru No hago suposiciones sobre otros agentes en general, pero el gobernante puede diseñar a sus secuaces. Se supone que esto es un escenario real. Por "gobernante" me refiero idealmente a un agente racional con metas individuales. Para mantenerse dentro de los límites del "agente racional", considere que el gobernante es una sola superinteligencia. Pero las respuestas estratégicas también se aplicarán a un emperador y, hasta cierto punto, a una organización gobernante, pero no pretendo calcular con conflictos dentro de la autoridad, a menos que sean una consecuencia necesaria de CUALQUIER autoridad.
No somos un foro (de ciencia ficción o de otro tipo) y tenemos reglas a las que nos adherimos. Actualmente estamos refinando nuestro alcance, pero considero que esta pregunta está fuera del alcance de las preguntas apropiadas para la red SE en su conjunto.
@Frostfyre Muy bien, entonces "foro" era la palabra incorrecta. Y sé que hay una sección separada de ciencia ficción. Pero "Worldbuilding" es, sin embargo, especulativo. He tratado de aclarar mi publicación de preguntas ahora, para atraer respuestas adecuadas a la pregunta del título.
Curiosamente, este problema tiene al menos un intento de solución: el cuerpo humano. Si considera los problemas que está viendo, todos ellos tienen corolarios directos sobre cómo funciona o no funciona el cuerpo humano. Dada la fuerza de esos corolarios, surge la pregunta: ¿los humanos están tratando de expandirse en el universo?

Respuestas (5)

Fuera de las respuestas dadas por WestOfPecos y AndreiROM, el Gobernante encontrará otros tres problemas que harán que la tarea sea casi imposible.

El primer problema es que los sistemas muy grandes como los ecosistemas, el clima, los mercados, las sociedades, etc. son sistemas adaptativos complejos, donde las entradas y salidas no están conectadas lineal o temporalmente. Un empuje aquí podría resultar en una salida allíeso es 10 veces el empuje inicial, o 1/15 del empuje inicial o alguna otra cifra en total. Es posible que la salida ni siquiera se vea durante un período de segundos a siglos (según la complejidad del sistema y la cantidad de nodos intermediarios en el sistema). La teoría del caos (que está relacionada) también sugiere que incluso conocer las condiciones iniciales no le permitirá predecir los resultados. El Gobernante podría pensar que está haciendo un ajuste correcto al empuje en el punto "A" solo para descubrir que el siguiente empuje da como resultado un resultado en el punto "F", en lugar de "B" como se desea.

El problema dos se llama "Problema de conocimiento local". Como lo describe FAHayek, estipula que la información se distribuye a través de grandes sistemas, y solo los actores locales con observación directa pueden actuar o reaccionar lo suficientemente rápido a un poco de información fugaz para aprovecharla adecuadamente. Los grandes sistemas centralizados requieren que la información se registre, se transmita a la cadena de comunicaciones, se analice, se tome una decisión y se transmitan órdenes a la cadena de acción. En este punto, las condiciones iniciales han pasado y las acciones ordenadas son menos o incluso ya no relevantes. Esta es en realidad la razón por la que los mercados libres siempre superan a las economías dirigidas.

Observo que ha hecho algunas concesiones en su pregunta sobre la autonomía local, pero dado que los subagentes están por diseño subordinados al Gobernante y tendrán que hacer informes y ejecutar órdenes, siempre habrá algo de "arrastre" en el sistema debido al problema del conocimiento local.

El tercer y último problema es la latencia. Dado que el Gobernante está a la cabeza de una política interestelar/en todo el Sistema Solar, habrá retrasos considerables en el paso de información de los diversos subagentes, ya sea debido a la velocidad de la luz o debido a las limitaciones del ancho de banda disponible en cualquier sistema de comunicaciones FTL. (Lo siento, el Ruler está ocupado con llamadas en este momento. Permanezca en Ansible y el Ruler atenderá su llamada lo antes posible. Esta llamada puede grabarse con fines de capacitación o control de calidad...) y por supuesto, cuánto ancho de banda y potencia de procesamiento tiene el propio Ruler. Podría haber retrasos de tiempo considerables en el paso y procesamiento de la información, además del problema del conocimiento local, lo que también creará fricciones en el sistema.

El Gobernante debe saber todo esto, por supuesto, pero no habrá forma de evitar o solucionar estos problemas. Incluso si los subagentes están rígidamente programados y todos los canales de comunicación están libres de errores (otro problema, consulte la teoría de la comunicación), siempre habrá errores inducidos y bucles de retroalimentación en el sistema causados ​​por la no linealidad del sistema, el problema del conocimiento local y latencia en el sistema. El resultado del peor de los casos es un sistema craptacular donde todo se mueve de manera ineficiente como en los días menguantes de la Unión Soviética en una escala interestelar.

La codicia, históricamente, ha reemplazado a la cautela.

No hay emperador en la historia que alguna vez haya mirado sus vastas posesiones y dicho:

"¡Dios, parece que son suficientes tierras/personas para administrar!"

Si bien un imperio más pequeño es claramente más fácil de controlar, hay algunas formas de evitar los problemas que está previendo. El principal de ellos es la religión , y mantener un dominio absoluto sobre información importante, como las comunicaciones y los viajes espaciales .

Estableciendo un imperio

Todo lo que tu emperador tiene que hacer es encontrar una institución similar a una iglesia, con él mismo como líder. Los miembros de esta institución tendrán poderes de gran alcance y se convertirán en una parte importante de la administración de cada mundo. Deberían ser quienes manejen la comunicación con otros sistemas solares y entreguen la palabra del Emperador a la gente .

Si bien cada mundo puede tener su propia fuerza militar, bajo el mando del gobernador planetario, la autoridad de la Iglesia reemplazará a la suya, y tendrán disponible su propia fuerza de combate, más fuertemente armada y con mucha más tecnología. Solo por el gusto de hacerlo, llamémoslos los Caballeros Templarios .

Además, aunque cada gobernador planetario debe cazar y ejecutar a todos y cada uno de los disidentes, los nobles de cada mundo no están libres de sospecha. Por lo tanto, la Iglesia debería tener la autoridad para investigar, arrestar y ejecutar a cualquier persona . Llamemos a esta rama de su institución la Inquisición .

Mantén control

Si bien la humanidad claramente tiene acceso a tecnologías muy avanzadas, limite el acceso que cada planeta tiene a esas tecnologías.

Por ejemplo, cada nave que viaje por el vacío intergaláctico solo debería hacerlo con agentes ocultos de la inquisición a bordo. Además, a cada barco se le debe asignar un Sacerdote oficial , quien, si cualquier oficial, o incluso el capitán, resultan ser herejes, ¡está autorizado a ejecutarlos y asumir el mando del barco para la gloria del Imperio !

Mantener todas las instalaciones de fabricación de muy alta tecnología dentro del sistema solar, o en mundos controlados exclusivamente por la Iglesia. Ni siquiera permitan fanáticos que no sean de la Iglesia en dichos mundos. En otras palabras, si desea trabajar o comprender la tecnología más avanzada del Imperio, debe ser un miembro devoto de la Iglesia.

Las tropas eclesiásticas/inquisidores deberían tener acceso al tipo de armas, armaduras y tecnología que pueden aplastar cualquier cosa que un gobernador planetario pueda arrojar contra su fuerza expedicionaria.

Cualquier nueva tecnología descubierta en un mundo del Imperio debe ser confiscada de inmediato por la Iglesia y llevada de vuelta a uno de sus mundos para su estudio, no debe permitirse su liberación en el Imperio.

Y por último, pero no menos importante, cualquier mundo que intentara rebelarse debería sufrir un castigo horrible, como diezmar a la población o incluso ser limpiado por fuego nuclear .

Corrupción

La Iglesia está destinada a ser corrupta hasta cierto punto, sin embargo, de eso se tratan los fanáticos de la Inquisición. Caza a los traidores y herejes, y mátalos de formas horribles.

Nota: si algo de esto te suena familiar es porque básicamente expliqué de qué se trata el universo de Warhammer 40K.

Intuitivamente me gusta la idea de enviar agentes secretos a todas partes. Pero luego me doy cuenta de que estarán sujetos a los mismos problemas de confianza que los gobernantes locales, si quieren ser igualmente autónomos.
@Anonymus: ahí es donde entra A) el adoctrinamiento religioso y B) entran otros agentes / pruebas de lealtad / controles y equilibrios. ¿Cómo verifican las agencias de espionaje modernas la lealtad de sus agentes? Lea sobre la KGB, por ejemplo. Pondrían a prueba a sus agentes todo el tiempo.
La religión es un concepto interesante para su aplicación a agentes artificiales. Es como "Tu objetivo es servir a mis objetivos lo mejor posible, pero tienes que creer que te vas al infierno si no lo haces, aunque en algunos casos no puedo detenerte ni castigarte". Puede estar paralizando la inteligencia (al igual que la moralidad).
@Anónimo: la religión ha funcionado como un mecanismo de control desde que la humanidad ha existido, así que no veo por qué eso dejaría de ser cierto en el futuro. En cualquier caso, no tienes que usar la religión per se. Mira la Unión Soviética. Las reglas del partido eran la religión . Te sometes, o te arrojan a un gulag. La religión, sin embargo, es más eficaz. Elegante.
Si bien eso es históricamente cierto, no diría que resuelve automáticamente el problema de control de la IA, que es el peor caso relevante aquí.
@Anónimo: no puedo inventar todos los aspectos de su universo ni resolver todos los problemas. No importa qué método de control instituya, la IA seguirá siendo un problema, completamente separado de este problema. La única forma de resolver el problema de la "IA amigable" es... bueno... resolverlo . La religión, los partidos políticos o cualquier otro método de control sobre la población no tienen nada que ver. Por supuesto, sería más que un poco escéptico acerca de una civilización intergaláctica que no tiene, al menos, algunas IA rudimentarias y un método para controlarlas.

Su pregunta implica dos cuestiones:

(1) ¿puede garantizar que un agente local programado por The Ruler permanezca leal?

(2) ¿Puede garantizar que las comunicaciones con los agentes remotos no sean manipuladas?

(1) Dado que estamos hablando de agentes creados artificialmente (es decir, programados), la pregunta no debe ser si permanecerán leales, sino si su programación puede garantizarse sin errores, es decir, si el código funcionará según lo previsto. La capacidad de demostrar matemáticamente que un programa funcionará como se especifica a menudo se denomina "verificación formal". Se han utilizado varios enfoques (consulte https://en.wikipedia.org/wiki/Formal_verification ). Hay al menos una pieza de código compleja, un microkernel llamado seL4, para el cual se completó una prueba formal de corrección funcional (ver https://en.wikipedia.org/wiki/L4_microkernel_family#University_of_New_South_Wales_and_NICTA). Ahora, esto no significa que esté libre de errores. Pero significa que funcionará exactamente como se especificó.

Entonces, si desea hacerlo, puede asumir que, en su mundo, se garantiza que el comportamiento de los agentes locales (si son físicamente inviolables) se ajusta a su programación original. Por supuesto, a partir de ahí, puede utilizar ideas tradicionales (o menos tradicionales) como las de las historias de robots de Asimov para crear circunstancias en las que las especificaciones en sí mismas no estén bien elegidas para los problemas reales que pueden encontrar los agentes.

(2) Las matemáticas detrás de la nueva ciencia de la criptografía cuántica parecen garantizar la imposibilidad de espiar o manipular las comunicaciones que la utilizan (se basa en las propiedades del entrelazamiento cuántico). Pruebas recientes han demostrado la capacidad de comunicarse a lo largo de más de 100 km, y la distancia mejora constantemente en períodos cortos de tiempo. Así que me parece que, en este momento, si quisieras, sería posible que propongas un mundo donde las comunicaciones estén garantizadas seguras. Por supuesto, dado cómo funciona la ciencia, no sabemos qué mostrarán los desarrollos futuros de la criptografía cuántica, por lo que tomar una posición de cualquier manera podría resultar incorrecto en el futuro.

En resumen, me parece que existe una base científica razonable para postular, en una novela, (1) agentes locales que funcionan exactamente según sus especificaciones de programación, y (2) comunicaciones absolutamente seguras.

No pretendo dar a entender que hoy es posible proporcionar una prueba matemática formal de la corrección de cualquier programa (o que incluso será posible). Tampoco quiero decir que las comunicaciones basadas en criptografía cuántica sean viables y realistas. Mi punto es que la ciencia actual abre estas posibilidades (de la misma manera que abre la posibilidad de un agujero de gusano, por ejemplo).

Estoy de acuerdo en que esos son problemas importantes (1) Dado que los programas son IA, la corrección del código es solo una preocupación. Creo que para la IA, la alineación de objetivos es el verdadero desafío (por ejemplo, "leyes robóticas" adecuadas). El Gobernante, a diferencia de nosotros, tendrá el privilegio de poder crear agentes de IA útiles que sean más inteligentes que nosotros y más tontos que él mismo, y el Gobernante puede incluso ser lo suficientemente inteligente como para comprender a esos agentes lo suficientemente bien como para que puedan estar a salvo. (2) Entonces podemos, por ahora, descartar la manipulación durante la transmisión. Todavía existe la posibilidad de un remitente falso o coaccionado.
Creo que tiene razón: la alineación de objetivos o las especificaciones funcionales, como lo llame, ¡es donde está la diversión! Sin embargo, la criptografía cuántica no debería permitir un remitente falso, solo uno forzado, lo que puede o no tener sentido para las IA, dependiendo de cómo defina las reglas de su mundo.
Ciertamente hay candidatos para la coerción (extranjeros o vasallos deshonestos), si la coerción no puede hacerse imposible.

Cuestiono la premisa de que The Ruler puede suprimir todas las superinteligencias que puedan desafiar su supremacía. Los actores deshonestos (o incluso los bien intencionados) seguramente intentarán impulsar el estado del arte. Tan pronto como una IA se vuelva consciente de sí misma, seguramente conducirá a mejoras descontroladas.

Los humanos no están ni cerca de ser superinteligentes y, sin embargo, escapan regularmente de prisiones de alta seguridad y similares. La idea de que la inteligencia de las máquinas podría congelarse en un nivel particular indefinidamente no parece plausible en lo más mínimo. Alguien intentará crear una superinteligencia sin restricciones, solo porque puede . Solo se necesita uno para que sea Game Over.

No asumí que el Gobernante puede controlar o suprimir otras superinteligencias. Solo razoné que debe hacerlo, si quiere expandirse de manera segura en el universo.
Estoy sugiriendo que hacerlo en casa es tan difícil como hacerlo de forma remota, por lo que está tratando de resolver un problema que probablemente no surgirá. Si se le ocurre una manera de que The Ruler sea tan poderoso en casa, seguramente esta magia funcionará en cualquier lugar.
En casa, el Ruler puede hacer todo por sí mismo. Necesita partes móviles, pero no tienen que tener sus propias mentes y tomar sus propias decisiones. El problema surge cuando se necesitan decisiones locales rápidas y el Gobernante está lejos de ellas. Piensa: ¿Cómo atrapar una mosca (que vive en una atmósfera) en Marte, a distancia de la Tierra? Imposible. Pero atrapar una mosca en Marte es muy posible, si tienes un robot atrapamoscas en Marte, que toma sus propias decisiones sobre cuándo y cómo atacar. Tiene que ser inteligente, pero ¿y si necesitas gobernar un imperio en Marte? ¿Diferentes áreas en la tierra? Tal vez mismo pr

La IA es código. Este código se puede copiar para obtener exactamente los mismos objetivos que el original. El cifrado adecuado puede permitirle estar bastante seguro de que las señales son reales. (Si un ser lo suficientemente poderoso está jugando con usted, entonces todo es sospechoso.) Es casi seguro que habrá ineficiencias sustanciales causadas por estos problemas de comunicación y organización. Sin embargo, si cada pieza local de IA tiene un modelo probabilístico de lo que los demás pueden saber y hacer, evitará las cosas que tienen la posibilidad de fallar. Si bien existirían tales ineficiencias, un enjambre de dyson alrededor de una estrella distante que está tratando de ayudarlo es una gran ventaja. Los recursos no se están utilizando al 100% de eficiencia, pero se están poniendo en uso. Puede haber algunas IA que se adhieran a un sistema solar, pero la mayoría no lo haría.

Copiar metas tiene sentido para las metas altruistas, pero no se garantiza que el altruismo pueda ser efectivo en la práctica. Existe el peligro de que los sistemas de IA egoístas o intrínsecamente motivados sean mucho más fáciles de hacer y/o sean más poderosos por defecto.
¿La necesidad de control limitaría la expansión de un agente racional superinteligente en el universo?
RespuestasAquíPolítica de privacidad1y, 0v