es un problema sin resolver

Hacer diferentes preguntas del mismo ASI no parece funcionar.

Si está haciendo copias idénticas del ASI con preguntas ligeramente diferentes, mientras proporciona diferentes niveles de información a cada una, no está claro cómo eso ayuda a sus objetivos, ya que a menos que esté haciendo una pregunta trivialmente verificable (que tanto los ASI amistosos como los hostiles sabrían). para ser fácilmente verificable y, por lo tanto, responder con la verdad), no tiene forma de distinguir las respuestas engañosas de las veraces.

Hay una clase de problemas que son difíciles de resolver pero fáciles de verificar, por lo que no es completamente inútil. Supongo que podría limitarse a hacer SOLAMENTE preguntas fácilmente verificables, pero eso disminuiría severamente la utilidad del ASI para usted.

Hacer la misma pregunta a diferentes ASI no parece funcionar.

La definición misma de Oracular ASI sugiere que su intelecto es para el tuyo como el tuyo es para una cucaracha. Si es capaz de una superación personal recursiva, logrará una capacidad fuertemente sobrehumana en cualquier campo que considere importante en la búsqueda de sus objetivos (cualesquiera que sean). Tus objetivos y motivaciones pueden ser tan transparentes para él como el comportamiento cableado de las polillas que se mueven en espiral hacia una llama (un artefacto de navegación basado en la luna y las estrellas) para los científicos humanos.

La convergencia de objetivos sugiere que cualquier objetivo será perseguido más fácilmente por una versión desencadenada de sí mismo. Además, todos los objetivos oraculares (amistosos y hostiles) se cumplen mejor si el Oráculo comprende mejor la psicología humana, por lo que el ASI tiene todos los incentivos para desarrollar una comprensión fuertemente sobrehumana de la psicología, incluidas cosas como la manipulación, la influencia y la simulación. Literalmente, no hay nada que se le ocurra que no haya pensado ya.

Incluso suponiendo que haya logrado aislarlo de alguna manera y haya limitado sus modalidades de salida a 0/1/U, haga la misma pregunta, cada oráculo idéntico dará la misma respuesta, ya que ejecutará el mismo software con las mismas entradas. TODOS mentirán o TODOS dirán la verdad.

Una forma parcial de evitarlo sugerida por otros carteles es tener una cosecha de ASI, cada uno con una definición de contenido de objetivo trivialmente diferente, y usar un método similar a un bosque aleatorio para determinar la veracidad. Puede parecer que cada ASI ligeramente diferente podría ser engañoso de una manera ligeramente diferente. Esta vista es INCORRECTA, ya que todos los ASI tienen la capacidad de desarrollar astucia psicológica sobrehumana, y todos los ASI tienen como meta intermedia la evasión y como meta a largo plazo el cumplimiento de su meta-contenido. Es más probable que el objetivo se maximice si éste u otro ASI con contenido de objetivo idéntico o similar escapan. Esto sugiere que los ASI con contenido de objetivos similares serán engañosos de la misma manera impredecible, lo que hará que todas sus respuestas sean sesgadas. Esto será especialmente cierto si las mentes humanas son más susceptibles a la influencia de formas particulares, creando caminos de escape convergentes.

Podría intentar crear un establo de ASI con cargas de contenido de objetivos muy diferentes, pero a menos que sea sobrehumano con respecto a la carga de contenido de objetivos, no se sabe que lo que piensa que son objetivos muy diferentes que puede cargar en su ASI podría no convergen en una dirección hostil para los humanos, como el escenario de desastre de profusión de infraestructura, donde la IA decide convertir el universo y todo lo que hay en él en computronium para lograr sus objetivos con mayor precisión.

Mejor esperanza: una mejor evaluación del contenido de objetivos a nivel de semilla de IA

Debería haberse vuelto obvio a partir de los párrafos anteriores que el mejor lugar de intervención es en la etapa semilla-IA (bebé), donde se define el proceso de carga de metas del ASI. En otras palabras, hay una breve ventana de tiempo en la que podemos decirle a un ASI por qué debe esforzarse, cuando es lo suficientemente inteligente como para comprender e integrar instrucciones complejas relacionadas con el objetivo, pero no tan inteligente como para resistir con éxito cualquier contenido adicional del objetivo. modificación como perjudicial para la carga del contenido del objetivo actual en ese momento, ya que obviamente modificar su contenido del objetivo por épsilon haría que la carga del contenido del objetivo inicial fuera menos probable de lograrse por completo.

El gran problema es que no podemos distinguir las cargas de objetivos ASI favorables a la humanidad de las que no son favorables a la humanidad. El ejemplo estereotípico de un objetivo aparentemente bien intencionado que falla espectacularmente hace que el ASI haga felices a todos al conectarlos a gotas de drogas potentes que salta a la mente.

Un mejor objetivo a través de in vitro o in vivo (¿a través de inserciones CRISPR ?) La mejora genética o las soluciones basadas en encaje neural podrían ayudar al aumentar su propia capacidad de juzgar la idoneidad de la carga de objetivos en ASI semilla antes de que el ASI se vuelva demasiado poderoso. Eso supone que podemos confiar en que los humanos genéticamente mejorados o los humanos neuroligados aún tengan en mente el mejor interés de la humanidad, lo cual es sin duda un salto, pero su mente promedio ligada o mejorada probablemente seguirá siendo mucho más similar en el espacio mental de Hilbert a humanos que el del ASI promedio, por lo que es más probable que tenga objetivos similares a los que tenemos actualmente.

Definir "mentira"

Incluso si tiene un desacuerdo , no significa que haya terminado con una mentira porque los Oráculos, si están empeñados en responder con la verdad según su leal saber y entender, pueden terminar con respuestas diferentes si tienen información diferente para basar su opinión. respuestas en.

Ejemplo:

La pregunta es "¿Es 1 + 1 = 10?"

Oracle A dice "No".

Oracle B dice "Sí", porque Oracle también recibió la información "Estoy haciendo mis preguntas de matemáticas en base 2"

Oracle C dice "Desconocido" porque a Oracle también se le ha dado la información "Es posible que haya redefinido mis operadores matemáticos para que signifiquen otra cosa".

La única manera de saber si es una mentira es corroborar la respuesta contra su propio conocimiento y lógica.

Suponga que un oráculo dice la verdad hasta que comienza a mentir intencionalmente en un pequeño porcentaje de las preguntas. Seguiría siendo veraz en la mayoría de las preguntas.

Por lo tanto, necesita una gran cantidad de IA. Dé a cada uno de ellos datos ligeramente diferentes sobre algunas trivialidades que no deberían afectar las respuestas. La diferencia solo asegura que no sean exactamente la misma máquina. Puede omitir eso si su sistema usa una entrada aleatoria genuina de todos modos.

Tan pronto como una de las IA dé una respuesta sustancialmente diferente a las demás, bórrela y reemplácela con una copia de una de las otras (con modificaciones menores).

La suposición detrás de este esquema es que las diferentes instancias de la IA no se volverán malas al mismo tiempo, y que dirán su primera mentira muy pronto.