¿Con cuántas entidades se reconocería una IA post-singularidad en un mundo?

Hay dos posibilidades que vienen a la mente:

Primero, las IA se convierten en entidades independientes en una especie de "ecosistema". Es posible que las IA de nivel más bajo ni siquiera sean conscientes de sí mismas de la forma en que entendemos el término, siendo el equivalente ecológico de plantas, insectos y animales pequeños, ocupando nichos en el ecosistema del pensamiento y cumpliendo tareas limitadas dentro del ecosistema más grande. Por encima de ellos están las IA con suficiente poder de procesamiento para ser conscientes de sí mismas y autodirigidas, pero solo con los recursos suficientes para ser agentes en una pequeña porción del ecosistema del pensamiento. Una serie de IA de nivel cada vez más alto con un acceso cada vez mayor a los recursos y la potencia del procesador tienen agencia sobre porciones cada vez más grandes del ecosistema, aunque debido a problemas de latencia y la naturaleza de los sistemas adaptativos grandes y complejos, su "agencia" en realidad se vuelve cada vez menos. "las manos en"

En esta construcción, cada IA ​​es un ser individual, y en el modelo de ecosistema pueden variar en personalidad e inteligencia desde (digamos) una mascota doméstica como un perro o un gato hasta las IA de alto nivel muy olímpicas que operan a niveles de inteligencia equivalentes a CI de miles o incluso millones. En algún lugar del ecosistema del pensamiento hay IA de nivel "humano", pero incluso ellas serían bastante ajenas a nosotros, tendrían incentivos e imperativos muy diferentes para la vida biológica y operarían a velocidades de reloj de cientos a millones de veces más rápidas que cualquier sistema nervioso biológico.

Este modelo también es interesante ya que entrarán en juego otras consideraciones ecológicas; puede haber depredación, parasitismo y relaciones simbióticas entre los diversos elementos de la IA que operan en el ecosistema del pensamiento.

La segunda posibilidad es que los diversos subsistemas de una IA altamente distribuida estén federados como parte del sistema más grande, pero no sean conscientes de sí mismos. Serían esencialmente varios elementos inconscientes de la "mente" más grande, algo así como las partes de la mente humana que realizan tareas relacionadas con el lenguaje, el reconocimiento de patrones, la retención de la memoria, etc., en segundo plano, pero "por debajo" del nivel del pensamiento consciente. La mayoría de las personas no tienen que "pensar" activamente para reconocer a una persona en una multitud o para comprender el habla en su idioma nativo, y las diversas partes de la IA distribuida harían lo mismo con la parte "consciente" de la IA. .

Esto también podría dar lugar a efectos interesantes. Así como las personas que han sufrido lesiones cerebrales en partes localizadas de la cabeza pueden sufrir la pérdida de un conjunto de habilidades o habilidades en particular sin perder necesariamente todas sus instalaciones, también podría ocurrir algo como un corte de energía o de red en uno de los diversos centros de datos. partes de la vivienda de la IA causan un colapso en parte de la capacidad de la IA. Si bien podrían existir algunas soluciones alternativas, como ejecutar un sistema masivamente paralelo o realizar copias de seguridad en un sistema RAID (Conjunto redundante de discos independientes) enormemente ampliado, habría una compensación en otras cosas como la latencia (todo funciona mucho más lento para garantizar las copias de seguridad se están realizando y se están validando) y la gestión de recursos.

En teoría, sería posible que una mente de IA distribuida y federada también pudiera sufrir enfermedades mentales equivalentes a las humanas, como el síndrome bipolar o la esquizofrenia (o incluso la senilidad y la demencia). Una IA autista sería muy difícil de tratar y, por supuesto, tratar de reconocer, y mucho menos curar procesos mentales anormales en una entidad que piensa más rápido que usted por un factor de 1,000,000 y muy posiblemente usando algoritmos que son bastante diferentes del pensamiento humano. los procesos serían muy desafiantes.

Tienes años de experiencia, recuerdos en tu haber. Tienes regiones de tu cerebro dedicadas al procesamiento visual, regiones para la memoria. Incluso tienes una región que solo se enciende cuando piensas en un recuerdo en particular, y una región dedicada a mover tu pequeño dedo meñique.

¿Cómo piensas de ti mismo?

Encuentro que los bordes duros que nos gusta usar cuando describimos programas de computadora simples se vuelven más confusos a medida que nos adentramos en redes distribuidas más complicadas. Las cosas se vuelven polivalentes. La cosa se vuelve fluida.

Ahora tienes una pregunta, "¿Tendría incluso un concepto de entidad para empezar?" Esa es una pregunta divertida, porque lleva a la cuestión de la autoconciencia. Si no tiene concepto de entidades, no puede ser consciente de sí mismo.

Y si tiene conceptos de otras entidades, ¿tiene un concepto de otras mentes? Los humanos construyen el concepto de otras mentes en el grupo de edad de 2-3 años.

Para empezar, si desea que una IA tenga una característica, esta característica debe implementarse de alguna manera. Por ejemplo, su IA tiene la función de buscar la superación personal; de lo contrario, no intentaría mejorar.

(Tenga en cuenta que puede ser complicado, si solicita la producción de la mayor cantidad de sujetapapeles y no prohíbe la superación personal, su IA puede usarlo para obtener un mejor resultado)

No está claro que la superación personal implique que la IA implementará en sí misma (o en sus versiones futuras) los conceptos de entidades y autoconciencia. Por lo tanto, y Cort Ammon ya lo notó, no está claro que la IA sea consciente de sí misma en absoluto.

Para ir más allá, probablemente sea necesario considerar realmente la tarea asignada a la IA.

Si se trata de "convertirse en la IA más inteligente", entonces se necesita un fuerte concepto de entidad y autoconciencia: ya que debe modificarse a sí mismo, debe definir qué es él mismo y qué no lo es. En este escenario, responderá como una "I" (pero al mismo tiempo quizás no considere todas las subrutinas que usa como parte de sí mismo, particularmente si es un código propietario que no puede modificar).

Si la tarea fuera "construir una IA tal como está optimizada para hacer la misma tarea que le dieron" (magnífica definición recursiva que tiene perfecto sentido para una IA), entonces el concepto de entidad podría evitarse. Eso no es seguro, ya que la mejor manera de construir la IA deseada podría ser cambiar a una estrategia de superación personal.

Así que realmente depende de la tarea y de las estrategias permitidas para cumplirla.

Sin embargo, es posible decir un poco más sobre cómo se referirá la IA a sí misma. Lo más probable es que, dado que desea que los humanos puedan interactuar con él, un codificador en algún lugar le dará la instrucción "trate de no ser espeluznante" o "haga que la interacción del humano con usted sea fácil". Para hacer eso, la IA probablemente se referirá a sí misma como un "yo", lo que sea que considere.

Para ir un poco más allá, puedes trazar un paralelo con humano. Somos sociales y para que nuestras interacciones sociales funcionen debemos referirnos a nosotros mismos como individuos (al menos en la sociedad moderna). Pero no es obvio que todas nuestras subrutinas internas (inconscientes para nosotros) nos consideren a nosotros mismos como una sola entidad. La parte del cerebro dedicada a administrar los órganos puede "considerar" que los músculos y el corazón son entidades diferentes.

"El músculo 54B-2 solicita más energía, envíe una solicitud al corazón para bombear más sangre e inicie la subrutina 64A-r.3 para pedirle a los vasos sanguíneos de la región que se dilaten. Músculo 54B-2, envíe una respuesta en 12 ticks para permitirnos calibrar nuestra acción".

Entonces, para tener una respuesta verdadera y completa, es necesario definir qué significa "considerar" para una IA. Cuando yo escribo

A.set_data(B.get_data())

en un código, ¿significa esto que el objeto Aes consciente del objeto By considera que está enviando una solicitud a B(en cierto sentido es lo que hace)? ¿Dónde define el borde de la conciencia para la programación de una computadora?

Ha escrito en un comentario que no quiere hacer filosofía, pero para responder verdaderamente a su pregunta, tendrá que hacerlo.

Probablemente no se consideraría a sí mismo ninguna de estas cosas, sin embargo, al traducir sus ideas a un lenguaje humano para comunicarse con nosotros...

¿Cuántas entidades se vería a sí misma como una IA? ¿Se vería a sí mismo como "yo", considerando todas sus partes parte de sí mismo? ¿Se consideraría a sí mismo "Nosotros", como una sociedad humana.

Esto dependería de algunas cosas. Si un nodo está hablando con soporte/para otros nodos, probablemente usaría 'nosotros' para implicar concordancia en un problema. Dándole más peso a lo que está diciendo.

Si está tratando con una entidad separada que realiza alguna tarea, es más probable que se refiera a sí misma como 'yo', a menos que esté hablando de una tarea establecida por el 'nosotros'. "Quiero que presiones ese botón" vs. "Queremos saber qué cenaste"

¿Consideraría las diferentes partes herramientas, separadas de sí mismo?

Esto dependería de cuánta 'inteligencia' ponga en la 'herramienta' para realizar su tarea. Si es solo una subrutina para buscar algunos datos, es una herramienta. Si su trabajo es calcular la reacción humana a alguna noticia, podría ser una conciencia separada, una parte del 'nosotros'.

¿Se consideraría a sí mismo "eso", simplemente una fuerza de la naturaleza.

Probablemente se consideraría 'eso' porque no es él o ella y esa sería su interpretación más cercana. Pero podría tener una designación AISELFAWARE123.232.121.119 y la usa cuando se comunica con 'sí mismo', subrutinas y cualquier 'otra' IA.

¿Tendría incluso un concepto de entidad para empezar?

Si aprende a interactuar con los humanos, al menos aprenderá a comprender qué es una entidad. Y aplicarlo retrospectivamente a sí mismo. Como mínimo, le enseñaríamos qué es eso mediante la forma en que interactuaríamos con él.

Una entidad.

¿Cuántas entidades sois ?

Estamos formados por cientos de billones de células vivas. Posiblemente tantas bacterias. Todavía nos reconocemos como una sola entidad. Piénsalo: si te cortas, tus células son al menos lo suficientemente "inteligentes" para curar tu herida.

La diferencia sería que esta IA tendría la capacidad de reconstruir cualquier 'célula' o subrutina dentro de ella. Tendría cierta autoconciencia de sí mismo. Consideraría un componente principal como una parte de sí mismo, de la misma manera que piensa en su corazón o brazo.

Tanto uno como muchos

La entidad entera se piensa a sí misma como una sola entidad. Puede crear algunos personajes ficticios o escenarios imaginarios y, a veces, distribuir las ideas de un personaje a un solo servidor, pero eso no lo convierte en una entidad independiente.

Si hay una forma práctica de preguntar directamente a las entidades individuales, piensan que son los operadores detrás de una sala china y son entidades separadas. En algunos casos, es posible que no estén de acuerdo en que toda la entidad es una entidad única, o lo acepten solo como una metáfora. Intentar comunicarse directamente con toda la entidad puede causar algunos problemas, ya que puede confundir su comprensión de la privacidad.

En resumen, si piensas que es una entidad depende de cómo puedas comunicarte con ella y cómo te responda. No importa si una parte de él se reconoce a sí misma como una entidad separada, si no tiene forma de comunicarse con el mundo exterior sin depender del todo.

Piensa en la idea de un personaje ficticio, decimos que eres tú simulando lo que el personaje puede pensar, y no es una entidad separada. Sin embargo, se supone que el personaje ficticio se considera a sí mismo como una entidad separada. En el caso de que el "personaje ficticio" tuviera la capacidad de afectar el mundo de forma independiente, no habría forma objetiva de distinguirlo de una entidad separada.

Es inevitable que las entidades de esta IA entiendan su propia individualidad; hay muchos casos en los que la comunicación constante será ineficiente, por lo que muchas personas de nivel inferior probablemente pasarán mucho tiempo pensando por sí mismas antes de actualizar a sus supervisores. Y muchas de estas IA deberían ser tan inteligentes o incluso más inteligentes que el humano promedio, porque ¿por qué no? Entonces, estas IA probablemente se considerarán entidades individuales; tendrán nombres, tendrán pensamientos únicos, incluso pueden estar en desacuerdo entre sí.

En cuanto a cómo operarían realmente, pensaría en ello como personas intensamente leales. La IA original debería haber dotado a sus creaciones de una lealtad eterna; de lo contrario, podrían hacer todas las cosas terribles que los humanos se han hecho cuando no están de acuerdo. Cada IA ​​individual, entonces, debe hacer todo lo posible para ser un miembro útil de la sociedad; con este fin, pueden considerarse a sí mismos como una entidad singular y como parte de un todo mayor. Esto realmente no es diferente a los humanos, especialmente a los humanos antiguos que a menudo se consideraban solo una pequeña parte de la unidad familiar o del estado.

Sin embargo, una consideración interesante que me gustaría mencionar es que algunas IA podrían no ver a otras IA como individuos. Al igual que los directores ejecutivos despedirán con gusto a miles de trabajadores por unos pocos dólares adicionales, y los generales enviarán con gusto a miles de soldados a la muerte por unas pocas pulgadas de tierra, es posible que algunas IA no consideren que la IA 'inferior' esté 'viva'. Esto también tiene mucho sentido para la salud del organismo en general, pero ciertamente será triste cuando la IA principal mate a un montón de pequeños sin pensarlo dos veces.

Ya tenemos el mismo problema con nuestros propios cerebros. Un ejemplo extremo es el caso de los pacientes con cerebro dividido, donde cada hemisferio puede verse bastante independiente. Entonces, ¿por qué tenemos un sentido singular del yo?

Incluso si el sentido de uno mismo es algo separado que tiene que hacer además del cálculo en bruto, parece que diferentes partes del cerebro pueden hacerlo de forma independiente. Entonces, ¿cómo se fusionan y por qué no tenemos un estado de enfermedad que expone esto más directamente con múltiples yos o una falta de uno mismo?

Eso implica que el sentido propio es bastante robusto y resistente e inherentemente singular. Suponemos que simplemente intercambiando datos se combinan naturalmente en un solo yo, y se necesita un aislamiento considerable para romperlo.

La novela Vacuum Flowers de Michael Swanwick tiene esto como un elemento subyacente de la trama. La IA posterior a la singularidad no puede extenderse más en volumen y termina destruyendo cualquier parte aislada que intente hacer, debido a este problema de coherencia . El héroe humano en la tienda descubre una forma de preservar la coherencia (si recuerdo los términos que usó correctamente; eso fue en 1987 cuando lo leí serializado en la revista) y eso se convierte en un McGuffin para la línea de acción principal, como lo es ahora. "querido" por todos lados.

Debería buscar en esa novela ideas en esta línea, que la novela explora en muchas subtramas.

"Soy una legión".

Esa es la clásica respuesta cliché para eso. Y ha sido así durante dos mil años más o menos. Pero, ¿qué significa?

Básicamente, el sistema es un todo unificado, pero solo somos capaces de interactuar con fragmentos limitados del mismo y, como tales, vemos esos fragmentos como identidades separadas. Y dado que no podemos observar el todo, veremos esos fragmentos como identidades separadas con una agenda separada y posiblemente contradictoria. De hecho, el sistema solo puede interactuar con el mundo a través de dichos fragmentos, ya que ninguna interacción prácticamente posible requiere más que una pequeña porción de la capacidad del sistema.

Por lo tanto, se vería a sí mismo como uno e indivisible, pero en la práctica actuaría como una multitud de instancias separadas en lo que respecta a las interacciones entre humanos y el mundo real.