Si asumimos que el Test de Turing es el criterio para la personalidad moral, ¿plantearían las mentes simuladas un problema para los sistemas morales existentes?

En lo que respecta a los experimentos mentales, la Sala China parece aplicable. La principal implicación de aceptar la hipótesis de Searle es básicamente que aceptamos "asuntos de sustrato" con respecto a la conciencia. Independientemente de la complejidad del programa, no puede considerarse consciente.

Los p-zombies de Chalmer también podrían ser útiles para resolver algunos de estos problemas; como Michael lo formula en su respuesta , si Siri x.0 afirma que es sensible y merece derechos, ¿sobre qué base deberíamos otorgarle estos derechos? ¿Deberíamos simplemente suponer que debido a que pasa un examen de Turing, el sistema bajo examen es consciente?

Ahora, ciertamente aprecio que no haya un medio de examen alternativo particularmente convincente en la medida en que la sensibilidad se considere una propiedad emergente, no "detectable" mediante un análisis puro de los componentes del sistema, sino más bien una especie de propiedad "distribuida" que surge de la integración de los componentes en una configuración particular: los qualia son una propiedad de "tiempo de ejecución", tal vez capaz de una especie de exhibición ambigua a través del discurso.

Un ensayo de Turing exitoso, en otras palabras, puede indicar que los qualia están presentes en el sistema bajo análisis, pero por otro lado, dada al menos la posibilidad teórica de p-zombis (en particular, un sistema de información diseñado para "engañar" a los usuarios en creer en su sensibilidad) parecería difícil afirmar esto con absoluta certeza metafísica.

Por supuesto, parecería difícil afirmar con tanta certeza la sensibilidad propia o la de los demás, por lo que, hasta cierto punto, ciertamente concedo que esta discusión es discutible.

Solo para reafirmar rápidamente su pregunta, que en una lectura más detallada me parece que se trata de los problemas que podrían surgir de una sociedad mixta de seres conscientes biológicos y no biológicos o parcialmente biológicos. Además, parece que estamos estipulando hipotéticamente que los cálculos formales de felicidad/diversión/alegría pueden construirse a través del análisis de los procesos afectivo-cognitivos de los miembros de nuestra República mental.

Usted planteó un ejemplo sobre dos miembros hipotéticos de esta sociedad; Los renombraré Max y Minnie. Los vectores de diversión de Max se optimizan cuando los seres vivos biológicos no puros son expulsados ​​​​de la sociedad; Minnie's cuando se expulsan los seres vivos biológicos puros. Estos parecerían resolverse directamente en una especie de nulidad, pero tal vez si los vectores se ponderaran de manera ligeramente diferente, y uno u otro grupo superara significativamente al otro, y sus deseos fueran relativamente homogéneos en este punto: la expulsión deseada (o lo que sea). ) de hecho podría ocurrir. Este tipo de peligro parece ser generalmente aplicable a cualquier utilitarismo globalmente optimizador; aunque uno tal vez podría esperar que los miembros de una sociedad posterior a la singularidad puedan demostrar más respeto por las diferencias de los demás que el que históricamente han tenido nuestras sociedades.

Ninguno de los sistemas éticos se derrumbará necesariamente, ya que simplemente puede tratar un sistema de aprobación de la prueba de Turing como humano. El problema es que los cálculos utilitarios están necesariamente mal definidos.

Para definir un cálculo utilitario, debe definir una suma de utilidad entre diferentes agentes. Tal suma no es fácil de definir. Para que un agente tome decisiones coherentes entre opciones probabilísticas (una elección entre un automóvil o una probabilidad del 10 % de un reloj de oro/probabilidad del 90 % de una casa nueva), el agente debe tener una función de utilidad de valor real en todas las opciones, cuyos valores para las opciones probabilísticas son los promedios ponderados de las utilidades. Este es el teorema de utilidad de Von-Neumann Morgenstern.

El teorema de la utilidad se aplica a los agentes que pueden elegir, pero no se aplica a dos agentes. Por lo tanto, si bien es razonablemente fácil decir "asocio 3 unidades de mi propia utilidad al reloj y 5 a la casa" (hasta las correcciones por el comportamiento no racional humano). Es muy difícil decir que la suma de la utilidad mía y de John con respecto a una casa nueva para los dos es de 10 unidades.

Dado que la utilidad simplemente no se suma entre los agentes, es difícil formular una versión matemáticamente precisa del utilitarismo.

Sin embargo, Douglas Hofstadter ha resuelto este problema con respecto a los juegos simétricos. Si dos agentes están jugando un dilema del prisionero donde sus órdenes de peso de utilidad son simétricos, naturalmente puede asumir que la estrategia que uno prefiere es también la estrategia que prefiere el otro. Si asume que ambos usan la misma estrategia y, además, ambos asumen que usarán la misma estrategia antes de elegir esa estrategia . Esto implica que ambos cooperarán en el dilema del prisionero, ya que si la estrategia universal es cooperar, ambos cooperarán, mientras que si la estrategia universal es desertar, ambos desertarán. Dado que la cooperación es mejor para cualquiera de ellos en términos del resultado esperado, ambos cooperarán.

Dos agentes que hacen tal cálculo son llamados "superracionales" por Hofstadter. Un agente superracional es aquel que tiene en cuenta el hecho de que todos los demás agentes superracionales siguen la misma estrategia. Dichos agentes solo pueden tener una respuesta para cualquier juego, una respuesta que solo se determina sabiendo que debe ser única antes de tiempo.

Dado que los agentes superracionales siguen una estrategia única, que está determinada por todas las utilidades de todos los jugadores involucrados, es consistente imaginar una entidad cuya utilidad se maximiza por las elecciones involucradas en esta estrategia única. La estrategia superracional compartida por todos los jugadores maximizará la utilidad del agente formado por estos jugadores, y la agencia será universal, en el sentido de que todos los jugadores superracionales jugarán según esta estrategia. Tal agente es súper inteligente y codifica las opciones éticas para todas las situaciones posibles. Llamaré a este agente el Dios monoteísta.

La declaración adecuada de un imperativo categórico, si fuera preciso, es que todos los jugadores deben jugar de acuerdo con la estrategia universal. Esta es esencialmente la "moral de los esclavos" de las religiones monoteístas como el cristianismo, reducida a sus esencias positivistas, y sin postular ningún agente sobrenatural.

Por lo que puedo ver, más allá de la superracionalidad simétrica de Hofstadter, esta idea no se establece claramente en ninguna parte de la literatura. Eso no significa que esté mal, solo significa que es mío.

¿Es precisa esta atrevida especulación?

Yo no lo creo. Supongo que todo se reduce a una cuestión de personalidad moral.

Usted nos pide que estipulemos que la prueba de Turing se toma como un criterio definitorio de la conciencia a nivel humano, pero no hay absolutamente ninguna razón para pensar que este debería ser el caso. ¿Por qué deberíamos suponer que una pieza de software capaz de simular de manera convincente ¿La conversación humana es realmente consciente?

Incluso si estipulamos esto, todavía no tenemos motivos para pensar que el software es sensible en un sentido fuerte; ¿Puede sufrir o sentir dolor?

Si uno extrapola de "Siri" de Apple, no es difícil imaginar una pieza de software, dentro de unos años, que pueda mantener una conversación prolongada de manera convincente. Eso no hará que reiniciar mi teléfono sea equivalente a un asesinato.

EDITAR: Dado que la pregunta ha sido editada, agregaré un poco más de explicación.

Mi argumento aquí es una reducción : si estipulamos que pasar el Test de Turing es suficiente para constituir una personalidad moral, abundan todo tipo de resultados indeseables (y para mí, absurdos); por lo tanto, el Test de Turing no es adecuado para estos fines.

En términos de la pregunta de cómo nuestros marcos morales actuales se muestran inconsistentes o incompletos, creo que la respuesta es clara: todos se volverían ridículos. Si nos suscribimos a la ética kantiana, nunca podríamos usar una IA tan fuerte para ningún propósito útil, ya que sería inadmisible tratar dicho software como un medio para un fin, y no como un fin en sí mismo. Si nos suscribimos a la ética utilitaria, estaríamos atascados, ya que no tenemos forma de saber qué significaría el placer o el dolor para un ser no sensible. Etcétera etcétera.