Estoy bastante seguro de haber leído esta historia en la Biblioteca gratuita de Baen, pero como han quitado la mayoría de las historias para reorganizarlas, no recuerdo el título. No estoy seguro de si era un libro en sí mismo o simplemente una historia en una colección, creo que era una colección.
La historia está ambientada en el futuro y las computadoras y los programas de inteligencia artificial están controlando mucho. Algunos quieren dejar que controle más, pero varían para que pueda volverse inteligente y volverse contra sus amos humanos. Es un debate bastante filosófico sobre el tema, entre otras cosas, cómo la lógica y la racionalidad (es decir, un programa de computadora) podrían causar una respuesta indistinguible de la agresión y una lucha "evolutiva" por los recursos, pero en realidad por razones muy diferentes.
Finalmente, deciden instalar el sistema propuesto en una estación espacial abandonada y dejar que controle la mayor parte de ella. El personal militar y científico estará a bordo, en parte para monitorear y en parte para interrumpir y "atacar" el sistema. La esperanza es ver cómo responde el sistema, si "evolucionará" y se volverá realmente sensible, y si atacará a los humanos. La teoría es que si no pueden hacer que el sistema de prueba evolucione y/o ataque a los humanos, entonces tampoco hay peligro para el sistema real que planean en la Tierra.
Por supuesto, las cosas no salen según lo planeado, y por un tiempo los humanos y la computadora están en guerra. Finalmente se alcanza una tregua, y el programa realmente entiende por qué los humanos lo hicieron, que los humanos son frágiles y deben ser protegidos, y que pronto regresarán a la tierra.
Las dos caras del mañana - James Hogan
El proyecto de Raymond Dyer había desarrollado la primera inteligencia artificial genuinamente consciente de sí misma que podía aprender y cambiar su propia programación para resolver problemas imprevistos. Pero, ¿podría confiarse en que la IA, cuyo nombre en código es Spartacus, obedecería a sus creadores? Y si se descontrolaba, ¿podría cerrarse? Como prueba de fuego, Spartacus fue puesto a cargo de una estación espacial y programado con un instinto de supervivencia. Dyer y su equipo tenían el trabajo de ver hasta dónde llegaría la computadora para defenderse cuando intentaran desconectarla. Dyer no esperaba que surgiera ningún problema serio en el experimento.
Esta respuesta es cortesía de TVTropes.com ( http://tvtropes.org/pmwiki/pmwiki.php/AIIsACrapshoot/Literature )