En este artículo de Aaronson , se da una prueba de la navaja de Occam apelando al aprendizaje PAC . Mi comprensión de los límites de Valiant para los estudiantes de PAC es que requiere iid .
A menudo, esta es una suposición razonable. Sin embargo, utilizó esta prueba de la navaja de Occam para justificar el problema de la inducción (es decir, afirmar que el futuro representará el pasado).
Si supone que los datos futuros y pasados se extraen de la misma distribución (que es como creo que se usa iid), esto me parece esencialmente asumir que el futuro será similar al pasado, por lo que usar el aprendizaje PAC aquí pide el pregunta.
¿Estoy malinterpretando el uso de iid? ¿Hay alguna forma de evitar este problema?
Creo que está citando mal intencionalmente la sección sobre el aprendizaje del PAC del artículo de Aaronson, para hacer una pregunta sobre ese artículo tan bien escrito.
La intención de la sección citada no es probar la navaja de Occam, sino explicar cómo la teoría del aprendizaje PAC de Valiant puede ayudar a aclarar las siguientes preguntas con respecto a la navaja de Occam:
(1) ¿Qué entendemos por “más simple”?
(2) ¿Por qué es probable que las explicaciones simples sean correctas? O, menos ambiciosamente: ¿qué propiedades debe tener la realidad para que la Navaja de Occam “funcione”?
(3) ¿Cuántos datos debemos recopilar antes de que podamos encontrar una "hipótesis simple" que probablemente prediga datos futuros? ¿Cómo hacemos para encontrar tal hipótesis?
El inconveniente relacionado con el supuesto iid se destaca suficientemente en la misma sección:
El tercer inconveniente del teorema 2 es la suposición de que la distribución D a partir de la cual se evalúa al alumno es la misma que la distribución a partir de la cual se extrajeron los puntos de muestra. Para mí, este es el inconveniente más serio, ya que nos dice que el aprendizaje PAC modela el "aprendizaje" realizado por un estudiante universitario que se prepara para un examen resolviendo los problemas del año pasado, o un empleador que usa un modelo de regresión para identificar las características de un estudiante exitoso. contrataciones, o un criptoanalista descifrando un código de una colección de textos sin formato y textos cifrados.
Aun así, solo leí ese documento para tener derecho a responder esta pregunta, creo que realmente vale la pena leer el documento, incluso si no desea responder ninguna pregunta. Es fácil de leer, cubre mucho terreno e incluso esboza las pruebas de algunos teoremas no obvios. Pero, ¿es relevante para la filosofía? Bueno, es un intento honesto de dirigirse a una audiencia de filósofos y trata de reducir (o mostrar cómo podría reducirse) la brecha entre la teoría y la realidad en ciertas áreas.
Mozibur Ullah