Experimentos físicos - Falsos positivos

¿Cómo se asegura de que se ha descubierto algo y no sólo ruido? ¿Se considera que un descubrimiento de algo que se predice es suficiente (partícula de Higgs)? ¿Cuáles son las probabilidades de un falso positivo en los experimentos actuales, como los experimentos de materia oscura? ¿Cómo se comparan con la probabilidad de un verdadero positivo?

Ver la varianza y sigmas. Cada resultado se anuncia con una varianza, lo que significa su credibilidad, es decir, 6 sigmas para el Higgs.
Esa es una pregunta muy amplia... ya estás recibiendo respuestas con respecto a las estadísticas, pero eso no es ni la mitad del alquiler. Más importante aún, en un experimento de alta calidad, debemos comprender todas las fuentes de error sistemático predecibles y todas deben caracterizarse mediante experimentos de control. Solo si los errores sistemáticos Y estadísticos se comprenden completamente Y tenemos al menos un segundo experimento independiente (de calidad similar) que también puede reproducir el efecto, podemos estar razonablemente seguros de que hemos encontrado algo nuevo.
En una nota práctica, he usado el filtro mediano en varios experimentos. Es un "truco" increíble, y notablemente simple. Usted toma (digamos) 10 lecturas, luego las pone en orden numérico y luego descarta los valores atípicos, es decir, los mínimos y máximos. Sin embargo, nunca he estado muy seguro de cuán legítimo es.

Respuestas (2)

Esto es algo de lo que los físicos de partículas son perfectamente conscientes. Para cualquier efecto observado dado, siempre hay una probabilidad distinta de cero de que la observación sea un falso positivo causado por una fluctuación aleatoria. El nombre del juego es tomar suficientes datos para que esta probabilidad sea lo suficientemente pequeña. En general, cuantos más datos tome, menos probable es que persistan las fluctuaciones estadísticas.

Si un grupo quiere reclamar el descubrimiento de una nueva partícula, el estándar dorado es cinco sigma : el tamaño del efecto debe ser cinco veces su desviación estándar de lo que esperaría si la partícula no existiera. Si un experimento satisface esta condición, entonces hay una probabilidad de 1 en 35 millones de que si la partícula no existiera, los datos parecerían hechos por pura casualidad estadística. Si esta probabilidad es mayor, la comunidad de física de partículas se abstiene de hacer oficial el descubrimiento hasta que la probabilidad cruce este umbral.

También podría valer la pena mencionar que para calificar como un descubrimiento, la hipótesis de que la partícula existe no debe excluirse en un nivel estadísticamente significativo. Es posible tener ambos modelos excluidos en cinco sigma, aunque para ser justos, eso significa que descubrió algo , pero no lo que estaba buscando.
@David eso es un poco de gimnasia mental complicada. Pero sí, ese es un buen punto.
Sin embargo, la significación estadística (valores p) y las probabilidades de falso positivo (probabilidades condicionales) no son lo mismo. Entonces, ¿se consideran suficientes las pruebas clásicas de significación para declarar un descubrimiento?
DavidZ estará en una posición mucho mejor que yo para responder a esa pregunta, me temo.
@jjack, es posible que necesite a alguien involucrado en el análisis de datos del detector para dar una respuesta adecuada. Soy un teórico "inferior" y no conozco los detalles de cómo se realizan los análisis. Pero en las presentaciones que he visto, todo se presenta en términos de significación estadística.
@DavidZ tuvo una buena respuesta physics.stackexchange.com/questions/186274/… sobre detectores: gran parte de la probabilidad condicional está en calibrar las características de estos detectores, que deben tenerse en cuenta durante el proceso de reconstrucción.

No, una sola detección no es suficiente para concluir que se ha descubierto algo nuevo. Se deben observar suficientes eventos para pasar una prueba de hipótesis estadística para rechazar la hipótesis nula de que lo que se observa es de hecho ruido. Como dijo @EmilioPisanty en su respuesta, un significado de "5 sigma" significa que la observación es tal que la posibilidad de un falso positivo es igual al área bajo la distribución de probabilidad en más de 5 desviaciones estándar de la media, que es una muy pequeña probabilidad.

Los físicos de partículas tienen una muy buena idea de cómo se verá el "ruido" para un experimento dado en el detector, a partir de la experiencia con experimentos anteriores. Este "ruido" consiste, por ejemplo, en firmas de otros canales de desintegración de partículas distintos a los de interés que se producen en el curso del experimento, así como varias fuentes de ruido electrónico en el detector. Una compleja simulación por computadora del detector y su respuesta al ruido y las firmas de señales esperadas, conocida como simulación de Monte Carlo, es una parte importante del esfuerzo en cualquier experimento de física de partículas.

La prueba de si se hace un descubrimiento no es solo una simple prueba de valor p de la masa final o los datos de por vida de la señal y el fondo. La extracción de una señal de los datos sin procesar es un proceso de varias etapas, llevado a cabo con software de computadora: la física de partículas elementales es el problema original de "Big Data" y lo ha sido desde mucho antes de que el término ganara popularidad en los negocios.

Las probabilidades condicionales se tienen en cuenta durante la reconstrucción de los datos brutos de los detectores, incorporando tanto las características de los detectores (probabilidad de detección/falsa alarma, fuentes de error sistemático) como las fracciones de ramificación de los muchos canales de decaimiento intermedios de la partícula original a lo que se observa al pasar por los detectores. La partícula original (Higgs, etc.) se descompone en otras partículas, que a su vez se descomponen en otras partículas que se descomponen en cosas como kaones, muones, protones que tienen una vida lo suficientemente larga como para verse pasar por el detector.