¿Debe un escéptico considerar la anécdota como evidencia?

Probablemente deberías preguntar en algún lugar que se ocupe de las estadísticas.

Pero la breve respuesta es la siguiente: sí, las anécdotas pueden ser informativas. No se pueden probar porque solo hay uno, pero aún así pueden ser muy sugerentes. Sin embargo, esto sólo es cierto al estilo de Sherlock Holmes: cuando has eliminado lo imposible, lo que quede, por improbable que sea, debe ser la verdad. Esto también funciona si "imposible" simplemente significa "mucho, mucho menos probable que 'aunque improbable'".

La intuición es bastante clara. Tragarse un modelo de motor de cohete del tamaño de una batería no debería hacer explotar a nadie. Podría enfermarlos (probablemente sea venenoso) o lastimarlos, pero no explotar. Pero la gente realmente no anda explotando mucho.

Suponga que, una vez, ve a alguien tragarse un modelo de motor de cohete y luego explotar. Diablos, ni siquiera necesitas verlo, siempre y cuando sepas que sucedió por alguna fuente confiable (es decir, es mucho más probable que haya sucedido, por extraño que sea, que que tu fuente esté equivocada).

Ahora, piensas: bueno, la gente no anda explotando en circunstancias normales; esto sería increíblemente increíblemente extraño que solo en esos pocos segundos después de tragarse un modelo de motor de cohete explotaría por alguna otra extraña razón. Entonces, tal vez los modelos de motores de cohetes realmente puedan hacer explotar a alguien.

Puede cuantificar esto con estadísticas bayesianas (y encontrar que es válido, al menos con distribuciones razonables de anteriores).

El problema con las anécdotas es que las personas habitualmente subestiman la posibilidad de que la cuenta esté equivocada, o no se dan cuenta de que el mundo tiene siete mil millones de personas y todo tipo de cosas suceden por casualidad y seleccionamos las cosas que parecen extrañas para prestarles atención. a. Entonces, si quieres una regla general: ignora las anécdotas. Pero si quiere ser estadísticamente preciso: sí, contienen información (y posiblemente puedan justificar que cambie un poco su modelo de lo que es probable*).

* ^{(Anexo: el caso más claro en el que una anécdota tiene un gran poder es una instancia única de algo que sucede que se dice que es completamente imposible. Por ejemplo, si "todos los cuervos son negros" y ves un cuervo blanco, esa es una buena evidencia contra "todos los cuervos son negros". Por supuesto, es posible que en realidad no sea un cuervo, por lo que sin mucha investigación no es concluyente, pero los ejemplos individuales pueden contribuir en gran medida a falsificar declaraciones).}

El objetivo de recopilar información es adquirir conocimiento. El objetivo de las estadísticas es medir el nivel de certeza en el conocimiento que obtenemos de la información. Ese nivel de certeza es proporcional al número de eventos observados. Menos eventos, menos certeza. Un evento, muy poca certeza.

También hay que tener en cuenta en qué medida cada anécdota concuerda con las demás. En general, la variación en las anécdotas es grande debido a las diferencias en la configuración y también en los resultados. Uno de los mayores problemas con las anécdotas es que no están controladas y realmente no conoces todas las entradas y la cantidad de entradas que podrían afectar el resultado suele ser enorme. Sin más información suele ser difícil convertir esta información en conocimiento útil.

Tomemos por ejemplo que alguien come cierta planta y se cura de cierta enfermedad. Entonces otra persona también come esa planta y se cura de esa misma enfermedad. Si eso es todo lo que sabe, entonces eso es casi inútil porque esas personas también comieron muchas otras cosas e hicieron muchas otras cosas que podrían causar un efecto, individualmente o en concierto.

También reiteraré el punto sobre las estadísticas bayesianas. Es fundamental que tenga en cuenta los conocimientos previos en cualquier estadística. Si se cree que algo es probable, necesita menos pruebas para "probarlo". Asimismo, "afirmaciones extraordinarias requieren pruebas extraordinarias". El hecho de no hacer esto bien es endémico en las ciencias sociales y médicas en gran parte porque hay muchos factores de entrada y es muy difícil controlar los estudios (piense en controlar un estudio sobre asesinatos: no puede crear este estudio éticamente, por lo que hay que observar el mundo descontrolado). Pero esto se aplica también a toda la evidencia anecdótica.