¿Pokémon Go ha causado cientos de muertes?

Este es el trabajo de investigación en cuestión .

El artículo de investigación acaba de publicarse el 18 de noviembre de 2017. Por lo general, lleva algún tiempo realizar una revisión por pares adecuada y, con una revisión por pares adecuada, el siguiente paso para los artículos de investigación destacados suele ser la publicación.

En comparación con muchas otras afirmaciones llamativas, esta tiene la forma de una afirmación auténtica.

• Los escritores están asociados con una prestigiosa universidad (Perdue)
• Los datos cubiertos son específicos y detallados (informes de accidentes del condado de Tippecanoe, Indiana)
• El documento afirma un pequeño aumento en los accidentes (25%) correlacionados con la localidad de las paradas de Pokémon.
• El documento contiene un número respetable de referencias.

Dicho esto, el documento también contiene una serie de indicios de que podría no ser un hallazgo innovador o incluso completamente significativo.

• Los accidentes están ponderados por el costo, lo que confunde la comprensión de la incidencia.
• Los costos son bajos, con un peso delta de poco menos de $ 500,000 USD, con poca indicación de si se trata de un número estadísticamente significativo.
• Se usó el 85% de sus datos de referencia (porque se podía mapear en una intersección), y el resto de los datos se descartó. No se hizo ningún comentario sobre las protecciones contra la selección selectiva de datos, lo que podría influir en el resultado.
• Hacen suposiciones sobre los patrones de tráfico durante las vacaciones escolares, alterando su análisis de acuerdo con sus suposiciones, lo que podría ser un error. Probablemente deberían haber descartado
• Sus secciones de interpretaciones alternativas son víctimas de "plantear la pregunta". En lugar de asumir que el aumento de accidentes se debió a la actividad que no es de Pokémon, asumen que se debió a la actividad de Pokémon de personas con autos estacionados. Esto supone que la actividad de Pokémon estuvo presente en las interpretaciones alternativas, lo que significa que las alternativas realmente no se han explorado.
• El tamaño de su muestra es vergonzosamente bajo. Por ejemplo, hacen un subanálisis de los choques de peatones, detallando los 36 choques de peatones que se observaron, 4 de los cuales ocurrieron durante su período de prueba natural "con Pokémon". Un error de una sola persona (muy posible con una distribución de Poisson) es un error del 20 % al 25 %, que coincide demasiado con su reclamo de aumento del 25 %.
• Sus datos, que tienen una distribución natural de Poisson, se están evaluando con herramientas estadísticas gaussianas.
• Hacen proyecciones especulativas, sin insinuar la lógica detrás de las proyecciones.

Soy decente leyendo trabajos de investigación, y la prueba real no llegará hasta que sea debidamente revisada por pares; pero, realmente ni siquiera vendrá entonces. Muchos documentos que son revisados ​​por pares nunca deberían haber sido aprobados y, a veces, incluso se publica basura.

Para mí, esta parece ser una observación interesante, pero que no sobrevive a la inclinación del sesgo propio. Puede que sea cierto, pero el artículo no parece probarlo. Para demostrarlo, preferiría:

• Un artículo que detalla los accidentes en Pokémon se detiene al modelar una distribución de Poisson de los patrones de ocurrencia de accidentes para esa intersección. Esto no es algo trivial, porque el número de incidentes es tan bajo que el error en el modelo sería bastante alto.
• Un documento que mostró que las dos distribuciones de accidentes (antes del lanzamiento del juego y después del lanzamiento del juego) en esas intersecciones cambiaron de manera estadísticamente significativa para las distribuciones de Poisson.

Si su afirmación es que los accidentes aumentaron, entonces sería un argumento justificable que el tiempo hasta el próximo accidente disminuyó durante los períodos que deseaban comparar.

Creo que encontraron una diferencia, pero sin la debida atención al dominio del espacio muestral, con tan pocos puntos de datos cubiertos y con la gran cantidad de advertencias y razonamientos estructurados sobre los datos que deben incluirse y excluirse, no estoy Asegúrese de que sus diferencias se puedan atribuir a la variable de control (que, al ser un experimento natural, vincularlo a una variable de control es la parte difícil).

El artículo probablemente será citado por legos y rechazado como "posiblemente cierto, pero no podemos decirlo" por la comunidad científica.

Creo que la versión de Science de esto es notable porque no menciona la extrapolación, sino solo

Los accidentes relacionados con los juegos, que aumentaron un 26,5 % cerca de las Poképaradas durante los primeros 5 meses posteriores al lanzamiento del juego, le costaron al condado hasta $25,5 millones en daños, incluida la pérdida de dos vidas,

Y New Scientist solicitó la opinión de otro académico, quien dijo:

“Los análisis estadísticos que realizaron parecen ser sólidos, correctamente aplicados y, de hecho, estadísticamente significativos”, dice Brandon Schoettle de la Universidad de Michigan.

Sin embargo, es escéptico sobre cuán aplicables son los hallazgos para una geografía o población más amplia. “Creo que estos resultados para el condado de Tippecanoe, Indiana, son precisos y probablemente confiables. Pero no estoy tan seguro de que este condado sea muy representativo del resto del país”, dice. Por ejemplo, el condado es mayormente rural con un área urbana importante y una universidad importante que tiene muchos conductores jóvenes e inexpertos. “Afirmar poder estimar efectos financieros mayores para el país no está necesariamente respaldado por los datos que analizaron”, dice Schoettle.

Lo único (casi) seguro es que la cantidad de cobertura de prensa que recibió este documento dará como resultado más documentos sobre el tema. Por otro lado, antes de que se publicara este estudio, un economista argumentó en este blog que Pokemon Go debería ser subsidiado, porque tiene externalidades positivas en la lucha contra el crimen y la obesidad. Supongo que ahora tendrán que discutir/decidir sobre el equilibrio. Aparte de eso, la eficacia de los AVG (videojuegos activos) para reducir la obesidad no está muy clara hasta el momento ... aunque algunos médicos han argumentado que Pokemon Go es lo suficientemente diferente como para tener más potencial en este sentido .

Volviendo al estudio en cuestión aquí, es bueno que no extrapolaran a las muertes en todo el mundo, porque en un comentario sobre otras dos muertes en EE. UU. por Pokémon Go , encontramos que

Desde un punto de vista legal, el uso de un teléfono móvil para cualquier propósito, incluido el uso de aplicaciones, es ilegal en el Reino Unido y en la mayoría de los países de Europa occidental, incluidos Francia, Alemania, España e Italia. En Tucson, Arizona, de donde proviene este informe de caso, existe una restricción sobre los mensajes de texto mientras se conduce, pero no hay una restricción específica sobre el uso de juegos para teléfonos inteligentes. Por lo tanto, es posible que no se considere ilegal usar una aplicación mientras se conduce, incluso si se ha demostrado que afecta la concentración.

... pero eso es menos tranquilizador desde el punto de vista de la prevención dado que algunos accidentes de Pokémon Go involucraron a conductores que se desviaron para evitar a los peatones que estaban jugando el juego .

Sin embargo, resulta que hubo un breve informe (en una revista de JAMA) sobre incidentes a nivel nacional en los EE. UU., en la medida en que Twitter y las noticias son representativas:

Treinta y tres por ciento (95 % IC, 31 % -34 %) de los tweets indicaron que un conductor, pasajero o peatón se distrajo con Pokémon GO, lo que sugiere que hubo 113 993 (95 % IC, 107 084-117 447) incidencias totales informó en Twitter en solo 10 días. Por el contrario, los mensajes de seguridad fueron menos comunes (13 %; IC 95 %, 12 %-16 %). El resto de las publicaciones (54 %) eran hipotéticas, poco claras o no relacionadas (Figura). El dieciocho por ciento (IC 95 %, 17 %-19 %) de los tuits indicaron que una persona estaba jugando y conduciendo (“Dios mío, estoy atrapando Pokémon y conduciendo”) y el 11 % (IC 95 %, 10 %-11 %) indicó una el pasajero estaba jugando ("acabo de hacer que mi hermana me lleve a buscar Pokémon"). El cuatro por ciento (95%, IC, 3%-4%) indicó que un peatón estaba distraído ("casi lo atropella un automóvil jugando Pokémon GO").

Esto fue para el período del 10 al 20 de julio de 2016. Otro aparte: 110.000 incidentes en Twitter se convirtieron en 110.000 accidentes de tráfico cuando el Daily Mail informó sobre este estudio.

Por supuesto, la extrapolación de eso a otros períodos de tiempo sería problemática, y los autores no lo hicieron. Sin embargo, parece seguro asumir que este período fue durante el pico de Pokémon GO , por lo que si usamos este estudio para extrapolar un límite superior para la cantidad de fallas de Pokémon en los EE. UU., obtenemos 1.4/día x 148 (la cantidad de días desde el estudio de Indiana) = 207 accidentes.

In contrast, the extrapolation based on the Indiana study was an "the increase in crashes attributable to the introduction of Pokémon GO is 145,632 with an associated increase in the number of injuries of 29,370 [...] over the period of July 6, 2016, through November 30, 2016" (nationwide). So this extrapolation is two or three orders of magnitude higher than I extrapolated from the JAMA study, depending which class of crashes we consider; perhaps fender-benders without any bodily injury were completely non-newsworthy. Of course, the tough question in this comparison is how well reported by the press were Pokemon crashes in that time period. Were they really underreported by a factor of 100? During a time when Pokemon GO was "hot" in the news?

Tal vez podríamos usar el Reino Unido para obtener información/extrapolación, que aparentemente había contado tales incidentes de Pokémon en todo el país ."Robos, hurtos, agresiones y delitos de conducción se encuentran entre los 290 incidentes registrados en Inglaterra y Gales durante julio [de 2016]". Dado que la población de EE. UU. es aproximadamente 5 veces mayor, eso daría 1450 incidentes por mes... o aproximadamente 7250 incidentes en ~150 días, nuevamente como límite superior (dado que la popularidad del juego disminuyó después del lanzamiento). Pero esta última estimación incluiría mucho más que accidentes automovilísticos. (Y sé que he subestimado esto en un 15 % más o menos en aras de un cálculo rápido, porque el Reino Unido es más grande que Inglaterra y Gales, por lo que un factor de población más correcto habría sido 5,76, dando una estimación de 8363 incidentes en EE. UU. Pero a este nivel de estimaciones aproximadas, no importa demasiado).