¿Cómo deben manejarse múltiples sujetos de investigación de Mechanical Turk desde la misma dirección IP?

Dado que este es un problema relativamente nuevo para los investigadores del comportamiento, no sé si existe un consenso común. Encontré dos artículos, uno de los cuales era un estudio que había utilizado crowdsourcing para pictogramas médicos.

Su enfoque fue el siguiente:

Primero, buscamos registros duplicados. Después de ordenar los datos por las direcciones IP de los participantes, encontramos tres pares de respuestas con la misma dirección IP. En dos pares, las interpretaciones de los pictogramas y las respuestas de la encuesta demográfica fueron casi idénticas, pero las fechas de participación fueron diferentes. Los contamos como registros duplicados y mantuvimos solo el primer registro de cada uno en el archivo.

Desde:

Yu B, Willis M, Sun P, Wang J (2013) Evaluación participativa de crowdsourcing de pictogramas médicos con Amazon Mechanical Turk J Med Internet Res, 15(6):e108 [GRATIS] [DOI]

En un artículo recién publicado este mes, se trata el tema en términos más generales y se ofrecen algunas estadísticas sobre la frecuencia con la que esto puede ocurrir y algunas de las razones detrás de esto.

Aunque los trabajadores pueden tener más de una cuenta MTurk simultánea y, por lo tanto, más de un WorkerID, esto es poco común. Amazon trabaja activamente para identificar y eliminar cuentas duplicadas. Más importante aún, los solicitantes a menudo restringen los HIT lucrativos a los trabajadores que han completado un gran volumen de trabajo de alta calidad en el pasado.

Por lo tanto, parece que WorkerID se puede usar como un identificador único y Amazon realmente busca cuentas duplicadas, lo que elimina parte del riesgo de respuestas duplicadas al mismo estudio.

En términos de direcciones IP, el artículo ofrece una idea del alcance del problema:

Los exámenes de las direcciones IP de los trabajadores generalmente revelan una pequeña minoría de trabajadores (alrededor del 2,5 %; Berinsky et al., 2012**) que envían HIT desde la misma dirección IP, lo que a menudo puede deberse a que los trabajadores son miembros separados de un solo hogar.

Desde:

Chandler, J, Mueller, P, Paolacci, G (2013). No ingenuidad entre los trabajadores de Amazon Mechanical Turk: consecuencias y soluciones para los investigadores del comportamiento. Behavior Research Methods, publicado en línea el 9 de julio de 2013 [DOI]

El primer artículo señaló el hecho de que la eliminación de datos de un estudio basado en direcciones IP duplicadas se puede hacer sin una gran penalización de costos.

Se pueden usar otros factores demográficos para discernir si se trata de personas diferentes, pero la precisión de estas respuestas no está garantizada, pero se puede reforzar al tener dependencias entre las categorías demográficas (p. ej., el registro del género y el último período menstrual debe ser consistente).

Los resultados deben verificarse con más cuidado para los usuarios que comparten la misma dirección IP, ya que incluso si son miembros diferentes de un hogar, pueden estar compartiendo un conjunto de respuestas, pero parece que hay un costo bajo para incluir datos de aquellos con direcciones IP coincidentes.

^{** La cita del artículo de Berinsky incluido en el trabajo de Chandler 2013 es la siguiente: Berinsky, AJ, Huber, GA y Lenz, GS (2012). Evaluación de los mercados laborales en línea para la investigación experimental: Mechanical Turk de Amazon.com. Análisis político, 20(3), 351–368. [DOI] No examiné este trabajo}

Abordaré solo la primera de sus tres subpreguntas, las otras han sido respondidas por Chuck Sherrington.

• ¿Qué significa cuando obtiene dos o más participantes de Mechanical Turk en un estudio con la misma dirección IP?

Las direcciones IP rara vez se "fijan" a una computadora individual. Cada proveedor tiene un rango de direcciones IP disponibles y las asigna a las computadoras a medida que se conectan a la red. Cada vez que inicie su computadora, cada vez que se conecte a una red WLAN, probablemente tendrá una dirección IP diferente. Pruébelo con una herramienta como http://whatismyipaddress.com

Entonces, por supuesto, la dirección IP que tenía ayer se le asignará a otra persona mañana. Solo significa que ambas computadoras estaban conectadas a través del mismo proveedor. ¡No se pueden sacar otras conclusiones de la dirección IP!

(Solo la combinación de dirección IP y tiempo de conexión es única para su computadora. Su proveedor almacena sus datos de conexión por un período especificado legalmente, y durante este tiempo la policía podrá identificar su computadora si conocen la hora de la conexión, pero estos datos no están disponibles públicamente).

Por lo general, las direcciones IP permanecen estables durante una sesión, pero ni siquiera puede confiar en eso. Las conexiones DSL a menudo se restablecen una vez cada 24 horas, por lo que si está en línea por la noche, es posible que experimente una pérdida de su conexión de red y, después de eso, es muy probable que tenga una IP diferente. Las conexiones móviles se separan con mucha más frecuencia y su dirección IP cambiará con la misma frecuencia. Entonces, si guarda la dirección IP de un usuario al comienzo de una encuesta y nuevamente al final, ¡ambos pueden diferir! Esto será especialmente cierto para los usuarios que navegan a través de herramientas de anonimización, como una red TOR, que están programadas para cambiar las direcciones IP con regularidad.

No puede identificar de manera confiable una sola computadora a través de una dirección IP. Use cookies para eso o confíe en los datos especificados por el usuario.

Consulte https://en.wikipedia.org/wiki/IP_address#IP_address_assignment