¿Problemas con el uso de comentarios personales para motivar la participación en un experimento psicológico en línea?

Ética de la retroalimentación:

El código de ética de la APA (2010), así como el informe del Grupo asesor sobre la realización de investigaciones en Internet (AGCRI) (2004), resumen los problemas éticos relacionados con la realización de investigaciones psicológicas en línea y fuera de línea. La retroalimentación es normal en los experimentos psicológicos, y se alienta a los investigadores a informar a los participantes, antes, inmediatamente después o tan pronto como la investigación realizada lo permita razonablemente sin arriesgar un efecto en los resultados.

Las propuestas de investigación deben someterse a una revisión de la Junta de Revisión Institucional (IRB) antes del inicio. Una consideración con respecto a la retroalimentación es que si los participantes pueden interpretar razonablemente que se encuentra en una dimensión positiva-negativa (es decir, la retroalimentación podría considerarse negativa), entonces es posible que desee reconsiderar proporcionarla, mientras que si la retroalimentación se encuentra en una dimensión negativa. dimensión neutral (un ejemplo sería un rasgo de personalidad como la ubicación en una dimensión introvertida-extrovertida), entonces es poco probable que haya alguna preocupación.

Efecto de la motivación:

Por supuesto, los comentarios proporcionados después de completar la tarea no pueden afectar el desempeño de la tarea. Presumiblemente, sin embargo, la promesa o expectativa de retroalimentación al final de una tarea puede tener un efecto. Sin conocer la naturaleza de la investigación, los resultados generales sobre el efecto de los incentivos en los resultados son insignificantes, si es que los hay. Por ejemplo, Mason y Watts (2009) encuentran que "La precisión... no es confiablemente diferente para diferentes salarios", y de manera similar, una revisión de estudios en línea realizados en Mechanical Turk (2011) informa que "la mayoría de los trabajadores no están motivados principalmente por los rendimientos financieros y se preocupan genuinamente por la calidad de su trabajo", y la validez del resultado es bastante alta después de aplicar un filtrado básico de spam.

No obstante, recomendaría probar el efecto del incentivo elegido si es posible. Esto se puede hacer comparando los resultados de los participantes no incentivados con los de los participantes incentivados, o a través de verificaciones de validez; por ejemplo, en las encuestas, la práctica común es incluir múltiples preguntas con significados similares pero con una redacción diferente para verificar que todas obtengan respuestas similares. de confirmar que las respuestas son legítimas y no solo tratar de completar la encuesta lo más rápido posible.

Tasas de finalización:

El efecto de los incentivos sobre la realización de tareas en general es muy variado. Los estudios en línea muestran consistentemente una mayor participación para los experimentos mejor pagados, pero para los incentivos no monetarios, los resultados son más complejos. El efecto de sobrejustificación es un ejemplo en el que los incentivos en realidad pueden reducir las tasas de finalización de tareas o la calidad del desempeño, aunque este efecto no es muy sólido en la práctica. Houmanfar y Hayes (1998) informan que "los resultados no indicaron efectos de la retroalimentación privada o pública sobre la finalización de la tarea", Conrad et al (2010) encuentran que "la retroalimentación puede mejorar su experiencia, aunque no necesariamente sus tasas de finalización".

Sin embargo, la diferencia entre una puntuación simple al final del experimento y las nociones más típicas de gamificación puede ser considerable. La gamificación en general tiene un impacto positivo general . La gamificación generalmente involucra una variedad de características interactivas que entran en juego a lo largo de la tarea. Entonces, si es posible, recomendaría incorporar, por ejemplo, un indicador de progreso, un sistema de insignias, una historia o cualquier otra función de gamificación que se pueda agregar razonablemente. Tenga en cuenta que las funciones de ludificación no tienen un éxito uniforme, por lo que puede ser necesario experimentar un poco para determinar qué funciona mejor en su situación particular.

Incentivos no contingentes:

Una nota final: no mencionó si los comentarios estarían supeditados a la finalización del experimento. Si bien la idea de brindar incentivos solo al completar la tarea puede parecer intuitivamente sólida, existe evidencia sustancial de que los incentivos no contingentes son generalmente más efectivos. Por ejemplo, si promete proporcionar un puntaje solo al completar la tarea, entonces menos personas podrían intentar la tarea que si promete proporcionar un puntaje de todos modos, e incluso si las tasas de finalización son mucho más bajas, es posible que obtenga una mayor participación en general. Digamos que solo 10 personas intentan la tarea por un incentivo contingente y tienen una tasa de finalización del 50%, entonces obtienes 5 resultados. Por otro lado, si 100 personas intentan la tarea por un incentivo no contingente y tienen una tasa de finalización mucho más baja del 10%, entonces obtienes 10 resultados, el doble. Vale la pena considerarlo diría yo.