Estoy analizando datos en una tarea de percepción de emociones, donde los participantes deben decidir si una cara determinada está feliz, triste, enojada o temerosa (esencialmente, una elección forzada entre 4 opciones).
Confío en que quiero calcular una tasa de aciertos imparcial para cada emoción (como en Wagner 1993). Esto toma una matriz de confusión (ejemplo de juguete a continuación):
Happy Sad Angry Fearful
Happy 4 1 0 1
Sad 0 3 2 1
Angry 0 0 6 0
Fearful 2 0 0 4
Y la tasa de aciertos imparcial es entonces las respuestas correctas al cuadrado, divididas por la cantidad de veces que se usa esa respuesta multiplicada por la cantidad de intentos en los que esa respuesta fue correcta. Entonces, en el ejemplo anterior:
Hu(Happy) = 4^2 / ((4+0+0+2)*6) = 16/36 = 0.444
Hu(Sad) = 9/24 = 0.375
Hu(Angry) = 36/48 = 0.75
Hu(Fearful) = 16/36 = 0.444
Estos luego se convierten con una transformación de arcoseno en la raíz cuadrada para usar como variable dependiente en la regresión.
Sin embargo, quiero usar estos datos para evaluar la capacidad general de reconocimiento de emociones en los rostros: ¿cuál es la forma correcta de combinar las tasas de aciertos imparciales? Es decir, ¿puedo generar un único valor que represente todo esto, o debo ejecutar cuatro análisis separados y examinar la superposición de los resultados?
Referencia
Wagner, HL (1993). Sobre la medición del desempeño en los estudios de juicio de categoría del comportamiento no verbal. Revista de comportamiento no verbal, 17(1), 3-28.
El propósito de la tasa de aciertos imparcial es evitar conclusiones inválidas en los casos en que los sujetos usan indiscriminadamente una (o solo unas pocas) opciones de respuesta. Para dar un ejemplo (respuestas en filas, estímulos en columnas):
Happy Sad Angry Fearful
Happy 1 0 0 1
Sad 7 8 6 5
Angry 0 0 0 0
Fearful 2 0 0 1
Considere las caras tristes. La tasa de aciertos no corregida y sesgada para las caras tristes es . La tasa de aciertos imparcial es . Esta última estimación corresponde mejor a nuestra intuición. El sujeto responde casi siempre. y se le debe asignar una puntuación ligeramente mejor que una actuación aleatoria ( ).
Usted está buscando una puntuación total. Por definición, una puntuación total tendrá en cuenta este tipo de sesgo, ya que utiliza todos los elementos de la matriz de confusión. Por lo tanto, no tiene sentido buscar una tasa de aciertos total imparcial y no tiene sentido tratar de combinar las tasas de aciertos imparciales.
Wagner (1993) deja claro en la página 4 que la pregunta sobre la puntuación total es distinta y diferente de la que intenta responder con su tasa de aciertos imparcial. En una nota al pie de página 1 en las páginas 27-28, menciona métodos para calcular la puntuación total:
Existen numerosas formas de examinar el desempeño general en los estudios de juicio. En psicofísica, la matriz de confusión resultante del método de identificación absoluta (como se conoce el tipo de estudio de juicio discutido aquí) ha sido examinada con las herramientas de la teoría de la información (ver Baird & Noma, 1978, para una exposición clara de esto). [...] Otros ejemplos de medidas de precisión para toda la matriz son las de Cohen (Cohen, 1960), y Rosenthal y Rubin's (Rosenthal y Rubin, 1989).
Literatura
Baird, JC y Noma, EJ (1978). Fundamentos de escalamiento y psicofísica. John Wiley & Sons.
Cohen, J. (1960). Un coeficiente de acuerdo a las escalas nominales. Medida educativa y psicológica, 20(1), 37-46.
Rosenthal, R. y Rubin, DB (1989). Estimación del tamaño del efecto para datos de tipo de opción múltiple de una muestra: diseño, análisis y metanálisis. Boletín Psicológico, 106(2), 332.
Joni