Calcule el umbral a partir de datos 'binarios' sí/no

Por varias razones, tengo un diseño experimental de mierda con el que me veo obligado a lidiar. Presento a los sujetos 20 pruebas de sí/no, de las cuales 5 son pruebas de captura sin señal y 15 son pruebas de señal. Cada presentación de señal tiene un nivel único con espaciado desigual (tan pequeño como uno en unidades arbitrarias y tan grande como 5). Todos los sujetos realizan las pruebas en el mismo orden (es decir, la 5ª prueba siempre está al nivel de la señal, y la 11ª y la 6ª prueba son siempre pruebas de captura).

Para complicar más las cosas, a nivel de la población y probablemente a nivel individual, el criterio no es estable, de modo que la probabilidad de decir que sí en un intento sin señal depende del número de intentos de captura (el primer intento de captura tiene un probabilidad de sí de alrededor de 0,05 y la quinta prueba de captura tiene una probabilidad de sí de alrededor de 0,2). De este lío, necesito un solo número que represente el umbral . Realmente no me importa a qué corresponde el umbral ( p. ej ., el nivel de la señal que lleva al 50 % sí, 50 % correcto o una d' de 1 estaría bien). Idealmente, el método proporcionaría un intervalo de confianza en la estimación a nivel de sujeto individual.

Estaba pensando en usar un enfoque tipo Spearman-Karber , pero los tamaños de paso desiguales parecen problemáticos (junto con los criterios variables). Tampoco entiendo la historia de Spearman-Karber (es decir, dónde se publicó por primera vez y cómo se relaciona con Spearman 1908 ) y espero que tal vez en los últimos 100 años hayamos mejorado las cosas.

guau. Buena suerte :-) ¿Está utilizando un algoritmo adaptativo? ¿Qué tan diferentes son los tamaños de paso? Tienes varias medidas por paso? ¿Podría mostrarnos un conjunto de datos?
@AliceD, todos ejecutan las pruebas en el mismo orden (es decir, no adaptativo) y solo hay una prueba en cada nivel de señal. Los tamaños de paso varían de 1 a 5.
Entonces es un procedimiento MOC con datos binarios (digamos 0 (no) o 1 (sí)? ¿No puede ajustar un Weibul u otra función psicométrica? Tal vez eso sea realmente difícil con datos binarios. Hágamelo saber. Una imagen de un El conjunto de datos (imaginario) sería bueno aún para visualizar su problema
@AliceD sí, pero con solo una prueba por nivel, no estoy seguro de que ese sea el camino a seguir. Además, no estoy seguro de cómo obtener un CI de la función ajustada con solo una prueba por nivel.
Siempre he reunido suficientes repeticiones por nivel para estimar una tasa correcta. problema interesante Reflexionaré sobre esto. Ya hice +1. Debería ser interesante para mucha gente.
Hay varias cosas que no entiendo, si está trabajando en el campo de la teoría de detección de señales con un método de elección forzada alternativa nAFC n, no debería haber un sesgo de estimación (se pueden desarrollar sesgos de memoria) que no debe usar Spearman-Karber, se debe empezar con una tabla de doble entrada para señal y detección con sí/no para ambos, desarrollar la función psicométrica y trabajar la probabilidad y la varianza, no debe importar tanto la respuesta sino la sensibilidad
@hexadecimal con solo una entrada por nivel, la tabla es extraña porque solo tiene entradas de 0 o 1. Ajustar una función psicométrica a datos binarios también parece problemático y con solo 15 intentos de señal me preocupa que el ajuste esté sobredeterminado . Además, la sensibilidad, como yo lo pienso, depende de un criterio estable, que no tengo.
@StrongBad puse algunos enlaces : cis.rit.edu/people/faculty/montag/vandplite/pages/chap_5/…weldre4.instructure.com/courses/28/pages/…brain.mcmaster.ca/SDT/sdt2.html ¿Solo una entrada por nivel? Deberías tener los datos que te comenté (en cada prueba cuando se presentó la señal o no y que respuesta a persona dada) el número de pruebas parece reducido pero podrías hacer una estimación.
:) No entiendo completamente lo que está pasando, pero ¿ha considerado aplicar IRT ?
@StrongBad Si respondió a esta pregunta, podría ayudar: ¿Por qué se introdujo la habituación (aprendizaje) en un paradigma de estimación de sensibilidad (percepción)? Es mi principal duda y deberia aclarar como analizar los datos

Respuestas (1)

El mayor inconveniente de su procedimiento, también punto de discusión anterior aquí, es el número limitado de ensayos . Aparentemente, obtuvo datos binarios, es decir, una respuesta (sí/no) por prueba, lo que básicamente lo dejó con un conjunto de datos binarios escasamente muestreados . Los datos binarios no permitirán un ajuste de curva , que es la forma convencional de determinar un umbral.

Para empeorar las cosas, existe un cierto sesgo en las pruebas de captura. Pero los valores en cualquier lugar por debajo del 25% de falsos positivos están, en mi opinión, bien. Así que olvidemos ese problema, ya que es probable que sea el menor de sus problemas.

Ahora, los datos de un solo estímulo por prueba se conocen como el método de los límites . Básicamente, lo que normalmente haría para obtener un umbral con MoL es aumentar el nivel para ver dónde los sujetos comienzan a percibir el estímulo ( reversión SÍ/NO ) y luego voltear la secuencia y ver dónde la persona deja de responder SÍ y presiona NO. En general, dicho procedimiento se usa experimentalmente para obtener un manejo rápido de un buen punto de partida para los experimentos 'reales' . O bien, es útil en entornos clínicos. Por ejemplo, los umbrales audiométricos clínicos a menudo se determinan de esta manera: rápido y sucio, pero con una precisión de aproximadamente 5 dB.

La respuesta que obtienes en este caso es la llamada respuesta de tipo 2, ya que nunca puedes saber si el sujeto tenía razón o no. Solo evalúas cuando el sujeto se reporta para percibir el estímulo. El problema con el método descrito aquí es que la S puede habituarse ( no lo percibí ahora, probablemente no lo haré en la próxima prueba ) o la S comete el error de expectativa ( probablemente se hará evidente ahora ).

  • La única forma en que puedo ver para analizar sus datos es determinar el punto de inflexión y tomarlo como una medida. Luego, tal vez pueda tomar el promedio entre las dos intensidades donde la respuesta cambia para obtener una estimación del nivel del 50%, el estándar de oro del umbral en las tareas de sí/no.
    Es probable que no tenga un punto de inflexión inequívoco en sus datos, pero estoy seguro de que puede pensar en algo. Tal vez solo tome la intensidad más baja donde ocurrió un giro, o algo por el estilo.
  • Alternativamente, puede agrupar sus intensidades en niveles aproximados y promediar las respuestas para obtener valores que incluyan índices entre 0 y 100 %. Sin embargo, es probable que este procedimiento esté condenado a ser despedazado por cualquier árbitro o compañero en su campo, sobre todo porque los tamaños de los pasos son desiguales.

Referencia
- Kingdom & Prins. Psicofísica . Elsevier 2010

Solucionamos la habituación haciendo que los niveles no disminuyan monótonamente, de modo que a veces una señal de nivel más bajo es seguida por una señal de nivel más alto. A nivel de la población, cuando clasificamos por prueba, vemos grandes saltos en la probabilidad de que sí que reflejan los cambios en el nivel de la señal, pero cuando clasificamos por nivel de la señal, obtenemos una buena función psicométrica monotónica.
Si bien el umbral en el MoL a menudo se estima tomando el último nivel para una respuesta afirmativa, eso no lo convierte en la mejor manera de hacerlo. A nivel individual, mientras que para algunos sujetos existe un único nivel por encima del cual siempre responde que sí y por debajo del cual siempre responde que no , para muchos sujetos no es así.
@StrongBad, entiendo que puede no ser un punto de inflexión agudo, como se incluye en mi respuesta. Mi publicación es simplemente lo mejor que se me ocurre después de reflexionar sobre ella. Ciertamente no es bonito, pero tampoco lo son tus datos :)
Reunir los datos de la población siempre es una opción, pero aún menos bonita en mi opinión. Desafía el propósito de determinar umbrales.
Combinamos los datos para mostrar las diferencias entre nuestros dos grupos (control y prueba). Ahora queremos analizar sujetos individuales para ver si la prueba tiene valor diagnóstico.
Calcule el umbral a partir de datos 'binarios' sí/no
RespuestasAquíPolítica de privacidad1y, 1v