Al medir las preferencias, ¿la magnitud del efecto de la redacción de la pregunta depende del tema?

Acabo de leer eso en una encuesta sobre la legalización del aborto:

Las respuestas dependieron en gran medida de la redacción de la pregunta.

Pero también he visto casos en los que la redacción de las preguntas es en gran medida irrelevante. Siempre que no haya frases "principales" intencionales o errores generales como la ambigüedad, es probable que los encuestados respondan de manera similar a las preguntas con un contenido similar.

Mi corazonada, basada en la experiencia personal en contextos que no son encuestas, sería que en temas en los que las personas ya han formado actitudes fuertes sobre el tema, una redacción que sea congruente con las actitudes existentes provocará más acuerdo, y una redacción que implique desacuerdo provocará más desacuerdo. Pero en los casos en que las personas aún no tienen actitudes, la redacción de la pregunta no será tan importante. Pero esto es realmente solo una corazonada, nunca he visto datos al respecto.

¿Existe una buena descripción científica de los factores que determinan la relación entre el tema de la pregunta, el encuestado (ya sean sus actitudes u otras características) y la probabilidad de que una diferencia en la redacción de la pregunta provoque una diferencia en la respuesta?

La mayoría de las etiquetas en las que pensé no estaban presentes en el sitio: [psicometría] y [variables de confusión], por ejemplo. Si este tipo de preguntas son ontópicas, tal vez alguien pueda crearlas.
"psicometría" es un sinónimo de medición , pero "psicometría" sería un buen sinónimo alternativo para agregar. ¡Su pregunta ciertamente está relacionada con el tema aquí! He agregado algunas etiquetas existentes para ayudar a clasificarlo.

Respuestas (1)

La metodología de autoinforme fue uno de los temas de mi examen de calificación como estudiante de doctorado en psicología social y de la personalidad, por lo que tengo un montón de referencias para ofrecer, pero confieso que no he leído la mayoría de ellas muy a fondo (si es que las he leído). ), y he olvidado dónde exactamente he leído algo de esto. También es un tema muy amplio, por lo que no enumeraré la mayoría de los que conozco que podrían ser relevantes aquí, pero probablemente pueda ofrecer más sobre subtemas específicos por solicitud.

Existen muchas relaciones entre las características de los encuestados y los sesgos de respuesta que dependen del diseño de la encuesta. Sería prácticamente inimaginable si el tema en cuestión no fuera un factor moderador para algunos de ellos. La deseabilidad social en particular es una forma de sesgo que depende en gran medida del diseño de la encuesta, las características de los participantes y el tema de estudio. Wikipedia ofrece un resumen de nivel de introducción bastante bueno:

La tendencia plantea un grave problema con la realización de investigaciones con autoinformes, especialmente cuestionarios . Este sesgo interfiere con la interpretación de las tendencias promedio, así como con las diferencias individuales.

Los temas en los que la respuesta socialmente deseable (SDR) es de especial preocupación son los autoinformes de habilidades, personalidad, comportamiento sexual y uso de drogas . Cuando se enfrentan a la pregunta "¿Con qué frecuencia te masturbas?", por ejemplo, los encuestados pueden verse presionados por el tabú social contra la masturbación y subestimar la frecuencia o evitar responder a la pregunta. Por lo tanto, es probable que las tasas medias de masturbación derivadas de las encuestas de autoinforme estén muy subestimadas.

Cuando se enfrenta a la pregunta "¿Usa drogas/ sustancias ilícitas ?" el encuestado puede estar influenciado por el hecho de que las sustancias controladas, incluida la marihuana de uso más común, son generalmente ilegales . Los encuestados pueden sentirse presionados a negar cualquier uso de drogas o racionalizarlo, por ejemplo, "Solo fumo marihuana cuando mis amigos están cerca". El sesgo también puede influir en los informes sobre el número de parejas sexuales . De hecho, el sesgo puede operar en direcciones opuestas para diferentes subgrupos : mientras que los hombres tienden a inflar los números, las mujeres tienden a subestimar los suyos. En cualquier caso, es probable que los informes medios de ambos grupos estén distorsionados por el sesgo de deseabilidad social.

Otros temas que son sensibles al sesgo de deseabilidad social:

  • Ingresos y ganancias personales, a menudo inflados cuando son bajos y desinflados cuando son altos.
  • Sentimientos de baja autoestima y/o impotencia, a menudo negados.
  • Funciones excretoras, a menudo abordadas de manera incómoda, si es que se discuten.
  • Cumplimiento de los horarios de dosificación de medicamentos, a menudo inflados.
  • Religión, a menudo evitada o incómodamente abordada.
  • Patriotismo, ya sea inflado o, si se niega, hecho con temor al juicio de la otra parte.
  • El fanatismo y la intolerancia, a menudo negados, incluso si existen dentro del respondedor.
  • Logros intelectuales, a menudo inflados.
  • Apariencia física, ya sea inflada o desinflada
  • Actos de violencia física real o imaginaria, a menudo negados.
  • Indicadores de caridad o "benevolencia", a menudo inflados.
  • Actos ilegales, a menudo negados.
    [Énfasis añadido.]

Una discutible excepción a la penúltima aparece en Smith (1987): las personas responden de manera menos generosa y más negativa al "bienestar" que a los "pobres".

Wikipedia menciona una de las muchas medidas de respuesta socialmente deseable, pero señala:

La principal preocupación con las escalas SDR es que confunden el estilo con el contenido. Después de todo, las personas en realidad difieren en el grado en que poseen rasgos deseables (p. ej., monjas versus criminales).

Otra preocupación es la multidimensionalidad potencial del sesgo de deseabilidad social. Algunos surgen en una respuesta conscientemente engañosa; otro tipo surge del autoengaño inconsciente. El alcance de cada uno de estos tipos de sesgo de deseabilidad social puede depender de manera diferente de las diferencias individuales en los encuestados y el tema y la redacción de la pregunta.

Wikipedia también brinda una breve descripción de otros estilos de respuesta , incluido el estilo de respuesta extremo, que se relaciona con factores demográficos (Song, 2007) y de personalidad (Hamilton, 1968). Un tipo de estilo opuesto, la tendencia hacia las respuestas neutrales / "no sé" puede ser causada por la incertidumbre personal, la dificultad de los ítems o la sensibilidad del tema (Coombs & Coombs, 1976), por lo que parece ser una respuesta bastante completa. ejemplo de un tipo de sesgo que depende de los tres factores. Otro de estos estilos de respuesta, la aquiescencia (y viceversa), es una variable de personalidad algo interesante en sí misma (Couch & Keniston, 1960); su influencia puede limitarse evitando el formato de "acuerdo versus desacuerdo", pero esto puede ser más difícil en la investigación de actitudes que en otros temas.

Debajo de esto, Wikipedia menciona que el anonimato, la confidencialidad y la administración neutralizada pueden reducir el sesgo de deseabilidad social, por lo que, en este sentido, los factores contextuales fuera de la pregunta en sí pueden afectar el sesgo, especialmente cuando el juicio de otros (p. ej., padres, compañeros, empleadores, la ley cumplimiento) es motivo de preocupación (por ejemplo, hijos de padres autoritarios, amigos de personas críticas, solicitantes de empleo que enfrentan pruebas de personalidad, personas en libertad condicional y convictos anteriores).

Un artículo de revisión particularmente bueno que tengo a mano ( Schwarz, 1999 ) analiza cuestiones de "redacción, formato y contexto de las preguntas", que incluyen:

  • Ambigüedad, oscuridad y palabrería
  • Respuestas abiertas (ver también Geer, 1988) versus informes de frecuencia y calificación de ítems
  • Subjetividad tópica, demanda de experiencia y dependencia del tiempo.

Como este artículo es una revisión en sí mismo, también puede encontrar muchas otras referencias a través de él. Otro artículo de revisión que podría interesar a otros aquí relaciona los problemas de medición de encuestas con problemas cognitivos como la memoria, la comprensión y la elaboración de esquemas (Jobe & Mingay, 1991), cada uno de los cuales pude ver fácilmente que es más o menos relevante en ciertos contextos y para ciertas personas. de maneras que dependerían de cómo se redacte una pregunta. Una vez más, otra gran sección de referencia que se extraerá para obtener más detalles también. Otra revisión más ( Nisbett & Wilson, 1977) se refiere específicamente al error (no necesariamente al sesgo sistemático) en la información autoinformada sobre los procesos mentales debido a la limitada autoconciencia/conocimiento y la influencia de teorías previas o juicios de plausibilidad. ¡Buenas cosas para mencionar aquí, si lo digo yo mismo!

Referencias

Coombs, CH y Coombs, LC (1976). ¿Ambigüedad del ítem “No sé” o incertidumbre del encuestado?. Opinión pública trimestral, 40 (4), 497–514.

Sofá, A. y Keniston, K. (1960). Sí y detractores: Conjunto de respuestas de acuerdo como variable de personalidad. Revista de Psicología Social y Anormal, 60 (2), 151–174.

Geer, JG (1988). ¿Qué miden las preguntas abiertas? Opinión pública trimestral, 52 (3), 365–367.

Hamilton, DL (1968). Atributos de personalidad asociados con el estilo de respuesta extremo. Boletín Psicológico, 69 (3), 192–203.

Jobe, JB y Mingay, DJ (1991). Cognición y medición de encuestas: Historia y descripción general. Psicología Cognitiva Aplicada, 5 (3), 175–192.

Nisbett, RE y Wilson, TD (1977). Contar más de lo que podemos saber: Informes verbales sobre procesos mentales. Revisión psicológica, 84 (3), 231–259. Disponible en línea, URL: http://www.apologeticsinthechurch.com/uploads/7/4/5/6/7456646/nisbettwilson.pdf . Consultado el 5 de febrero de 2014.

Schwarz, N. (1999). Autoinformes: cómo las preguntas dan forma a las respuestas. Psicólogo estadounidense, 54 (2), 93–105. Disponible en línea, URL: https://edit.ethz.ch/oat/education/material/material_06_07/material_empirical_methods_06_07/American_Psychologist_Self-Reports.pdf .

Smith, TW (1987). Lo que llamamos bienestar con cualquier otro nombre olería mejor: un análisis del impacto de la redacción de preguntas en los patrones de respuesta. Opinión pública trimestral, 51 (1), 75–83.

Canción, X.-Y. (2007). Análisis de modelos de ecuaciones estructurales multimuestra con aplicaciones a datos de Calidad de Vida. En S.-Y. Lee (Ed.), Manual de variables latentes y modelos relacionados , págs. 279–302. Holanda Septentrional.