ARTÍCULO / ARTICLE

CALIDAD DE RESPUESTA Y MODO DE ADMINISTRACIÓN DEL CUESTIONARIO

MODES OF SURVEY AND RESPONSE QUALITY

Vidal Díaz de Rada

I-COMMUNITAS. Institute for Advanced Social Research. Universidad Pública de Navarra

vidal@unavarra.es

ORCID iD: http://orcid.org/0000-0002-9638-3741

CONTENIDOS

INTRODUCCIÓN Top

Un análisis de la situación de la investigación con encuesta en los países del entorno más próximo revela un gran desarrollo de las encuestas telefónicas en los últimos años del siglo XX (Häder, Häder y Kuhne, 2012Häder, S., M. Häder y M. Kuhne. 2012. "Introduction: telephone surveys in Europe”". Pp. VII-XIII en Telephone Surveys in Europe: Research and Practice. Manheim: Springer Verlag.), que genera que, en la última década, fuera la modalidad de recogida de información más utilizada, superando ampliamente a la encuesta presencial (De Leeuw y Hox, 2015Leeuw, E.D. de y J.J. Hox. 2015. "Survey mode and mode effects". Pp. 23-24 en Improving survey methods. Lessons from recent research. Nueva York: Routledge.). Pese a los estrepitosos fracasos de las primeras investigaciones con esta modalidad (Gwartney, 2007Gwartney, P.A. 2007. The Telephone Interviewer’s Handbook: How to conduct standardized conversations. San Francisco: Jossey-Bass.), su uso se extiende en Estados Unidos desde la década de 1960, dominando los modos de recogida desde los años 80 del siglo XX (Tucker y Lepkowski, 2008Tucker, C. y J.M. Lepkowski. 2008. "Telephone survey methods: adapting to change". Pp. 3-26 en Advances in telephone survey methodology. Nueva York: Wiley. https://doi.org/10.1002/9780470173404.ch1.).

La situación en España es muy diferente. Según revela el Estudio de la industria de los estudios de mercado de AEDEMO, a inicios de los años noventa del siglo pasado el número de encuestas telefónicas —en relación con el total de encuestas— apenas alcanzaba el 25 % (Díaz de Rada y Portilla, 2015Díaz de Rada, V. e I. Portilla. 2015. "Encuestas telefónicas: estrategias para mejorar la colaboración". Perspectiva Empresarial 2:97-115.). En el año 2000 por primera vez el número de encuestas telefónicas supera las presenciales: 41 % y 38 % respectivamente (Alós, 2001Alós, J. 2001. "Industria de los estudios de mercado en España 2000". Investigación y Marketing 72:72-74.). En el primer quinquenio del siglo XXI tuvo lugar un notable aumento en la utilización de la encuesta telefónica hasta 2007.

A partir de este momento, su uso ha experimentado un notable descenso a favor de las encuestas autoadministradas a través de Internet (ANEIMO-AEDEMO-ESOMAR, 2017ANEIMO-AEDEMO-ESOMAR 2017. "El sector de la investigación de mercados mundial adquiere velocidad de crucero". Disponible en http://www.aedemo.es/aedemo/estudio-industria [consultado el 15 de noviembre de 2016].). Entre los motivos que explican esta situación destaca su bajo coste, la rapidez en la recogida de la información, así como el descenso del error de medida por su menor deseabilidad social y las mejoras del cuestionario electrónico (Callegaro, Lozar Manfreda y Vehovar, 2015Callegaro, M., K. Lozar Manfreda y V. Vehovar. 2015. Web Survey Methodology. Londres: Sage.). Ahora bien, este bajo coste genera, en numerosas ocasiones, una baja relación calidad-precio y lo mismo sucede con la rapidez. La necesidad de destrezas informáticas de la población objeto de estudio, problemas de compatibilidad con los equipos de los entrevistados, así como la mayor autoselección y la baja tasa de respuestas de las encuestas en web indican que no se trata, aún hoy, del mejor modo para encuestas a la población general (Toepoel, 2015Toepoel, V. 2015. Doing survey Online. Londres: Sage.).

Por estos motivos, este trabajo centra su atención en las encuestas administradas (con entrevistador), concretamente en las presenciales y telefónicas. La literatura destaca la mayor calidad de las primeras (Loosveldt, 2008Loosveldt, G. 2008. "Face to face interviews". Pp. 201-220 en International Handbook of Survey Methodology. Nueva York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.), frente a la rapidez y bajo coste de las telefónicas (Lavrakas, 2010Lavrakas, P.J. 2010. "Telephone survey". Pp. 471-498 en Handbook of Survey Research (2.ª ed.). Bingley: Emerald Group Publishing Limited.). Estas son las principales ventajas de ambos modos, existiendo en nuestro idioma numerosos trabajos que exponen exhaustivamente las ventajas e inconvenientes de cada una (entre otros, Díaz de Rada, 2015Díaz de Rada, V. 2015. "Tipos de Encuestas". Pp. 363-390 en El Análisis de la Realidad Social. Madrid: Alianza.; Cea D’Ancona, 2010Cea D’Ancona, M.Á. 2010. Métodos de encuesta. Madrid: Síntesis.; Díaz de Rada, 2010Díaz de Rada, V. 2010. Comparación entre los resultados obtenidos por encuestas personales y telefónicas: el caso de una encuesta electoral. Madrid: CIS.).

El objetivo del presente trabajo es considerar si las respuestas a un mismo cuestionario varían según la modalidad de recogida de la información utilizada, y surge porque apenas se han realizado en nuestro contexto investigaciones que analicen los efectos de respuesta[1] de la modalidad no presencial (encuesta telefónica), situación diferente a lo ocurrido en otros países donde —antes de adoptar este modo de recogida— se llevaron a cabo numerosos experimentos para constatar que la utilización de la encuesta en la sociedad norteamericana era exportable a otros contextos (entre otros, Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.; De Leeuw, 1992Leeuw, E.D. de 1992. Data Quality in Mail, Telephone and Face to Face Surveys. Amsterdam: TT-Publikaties.; Sykes y Collins, 1988Sykes, W. y M. Collins. 1988. "Effects of Mode of Interview: Experiments in the UK". Pp. 301-345 en Telephone Survey Methodology. Nueva York: Wiley.; Sykes y Hoinville, 1985Sykes, W. y G. Hoinville. 1985. Telephone interviewing on a survey of social attitudes. A comparison with face-to-face procedures. London: SCPR.). Tras realizar una búsqueda exhaustiva de investigaciones españolas sobre encuestas telefónicas tan solo han sido localizadas cinco referencias (Gabardo Vallejo, 2013Gabardo Vallejo, J.A. 2013. "Las ventajas de los estudios con más de una metodología de realización de entrevistas". Paper presented at 1st Southern European Conference on Survey Methodology (SESM), Barcelona, December 12th -14th.; Díaz de Rada, 2014Díaz de Rada, V. 2014. "Complementación entre encuestas presenciales y telefónicas". Política y Sociedad 51:201-226. y 2011Díaz de Rada, V. 2011. "Utilización conjunta de encuesta presencial y telefónica en encuestas electorales". Revista Internacional de Sociología 69:393-416. ; Galán, Rodríguez y Zorrilla, 2004Galán, I., F. Rodríguez y B. Zorrilla. 2004. "Comparación entre encuestas telefónicas y encuestas ‘cara a cara’ domiciliarias en la estimación de hábitos de salud y prácticas preventivas". Gaceta Sanitaria 18:440-450.; Salinas, Calvo y Aguilar, 2004Salinas, J.M., A. Calvo y M.C. Aguilar. 2004. "Un análisis comparativo entre la entrevista telefónica y la entrevista presencial en la determinación de la prevalencia de los juegos de azar". Metodología de Encuestas 6:119-132.), todas ellas referidas a las ventajas y desventajas de cada modo, pero sin considerar los efectos de respuesta.

El artículo comienza con una exposición de los efectos de respuesta en las encuestas, para proceder a continuación con la elaboración de una serie de medidas para localizar tales efectos en una encuesta presencial y telefónica (mediante llamadas a teléfonos fijos) realizada en Andalucía. La información técnica del estudio y las técnicas a utilizar dan paso a los resultados, estructurados en tres partes: falta de respuesta, efectos de respuesta en preguntas con disposición vertical y en preguntas de batería. Las conclusiones sintetizan los hallazgos localizados, al tiempo que plantean nuevos desafíos para el futuro.

Efectos de respuesta

El enfoque del error total de la encuesta, marco teórico dominante en el momento actual (entre otros, Lavrakas, 2013Lavrakas, P. J. 2013. "Presidential address: applying a total error perspective for improving research quality in the social, behavioral, and marketing sciences". Public Opinion Quarterly 74:831-850. https://doi.org/10.1093/poq/nft033.; Lyberg, 2012Lyberg, L. 2012. "Survey Quality". Survey Methodology 38:107-130.; Groves y Lyberg, 2010Groves, R.M. y L. Lyberg. 2010. "Total survey error: past, present and future". Public Opinion Quarterly 74:849-879. https://doi.org/10.1093/poq/nfq065.), clasifica en dos los tipos de errores de la técnica de la encuesta: los causados por una incorrecta representación y los originados por defectos de medición. El primero agrupa al error de muestreo, cobertura y no respuesta; mientras que los errores de medición pueden tener su origen en los entrevistadores, los entrevistados, el cuestionario y el modo de recogida de información.

En este trabajo la atención se centra en los dos últimos, el cuestionario y el modo, siguiendo los planteamientos de diversos expertos que han constatado cambios en las respuestas del cuestionario cuando se responde cara a cara o utilizando el teléfono (entre otros, Holbrook et al. 2007Holbrook, A.L., J.A. Krosnick, D. Moore y R. Tourangeau. 2007. "Response order effects in dichotomous categorical questions presented orally: the impact of question and respondent attributes". Public Opinion Quarterly 71:325-348. https://doi.org/10.1093/poq/nfm024.; Holbrook, Green y Krosnick, 2003Holbrook, A.L., M. C. Green y J. A. Krosnick. 2003. "Telephone versus face-to-face interviewing of national probability samples with long questionnaires". Public Opinion Quarterly 67:79-125. https://doi.org/10.1086/346010.; Ellis y Krosnick, 1999Ellis, Ch.H. y J.A. Krosnick. 1999. Comparing telephone and face to face surveys in terms of sample representativeness: a Meta-Analysis of Demographics Characteristics. Ann Arbor: Universidad de Michigan, NES.). Krosnick (1999Krosnick, J.A. 1999. "Survey research". Annual Review of Psychology 50:537-567. https://doi.org/10.1146/annurev.psych.50.1.537.) considera que esta situación se produce por el deseo de responder el cuestionario empleando el mínimo esfuerzo, lo que genera determinados “efectos de respuesta” (Bradburn, 1983Bradburn, N.M. 1983. "Response Effects". Pp. 289-328 en Handbook of Survey Research. Nueva York: Academic Press.) en la encuesta telefónica:

• Mayor elección de las últimas categorías de respuesta (en preguntas cerradas), consecuencia de la influencia del orden en que son presentadas.

• Elevado número de falta de respuesta parcial como consecuencia de un gran número de respuestas “no sabe”.

• Falta de diferenciación en las escalas incluidas en preguntas de batería, esto es, responder siempre la misma opción a cada uno de los ítems preguntados.

• Mayor elección de categorías extremas, fundamentalmente en preguntas de batería.

• Tendencia a efectuar respuestas afirmativas (aquiescencia).

Esta situación se produce fundamentalmente en cuestionarios con preguntas de opinión y actitud, descendiendo notablemente en cuestionarios sobre comportamientos. De modo que la utilización de encuestas telefónicas con temáticas de este tipo va a generar, según señala la literatura internacional sobre el tema (entre otros, Holbrook, Green y Krosnick, 2003Holbrook, A.L., M. C. Green y J. A. Krosnick. 2003. "Telephone versus face-to-face interviewing of national probability samples with long questionnaires". Public Opinion Quarterly 67:79-125. https://doi.org/10.1086/346010.; Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.; Groves y Kahn, 1979Groves, R.M. y L. Kahn. 1979. Surveys by telephone: a national comparison with personal interviews. Orlando, FL.: Academic Press.), un predominio de las últimas categorías de respuesta, un mayor número de respuestas “no sabe”, similitud en las escalas dentro de una batería, un mayor número de categorías extremas, así como más respuestas afirmativas o positivas. Green, Krosnick y Holbrook (2001Green, M.C., J.A. Krosnick y A.L. Holbrook. 2001. "The survey response process in telephone and face-to-face surveys". Disponible en: https://pdfs.semanticscholar.org/d4d8/42f48a2109e094fc6590f69e386940e2e32e.pdf [Consultado el 29 de enero de 2019].) proporcionan dos explicaciones de esta situación. La primera alude a la “vulnerabilidad social”, relacionada con la incertidumbre que supone contactar con un extraño, incertidumbre que varía si el contacto es presencial o a través del teléfono. Desde su punto de vista, las personas con menos recursos económicos, educativos, de más edad, pertenecientes a minorías raciales, etc., presentan una mayor vulnerabilidad que se traduce en una peor respuesta en encuestas telefónicas. La segunda, denominada como teoría de la complacencia (survey satisficing) considera que el modo de administración del cuestionario afecta a la calidad en la medida que el entrevistado puede estar motivado por la presencia del entrevistador, por su comunicación no verbal, y por la facilidad que éste tiene para demostrar que se trata de una investigación científica. En la encuesta telefónica, el entrevistado puede estar realizando otra acción de modo simultáneo —por ejemplo ver la televisión—, que supone descensos de la calidad de la respuesta. A esta interpretación, Bowers y Ensley (2003Bowers, J. y M.J. Ensley. 2003. Issues in Analyzing Data from the Dual-Mode 2000 American National Election Study. Ann Arbor: Universidad de Michigan, NES.) añaden el desconocimiento que el entrevistado tiene de quién está al otro lado del teléfono, la mayor posibilidad de distracción cuando se responde a una encuesta telefónica y una menor satisfacción con el proceso de entrevista que cuando uno es entrevistado por teléfono.

PREGUNTAS DE INVESTIGACIÓN Top

Un primer objetivo es conocer si las respuestas al cuestionario varían según la modalidad de recogida de información utilizada; esto es, si el hecho de utilizar una comunicación basada únicamente en recursos auditivos (a través del teléfono) o auditivos-gestuales-paralingüísticos (entrevistador) genera cambios en las respuestas, considerando los efectos de respuesta señalados en el apartado anterior (De Leeuw, 2008Leeuw, E.D. de 2008. "Choosing the method of data collection". Pp. 113-115 en International Handbook of Survey Methodology. Nueva York: Lawrence Erlbaum Associates and European Association of Methodology.; Loosveldt, 2008Loosveldt, G. 2008. "Face to face interviews". Pp. 201-220 en International Handbook of Survey Methodology. Nueva York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.).

Un segundo objetivo es considerar hasta qué punto esta influencia varía según el tipo de pregunta utilizada, diferenciando entre preguntas de respuesta única con categorías de respuesta en disposición vertical y preguntas formadas por ítems (con disposición horizontal) dentro de una batería (preguntas de batería). De los cinco efectos de respuesta identificados en el apartado anterior se analizará el primero (influencia del orden de categorías de respuesta) en las preguntas en disposición vertical y todos ellos en las escalas incluidas en preguntas de batería, las más numerosas en la presente investigación.

Para conocer hasta qué punto la disposición o colocación de las categorías influye en la elección de los entrevistados se seguirá la estrategia utilizada por Heerwegh (2009Heerwegh, D. 2009. "Mode differences between face-to-face and web surveys: An experimental investigation of data quality and social desirability effects". International Journal of Public Opinion Research 21:111-120. https://doi.org/10.1093/ijpor/edn054.), que propone hacer un recuento de las ocasiones en las que cada entrevistado ha elegido las dos primeras categorías de respuesta para identificar el efecto primacía, haciendo lo propio con las dos últimas para identificar el efecto recencia. La identificación de la falta de respuesta se realiza de forma similar, con un recuento (Heerwegh, 2009Heerwegh, D. 2009. "Mode differences between face-to-face and web surveys: An experimental investigation of data quality and social desirability effects". International Journal of Public Opinion Research 21:111-120. https://doi.org/10.1093/ijpor/edn054.) de las respuestas “no sabe y las declaraciones específicas de no desear responder (“no responde”).

Para las escalas valorativas colocadas dentro de una de batería de preguntas, las más numerosas en la presente investigación, se utilizan además cuatro criterios de calidad:

• El primero considera la variabilidad de la respuesta del entrevistado a los diferentes ítems. Para ello se ha calculado el índice de diferenciación P_d (rho) siguiendo los criterios de Heerwegh, 2009Heerwegh, D. 2009. "Mode differences between face-to-face and web surveys: An experimental investigation of data quality and social desirability effects". International Journal of Public Opinion Research 21:111-120. https://doi.org/10.1093/ijpor/edn054.; Narayan y Krosnick, 1996Narayan, S. y J.A. Krosnick. 1996. "Education Moderates some Response Effects in a Attitude Measurement". Public Opinion Quarterly 60:58-88.; McCarty y Shrum, 2000McCarty, J.A. y L.J. Shrum. 2000. "The measurement of personal values in survey research: a test of alternative rating procedures". Public Opinion Quarterly 64:271-298. https://doi.org/10.1086/317989.. Valores del índice P_d cercanos a la unidad indican que el colectivo entrevistado ha expresado respuestas diferentes en cada ítem, que apenas repite las respuestas anteriores, lo que indica una mayor diferenciación. Valores cercanos a 0 están indicando que la práctica totalidad de la muestra consultada selecciona la misma respuesta, con independencia de la pregunta planteada.

• El segundo criterio hace referencia a la elección de las categorías extremas, uno de los rasgos específicos de las encuestas telefónicas (entre otros, Groves y Kahn, 1979Groves, R.M. y L. Kahn. 1979. Surveys by telephone: a national comparison with personal interviews. Orlando, FL.: Academic Press.; Jordan, Marcus y Reeder, 1980Jordan, L.A., A.C. Marcus y L.G. Reeder. 1980. "Response styles in telephone and household interviewing: a field experiment". Public Opinion Quarterly 44:102-111. https://doi.org/10.1086/268585.; Sykes y Collins, 1988Sykes, W. y M. Collins. 1988. "Effects of Mode of Interview: Experiments in the UK". Pp. 301-345 en Telephone Survey Methodology. Nueva York: Wiley.; De Leeuw, 1992Leeuw, E.D. de 1992. Data Quality in Mail, Telephone and Face to Face Surveys. Amsterdam: TT-Publikaties.; Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.; De Leeuw y Hox 2015Leeuw, E.D. de y J.J. Hox. 2015. "Survey mode and mode effects". Pp. 23-24 en Improving survey methods. Lessons from recent research. Nueva York: Routledge.). La frecuencia de elección de cada valor es promediada considerando el número de variables que componen la escala, de modo que, por ejemplo, 4 elecciones de los valores extremos en una pregunta con 7 ítems —por ejemplo, la valoración de líderes políticos— proporciona una puntuación de 0,57 (4/7), que es interpretada como que en más de la mitad de los ítems de la batería (el 57 %) han sido elegidas las puntuaciones más extremas. Una sola respuesta lograría una puntuación de 0,14, y 6 respuestas –en la misma batería– llegarían al 0,96, por lo que se trata de una puntuación que oscila entre 0 y 1.

• El tercer criterio de calidad está referido a la tendencia de respuestas favorables o positivas, diferenciando entre aquiescencia fuerte (para la elección del valor favorable más extremo) y aquiescencia suave, para elecciones del segundo valor favorable más extremo: 6 en la escala de 1 a 7, 9 en las escalas 0/1-10, etc.

• El cuarto criterio hace referencia a la facilidad de las respuestas, que añade al indicador anterior el punto medio y las puntuaciones extremas desfavorables; lo que implica la elección de las respuestas más cómodas (extremos y falta de definición o elección del punto medio).

FUENTE DE DATOS: ENCUESTA PRESENCIAL Y TELEFÓNICA ADMINISTRADA CONJUNTAMENTE EN UNA MISMA ZONA Top

El presente trabajo trata de constatar hasta qué punto la situación señalada en el apartado efectos de respuesta, detectada en otros países, se produce también en la comunidad autónoma andaluza. Para comprobar si el modo de recogida de la información genera efectos de respuesta se utiliza un mismo cuestionario, administrado cara a cara y telefónicamente a dos muestras similares, y el objetivo es conocer la variabilidad de las respuestas proporcionadas en cada modalidad, centrado específicamente en los efectos de respuesta definidos con anterioridad.

Con este propósito se ha utilizado el Barómetro de Opinión Pública de Andalucía (Instituto de Estudios Sociales Avanzados-IESA, 2010Instituto de Estudios Avanzados-IESA. 2010. Barómetro de opinión Pública de Andalucía. Córdoba: IESA.) que utiliza un cuestionario de 197 variables, de las que 161 son variables de contenido (ver anexo 1) y el resto sociodemográficas. Se trata de preguntas cerradas que recogen actitudes y opiniones. En cuanto al tipo de pregunta empleadas, el cuestionario está formado por preguntas de respuesta única y disposición vertical de las categorías de respuesta, así como por preguntas de batería con diversidad en el número de respuestas:

• 4 preguntas –28 variables– con 11 opciones de respuesta que permiten elegir entre 0 y 10, con etiquetas en los extremos[2]. 22 variables fueron administradas de forma idéntica en ambas modalidades y en 6 se utilizó una tarjeta de respuestas en la encuesta presencial.

• 1 batería con 6 variables con 10 opciones de respuesta ordinales etiquetadas en los extremos, con tarjeta en la modalidad presencial.

• 3 preguntas de 20 variables con 5 opciones de respuesta de medición ordinal, con una respuesta definida en cada opción, que será definida, a partir de este momento, como ‘totalmente etiquetada’. De estas, 9 han sido administradas de forma idéntica en ambas modalidades, mientras que 11 utilizan una tarjeta (con las respuestas) en la modalidad presencial.

• Una pregunta de 11 variables con 3 opciones de respuesta, con 1 respuesta definida en cada opción: “ha mejorado”, “sigue igual”, o “ha empeorado”. Debe tenerse en cuenta que, en este tipo de preguntas, el encuestado piensa en las 3 posibilidades, no percibe la existencia de un número, como sucede en las preguntas con opciones entre 1 y 10.

Se ha utilizado también el formato de batería para dos preguntas nominales (17 variables) con seis opciones de respuesta que fueron administradas con una tarjeta de respuesta en la presencial.

Se ha señalado el uso de tarjetas con las respuestas (siempre en la presencial) porque la literatura sobre el tema da cuenta de un efecto primera opción cuando los entrevistados leen las respuestas, efecto generado porque, una vez localizada una posible respuesta, éstos interrumpen la lectura y la seleccionan, procediendo a responder otra pregunta sin terminar de leer todas las posibles respuestas de la pregunta anterior (Galesic et al. 2008Galesic, M., R. Tourangeau, M. P. Couper y F. Conrad. 2008. "Eye-tracking data: New Insights on Response Order Effects and Other Cognitive Shortcuts in Survey Responding". Public Opinion Quarterly 72:892-913.). Este efecto primacía, lógicamente, estará más presente en la encuesta presencial respondida con tarjetas, aunque la práctica totalidad de estudios que comparan entre encuestas presenciales y telefónicas han utilizado tarjetas en la presencial (entre otros, Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.; Sykes y Collins, 1988Sykes, W. y M. Collins. 1988. "Effects of Mode of Interview: Experiments in the UK". Pp. 301-345 en Telephone Survey Methodology. Nueva York: Wiley.; Sykes y Hoinville, 1985Sykes, W. y G. Hoinville. 1985. Telephone interviewing on a survey of social attitudes. A comparison with face-to-face procedures. London: SCPR.).

Centrados en las 161 variables de contenido —esto es, exceptuando las que recogen rasgos sociodemográficos— se eliminaron, en primer lugar, las variables referidas a comportamientos, centrando la investigación en variables actitudinales. Analizar la influencia de la colocación de las opciones de respuesta, la tendencia a elegir la última (efecto recencia) o la primera –efecto primacía–, precisa utilizar preguntas que contengan varias respuestas o, al menos, una cantidad de información considerable. En el cuestionario, la práctica totalidad de las preguntas dicotómicas contienen únicamente dos palabras, “si/no” o “acuerdo/desacuerdo”[3], por lo que se ha decido eliminar las preguntas con 3 y menos alternativas de respuesta.

Esta reducción en el número de preguntas ha afectado fundamentalmente a las preguntas con categorías en disposición vertical, que desciende a 26 preguntas o variables. En las preguntas de batería únicamente se ha eliminado la última batería (11 ítems), lo que implica que el análisis se centre en 71 variables. Ambas situaciones llevan a limitar los análisis a 97 variables (26+71), centrándose en conocer cómo funcionan las preguntas de 4 y más categorías.

Respecto a los encuestados, considerando como marco muestral los residentes en Andalucía de 18 años en adelante, se estableció un tamaño muestral de 3655 entrevistas repartidas proporcionalmente según el número de escaños de cada provincia. Se realizaron encuestas presenciales en los domicilios, localizando las unidades últimas del muestreo mediante el empleo de rutas aleatorias y cuotas de sexo y edad.

A medida que transcurría el trabajo de campo se detectaron importantes descensos de cooperación en determinadas secciones censales. Esta situación llevó a la utilización de un segundo modo, encuesta telefónica, siguiendo la recomendación de la literatura sobre el empleo de otro modo para aumentar la cooperación (entre otros, Dillman, Smyth y Christian, 2009Dillman, D.A., J.D. Smyth y L.M. Christian. 2009. Internet, Mail and Mixed-Mode Surveys: The Tailored Design Method (3.ª ed.). Nueva York: Wiley.; De Leeuw, 2008Leeuw, E.D. de 2008. "Choosing the method of data collection". Pp. 113-115 en International Handbook of Survey Methodology. Nueva York: Lawrence Erlbaum Associates and European Association of Methodology.). Para ello fueron seleccionados, del mismo marco muestral pero limitado a las zonas con menor participación, una segunda muestra de 623 personas entrevistadas con teléfonos fijos, siguiendo la misma selección muestral que la encuesta presencial. El trabajo de campo se realizó entre el 18 de octubre y el 18 de noviembre de 2010 en la encuesta presencial, y entre el 1 y 18 de noviembre el mismo año en la telefónica.

Ahora bien, para conocer la influencia de la modalidad de recogida de información es preciso comparar dos muestras (telefónica y presencial) realizadas en la misma zona y con la misma población objetivo (Holbrook, Green y Krosnick, 2003Holbrook, A.L., M. C. Green y J. A. Krosnick. 2003. "Telephone versus face-to-face interviewing of national probability samples with long questionnaires". Public Opinion Quarterly 67:79-125. https://doi.org/10.1086/346010.). Para ello, los análisis se centraron en las secciones con menor cooperación, es decir, en las zonas donde se utilizaron ambas encuestas, presencial y telefónica. Por ello, de las 3.655 encuestas presenciales realizadas este artículo se limita a las secciones censales donde fue empleada también la encuesta telefónica. La comparación de las características sociodemográficas de las 3.655 encuestas presenciales y las 609 realizadas en las zonas donde se utilizó también la encuesta telefónica se presenta en el Anexo 2, donde se aprecia una similar distribución ente ambas en sexo, edad y relación con la actividad. No así en el nivel de estudios, donde se produce una importante disminución de los colectivos con estudios de ESO e inferiores y un aumento de los más cualificados.

Solo en esta variable, y en el número de parados y estudiantes, se aprecian diferencias significativas, que llevan a señalar que los colectivos residentes en esta zona presentan un nivel educativo superior al promedio de Andalucía y una mayor tasa de ocupación. Esta última situación, relacionada con el tiempo en el que se está en casa, pudiera explicar la menor respuesta conseguida por la encuesta presencial, algo que ya ha sido constatado por otras investigaciones (Riba, Torcal y Morales, 2010Riba, C., M. Torcal y L. Morales. 2010. "Estrategias para aumentar la tasa de respuesta y los resultados de la Encuesta Social Europea en España". Revista Internacional de Sociología 68:603-635.). El mayor número de estudiantes es otra de las variables que explica la mejor tasa de cooperación y justifica el empleo de una nueva modalidad, en la medida que éstos son entrevistados en las últimas horas del día (Pasadas del Amo, Soria Zambrano y Zarco, 2006Pasadas del Amo, S., M. Soria Zambrano y M. Zarco. 2006. "¿Dónde están los jóvenes? Un análisis de las dificultades de localización y acceso al segmento juvenil en las encuestas telefónicas". Paper presented at IV Congreso de Investigación mediante Encuestas, Pamplona, September 24-26.).

Volviendo a las diferencias en el nivel de estudios, y siempre teniendo en cuenta que la encuesta telefónica suele seleccionar más personas con estudios superiores[4], contar con una submuestra más ilustrada permite una mejor comparación entre la encuesta telefónica y la presencial. Dicho de otro modo, el mayor nivel de estudios de la submuestra permite rechazar que las diferencias localizadas entre ambos modos tengan su origen en la influencia de esta variable.

TÉCNICAS DE ANÁLISIS DE DATOS Top

Para conocer si existen diferencias significativas en el número de elecciones de las primeras o últimas categorías de respuesta según modalidad, se utiliza la técnica de la diferencia de medias, siguiendo la práctica realizada por investigaciones similares realizadas en otros países (entre otros, Holbrook et al. 2007Holbrook, A.L., J.A. Krosnick, D. Moore y R. Tourangeau. 2007. "Response order effects in dichotomous categorical questions presented orally: the impact of question and respondent attributes". Public Opinion Quarterly 71:325-348. https://doi.org/10.1093/poq/nfm024.; Holbrook, Green y Krosnick, 2003Holbrook, A.L., M. C. Green y J. A. Krosnick. 2003. "Telephone versus face-to-face interviewing of national probability samples with long questionnaires". Public Opinion Quarterly 67:79-125. https://doi.org/10.1086/346010.; Krosnick et al. 2002Krosnick, J.A., A.L. Holbrook, M.K. Berent, R.T. Carson, W.M. Hanemann, R.J. Kopp, R. Cameron Mitchell, S. Presser, P.A. Ruud, V.K. Smith, W.R. Moody, M.C. Green y M. Conaway. 2002. "The Impact of “No Opinion” Response Options on Data Quality: Non-Attitude Reduction or an Invitation to Satisfice?". Public Opinion Quarterly 66:371-403. https://doi.org/10.1086/341394.).

La utilización de una regresión múltiple permite detectar hasta qué punto las diferencias localizadas están producidas por la modalidad o por la posible desigualdad sociodemográfica de las muestras. La variable dependiente es el número de preguntas con efectos (primacía, recencia, “no sabe”, etc.), y como términos independientes se consideran el sexo, la edad, el nivel de estudios y la situación laboral, así como las interacciones entre el nivel de estudios y la edad. Todas han sido codificadas considerando la última categoría como referencia.

Los términos dependientes elegidos son variables cuantitativas que siempre obtienen valores positivos y una distribución asimétrica, consecuencia del recuento del número de preguntas con efectos primacía, recencia, etc. Al tratarse de variables que no cumplen los supuestos de la regresión por mínimos cuadrados ordinarios se empleó una regresión binomial negativa, en línea como han procedido otros trabajos similares (Zhang y Conrad, 2014Zhang, Ch. y F. Conrad. 2014. "Speeding in Web Surveys: the Tendency to answer fast and its association with straightlining". Survey Research Methods 8:127-135. https://doi.org/10.18148/srm/2014.v8i2.5453.).

RESULTADOS Top

El análisis de resultados se ha dividido en cuatro partes, exponiendo en primer lugar el número de respuestas no dadas por cada modo, la falta de respuesta parcial considerando todo el cuestionario. A partir de aquí, se diferencia según el tipo de pregunta, dedicando el siguiente apartado a las preguntas con disposición vertical y los dos siguientes a las preguntas de batería, más numerosas en este estudio y en los que se ha utilizado un mayor número de medidas de calidad.

Ahora bien, antes de proceder con el análisis de las respuestas hay que comprobar la similitud de las muestras, hasta qué punto se está trabajando con muestras equivalentes, situación básica e imprescindible para garantizar la adecuación de los análisis (Petersen, 2008Petersen, T. 2008. "Split Ballots as an experimental approach to public opinion research". Pp. 322-329 en The SAGE Handbook of Public Opinion Research. Thousand-Oaks, LA: Sage. https://doi.org/10.4135/9781848607910.n30.). El análisis de los rasgos sociodemográficos de los que han respondido en cada modalidad desvela una gran similitud en edad y sexo y diferencias en nivel educativo y relación con la actividad, como viene siendo habitual en la práctica totalidad de investigaciones sobre el tema (entre otros, Galán, Rodríguez y Zorrilla, 2004Galán, I., F. Rodríguez y B. Zorrilla. 2004. "Comparación entre encuestas telefónicas y encuestas ‘cara a cara’ domiciliarias en la estimación de hábitos de salud y prácticas preventivas". Gaceta Sanitaria 18:440-450.; Salinas, Calvo y Aguilar, 2004Salinas, J.M., A. Calvo y M.C. Aguilar. 2004. "Un análisis comparativo entre la entrevista telefónica y la entrevista presencial en la determinación de la prevalencia de los juegos de azar". Metodología de Encuestas 6:119-132.; Ellis y Krosnick, 1999Ellis, Ch.H. y J.A. Krosnick. 1999. Comparing telephone and face to face surveys in terms of sample representativeness: a Meta-Analysis of Demographics Characteristics. Ann Arbor: Universidad de Michigan, NES.; De Leeuw, 1992Leeuw, E.D. de 1992. Data Quality in Mail, Telephone and Face to Face Surveys. Amsterdam: TT-Publikaties.; Jordan, Marcus y Reeder, 1980Jordan, L.A., A.C. Marcus y L.G. Reeder. 1980. "Response styles in telephone and household interviewing: a field experiment". Public Opinion Quarterly 44:102-111. https://doi.org/10.1086/268585.; Groves y Kahn, 1979Groves, R.M. y L. Kahn. 1979. Surveys by telephone: a national comparison with personal interviews. Orlando, FL.: Academic Press.): la encuesta telefónica selecciona más personas con estudios superiores —en perjuicio de las personas con estudios primarios y de ESO— y más ocupados fuera del hogar. También lleva a cabo una menor selección de jubilados y más personas dedicadas a tareas domésticas no remuneradas, pero son diferencias que no llegan a ser significativas. En el anexo 2 se exponen los rasgos sociodemográficos de ambas muestras.

Falta de respuesta parcial

El indicador utilizado para conocer el nivel de respuesta presenta una media de 6,48 preguntas no respondidas que, considerando las 97 preguntas analizadas, supone un 6,7 % de preguntas sin responder (6,48/97). Los resultados mostrados en la tabla 1 presentan un predominio del “no sabe”, 7 veces superior al “no responde”, algo lógico al tratarse de preguntas actitudinales.

El análisis diferenciado según el tipo de pregunta desvela cifras similares en el número de “no sabe”, 5,7 % en preguntas con disposición vertical y 5,9 % en batería, existiendo grandes diferencias cuando se considera por separado cada modalidad: la encuesta presencial presenta una mayor “no respuesta” en ambos tipos de preguntas. Ahora bien, en la parte inferior derecha de la tabla puede observarse, diferenciando modalidades, la similitud en el porcentaje de falta de respuesta según el tipo de pregunta (verticales y de batería): 7,8 % y 7,8 % en la encuesta presencial y 3,6 % y 4,1 % en la telefónica. Es decir, existe más diferencia en la modalidad que en el tipo de pregunta, pudiéndose llegar a señalar que el efecto de la modalidad llega casi a doblar el efecto del tipo de pregunta: 7,8 % de falta de respuesta en la encuesta presencial, considerando preguntas verticales y baterías respectivamente, frente a 3,6 % y 4,1 % de falta de respuesta en la encueta telefónica.

Tabla 1. Análisis de la respuesta parcial (y % respecto al total) [5] [Descargar tamaño completo]

El párrafo anterior ya ha anticipado la gran influencia de la modalidad de administración en la respuesta parcial, mostrando un mayor número de “no sabes” en la encuesta presencial, un número que prácticamente dobla las no respuestas de la encuesta telefónica, situación diferente a lo detectado en otras investigaciones realizadas en los Estados Unidos (entre otros, Holbrook, Green y Krosnick, 2003Holbrook, A.L., M. C. Green y J. A. Krosnick. 2003. "Telephone versus face-to-face interviewing of national probability samples with long questionnaires". Public Opinion Quarterly 67:79-125. https://doi.org/10.1086/346010.; Jordan, Marcus y Reeder, 1980Jordan, L.A., A.C. Marcus y L.G. Reeder. 1980. "Response styles in telephone and household interviewing: a field experiment". Public Opinion Quarterly 44:102-111. https://doi.org/10.1086/268585.), pero en línea con investigaciones realizadas en países europeos (entre otros, De Leeuw, 1992Leeuw, E.D. de 1992. Data Quality in Mail, Telephone and Face to Face Surveys. Amsterdam: TT-Publikaties.; Körmendi y Noordhoek, 1989Körmendi, E. y J. Noordhoek. 1989. Data quality and telephone interviews. Copenhagen: Danmark Statistik.; Sykes y Hoinville, 195Sykes, W. y G. Hoinville. 1985. Telephone interviewing on a survey of social attitudes. A comparison with face-to-face procedures. London: SCPR.). Esta misma situación se produce en los escasos experimentos realizados en España (entre otros, Díaz de Rada, 2014Díaz de Rada, V. 2014. "Complementación entre encuestas presenciales y telefónicas". Política y Sociedad 51:201-226. y 2011Díaz de Rada, V. 2011. "Utilización conjunta de encuesta presencial y telefónica en encuestas electorales". Revista Internacional de Sociología 69:393-416.; Galán, Rodríguez y Zorrilla, 2004Galán, I., F. Rodríguez y B. Zorrilla. 2004. "Comparación entre encuestas telefónicas y encuestas ‘cara a cara’ domiciliarias en la estimación de hábitos de salud y prácticas preventivas". Gaceta Sanitaria 18:440-450.).

Un análisis de regresión, considerando como términos dependientes el número de respuestas “no sabe” en cada tipo de pregunta y como independientes las cinco sociodemográficas desvela, en las preguntas con disposición vertical, la gran influencia de la edad y de la modalidad utilizada. Las variables con más influencia en el término dependiente (respuestas “no sabe”) son la modalidad y la edad, ambas con coeficientes negativos que implica una menor falta de respuesta —mayor calidad en la respuesta— en la encuesta telefónica y en los menores de 65 años. Las respuestas “no sabe” son superiores en las encuestas presenciales, en los varones, en los entrevistados con estudios primarios y en las interacciones ‘estudios de ESO + 45-54 años’ y en ‘estudios primarios + 18-24 años’ (tabla 2). La actividad laboral no presenta ninguna relación con el término dependiente, razón por la que fue eliminada del modelo.

La estimación del número de respuestas “no sabe” en las preguntas de batería presenta relación significativa prácticamente con TODAS las variables independientes, así como con algunas interacciones. Comenzando la interpretación por la parte superior, de nuevo la encuesta telefónica reduce la presencia de los “no sabe”, que son más proporcionadas por los hombres que por las mujeres. El análisis de la edad muestra el mayor desconocimiento de los mayores de 65 años, al tiempo que el nivel de estudios presenta una relación inversa con el número de respuestas “no sabe: a medida que aumenta el nivel de estudios disminuye esta declaración, al igual que sucedía con las preguntas con opciones en disposición vertical. Respecto a la relación con la actividad, esta vez con coeficientes significativos, el número de respuestas “no sabe” es menor en los ocupados y estudiantes que en el grupo de referencia en los ocupados y estudiantes, aumentando notablemente en los parados y jubilados.

El análisis de las interacciones desvela grandes aumentos en el término dependiente por parte de las personas con estudios de bachillerato, incrementándose aún más entre el colectivo más joven. Una tendencia similar sucede en las personas con ‘estudios de ESO + edad 45-54 y 25-34 años’, así como ‘estudios primarios y <25 años’, al igual que sucedía en las preguntas con respuestas en disposición vertical.

Tabla 2. Modelo de regresión de la influencia de la modalidad de encuesta y variables sociodemográficas en el número de preguntas “no sabe”, según los tipos de preguntas [Descargar tamaño completo]

Resumiendo, el 6,7 % de las preguntas del cuestionario no han recibido respuesta, porcentaje que aumenta hasta el 7,7 % en la encuesta presencial y desciende al 3,9 % en la telefónica. La falta de respuesta en cuestionarios con preguntas de actitudes se produce fundamentalmente debido al desconocimiento (“no sabe”), no existiendo diferencias entre las respuestas logradas por preguntas con categorías verticales o escalas dentro de baterías. El análisis de la influencia de los rasgos sociodemográficos considerando el tipo de preguntas sí presenta algunas diferencias, desvelando que la falta de respuesta en preguntas verticales aumenta en los hombres, los estudios primarios y en las interacciones ‘estudios ESO + 45-54 años’ y en ‘estudios primarios y 18-24 años’. La no respuesta en preguntas de batería aumenta en estos colectivos, además de en los parados y jubilados. En ambas preguntas la modalidad utilizada para la recogida de datos está entre las categorías más influyentes, con una influencia mayor en las preguntas con categorías en disposición vertical.

Efectos de respuesta en preguntas con disposición vertical

Los efectos de respuesta de las preguntas con categorías en forma vertical se presentan en la tabla 3. La tabla muestra el promedio de respuestas con efectos y el porcentaje referido al total de preguntas con ese mismo número de categorías de respuesta. Prestando atención a la primera fila, por ejemplo, el número medio de respuestas en la primera categoría es 0,056, el cual, considerando que son generadas por dos preguntas (de 4 categorías), supone que un 2,8 % ([0,056/2]*100) de los entrevistados han elegido la primera categoría; presenta efecto primacía en la primera categoría. Teniendo en cuenta que, para medir este efecto, se han considerado las dos primeras categorías y, para el efecto recencia, las dos últimas, en este caso la suma de los porcentajes prácticamente alcanza el 100 % (ver nota número [7]).

Las 2 variables de las 4 categorías presentan un efecto centralidad, ya que el 79 % (41,6 % + 37,4 %) de las respuestas se encuentran en las categorías centrales, efecto que no cambia cuando se analiza por modalidades. El único cambio apreciable es el incremento de la elección de la última categoría en la encuesta telefónica (efecto recencia), en línea con la mayor parte de literatura sobre el tema (entre otros, Holbrook et al. 2007Holbrook, A.L., J.A. Krosnick, D. Moore y R. Tourangeau. 2007. "Response order effects in dichotomous categorical questions presented orally: the impact of question and respondent attributes". Public Opinion Quarterly 71:325-348. https://doi.org/10.1093/poq/nfm024.; Holbrook, Green y Krosnick, 2003Holbrook, A.L., M. C. Green y J. A. Krosnick. 2003. "Telephone versus face-to-face interviewing of national probability samples with long questionnaires". Public Opinion Quarterly 67:79-125. https://doi.org/10.1086/346010.; Krosnick et al. 2002Krosnick, J.A., A.L. Holbrook, M.K. Berent, R.T. Carson, W.M. Hanemann, R.J. Kopp, R. Cameron Mitchell, S. Presser, P.A. Ruud, V.K. Smith, W.R. Moody, M.C. Green y M. Conaway. 2002. "The Impact of “No Opinion” Response Options on Data Quality: Non-Attitude Reduction or an Invitation to Satisfice?". Public Opinion Quarterly 66:371-403. https://doi.org/10.1086/341394.). El análisis de regresión, realizado para eliminar el efecto de las variables sociodemográficas, desvela que la modalidad utilizada es el único término con influencia significativa.

En las variables con 5 categorías se aprecia, de nuevo, que las categorías centrales (no extremas) concentran la mayor parte de las respuestas, situación que apenas cambia cuando se considera la respuesta según modalidades. Las mayores elecciones en la encuesta telefónica en la primera y última categoría podrían estar indicando un efecto extremidad en la encuesta telefónica, en línea con lo detectado en otros contextos (entre otros, Ye, Fulton y Tourangeau, 2011Ye, C., J. Fulton y R. Tourangeau. 2011. "More positive or More Extreme? A Meta-Analysis of Mode Differences in Response Choice". Public Opinion Quarterly 75:349-365. https://doi.org/10.1093/poq/nfr009.; Jordan, Marcus y Reeder, 1980Jordan, L.A., A.C. Marcus y L.G. Reeder. 1980. "Response styles in telephone and household interviewing: a field experiment". Public Opinion Quarterly 44:102-111. https://doi.org/10.1086/268585.; Groves y Kahn, 1979Groves, R.M. y L. Kahn. 1979. Surveys by telephone: a national comparison with personal interviews. Orlando, FL.: Academic Press.). El empleo de la regresión proporciona los mismos resultados que las variables con 4 categorías.

En las variables con 6 y 9 categorías la mayor disponibilidad de respuestas genera una mayor dispersión de la información y un menor número de elecciones de las primeras y últimas categorías. Esta escasa información genera respuestas similares cuando se consideran los efectos por modalidades.

Tabla 3. Efectos de respuesta en preguntas con disposición vertical [6][7][8] [Descargar tamaño completo]

La ausencia de efectos de primacía y la baja frecuencia de efectos de recencia en preguntas con categorías verticales, ¿cambiará cuando se analicen preguntas de batería con mayor número de categorías y dispuestas en posición horizontal? A ello se dedicará el siguiente apartado.

Escalas en preguntas de batería

Se comenzará con las variables con 5 categorías. En la tabla 4 se aprecia que, cuando se aplican sin tarjeta en la encuesta presencial, 1 de cada 3 respuestas son extremas (22,8 % y 10,7%), porcentaje que se reduce a la mitad (1,6 % + 13,8 %) cuando la encuesta presencial utiliza tarjetas; lo que implica que el uso de tarjetas (en la encuesta presencial) reduce la elección de las primeras categorías, las que aparecen en la parte izquierda[9] de la tarjeta. Esta interpretación se aprecia con más nitidez cuando se diferencia por modalidades, en la medida en que los entrevistados con encuesta presencial que utilizan tarjetas reducen notablemente las elecciones de las primeras categorías (ausencia de primacía): del 25,8 % en las preguntas sin tarjeta al 1,6 % cuando se utiliza tarjeta. Además, la encuesta telefónica muestra la presencia de un efecto recencia cuando la encuesta presencial emplea tarjetas y una mayor elección de la primera categoría cuando no se emplean.

Procediendo con las preguntas con 6 categorías de respuesta (sin relación de orden), la tabla 4 muestra que la mayor parte de las respuestas (un 70,1 %) se ha realizado sobre categorías no extremas, y lo más destacable es que un 20 % de las respuestas se han concentrado en la última categoría. La segunda parte de la tabla muestra que la situación apenas cambia en función de la modalidad, mostrando la encuesta telefónica y presencial un efecto recencia.

La pregunta con 10 categorías presenta un gran reparto de las respuestas en todas las opciones, en la medida que el 72,6 % se sitúa en categorías no extremas (del 3 al 7). Del resto, cabe destacar únicamente el mayor número de respuestas en la última categoría, que se incrementa aún más en la encuesta telefónica, dando cuenta, de nuevo, de la presencia de un efecto recencia. Las preguntas con el mayor número de opciones de respuesta aplicadas sin tarjetas en la presencial apenas presentan respuestas extremas, por lo que no es muy relevante conocer la influencia de la modalidad en el 9 % de respuestas con efectos. Cuando estas preguntas se aplican con tarjetas en la encuesta presencial aparece un notable efecto primacía, al concentrar la opción de respuesta en el 19 % de los entrevistados, porcentaje que desciende al 17,9 % en la encuesta telefónica. Ahora bien, es en las categorías centrales donde realmente se producen diferencias significativas, generando la tarjeta una concentración de las respuestas en el centro de la escala, tal y como se señaló en las preguntas de 5 categorías.

En definitiva, presencia de efecto recencia en la encuesta telefónica, que aumenta aún más cuando se utilizan tarjetas en la encuesta presencial. Lógicamente, el número de respuestas extremas se reduce a medida que aumenta el número de categorías de respuesta.

Tabla 4. Efectos de respuesta en preguntas de batería (disposición horizontal)[10] [Descargar tamaño completo]

Medidas de calidad específicas para preguntas de batería

Los escasos efectos de respuesta localizados en el apartado anterior justifican el cálculo de unas medidas específicas para este tipo de preguntas, mucho más cuando —como se ha señalado— suponen el 72 % de las preguntas del cuestionario. En las 9 preguntas de batería (ver anexo 1) se han calculado 63 indicadores de calidad, índices que oscilan entre 0 y 1 pero, mientras que el máximo valor en la diferenciación es un síntoma de alta calidad, valores elevados en los otros implican baja calidad de respuesta.

En la tabla 5 se muestran las preguntas de batería agrupadas según el número de categorías de respuesta: 5 categorías (1-5) totalmente etiquetadas, 10 categorías en una escala de 1 a 10 con etiquetas en los extremos y 11 categorías con una escala de 0 a 10 con etiquetas en los extremos. Se llevará a cabo una interpretación general, más centrada en los indicadores de calidad que en cada grupo de preguntas por separado.

Comenzando con la diferenciación —que, recuérdese, mide la variabilidad de la respuesta del entrevistado a los diferentes ítems— los valores más elevados implican más diferenciación, menor repetición de la misma respuesta.

Esta situación presenta la escala con 11 categorías de respuesta, situándose la escala de 5 categorías totalmente etiquetada en la situación opuesta[11]. En las escalas de menos categorías hay diferencia significativa considerando la modalidad, presentando la encuesta telefónica una mayor diferenciación, en contra de lo detectado por otros estudios (Krosnick y Alwin, 1987Krosnick, J.A. y D.F. Alwin. 1987. "An Evaluation of a Cognitive Theory of Response Order Effects in Survey Measurement". Public Opinion Quarterly 51:201-219.).

Las baterías de 5 categorías (etiquetadas en todas) son las que presentan un mayor número de respuestas extremas, seguida por las escalas de 1 a 10, algo que ya quedó patente en la Tabla 4. Allí también se pudo apreciar que la encuesta telefónica proporciona respuestas más extremas, situación que algunos expertos (entre otros, Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.) explican porque los encuestados se expresan con más sinceridad, algo que no ha sido suficientemente contrastado (Ellis y Krosnick, 1999Ellis, Ch.H. y J.A. Krosnick. 1999. Comparing telephone and face to face surveys in terms of sample representativeness: a Meta-Analysis of Demographics Characteristics. Ann Arbor: Universidad de Michigan, NES.; De Leeuw y Van der Zouwen, 1988Leeuw, E.D. de y J. van der Zouwen. 1988. "Data quality in telephone and face to face surveys: a comparative meta-analysis". Pp. 283-298 en Telephone Survey Methodology. Nueva York: Wiley.).

La escala 1-10 consigue un mayor número de respuestas afirmativas (aquiescencia fuerte), aún más en la encuesta telefónica —en línea con los hallazgos localizados en otros contextos (Green, Krosnick y Holbrook, 2001Green, M.C., J.A. Krosnick y A.L. Holbrook. 2001. "The survey response process in telephone and face-to-face surveys". Disponible en: https://pdfs.semanticscholar.org/d4d8/42f48a2109e094fc6590f69e386940e2e32e.pdf [Consultado el 29 de enero de 2019].)—, mientras que la escala de 1 a 5 destaca por una gran elección de la penúltima categoría, consecuencia del efecto centralidad que ya fue detectado en la tabla 4.

La escala con menos categorías de respuesta es también la que presenta una mayor tasa de elecciones en los extremos y en el centro de la escala, respuestas fáciles, entre otras razones, por la sencillez de localizar el 3 como punto medio. La encuesta telefónica, de nuevo, presenta los mayores niveles de respuestas fáciles en TODAS las escalas; como se ha detectado en otros contextos (Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.).

Por último, la escala de 0 a 10 es la que presenta una mayor tasa de “no sabe”, seguida de la pregunta de 1 a 5, presentando la escala de 1 a 10 los menores niveles de falta de respuesta. En línea con lo señalado en el primer apartado de las conclusiones, la falta de respuesta desciende notablemente en la encuesta presencial.

Tabla 5. Indicadores de calidad empleados en las preguntas de batería (ordenados de menor a mayor número de categorías) [Descargar tamaño completo]

El análisis conjunto de las preguntas muestra, en primer lugar, los altos valores de las escalas con menos categorías de respuesta no sólo en los indicadores relacionados con lo señalado en el apartado anterior (respuestas extremas y centrales), sino también en otros como la aquiescencia y el número de preguntas sin respuesta. Es, por otro lado, el que presenta mayores diferencias según el modo de administración.

CONCLUSIÓN Y DISCUSIÓN Top

Este trabajo se sitúa en la línea de investigaciones internacionales centradas en conocer el efecto del modo de recogida de información en estudios sobre actitudes: analizando el cuestionario “como un todo” y no pregunta a pregunta (entre otros, Chang y Krosnick, 2010Chang, L. y J.A. Krosnick. 2010. "Comparing oral interviewing with self-administered computerized questionnaires: an experiment". Public Opinion Quarterly 74:154-167.; Holbrook et al. 2007Holbrook, A.L., J.A. Krosnick, D. Moore y R. Tourangeau. 2007. "Response order effects in dichotomous categorical questions presented orally: the impact of question and respondent attributes". Public Opinion Quarterly 71:325-348. https://doi.org/10.1093/poq/nfm024.; Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.; Sykes y Collins, 1988Sykes, W. y M. Collins. 1988. "Effects of Mode of Interview: Experiments in the UK". Pp. 301-345 en Telephone Survey Methodology. Nueva York: Wiley.). Se trata de una línea de investigación muy fructífera y con gran futuro, mucho más en unos momentos en los que numerosos investigadores recomiendan la utilización de varios modos (modos mixtos) para conocer de forma óptima el objeto de estudio (entre otros, De Leeuw, 2005Leeuw, E.D. de 2005. "To Mix or Not to Mix Data Collection Modes in Surveys". Journal of Official Statistics 21(2):233-255.; Dillman, Smyth y Christian, 2009Dillman, D.A., J.D. Smyth y L.M. Christian. 2009. Internet, Mail and Mixed-Mode Surveys: The Tailored Design Method (3.ª ed.). Nueva York: Wiley.).

El trabajo comienza definiendo los cinco efectos de respuesta más estudiados: orden de categorías de respuesta, falta de respuesta parcial al “no saber” que responder o “no contestar”, ausencia de diferenciación, extremidad y aquiescencia. Una vez definidos, seguidamente se considera la ausencia de no respuestas (presencia de “no sabe” y “no responde”) en todo el cuestionario.

Tan sólo un 6,7 % de las preguntas del cuestionario han recibido respuestas no sustantivas, principalmente “no sabe”, porcentaje que no varía cuando se tienen en cuenta los dos tipos de preguntas considerados en esta investigación: de respuesta única con categorías verticales y de escalas dentro de baterías.

Ahora bien, se trata de una magnitud que aumenta hasta el 7,7 % en la encuesta presencial, reduciéndose hasta el 3,9 % en la telefónica, cifras que se incrementan en los varones, los entrevistados mayores de 65 años y en aquellos con estudios primarios. Es importante destacar que la baja tasa de falta de respuesta parcial de la encuesta telefónica es un resultado opuesto a la investigación norteamericana sobre el tema; situación diferente a los experimentos realizados en Europa.

Un estudio en profundidad de las posibles explicaciones de esta situación apunta, por un lado, a los numerosos recursos dedicados a la formación del equipo encuestador y, por otro, a la monitorización constante, monitorización que ha podido corregir los errores rápidamente (Gwartney, 2007Gwartney, P.A. 2007. The Telephone Interviewer’s Handbook: How to conduct standardized conversations. San Francisco: Jossey-Bass.), impidiendo que se conviertan en hábitos. Otra explicación a considerar es que se trata de una situación de entrevista más cómoda para el entrevistador, que permite que éste motive más respuestas en la encuesta telefónica que en la presencial. Como tercera razón, la mayor facilidad para abandonar la entrevista sin terminar por parte de los encuestados a través del teléfono, lo que implica que las personas menos motivadas para responder a la encuesta (strong satisficers) la abandonen y, por tanto, los encuestados que permanecen proporcionen respuestas de mayor calidad. En este estudio en concreto la tasa de abandonos sin terminar fue muy elevada (143 entrevistados), lo que puede explicarse por el tema (política) y la longitud de la entrevista.

En el segundo apartado se analiza la presencia de efectos de respuesta en preguntas con categorías verticales, apreciando un ligero efecto recencia de la encuesta telefónica en preguntas con 4 y 5 categorías. Se trata de un efecto que aumenta en las preguntas de batería de 5, 6 y 10 categorías, que se incrementa aún más cuando la entrevista presencial utiliza tarjetas. El uso de tarjeta tiende a repartir las respuestas, a reducir las respuestas a los extremos.

En el último apartado —dentro de los resultados— se lleva a cabo un análisis específico de las preguntas de batería con respuestas ordinales considerando la diferenciación, extremidad, aquiescencia, elección de respuestas fáciles y falta de respuesta. Las preguntas de 5 categorías son las que muestran una mayor diferencia entre modalidades, en 5 de los 7 indicadores calculados. La encuesta telefónica obtiene valores superiores en todos los indicadores, lo que implica una mayor diferenciación y una menor falta de respuesta parcial, aspectos que indican una elevada calidad de respuesta; pero también una mayor extremidad, aquiescencia y baja elección de respuestas fáciles, todo lo cual está indicando escasa calidad de respuesta.

Como conclusión cabe destacar la similitud en los resultados de ambos modos, aún cuando el modo presencial utiliza tarjetas que suponen una notable ayuda para los entrevistados. Numerosos expertos (entre otros, Nicolaas, Thomson y Lynn, 2000Nicolaas, G., K. Thomson y P. Lynn. 2000. The feasibility of conducing Electoral Surveys in the UK by telephone. Londres: NatCen.; Sykes y Collins, 1988Sykes, W. y M. Collins. 1988. "Effects of Mode of Interview: Experiments in the UK". Pp. 301-345 en Telephone Survey Methodology. Nueva York: Wiley.) recomiendan “paliar” la imposibilidad de utilizar tarjetas en la encuesta telefónica preguntando en “dos pasos”: primero por el acuerdo/desacuerdo y después por la intensidad del mismo (“muy” o “bastante”). Respecto a los efectos recencia, muy presentes en la encuesta telefónica, pueden eliminarse con sencillez aleatorizando las respuestas, repartiendo este efecto entre todas las categorías. Ahora bien, estas buenas noticias de la equivalencia del modo telefónico están amenazadas por dos factores. El primero, la utilización masiva del marketing telefónico y, como segundo factor, el elevado crecimiento del número de personas que han sustituido el teléfono fijo por el móvil: el Instituto Nacional de Estadística señala que el 22 % de las viviendas españolas únicamente disponen de teléfono móvil; llegando al 42 % en determinadas comunidades autónomas (Peleteiro, 2012Peleteiro, I. 2012. "La incorporación de las líneas móviles al marco muestral de las encuestas telefónicas". Investiga 38:12.). Se trata, además, de un aspecto casi exponencial por el elevado número de teléfonos fijos “no funcionales”, esto es, que no son respondidos y siguen operativos únicamente para acceder a Internet o han sido contratados por los servicios paquetizados de las compañías (móvil+fijo+ADSL). A esto hay que añadir los requisitos para encuestas a través del móvil, realizadas en situaciones no muy cómodas (conduciendo, en una reunión, etc.) que impiden en numerosas ocasiones la realización de la entrevista y, en cualquier caso, precisan de encuestas más breves.

Cabe terminar señalando las limitaciones de esta investigación, realizada en una única comunidad autónoma y sobre una temática concreta, principalmente actitudes políticas y evaluación de la actuación del gobierno autónomo ante diversos problemas sociales. Ahora bien, la frecuencia de estos temas en investigaciones por encuestas —son temas presentes en cuatro de los once barómetros anuales del CIS— y el hecho de que esta comunidad suponga casi el 20 % de la población española, lleva a considerar que pudieran ser resultados perfectamente extrapolables a otras temáticas y áreas geográficas. En cualquier caso, se trata de una tarea que supera notablemente los objetivos de este modesto trabajo, animando a otros investigadores a constatarlo.

Consideramos que es poco probable que otras variables afecten a los resultados. Ahora bien, debe tenerse en cuenta que se trata de un estudio correlacional, no experimental, por lo que el control de las distintas variables que pueden explicar las diferencias entre ambos grupos está limitado a aquellas variables contempladas en el estudio. Los efectos debidos al perfil de los entrevistados han sido controlados a posteriori con técnicas de análisis que aíslan el efecto del modo del resto de variables (véase, los modelos de regresión utilizados).

AGRADECIMIENTOSTop

Este texto es parte de una investigación financiada por el Ministerio de Economía y Competitividad, ref. MTM2015-63609-R. El autor desea agradecer la mejora del trabajo original propuesto por el Consejo Editorial y por dos evaluadores anónimos. Agradezco también a Sara Pasadas del Amo, del IESA-CSIC.

NOTAS Top

REFERENCIAS BIBLIOGRÁFICASTop

ANEXOS DEL ARTÍCULO. CALIDAD DE RESPUESTA Y MODO DE ADMINISTRACIÓN DEL CUESTIONARIO (P13-01310 Anexos)Top

Anexo 1. Temática de las preguntas del Barómetro de Opinión Pública de Andalucía 2010 realizado por el Instituto de Estudios Avanzados [Descargar tamaño completo]

Anexo 2. Comparativa de marcos muestrales [Descargar tamaño completo]

Anexo 3. Cálculo de los coeficientes de la tabla 3 [Descargar tamaño completo]

SOBRE EL AUTORTop

VIDAL DÍAZ DE RADA es licenciado y doctor en Sociología y licenciado en Investigación y Técnicas de Mercado. Profesor en el Departamento de Sociología de la Universidad Pública de Navarra, con más de un centenar de trabajos publicados, la mayor parte sobre metodología y sociología del consumo. Entre sus últimas publicaciones destacan: “La calidad de la respuesta en la encuesta presencial” (RIS, 2015) y “Comparación de métodos de campo en la encuesta (REIS, 2017).