ARTÍCULO

LA CALIDAD DE LA RESPUESTA EN LA ENCUESTA PRESENCIAL. El caso de los barómetros del Centro de Investigaciones Sociológicas

THE QUALITY OF RESPONSE IN FACE-TO-FACE SURVEYS. The case of the Centro de Investigaciones Sociológicas barometers

Vidal Díaz de Rada

Universidad Pública de Navarra, España

vidal@unavarra.es

RESUMEN
La entrevista cara a cara con cuestionario estructurado ha sido la modalidad de recogida de información más utilizada en España hasta finales del siglo XX. La realización de la entrevista a solas con el entrevistado, al ritmo fijado por este y empleando adecuadamente recursos visuales (tarjetas) que ayudan a la comprensión de la pregunta, genera que los cuestionarios respondidos mediante esta modalidad presenten un escaso número de preguntas no respondidas.
El objetivo de este trabajo es cuestionar esta afirmación considerando, por un lado, las declaraciones del entrevistador (que definen la situación en la que ha tenido lugar la entrevista) y, por otro, la ausencia de valores en las variables (consecuencia de lo anterior). Los entrevistadores señalan que en el 14 % de los hogares las entrevistas se realizaron en compañía, un 10 % de los entrevistados ha tenido prisa por terminar la entrevista y el 21 % respondió el cuestionario sin ayudas visuales. En cuanto a la no respuesta parcial, el porcentaje medioobtenido por las categorías «no sabe» y «no responde» es superior al 6 % en cuatro de los seis estudios considerados. Estas «ausencias de respuesta» aumentan notablemente cuando los entrevistados no emplean las tarjetas y en las entrevistas realizadas con prisa.
Palabras Clave: Encuestas presenciales; Entrevistadores; No respuesta parcial.

ABSTRACT
Face-to-face interviews using structured questionnaires constituted the most common survey data collection method in Spain up until the year 2000. Interviews conducted in private at the respondent’s own pace, using visual aids (cards) to facilitate understanding of the questions produce a very low non-response rate.
This paper attempts to challenge the above claim based on the evaluation of two factors: the circumstances in which interviews took place (as reported by the interviewers), and missing variable values (due to said circumstances). Interviewers reported that 14 % of in-the-home interviews took place in the presence of others as well as the respondent, 10 % of respondents rushed to complete the interview, and 21 % answered the questionnaire without using the visual aids. As far as partial non-response rates are concerned, four of the six surveys considered produced an average rate of more than 6 % in the «don´t know» «no answer» response categories. The rate of missing responses increases notably when respondents ignore the visual aids and/or rush to complete the interview.
Keywords: Face-to face interview; Interviewer; Item Non Response.

CONTENIDOS

Introducción [1]Top

La encuesta realizada frente al entrevistado (cara a cara, personal o presencial) ha dominado las modalidades[2] de recogida de información desde las primeras aplicaciones de la técnica hasta los años ochenta del siglo XX, llegando hasta finales de siglo en la sociedad española. Desde entonces nuevas innovaciones y condiciones sociales (Tourangeau et al. 2013Tourangeau, Rogert, Frederic G. Conrad y Mick P. Couper. 2013. The Science of Web Surveys. Oxford: Oxford University Press.) están generando un notable descenso de su utilización a favor de otras modalidades más rápidas y económicas como las encuestas telefónicas, hasta finales del siglo pasado, y las encuestas autoadministradas a través de la web en el último quinquenio (Couper 2011Couper, Mick P. 2011. “The future of modes of data collection”. Public Opinion Quarterly 75:889-908.).

Un somero análisis del sector privado de estudios de opinión y mercado en los países del entorno más próximo desvela que a finales del siglo pasado la primacía de la encuesta presencial estaba siendo «amenazada» por la gran utilización de la telefónica (Lavrakas 2008Lavrakas, Paul J. 2008. “Surveys by telephone”. Pp. 249-261 en The SAGE Handbook of Public Opinion Research, editado por W. Donsbach y M. W. Traugott. Thousand-Oaks, LA: Sage.), aunque el gran desarrollo de las encuestas a través de la web en el primer decenio del siglo XXI permite conjeturar que dentro de unos años esta será la modalidad de encuesta más utilizada (Benthlehem y Biffignandi 2012Benthlehem, Jelke y Silvia Biffignandi. 2012. Handbook of web surveys. Nueva York: Wiley.; Asociación Española de Estudios de Mercado, Marketing y Opinión, Aedemo 2014Asociación Española de Estudios de Mercado, Marketing y Opinión (Aedemo). 2014. El sector de la investigación en España 2013 [http://www.aedemo.es/aedemo/images/stories/estudio_industria/2014_AVANCE_ESTUDIO_DEL_SECTOR_DE_LA_INVESTIGACION_2013.pdf]. Acceso 9 de octubre 2014.). La situación en España no es muy diferente, tal y como se aprecia al analizar el estudio de la industria de los estudios de mercado en España en sus diferentes ediciones (Aedemo, varios añosAsociación Española de Estudios de Mercado, Marketing y Opinión (Aedemo). Varios años. El sector de la investigación de mercados en España. Consulta el 15 de mayo de 2014 (http://www.aedemo.es/aedemo/index.php?option=com_content&task=blogcategory&id=37&Itemid=207).). El número de encuestas presenciales realizadas en España por los institutos de investigación ha superado ampliamente a las telefónicas hasta el año 2000 (Díaz de Rada 2015Díaz de Rada, V. 2015. Manual de trabajo en la encuesta. Madrid: CIS. ), momento en el que las diferencias se reducen sustancialmente hasta casi igualarse. A partir de ese momento, la emergencia de modalidades más rápidas y económicas en el segundo decenio del siglo XXI ha supuesto un gran descenso de los modos tradicionales. Esto genera que, en el año 2013, más de la mitad de la recogida de información se lleva a cabo sin encuestador, con medios electrónicos-automáticos, en línea y con medición de tráfico online o medición de audiencia de webs (Aedemo 2014Asociación Española de Estudios de Mercado, Marketing y Opinión (Aedemo). 2014. El sector de la investigación en España 2013 [http://www.aedemo.es/aedemo/images/stories/estudio_industria/2014_AVANCE_ESTUDIO_DEL_SECTOR_DE_LA_INVESTIGACION_2013.pdf]. Acceso 9 de octubre 2014.).

Pese a esta situación, la mayor parte de los expertos (entre otros, De Leeuw 2008(De) Leeuw, Edith 2008. “Choosing the method of data collection”. Pp. 113-135 en International Handbook of Survey Methodology, editado por E. de Leeuw, J. J. Hox y D. A. Dillman. Nueva York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.; Streb 2008Streb, Matthew J. et al. 2008. “Social Desirability Effects and Support for a Female American President”. Public Opinion Quarterly 72:76-89.; Shaeffer et al. 2010Schaeffer, Nora Cate, Jeniffer Dykema y Douglas W. Maynard. 2010. Pp. 473-470 en Handbook of Survey Research, editado por P. V. Marsden y J. D. Wright. Bingley, UK: Emerald Group Publishing Limited.; Stoop et al. 2010Stoop, Inkele, Jaak Billiet, Achim Koch y Rory Fitzgerald. 2010. Improving survey response: lessons learned from the European Social Survey. Nueva York: Wiley.) consideran que la encuesta presencial consigue una mayor calidad de la información recogida. Esto se produce, fundamentalmente, por las «funciones añadidas» del entrevistador relacionadas con la selección de los entrevistados (labores de «captación, convencimiento y legitimación» de la demanda), empleo de comunicación verbal y no verbal durante la entrevista, y un ritmo de conversación «pactado» entre los interlocutores, frente al ritmo «impuesto» de la entrevista telefónica (De Leeuw 2008(De) Leeuw, Edith 2008. “Choosing the method of data collection”. Pp. 113-135 en International Handbook of Survey Methodology, editado por E. de Leeuw, J. J. Hox y D. A. Dillman. Nueva York: Lawrence Erlbaum Associates y Asociación Europea de Metodología.). Otros expertos aluden a la cobertura poblacional, así como a la complejidad y cantidad de la información recogida: (la encuesta presencial) es la modalidad más adecuada cuando «es necesario obtener una tasa de respuesta alta, una alta cobertura poblacional, así como cuando la medición es compleja o se cuenta con un cuestionario extenso» (Dykema et al. 2008). Por otro ello, los cuestionarios respondidos mediante esta modalidad presentan un escaso número de preguntas no respondidas, sin duda porque la mayor parte de las entrevistas se realizan a un ritmo adecuado para el entrevistado (sin prisa), a solas con el entrevistador (sin presencia de terceras personas), y empleando adecuadamente recursos visuales que ayudan a la comprensión de la pregunta.

El objetivo de este trabajo es «cuestionar» esta afirmación en un momento en que la participación en encuestas presenciales ha descendido drásticamente. Este descenso, por un lado, ha aumentado notablemente los recursos necesarios para conseguir que alguien acceda a ser entrevistado y, por otro lado, plantea serias dudas –presentamos como hipótesis– sobre la «calidad» de la información recogida. El término «calidad» será definido considerando la teoría del error total propuesta inicialmente por Kish (1965Kish, Leslie. 1965. Survey Sampling. Nueva York: Wiley.), continuada por Groves (1989Groves, Robert M. 1989. Survey error and survey cost. Nueva York: Wiley.) y, más recientemente, por Groves y Lyberg (2010Groves, Robert M. & Lars Lyberg. 2010. “Total Survey Error: past, present and future”. Public Opinion Quarterly 74:849-879.), centrando la atención en el resultado de la entrevista, en las respuestas anotadas en el cuestionario[3]. Para ello se analizara la «calidad» en la respuesta de las investigaciones realizadas por el Centro de Investigaciones Sociológicas (en adelante, CIS) mediante entrevistas presenciales, considerando concretamente los barómetros realizados durante el primer semestre del año 2011.

Objetivos generales y específicos Top

Para conocer la calidad de la entrevista presencial se considerarán, por un lado, las declaraciones del entrevistador (que definen la situación en la que ha tenido lugar la entrevista) y, por otro, la ausencia de valores en las variables (consecuencia de lo anterior). La penúltima página de los cuestionarios del CIS recoge información del proceso de entrevista, de varios aspectos relacionados con la situación social en la que se cumplimentó el cuestionario. El entrevistador anota si la entrevista ha sido realizada en presencia de terceras personas, si el encuestado ha expresado deseo de abandonar antes de finalizar la entrevista, si se ha sentido incómodo o molesto por el tema de la encuesta, y si ha tenido prisa en responder. Estos aspectos, recogidos dentro de una pregunta denominada ‘valoración de la entrevista’ (ver Cuadro 1), son complementados con la enumeración de las preguntas que han incomodado al entrevistado o han sido difíciles de responder, la intervención activa de terceras personas en la respuesta al cuestionario, y la utilización de tarjetas de respuesta. Posteriormente se solicita al entrevistador que exprese su valoración sobre el desarrollo de la entrevista (‘muy buena’, ‘buena’, ‘regular’, ‘mala’ y ‘muy mala’) y su parecer sobre la sinceridad del encuestado (‘mucha’, ‘bastante’, ‘poca’, ‘ninguna’), aspectos que no serán tratados en esta investigación debido a la escasa variabilidad (Núñez Villuendas 2005Núñez Villuendas, Adoración. 2005. “Incidencias de la entrevista personal en la investigación por encuesta”. Revista Española de Investigaciones Sociológicas 109:219-236.).[4]

Cuadro 1 Desarrollo de la entrevista según la valoración del entrevistador. [Descargar tamaño completo] [View full size]

Se plantea como hipótesis que el número de «no respuestas» en cada una de las preguntas del cuestionario es elevado, llegando incluso a cuadruplicar lo que recomiendan los manuales al uso, que consideran aceptable una tasa de no respuesta parcial rondando el 2 % (Revilla et al. 2014Revilla, Melanie A., Willem E. Saris y Jon A. Krosnick. 2014. “Choosing the Number of Categories in Agree-Disagree Scales”. Sociological Methods & Research 43:73-97.). Esta situación está originada fundamentalmente porque la mayor parte de las entrevistas se han realizado con ‘prisa’ y en compañía de ‘terceras personas’ (Preg. 42 en Cuadro 1). Esta situación de prisa explica la «no utilización» de recursos visuales (tarjetas) –que ayudan a la comprensión de la pregunta– y, en consecuencia, contribuye a que el entrevistado declare la existencia de un elevado de preguntas incómodas y difíciles de responder. En las ocasiones en que estas situaciones cambian (entrevistas a solas, realizadas sin prisa y empleando tarjetas) disminuye notablemente el número de preguntas sin responder; llegando a lo que se considera una medida «adecuada»; normalmente inferior al 2 % (Revilla et al. 2014).

El estudio de la no respuesta parcial (preguntas sin responder) es un ámbito de estudio con gran tradición en encuestas sobre actitudes, preguntas predominantes en los barómetros del CIS. Desde que Converse (1964Converse, Philip E. 1964. “The nature of belief systems in mass publics”. Pp. 154-178 en Ideology and Discontent, editado por David E. Apter. Nueva York: Free Press. ) propusiera que las respuestas de algunos entrevistados no reflejan realmente sus actitudes, numerosos científicos han abordado el estudio de este fenómeno. Preguntar sobre aspectos sobre los que nunca se ha reflexionado debería generar respuestas ‘no sabe’ o ‘no tiene opinión’, pero la escasa presencia de respuestas de este tipo en varias investigaciones realizadas por Converse le llevó a plantear que un gran número de entrevistados evitan decir la verdad en estas preguntas –mucho más cuando están acompañados– y seleccionan aleatoriamente una de las categorías de respuesta. Esta autora lo explica aludiendo a que nadie desea ser catalogado como ignorante y, por ello, resulta más sencillo seleccionar (aleatoriamente) alguna de las opciones ofrecidas por el entrevistador.

Otra línea de argumentación de esta forma de proceder propone Krosnick (1991Krosnick, Jon A. 1991. “Response strategies for coping with the cognitive demands of attitude measures in surveys”. Applied Cognitive Psychology 5:213-236. y 1999Krosnick, Jon A. 1999. “Survey research”. Annual Review of Psychology 50:537-567.) en la denominada teoría de la complacencia –survey satisfacing– que plantea que la respuesta de un cuestionario precisa de una serie de condiciones para que el entrevistado pueda comprender adecuadamente la información de la pregunta, busque la información en su memoria, elabore una opinión, y exprese la respuesta (Tourangeau y Bradburn 2010Tourangeau, Roger y Norman M. Bradburn. 2010. “The Psychology of survey response”. Pp. 315-346 en Handbook of Survey Research, editado por P. V. Marsden y J. D. Wright. Bingley, UK: Emerald Group Publishing Limited.). Este esfuerzo es aún mayor en preguntas de actitudes, preguntas predominantes en los barómetros del CIS. Cuando el cuestionario no se administra adecuadamente el entrevistado tiene dificultad para realizar este proceso cognitivo y se producen descensos en la calidad de la respuesta, descensos que se manifiestan en un incremento de respuestas sin pensar –elección aleatoria de categorías de respuesta, Krosnick (1991Krosnick, Jon A. 1991. “Response strategies for coping with the cognitive demands of attitude measures in surveys”. Applied Cognitive Psychology 5:213-236. y 1999Krosnick, Jon A. 1999. “Survey research”. Annual Review of Psychology 50:537-567.)– o aumentos de preguntas sin responder. El presente estudio se centrará en estas últimas.

En el análisis de la no respuesta se diferenciará entre no saber la respuesta (‘no sabe’) y la manifestación clara de no responder (‘no responde’). Asimismo, se considerará si la ausencia de respuesta se produce en variables con información sociodemográfica o de «contenido» (actitud/opinión/valoración) propias de cada estudio. La hipótesis de partida es que el número de no respuestas en variables «sociodemográficas» es muy reducido, predominando las respuestas ‘no sabe’ (en el Anexo 2 se muestra la información sociodemográfica solicitada de cada entrevistado). La ausencia de respuesta es muy diferente en las variables de «contenido», donde ambas categorías (‘no sabe’/‘no responde’) presentan una magnitud considerable.

Es un tema con una gran importancia en la investigación mediante encuesta no solo por la pérdida (o no recogida) de una información en ocasiones muy valiosa y fundamental (Tabachnick y Fidell 1989Tabachnick, Barbara G. y S. Fidell Linda. 1989. Using Multivariate Statistics. Nueva York: Harper & Publishers.), sino también por las implicaciones que genera en el análisis de datos; especialmente cuando se trabaja con técnicas multivariantes. Bourque y Clark (1992Bourque, Linda B. y Virginia A. Clark. 1992. “Processing Data: The Survey Example”. Paper Series on Quantitative Applications in the Social Sciences 07-085. Sage University, Newbury Park, CA. ) explican que una regresión múltiple con 25 variables, en la que cada una tuviera un 2 % de casos sin respuesta podría generar una reducción del 40 % en el tamaño muestral total. En esta misma línea, Roth (1994Roth, Philip L. 1994. “Missing Data: A Conceptual Review for Applied Psychologists”. Personel Psychology 47:537-560.) señala que al eliminar aleatoriamente el 10 % de los casos de cada variable en una matriz de 5 variables implicaría perder el 59 % de los casos.

Fuente de datos Top

Como se ha señalado, el objetivo es conocer la «calidad» en la respuesta en los barómetros realizados por el Centro de Investigaciones Sociológicas durante el primer semestre del año 2011. Los «barómetros» son encuestas con periodicidad mensual que utilizan un cuestionario que combina una serie de indicadores fijos (ver Anexo 3, apartado A) con temas de actualidad. El tema de actualidad tratado en el barómetro de «enero» versó sobre temas políticos (88 variables); en «febrero» sobre opiniones y valoración de la administración de justicia (72 variables); en «marzo>» sobre trabajo voluntario y opinión de la reforma del sistema de pensiones (102 variables); en «abril» sobre temas políticos, junto con varias cuestiones de temática variada (102 variables); en «mayo>» sobre riesgos y catástrofes (94 variables); y en «junio» sobre el interés hacia la política en relación con la actualidad, satisfacción con la democracia, imparcialidad/parcialidad de los políticos y empleados públicos, y la corrupción (84 variables). En el Anexo 3, apartado b, se presentan los temas incluidos en los barómetros realizados en el primer semestre del año 2011.

El universo objeto de estudio es la población española de 18 y más años (excepto los residentes en Ceuta y Melilla) que es entrevistada en su domicilio en presencia del encuestador (entrevista personal o cara a cara). Las 2500 personas entrevistadas cada mes son elegidas utilizando un diseño muestral en varias etapas en el que las unidades primarias (municipios) y las unidades secundarias (secciones censales) son elegidas de forma aleatoria proporcional, y las unidades últimas (individuos dentro de las viviendas) por rutas aleatorias y cuotas de sexo y edad. Los entrevistadores formulan literalmente las preguntas y anotan las respuestas, no ofreciendo las opciones ‘no sabe’ o ‘no responde’ pero anotándolas cuando son elegidas (Centro de Investigaciones Sociológicas 2011aCentro de Investigaciones Sociológicas. 2011a. Normas generales para la correcta aplicación del cuestionario. Madrid: CIS. (Sin publicar).). A diferencia de lo que sucede en otros contextos, donde los entrevistadores reciben formación para evitar la no respuesta[5], en este caso las normas para la aplicación del cuestionario no explican cómo debe procederse para reducir las respuestas «no sabe» o las «negativas a responder», señalando tan solo que «todas las respuestas tienen que tener alguna contestación o, en su caso, el N. C., pero nunca pueden venir sin codificar» (ibíd.).

El trabajo de campo se realiza durante 7-10 días en la primera semana del mes[6] recogiendo información en 238 municipios[7] pertenecientes a 49 provincias[8]. Durante el primer semestre del año 2011 se hicieron un total de 14.827 entrevistas[9], que constituyen la base de datos de esta investigación[10]. Para un nivel de confianza del 95,5 % (dos sigmas), y P = Q, el error real en cada barómetro es de ±2,0 % para el conjunto de la muestra y en el supuesto de muestreo aleatorio simple. Considerando a la muestra agregada el error muestral se reduce al ±0,60% con los mismos parámetros de nivel de confianza, P y Q, y en el mismo supuesto de muestreo aleatorio simple (CIS 2011bCentro de Investigaciones Sociológicas. 2011b. Barómetros del primer semestre del año 2011. Madrid: Centro de Investigaciones Sociológicas 2477; 2481; 2483; 2508; 2511 y 2528.).

Valoración general de la entrevista, según la percepción del encuestador Top

El análisis conjunto de los 14.827 cuestionarios respondidos en el año 2011 desvela que en el 14 % de los hogares las entrevistas se realizaron en presencia de terceras personas, y casi un 10 % de los entrevistados –siempre considerando el juicio de los entrevistadores– ha tenido prisa por terminar la entrevista (Tabla 1). Son las situaciones que presentan los porcentajes más altos, seguidos del 4 % de cuestionarios que fueron respondidos con intervención de terceras personas.

El número de personas que expresan deseo de abandonar la entrevista antes de finalizarla es muy bajo (1,3 %), aspecto que se justifica, por un lado, por la brevedad de los barómetros (en torno a los 20 minutos[11]) y, por otro, porque es una característica intrínseca de la encuesta presencial (Groves 1989Groves, Robert M. 1989. Survey error and survey cost. Nueva York: Wiley.). En la encuesta presencial es muy difícil que el entrevistado abandone la entrevista una vez iniciada la respuesta del cuestionario, justo lo contrario que sucede en otras modalidades de encuesta en las que el entrevistador está más lejos –como sucede con la telefónica– e incluso aquellas en las que no hay entrevistador (autorrellenadas a través del correo o web).

El mismo porcentaje de entrevistados (un 1,3 %) expresaron que se sintieron incómodos o molestos con el tema de la encuesta, y eso que los barómetros utilizados analizaban temas «no sencillos» como la opinión y valoración sobre la administración de justicia (febrero), trabajo voluntario y opinión sobre reforma del sistema de pensiones (marzo), riesgos y catástrofes (mayo), y aspectos diversos relacionados con la política en el resto de barómetros. En el barómetro de «enero», concretamente, se analizaron los> rasgos definitorios de la izquierda y la derecha, ideología política, valoración de líderes, comparativa de líderes políticos, imagen de los principales partidos políticos y evaluación de su gestión, valoración de ministros, confianza en los líderes de los dos principales partidos políticos nacionales, probabilidad de votar a un determinado partido, intención de voto, partido político con mayor simpatía, partido político que cree que ganará las elecciones y partido que le gustaría que ganara. El barómetro de «abril» considera la importancia de la política en la vida, imagen de los principales partidos políticos y evaluación de su gestión, valoración de líderes, confianza en los líderes del PSOE y del PP, intención de voto, partido político con mayor simpatía, partido político que (cree) ganará y partido que le gustaría que ganara en unas elecciones. En abril se incluyen también temas «no políticos» como la frecuencia de lectura del periódico, varios comportamientos de compra, y opiniones sobre libertad de horarios comerciales. En «junio», por su parte, se considera el interés hacia la política, satisfacción con la democracia, imparcialidad/parcialidad de los políticos y los empleados públicos, y un conjunto de preguntas sobre la corrupción[12].

Tras el análisis de la declaración del encuestador sobre la situación de entrevista llega el momento de considerar el número de variables no respondidas, cuya información se muestra en la Tabla 2. Considerando la primera línea, en la primera columna aparece el mínimo número de variables con la respuesta ‘no sabe’, cero, porque hay entrevistados (alrededor de un 60 % de la muestra) que proporcionan respuestas a todo el cuestionario. En la segunda columna el máximo número de variables con respuesta ‘no sabe’: un entrevistado del estudio de enero (concretamente el etiquetado con el número 1762) ha proporcionado esta respuesta en 66 variables.

La siguiente columna es el número medio de variables no respondidas. Para su cálculo se divide el número de personas que han declarado ‘No sabe’ en la «primera» variable entre el número de casos; más el número de personas que han señalado ‘No sabe’ en la «segunda» variable entre el número de casos; más el número de personas que han expresado lo mismo en la «tercera» variable, etc. Cuando esta magnitud se divide entre el número de variables –88 en el estudio de Enero, 72 en febrero,…– proporciona el «porcentaje medio de no respuesta parcial» obtenido por esta categoría. Obsérvese que esta magnitud alcanza el 9,42 % en Enero, que unido al 1,79 % que no proporciona ninguna respuesta, supone que una tasa de no respuesta parcial media del 11,21 %; muy superior a los valores recomendados por la literatura. El análisis de los seis estudios considerados desvela que, a excepción de marzo, todos proporcionan tasas de no respuesta parcial superiores al 7 %. Estos valores, se propuso como hipótesis, aumentarán notablemente en las entrevistas realizadas en compañía de una tercera persona, en situación de prisa, etc.

El porcentaje de no respuesta en las variables sociodemográficas es muy inferior, con valores medios entre 0,07 y 0,11 que, al ser divididos entre el número de variables sociodemográficas, proporciona unas tasas promedio de no respuesta parcial inferior al 1 %.

Entrevistas «con acompañantes» Top

Esta es la primera información que se solicita del entrevistador una vez que ha concluido la entrevista, algo de gran importancia en la medida en que la presencia de «acompañantes» (intervengan o no en la entrevista) puede condicionar la sinceridad de los entrevistados. Esto explica que la práctica totalidad de los institutos de investigación impartan formación a los entrevistadores para que apliquen el cuestionario a solas, mucho más cuando este incluye preguntas sobre comportamientos y/o actitudes «sensibles» (Blair 1979; Smith 1997Smith, Tom. 1997. “The impact of the presence of others on a respondent’s answers to question”. International Journal of Public Opinion Research 9:33-47.). De hecho, la entrevista presencial es la única que «garantiza» que la recogida de información se ha realizado a solas, aunque es algo no exento de dificultad puesto que resulta habitual que «terceras personas» (especialmente cónyuges o hijos) estén presente durante la entrevista (Smith 1998Smith, Tom et al. 1998. “Identifying underlying dimensions in spouses evaluation of fairness in the division of household labor”. International Social Science Research 27:305-327.; Zipp y Plutzer 1996Zipp, John F. y Eric Plutzer. 1996. “Wives and husbands: social class, gender and class identification in the US”. Sociology 30:235-52.). En numerosas ocasiones, y con fin de minimizar el riesgo de un rechazo a cooperar, los entrevistadores –incluso los más experimentados– permiten la presencia de otras personas (Casterine y Chidambaram 1984, Corti y Clissold 1992).

Llama la atención la escasa investigación realizada sobre el tema (Zipp y Toth 2002Zipp, J. F. y J. Toth. 2002. “She said, he said, they said: The impact of spousal presence in survey research”. Public Opinion Quarterly 66:177-208.), y eso que numerosos trabajos han demostrado que realizar la entrevista en compañía genera cambios de respuesta (entre otros, Boeije 2004Boeije, H. R. 2004. “And then there were three: self-presentational styles and the presence of the partner as a third person in the interview”. Field Methods 16:3-22.; Low 2012Low, Jacqueline. 2012. “Conflict or concert? Extending the simmelian triad to account for positive third party presence in face-to-face interviews with people living with Parkinson’s disease”. Societies 2:210-221. ; Taylor y Vocht 2011Taylor, Bridget y Hilde de Vocht. 2011. “Interviewing separately or as couples? Considerations of authenticity of method”. Qualitative Health Research 21:1576-1587. ; Zipp y Toth 2002Zipp, J. F. y J. Toth. 2002. “She said, he said, they said: The impact of spousal presence in survey research”. Public Opinion Quarterly 66:177-208.), fundamentalmente cuando las mujeres son entrevistadas en presencia de sus cónyuges (ibíd.).

En entrevistados casados Smith (1997Smith, Tom. 1997. “The impact of the presence of others on a respondent’s answers to question”. International Journal of Public Opinion Research 9:33-47., 1998Smith, Tom et al. 1998. “Identifying underlying dimensions in spouses evaluation of fairness in the division of household labor”. International Social Science Research 27:305-327.) detecta que una de cada tres entrevistas se lleva a cabo en presencia del cónyuge, cifra que aumenta hasta el 40-50% en una investigación realizada a principios de siglo en el Reino Unido (Zipp y Toth 2002Zipp, J. F. y J. Toth. 2002. “She said, he said, they said: The impact of spousal presence in survey research”. Public Opinion Quarterly 66:177-208.). El 45% de las mujeres (esposas) son entrevistadas solas, porcentaje que disminuye al 39% cuando el entrevistado es un hombre. Esta investigación desvela también que la compañía es diferente según el sexo del entrevistado. Cuando es entrevistada la mujer el 41% de las veces está acompañada por el cónyuge, el 8% en presencia de otro adulto, y el 6% con niños. En los varones el 51% de las entrevistas se realiza en presencia del cónyuge, el 5% en presencia de otro adulto, y el 3% con niños. En el American National Election Studies 2012 Series Temporales (ANES, 2012) el 49% de las entrevistas se realizan en compañía (según información proporcionada por Matthew De Bell), cifra que se reduce al 18% en la sexta ola de la Encuesta Social Europea en España[14]. Esta fuente desvela que el 43% de las entrevistas el entrevistado está acompañado de su pareja, en el 25% de sus hijos, 16,6% parientes políticos y en el 9% de los casos por otros parientes.

En el presente caso, en las normas de los entrevistadores del CIS se indica explícitamente al entrevistador que debe «realizar la entrevista sin presencia de terceras personas[15]» (2011aCentro de Investigaciones Sociológicas. 2011a. Normas generales para la correcta aplicación del cuestionario. Madrid: CIS. (Sin publicar).), pero un 13 % de las entrevistas no han cumplido esta recomendación. Ahora bien, más problemático es que, en los barómetros considerados, algunos acompañantes han sido algo más que «meros espectadores». Uno de cada cuatro ha participado activamente en el proceso de respuesta del cuestionario, lo que plantea serias dudas sobre la sinceridad de los datos recogidos, sobre la veracidad de que las respuestas proporcionadas correspondan al sujeto de la entrevista, a una persona con unos rasgos determinados. La cifra, afortunadamente, es muy baja, aunque debería tratarse con suma prudencia al tratarse de un colectivo muy específico: mayores de 65 años, estudios secundarios e inferiores, y elevada práctica religiosa (Tabla 3). En estos colectivos el porcentaje de personas que no cumplimenta el cuestionario por completo casi se duplica, llegando al 7 %.

En la Tabla 4 se muestra la media de variables sin respuesta de los que responden al cuestionario a solas y de aquellos que lo hacen en presencia de terceras personas, apreciándose diferencias significativas en cinco comparaciones; aunque solo en dos de ellas con un nivel de significación menor al 0,01 %. Cuatro diferencias se producen en las variables de opinión, y tres de ellas corresponde a respuestas ‘no sabe’. Aunque las escasas diferencias en el número de no respuestas entre ambos colectivos podría considerarse como una «buena noticia»; es una lástima que la pregunta donde se indica la presencia de otras personas no recoja información sobre los rasgos sociodemográficos de estos, lo que hubiera ayudado a descubrir posibles incidencias en las respuestas, tal y como se ha procedido en otras investigaciones (entre otros, Smith 1997Smith, Tom. 1997. “The impact of the presence of others on a respondent’s answers to question”. International Journal of Public Opinion Research 9:33-47. y 1998Smith, Tom et al. 1998. “Identifying underlying dimensions in spouses evaluation of fairness in the division of household labor”. International Social Science Research 27:305-327.; Zipp y Plutzer 1996Zipp, John F. y Eric Plutzer. 1996. “Wives and husbands: social class, gender and class identification in the US”. Sociology 30:235-52.; Zipp y Toth 2002Zipp, J. F. y J. Toth. 2002. “She said, he said, they said: The impact of spousal presence in survey research”. Public Opinion Quarterly 66:177-208.).

La «entrevista con prisa» Top

Conviene recordar (Tabla 1) que una de cada diez entrevistas han sido valoradas por el entrevistador como ‘con prisa para terminar’, cifras que aumentan ligeramente entre las mujeres, los ocupados, y los estudiantes (Tabla 3). La Tabla 5 desvela el elevado número de no respuestas en las encuestas «con prisa», muy superior al otro colectivo. La columna de la derecha, que indica la significación de la diferencia de medias, muestra diferencias en 15 de las 24 comparaciones, 12 de ellas con un nivel de significación inferior al 0,01.

Comenzando con las variables de contenido, las entrevistas realizadas con prisa presentan magnitudes mayores –tal y como se preveía– fundamentalmente por el elevado número de elecciones ‘no sabe’. La disposición manifiesta de no responder es relativa baja (entre 1,61 y 1,83), siendo superior en los barómetros sobre temas políticos (enero, abril y junio). Los dos primeros (enero y abril) presentan un promedio de ‘no respuestas’ superior a 9, atribuible al ‘no sabe’, y algo más de 3 no respuestas producidas porque los entrevistados se han negado a responder, lo que supone un 14 % y 13 % respectivamente del total de preguntas de opinión. Estas cifras descienden en el barómetro de junio, con un 8,4 % de variables sin respuesta. Son valores promedio que se reducen notablemente en los entrevistados que no han manifestado prisa: los ‘no responde’ se reducen a la mitad (excepto en febrero), y los ‘no sabe’ bajan entre 1 y 2 puntos.

La no respuesta parcial es inferior en el resto de barómetros. El rechazo a responder oscila del 1,6 en febrero (valoración sobre el sistema de administración de justicia) a 2,27 en marzo (trabajo voluntario), mientras que el ‘no sabe’ –con valores notablemente superiores– presenta la tendencia contraria: es mayor en febrero (5,36) y menor en marzo (3,10). En cualquier caso, cifras menores que las obtenidas en los barómetros sobre política. Tal y como sucedió en los barómetros políticos, los entrevistados que han respondido sin prisa proporcionan más respuestas que el otro colectivo, aunque las diferencias son menos acusadas que en los barómetros políticos.

Apenas existen diferencias entre ambos colectivos en las variables sociodemográficas. Diferencia de una décima en el número de no respuestas originadas por el ‘no responde’, excepto en enero que se duplica, y ausencia de diferencia significativa en las respuestas ‘no sabe’. En cuanto a la composición de la no respuesta, las variables sociodemográficas recogen un «ligero» mayor número de ‘no responde’.

Empleo de tarjetas de respuesta Top

El tercer aspecto está relacionado con la correcta utilización de elementos visuales que ayudan al entrevistado en la elección de la respuesta precisa. La utilización de «tarjetas de respuesta» se fundamenta en la idea de que presentar información visual con las categorías de respuesta estimula el recuerdo del entrevistado y permite obtener declaraciones más precisas. Estas ayudas están recomendadas cuando la pregunta presenta un gran número de opciones, largas respuestas, o cuando el entrevistado debe ordenar las respuestas (para lo que precisa considerar conjuntamente todas ellas[16]).

La antepenúltima de las preguntas que debe responder el entrevistador (ver Cuadro 1) plantea que señale si el entrevistado ha utilizado todas las tarjetas, solo algunas, o si han sido leídas por el entrevistador. El 56,2 % de los entrevistados ha utilizado todas, el 22,2 % solo algunas y el 21 % no ha utilizado ninguna y ha sido el encuestador el que ha leído la información de las tarjetas. De modo que el primer grupo ha respondido las preguntas atendiendo a la información visual mostrada en las tarjetas, mientras que el tercero ha recibido únicamente estímulos orales, estímulos que –planteamos como «hipótesis»– pueden no ser muy eficaces cuando se transmiten largas informaciones como las mostradas en algunas tarjetas: fundamentalmente las que tienen más de ocho opciones de respuesta y aquellas que incluyen muchas palabras. Respecto al segundo grupo, que utiliza algunas, por la imposibilidad de conocer las que ha utilizado se decidió eliminarlo de los análisis.

La Tabla 6, que compara el grupo que lee las tarjetas con el que las escucha, desvela la gran importancia de la utilización de tarjetas en la correcta cumplimentación del cuestionario. Existen diferencias significativas en 17 de las 24 comparaciones. De estas, la gran mayoría –menos dos– presentan una significación del 0,01 %.

El hecho de que las tarjetas sean leídas por el entrevistador, que recordemos ocurre en el 22 % de las entrevistas, genera un gran aumento de ‘no sabe’ en variables de opinión, aumento que llega –en mayo y junio– a triplicar el número de no respuestas de los entrevistados que las han utilizado correctamente. En el resto de meses el número de ‘no sabe’ del colectivo que las escucha es el doble que el que las lee. La «audición» de las tarjetas también genera una mayor decisión de no responder, si bien aquí las diferencias son menores, inferiores al medio punto porcentual (excepto en abril).

Lo que resulta más sorprendente es que el modo de administrar las tarjetas afecte también a las variables que recogen información sociodemográfica, mucho más cuando en esta parte del cuestionario únicamente se administran dos: situación laboral (trabaja, en paro, jubilado/a, estudiante, trabajo doméstico no remunerado) y relación laboral (asalariado, empresario, autónomo, ayuda familiar, cooperativista, otros). En este caso, sin embargo, se produce la situación opuesta, esto es, que la administración correcta de las tarjetas supone «aumentos» en la tasa de ‘no sabe’, aunque se trata de aumentos moderados (menores de una décima). En definitiva, se acepta la hipótesis planteada en el segundo párrafo de este apartado, sobre la mejora en la respuesta que supone la correcta utilización de tarjetas.

Incomodidad y dificultad de algunas preguntas Top

Otro de los aspectos que detalla el entrevistador es precisar si ha habido alguna pregunta concreta que provocara incomodidad, anotando el número de pregunta, y hasta un máximo de cinco. En la Tabla 7 se muestra que los entrevistados que se han encontrado con preguntas incómodas ronda el 6 %, excepto en los barómetros de marzo y abril que los porcentajes aumentan hasta el 8,2 % y 8,8 % respectivamente. Pese a estos bajos porcentajes, y el error que puede cometerse al comentar información basada en un escaso número de entrevistados, en la tercera columna de la Tabla 7 se presenta con detalle el tipo de preguntas que producen incomodidad según los entrevistadores: el número de teléfono, el recuerdo de voto en las elecciones generales de marzo del 2008 (los cuestionarios fueron administrados en el primer semestre del año 2011), y la escala ideológica. En cualquier caso, recomendamos prudencia en la interpretación de estos datos puesto que la mayor parte han sido señaladas por menos de 50 personas. De hecho, es más importante detectar que pocas personas han encontrado preguntas incómodas, que la localización de las preguntas concretas que son definidas como incómodas.

En la Tabla 8 se presentan las preguntas en las que, siempre a juicio de los entrevistadores, los entrevistados han tenido dificultades de comprender o han necesitado ser explicadas. En los tres primeros barómetros el número de entrevistados con este problema ronda el 5-8 % de los entrevistados, aumentando notablemente en abril, y aún más en mayo y junio, con un 15-16 % de los entrevistados con problemas de comprensión. No creemos que la temática de la pregunta pueda explicar el motivo de la dificultad, sino más bien el tipo de pregunta. Obsérvese que son las valoraciones 0-10, seguidas de las valoraciones con escala de Likert 1-4 (‘muy acuerdo’, ‘acuerdo’, ‘desacuerdo’, ‘muy desacuerdo’), las preguntas que plantean más problemas. A continuación las preguntas con respuesta única que presentan largas (o numerosas) categorías de respuestas. De nuevo el escaso número de respuestas obtenidas por la pregunta mostrada en la Tabla 8 lleva a recomendar prudencia en su interpretación; si bien en este caso se constata –a lo largo de los barómetros– que los entrevistados encuentran problemas en el mismo tipo de preguntas.

¿Son siempre los mismos entrevistados? Top

Tras constatar que un 14 % de los cuestionarios se responden en presencia de terceras personas (1/4 de estos con ayuda), un 10 % han sido respondidos con sensación de prisa, un 21 % ha «escuchado» la información de las tarjetas en lugar de leerlas, y un 2,4 % ha tenido problemas en comprender alguna pregunta, es el momento de plantear si son los mismos entrevistados los que han padecido todas estas situaciones o, más bien, se trata de situaciones particulares que únicamente han afectado a algunos entrevistados. El planteamiento es importante porque la agregación de estas cifras llega al 47 %, a la que habría que añadir aquellos que han encontrado preguntas incómodas (1,4 %), la de los que se han sentido molestos por el tema de la encuesta (1,3 %) y la de aquellos que han expresado deseo de abandonar la entrevista antes de su finalización (1,3 %). En el caso de que ningún entrevistado comparta algunas de estas razones implicaría que el 51,1 % de las entrevistas han tenido algún problema; no se han desarrollado como debieran haberlo hecho.

El análisis de la Tabla 9 desvela que, en cada barómetro, dos de cada tres entrevistas no ha sufrido «ninguno» de los problemas señalados, han sido realizadas correctamente. Algo más del 30 % de las entrevistas se han realizado con «un problema», y un 6-7 % han transcurrido con dos problemas; principalmente llevarse a cabo en presencia de terceras personas y no administrar correctamente las tarjetas.

Terminaremos esta sección elaborando una «tipología de entrevistados problemáticos» considerando el número de problemas que han tenido lugar en la entrevista y los rasgos más destacados en cada uno, utilizando para ello el fichero agregado de las 14.823 entrevistas. El «punto de partida» es la última línea de la Tabla 9, que indica que el 63 % de las entrevistas no ha presentado ningún problema, un 30 % se han realizado con un problema, y el 6,5 % con dos problemas. Los porcentajes mostrados en el Cuadro 2 deben ser comparados con estas cifras para identificar los colectivos con mayores diferencias.

Los que mejor responden son los hombres, los menores de 54 años, los entrevistados con estudios universitarios (diplomados y titulados superiores), así como los pertenecientes a la población activa (ocupados y parados) y los jubilados. En estos colectivos el porcentaje de entrevistas sin problemas ronda el 70 %, frente al 63 % del promedio, alcanzando el 75 % en los entrevistados con estudios universitarios superiores.

El análisis de la segunda columna del Cuadro 2 desvela que los que cometen un problema son principalmente mujeres, mayores de 65 años, con bajos estudios (sin estudios y estudios primarios), con situación laboral de trabajos domésticos no remunerados y estudiantes, y profesionales y autónomos considerando la relación laboral. Considerando que el 30 % de las entrevistas se realizaron con un problema, resulta sorprendente que esta cifra aumente hasta el 55 % entre los que no tienen estudios, y al 41 % entre los estudiantes. El perfil de los que cometen dos y tres problemas es muy similar, aunque con diferencias porcentuales superiores.

Conclusiones Top

El trabajo comenzó adoptando de forma crítica las «excelencias» de la encuesta presencial, en un momento en que la colaboración en este tipo de encuestas ha descendido notablemente, lo que ha precisado del empleo de más recursos que han encarecido notablemente la aplicación de la modalidad con más tradición. Este aumento del coste no plantearía problemas si ello implicara una mejora en la calidad de la información recogida, algo que –se proponía como hipótesis– dista mucho de la situación actual.

Se han utilizado, para ello, dos indicadores de calidad. En primer lugar el número de respuestas «no definidas» en las preguntas del cuestionario, concretamente elecciones de la categoría ‘no sabe’ y ausencias de respuesta (no responde). La presencia de ambas es baja en preguntas sociodemográficas, alcanzando una elevada magnitud en las preguntas de contenido; fundamentalmente debido al ‘no sabe’. El «porcentaje medio» obtenido por la categoría ‘no sabe’ es superior al 6 % en cuatro de los seis estudios considerados, llegando en enero al 9,42 %, y al 7 % en febrero y abril.

El segundo elemento a considerar es la valoración «subjetiva» de los entrevistadores sobre cómo se desarrolló la entrevista, declaraciones que arrojan resultados –un tanto «demoledores»– como que un 14 % de las entrevistas se realizan en compañía de terceras personas, un 10 % se han realizado con sensación de prisa, y que sólo la mitad de los encuestadores han aplicado correctamente las tarjetas.

Aplicar inadecuadamente las tarjetas es la situación más importante para explicar la mala cumplimentación del cuestionario. La obtención de respuestas ‘no sabe’ en preguntas de contenido es elevada cuando el entrevistado recibe información «oral» en vez de visual, situación que aumenta aún más en los barómetros políticos. En cinco de los seis barómetros se obtienen más de nueve preguntas sin respuesta, llegando a 15 y 13,7 en los barómetros de enero y abril respectivamente. Estas cifras suponen que en ambos barómetros se han dejado sin responder el 17 % y el 13 % de las preguntas del cuestionario, algo realmente sorprendente cuando se tiene en cuenta que son los barómetros que precisan de menor número de tarjetas (seis y siete). El barómetro de junio es el siguiente en cuanto al número de no respuestas, obteniendo 11 preguntas sin respuesta, cifra muy inferior a los anteriores cuando se considera que aquí se han empleado 14 tarjetas de respuestas. El barómetro de marzo es el que presenta un menor número de no respuestas, curiosamente el que cuenta con un mayor número de tarjetas de respuesta (18). Una mejor formación de los encuestadores, insistiendo en la importancia de la aplicación correcta de las tarjetas, solucionaría el problema.

Realizar la entrevista ‘con prisa’ es la segunda situación que explica la no respuesta en preguntas de contenido. De nuevo las respuestas ‘no sabe’ superan al “no responde”, diferencia que disminuye en los barómetros de temática política (enero, abril y junio) donde se incrementa el deseo explícito de no responder. De hecho, el número de preguntas no respondidas llega al 10 % del total de preguntas del cuestionario en enero y abril. La sensación de prisa tiene difícil remedio, aunque pudiera ser mitigada haciendo partícipe al entrevistado de la importancia de sus opiniones (Groves y Couper 1998Groves, Robert M. y Mick P. Couper. 1998. Nonresponse en Houlsehold Interview Surveys. Nueva York: Wiley.) o, incluso, retrasar la entrevista hasta el mejor momento para el entrevistado (National Centre for Social Research 1999National Centre for Social Research. 1999. How to Improve Survey Response Rates. A guide for Interviewers on the Doorstep (vídeo). Londres: Sage.).

La entrevista en presencia de terceras personas apenas supone cambios en el número de respuestas obtenidas, afectando únicamente a los barómetros de marzo (trabajo voluntario y opinión de la reforma del sistema de pensiones) y mayo (riesgos y catástrofes). En ambos, la presencia de terceras personas disminuye las respuestas ‘no sabe’ en las preguntas de opinión. En el barómetro de marzo las entrevistas realizadas en compañía presentan un menor número de respuestas ‘no sabe’ en todas las preguntas del cuestionario, tanto en las sociodemográficas como en las preguntas de contenido. Una mejor formación al encuestado pudiera ayudar a reducir ese 15 % de entrevistas en compañía, aunque es la situación que menos afecta a la calidad.

Muy pocas personas desean abandonar la entrevista antes de finalizar, o han manifestado sentirse incómodos y/o molestos por el tema de la encuesta (alrededor de un 1,3 % cada una). El número de preguntas incómodas y difíciles es muy reducido:

• Alrededor de un 6 % de entrevistados declaran haberse encontrado con preguntas incómodas, y aumenta hasta el 8-9 % en los barómetros de marzo y abril. Se trata, concretamente de las preguntas sobre autoubicación ideológica, intención de voto, recuerdo de voto, y número de teléfono. Poco que decir de las tres primeras, al formar parte del principal ámbito de actuación del CIS, aunque, con una breve explicación de las razones por las que se preguntan, podrían generar menos rechazo. Lo mismo sucede con el número de teléfono; convendría que el entrevistador explicara los motivos por los que se solicita esta información.
• Algo superiores son los porcentajes de entrevistados que definen algunas preguntas como difíciles, rondando entre el 5-8 % de los entrevistados en los primeros barómetros y aumentando en los tres últimos hasta el 15-16 %. Las escalas valorativas con escala de Likert (1-10 o 1-5) y las preguntas largas son señaladas como las más difíciles, algo que obliga a plantear la adecuación la adecuación del tipo de preguntas incluidas en los cuestionarios.

Toda esta información pudiera ser fruto de un determinado contexto, una coyuntura temporal –primer semestre del año 2011– o una temática concreta, considerando los temas de cada cuestionario tratados en el párrafo anterior. Con el fin de generalizar este comportamiento de la población española –siempre según los encuestadores– se repitió el análisis con datos del segundo trimestre del año 2014 (CIS 2014Centro de Investigaciones Sociológicas. 2014. Barómetros del segundo trimestre del año 2014. Madrid: Centro de Investigaciones Sociológicas 3021; 3024 y 3033.); última información disponible a la hora de escribir estas líneas (los resultados se muestran en el Anexo 4). A excepción de la declaración de preguntas incómodas, que pasa de 1,4 % de los entrevistados a 4,1 %, el resto de resultados prácticamente no varía respecto a la medición anterior. Tan solo cambian unas décimas, llegando a la unidad en ‘prisa por terminar la entrevista’ (8,4 % en el año 2014 y 9,7 % en 2011) y en preguntas complicadas que han tenido que ser explicadas (1,3 % en 2014 y 2,4 % en 2011).

Considerando que el CIS cuenta con una red de campo estable, con experiencia contrastada durante largo tiempo, mucho nos tememos que la información aquí mostrada empeoraría notablemente si se utilizara información procedente de empresas del ámbito privado de la opinión pública y análisis de mercados. Las principales razones están relacionadas con la escasa estabilidad de los encuestadores y la exigua/nula formación del personal de campo. Esta situación, junto con el elevado precio de la encuesta presencial, explica –en última instancia– el gran desarrollo producido por otras modalidades de recogida de información (Couper 2011Couper, Mick P. 2011. “The future of modes of data collection”. Public Opinion Quarterly 75:889-908.; Tourangeau et al. 2013Tourangeau, Rogert, Frederic G. Conrad y Mick P. Couper. 2013. The Science of Web Surveys. Oxford: Oxford University Press.).

VIDAL DIAZ DE RADA Es Licenciado y Doctor en Sociología, Licenciado en Investigación y Técnicas de Mercado y profesor de Sociología en la Universidad Pública de Navarra, Departamento de Sociología. Es autor de diversos trabajos sobre metodología, sociología del consumo y comportamiento del consumidor; destacando entre sus últimas publicaciones la de «Comparación entre los resultados obtenidos por encuestas personales y telefónicas: el caso de una encuesta electoral» (CIS 2010), «Encuestas con encuestador y encuestas autoadministradas por internet. ¿Proporcionan resultados comparables?» (REIS 2011), «Ventajas e inconvenientes de la encuesta por internet» (Papers 2012), y «La no respuesta en las encuestas presenciales realizadas en España» (RIS 2013).

ANEXOS Top

Anexo 1: Información proporcionada por los entrevistadores después de la entrevista.

• Manejo del castellano (valoración por parte del entrevistador).
• Valoración de la entrevista: realizada en presencia de terceras personas, deseo de abandono por parte del entrevistado, incomodidad del entrevistado, prisa por terminar.
• Preguntas que han generado incomodidad al entrevistado.
• Preguntas en las que el entrevistado ha tenido dificultad.
• Intervención de terceras personas en la entrevista.
• Utilización de tarjetas:
• Desarrollo de la entrevista.
• Sinceridad del entrevistado.
• Incidencias: dificultades de acceso al edificio (casa, urbanización, etc), viviendas en las que no hay nadie, viviendas en las que se niegan a recibir ninguna explicación, negativas a realizar la entrevista, contactos fallidos por no cumplir cuota, contactos con no viviendas y viviendas de inmigrantes.
• Fecha de realización.
• Día de la semana
• Duración de la entrevista.
• Hora de realización.

Anexo 2: Rasgos sociodemográficos (al final del cuestionario).

• Sexo.
• Edad alcanzada.
• Asistencia a la escuela o ha cursado algún tipo de estudios.
• Máximo nivel de estudios alcanzado.
• Religiosidad del entrevistado y frecuencia de asistencia a oficios religiosos. No consideradas al no ser variables sociodemográficas.
• Calificación de la situación económica personal en la actualidad. No considerada al no ser una variable sociodemográfica.
• Estado civil.
• Situación laboral (relación con la actividad): trabaja, parado, jubilado, estudiante, trabajo doméstico no remunerado.
• —En el caso de trabajadores: Probabilidad de que pierda el trabajo en el próximo año. No considerada al no ser una variable sociodemográfica.
• —En los que se encuentran en paro: Probabilidad de que encuentre trabajo en el próximo año. No considerada al no ser una variable sociodemográfica.

• Relación laboral: asalariado, empresario, autónomo, ayuda familiar, cooperativista, otros.
• Otra información sociodemográfica (no considerada en este estudio):
• —Persona que aporta más ingresos al hogar.
• —Ocupación u oficio.
• —Titularidad (privado/estatal) del lugar de trabajo (administración pública, empresa pública, empresa privada, organización sin ánimo de lucro, servicio doméstico y otros).
• —Actividad principal de la empresa u organización donde trabaja la persona que aporta más ingresos al hogar.
• —Nacionalidad española (de nacimiento o adquirida con posterioridad).

Anexo 3: Temas y preguntas de los barómetros del primer semestre del año 2011.

a. Indicadores fijos de todos los meses (planteados al comienzo del cuestionario).

• Preg. 1: Valoración de la situación económica actual
• Preg. 2: Valoración de la situación económica con respecto a la situación hace 1 año
• Preg. 3: Valoración de la situación económica dentro de un año (solo en enero, abril y junio).
• Preg. 4: Valoración de la situación política actual
• Preg. 5: Valoración de la situación política con respecto a la situación hace 1 año
• Preg. 6: Valoración de la situación económica dentro de un año (solo en enero, abril y junio).
• Preg. 7: Principales problemas del país en opinión de la persona entrevistada
• Preg. 8: Problemas que más afectan a la persona entrevistada

b. Preguntas específicas de cada mes.

Enero: 88 variables, temática relacionada con la política. Rasgos definitorios de la izqda. y la derecha, ideología política, valoración de líderes, comparativa de líderes políticos, imagen de los principales partidos políticos y evaluación de su gestión, valoración ministros, confianza lideres PSOE y PP, probabilidad de votar a un determinado partido, intención de voto, partido político con mayor simpatía, partido político que ganará y que le gustaría que ganara en unas elecciones.

• Preg. 9: Rasgos que definen a la derecha y a la izquierda política: igualdad, honradez, orden, solidaridad, progreso,...
• Preg. 10 y 10a: Autodefinición de su ideología política. Tarjeta A, 10 categorías.
• Preg. 11: Conocimiento y escala de valoración de líderes políticos.
• Preg. 12: Imagen comparativa de líderes políticos nacionales en diversos aspectos: capacidad de gestión, diálogo, mejor entiende los problemas de España, honestidad y visión de futuro.
• Preg. 13: Opinión sobre una posible actuación de Mariano Rajoy en comparación con J. L. Rodríguez Zapatero al frente del Gobierno.
• Preg. 14: Evaluación de la gestión del Gobierno del PSOE.
• Preg. 15: Evaluación de la actuación del PP en la oposición.
• Preg. 16: Acuerdo con diversas afirmaciones sobre el PSOE y el PP: partido con gente suficientemente preparada, un partido dividido, implicado en casos de corrupción y sometidos a grandes grupos económicos.
• Preg. 17: Conocimiento y escala de valoración de los ministros que forman el Gobierno.
• Preg. 18: Confianza que le inspira el presidente del Gobierno José Luis Rodríguez Zapatero y el presidente del PP, Mariano Rajoy. En cuál confía más.
• Preg. 19: Escala de probabilidad (0-10) de votar a un determinado partido político.
• Preg. 20: Intención de voto en elecciones generales.
• Preg. 21: Partido político por el que se siente más simpatía en las elecciones generales (sin filtro). Tarjeta B, escala 1-10.
• Preg. 22: Partido político que resultaría ganador y que le gustaría que ganara en supuestas elecciones generales. Tarjeta C, 10 categorías (partidos).

Febrero: 72 variables sobre opiniones y valoración sobre la administración de justicia.

• Preg. 7: Escala de confianza en instituciones: Consejo general del poder judicial, del Defensor del pueblo, del Tribunal constitucional, de la Policía, de las Cortes,... Tarjeta A, escala 1-10.
• Preg. 8: Frases sobre los comportamientos socialmente legítimos de los españoles: cumplen las leyes, son exigente con sus derechos, son conscientes de sus deberes y obligaciones, son iguales ante la ley.
• Preg. 9: Igualdad de las leyes. 9a Grupos sociales favorecidos por las leyes.
• Preg. 10: Confianza en la protección de las leyes en conflictos con una gran empresa o con la administración o con la hacienda pública o con un ciudadano influyente.
• Preg. 11: Actitud que adoptaría en el supuesto de tener un conflicto con otra persona. Tarjeta B, 3 categorías muy largas.
• Preg. 12-13: Valoración actual y prospectiva del funcionamiento de la administración de justicia en España.
• Preg. 14: Valoración de los medios de los que disponen los tribunales de justicia. P. 14a Aspectos insuficientes de los que disponen los tribunales de justicia. Tarjeta C, 4 categorías.
• Preg. 15: Opinión sobre los tiempos y la agilización de la justicia.
• Preg. 16: Acuerdo con una serie de afirmaciones sobre el sistema judicial: la justicia trata igual a ricos y pobres, no merece complicarse en un proceso judicial, los tribunales protegen a los poderosos, lo pleitos legales son caros, los medios de comunicación determinan las decisiones judiciales,... Tarjeta D, batería 1-5: Muy acuerdo, acuerdo, desacuerdo, muy en desacuerdo. No leída ni acuerdo ni desacuerdo.
• Preg. 17: Escala de valoración de profesiones relacionadas con la administración de justicia: jueces/zas, abogados/as, fiscales, policía judicial, y personal administrativo. Tarjeta E, escala 1-10.
• Preg. 18-20: Independencia actual de los jueces españoles, del Tribunal supremo y del Tribunal constitucional.
• Preg. 21: Acuerdo con distintas opiniones sobre los jueces: los jueces/zas son honrados/as, el resultado de un pleito depende del juez/a, los jueces/zas dedican el tiempo necesario a cada caso,... Tarjeta D, batería 1-5: Muy acuerdo, acuerdo, desacuerdo, muy en desacuerdo. No leída ni acuerdo ni desacuerdo.
• Preg. 22: Definición de la orientación ideológica de los jueces (conservador-progresista).
• Preg. 23: Contacto personal o familiar con el mundo de la justicia. P.23a. Persona que contactó y relación (p.23b) con la justicia (testigo, imputado,...). Tarjeta F, 7 categorías.
• P. 23c. Valoración personal y su evolución del funcionamiento de la administración de justicia tras el contacto con ella.
• Preg. 24: Acuerdo con frases sobre la aplicación de las leyes en España: los/as culpables de los delitos son castigados, los/as acusados/as tiene las máximas garantías para demostrar su inocencia, y no se castiga suficientemente los delitos que se cometen. Tarjeta D, batería 1-5: Muy acuerdo, acuerdo, desacuerdo, muy en desacuerdo. No leída ni acuerdo ni desacuerdo.

Marzo: 102 variables sobre trabajo voluntario y opinión sobre reforma del sistema de pensiones.

• Preg. 7: Frecuencia con la que ha realizado diversas actividades sin ánimo de lucro. Tarjeta A, 3 categorías cortas.
• Preg. 8: Realización de labores de voluntariado en diversas áreas: donar sangre, donar dinero, entregar ropa, cuidado de otras personas son cobrar, actividades en beneficio de la comunidad, y actividades colectivas de interés general. Tarjeta B, 12 categorías largas.
• Preg. 9: Realización de labores de voluntariado en diversas áreas en el último año: defensa de derechos humanos, exclusión social, discapacidad y dependencia, educación y cultura, salud, deporte y ocio, protección de animales, cooperación al desarrollo, protección civil, y voluntariado en cualquier área. Tarjeta C, 4 categorías cortas.
• Preg. 10 y 10a: A quienes han realizado labores de voluntariado antes del último año: frecuencia (Tarjeta C, 4 categorías cortas) y número de horas dedicadas.
• Preg. 11: Razón para dejarlas Tarjeta D, 8 categorías largas.
• A quienes no han realizado nunca labores de voluntariado:
• —Preg. 1201 y 1202: razón para no realizarlas nunca.
• —Preg. 14: Intención de realizarlas.
• —Preg. 1501 1502: Áreas en las que prestaría trabajo voluntario. Tarjeta B, 12 categorías largas.

• Voluntarios los últimos 12 meses:
• —Preg. 16 y 16a: frecuencia y número de horas dedicadas, Tarjeta C, 4 categorías cortas.
• —Preg. 17: asociación/organización en la que ha realizado trabajo voluntario. Tarjeta F, 11 categorías largas.
• —Preg. 18: motivos para realizar trabajo voluntario. Tarjeta G, 11 categorías largas.
• —Preg. 19: Satisfacción con dichas labores.
• —Preg. 20: Realización de labores de voluntariado de familiares y amigos/as.

• Preg. 21: Motivos por el que hay personas que realizan labores de voluntariado. Tarjeta G, 11 categorías largas.
• Preg. 22: Motivos por el que hay personas que NO realizan labores de voluntariado. Tarjeta H, 6 categorías medianas.
• Preg. 23: Valoración del papel de la formación en la labor del voluntariado, del papel del voluntariado en relación a la cobertura de los servicios públicos, de la labor resolutiva del voluntariado, del papel de la organización en la labor del voluntariado y del reconocimiento social de la labor del voluntariado. Tarjeta I, J, K, l, M, dos frases largas.
• Preg. 24 y 24a: Beneficiario/a (entrevistado/a o Familiares o amigos/as) de la labor de los/as voluntarios/as.
• Preg. 25: Conocimiento del Año europeo del voluntariado (2011).
• Preg. 26: Escala de valoración de la reforma del sistema de pensiones. Tarjeta N, escala 1-10, con dos palabras a cada lado.
• Preg. 27: Acuerdo con distintas medidas tomadas en la reforma del sistema de pensiones: ampliar la edad de jubilación a los 67 años, calcular la pensión con 25 años de cotización, recepción el total de la pensión si ha cotizado 37 años,...
• Preg. 28: Acuerdo con la necesidad de la reforma del sistema de pensiones. Tarjeta O, tres frases largas.
• Preg. 29: Evolución de la opinión sobre el Gobierno, los sindicatos y las organizaciones empresariales tras la reforma del sistema de pensiones.
• Preg. 30: Escala de confianza en la gente. Tarjeta P, escala 1-10, con dos frases a cada lado.

Abril: 102 variables sobre política y temática variada. Importancia de la política en la vida, imagen de los principales partidos políticos y evaluación de su gestión, valoración líderes, confianza lideres PSOE y PP, intención de voto, partido político con mayor simpatía, partido político que ganará y que le gustaría que ganara en unas elecciones.

Frecuencia lectura periódicos, comportamientos de compra y opiniones sobre libertad de horarios.

• Preg. 9: Frecuencia con la que se habla de política con diferentes personas del entorno social próximo.
• Preg. 10: Participación en distintas formas de acción social y política. Tarjeta A, 3 categorías.
• Preg. 11 y 11a: Autodefinición de su ideología política. Tarjeta A, 10 categorías (empleadas en enero en la pregunta 10)
• Preg. 12: Definición de la imagen del PSOE y del PP con diversas afirmaciones.
• Preg. 13: Conocimiento y escala de valoración de líderes políticos.
• Preg. 14: Evaluación de la gestión del Gobierno del PSOE.
• Preg. 15: Evaluación de la actuación del PP en la oposición.
• Preg. 16: Conocimiento y escala de valoración de los ministros que forman el Gobierno.
• Preg. 17 y 18: Confianza que le inspira el presidente del Gobierno José Luis Rodríguez Zapatero y el presidente del PP, Mariano Rajoy.
• Preg. 19: Intención de voto en elecciones generales.
• Preg. 20: Partido político por el que se siente más simpatía en las elecciones generales (sin filtro). Tarjeta PARTIDOS, 10 partidos políticos.
• Preg. 21 y 22: Partido político que resultaría ganador y que le gustaría que ganara en supuestas elecciones generales.
• Preg. 23: Frecuencia de lectura de periódicos.
• Preg. 23a: Periódico preferido para el seguimiento de las noticias.
• Preg. 24: Razón más importante para comprar en: grandes almacenes, tiendas o boutiques, supermercados y en hipermercados. Tarjeta C, 7 categorías largas.
• Preg. 25: Actitud ante la libertad de horario comercial.
• Preg. 26: Sentimiento de perjuicio, teniendo en cuenta sus hábitos de compra, por la actual limitación del horario comercial.
• Preg. 27: Acuerdo con distintas frases sobre la libertad de horario comercial.
• Preg. 28: Escala de probabilidad (0-10) de votar a un determinado partido político. Tarjeta D, escala 1-10 con una frase en cada extremo.
• Preg. 30: Ideología de cada partido. Tarjeta ESCALA, escala 1-10.

Mayo: 94 variables sobre riesgos y catástrofes.

• Preg. 7: Probabilidad de que sufrir diversos riesgos: sufrir un robo, caer en las drogas, víctima de un atentado terrorista, perder los ahorros, resulte intoxicado/a,... Tarjeta A, batería 1-4: Muy probable, bastante probable, poco probable y nada probable.
• Preg. 8: Riesgos que pueden ocurrirle a una persona que más teme el entrevistado. Tarjeta A, 9 categorías largas.
• Preg. 9: Sensación de seguridad personal del entrevistado comparado con el resto de las personas.
• Preg. 10, 11 y 12: Valoración retrospectiva de la seguridad del mundo, de la sociedad española y del barrio o pueblo.
• Preg. 13: Confianza en diversas instituciones encargadas de garantizar la seguridad: guardia civil, policía nacional, local y autonómica, tribunales de justicia y fuerzas armadas.
• Preg. 14: Probabilidad de ser víctima de determinados delitos en su barrio: atraco, tirón, robo en vivienda, estafa, agresión sexual, gamberrismo,...
• Preg. 15: Posicionamiento ante la seguridad y libertad personal. Tarjeta B, 2 categorías largas.
• Preg. 16: Posicionamiento ante la existencia de cámaras de seguridad o video vigilancia.
• Preg. 17: Valoración de la existencia de cámaras de seguridad o video vigilancia en diversos lugares: en bancos, comercios, comunidades de vecinos, guarderías, bares,...
• Preg. 18: Escala de confianza en la gente. Preg. 18, tarjeta C, escala 1-5 con afirmaciones en extremos.
• Preg. 19: Causa más importante por la que se producen las grandes catástrofes. Tarjeta D, 5 categorías largas.
• Preg. 20: Confianza en la ayuda y servicios que prestarán distintas instituciones y personas en caso de catástrofe: ONG, bomberos, protección civil, familiares, vecinos/as,...
• Preg. 21: Reacción que puede adoptar al sufrir un accidente colectivo o catástrofe. Tarjeta E, 3 categorías largas.
• Preg. 22: Influencia del progreso científico y tecnológico en diversos ámbitos: calidad de vida, medios ambiente, el desarrollo económico y la protección de la vida humana.
• Preg. 23: Riesgos de los avances científicos en los próximos 20 años.
• Preg. 24: Comparación prospectiva entre los riesgos y los beneficios del desarrollo científico y tecnológico.
• Preg. 25: Temor que le produce diversos desarrollos científicos y tecnológicos: biotecnología, centrales nucleares, contaminación alimentaria,...
• Preg. 26: Comparación entre los riesgos y los beneficios de la energía nuclear como fuente de energía.
• Preg. 27: Comparación entre los riesgos de incidentes con la energía nuclear y su difusión. Tarjeta F, 4 categorías largas.
• Preg. 28: Acuerdo con diversas frases sobre la utilización de la energía nuclear.
• Preg. 29: Escala de peligrosidad de las centrales nucleares. Tarjeta G, escala 1-10 con 2 palabras en cada extremo.
• Preg. 30: Medidas sobre la vida de las centrales nucleares. Tarjeta H, 5 categorías largas.
• Preg. 31: Posicionamiento ante la energía nuclear. Tarjeta I, 7 categorías.

Junio: 84 variables sobre interés hacia la política en relación con la actualidad, satisfacción con la democracia, imparcialidad/parcialidad de los políticos y empleados públicos, corrupción.

• Preg. 9: Interés por la política.
• Preg. 10: Frecuencia de seguimiento de las noticias a través de diversos medios de comunicación. Tarjeta A, batería 1-5: Todos los días, 3-4 días por semana, 1-2 días por semana, menor frecuencia y nunca.
• Preg. 11: Escala de satisfacción con el funcionamiento de la democracia en España. Tarjeta B, escala 1-10.
• Preg. 12: Interés y valoración de las movilizaciones del 15M. Su continuidad en un futuro próximo.
• Preg. 13: Cualidades más importantes que debe tener un político. Tarjeta C, 6 categorías.
• Preg. 14: Importancia de que los políticos resuelvan los problemas y cumplan las leyes. Tarjeta D, 2 frases largas.
• Preg. 15: Comportamiento esperado de un funcionario público en un trámite relacionado con un familiar. Tarjeta E, 4 categorías largas.
• Preg. 16: Comportamiento idóneo de un funcionario público en un trámite relacionado con un familiar. Tarjeta F, 4 categorías largas.
• Preg. 17: Frases sobre los comportamientos socialmente legítimos de los españoles: cumplen las leyes, exigentes con sus derechos, conscientes de sus obligaciones y deberes, y tolerantes con la corrupción.
• Preg. 18: Escala de importancia de la corrupción política como problema en la democracia en España. Tarjeta G, escala 1-10, con dos palabras en cada extremo.
• Preg. 19: Exageración por parte de los medios de comunicación de la corrupción política. Tarjeta H, 4 categorías.
• Preg. 20 y 21: Extensión de la corrupción política en España y en distintos niveles políticos (local, autonómico, central y europeo).
• Preg. 22 y 23: Extensión de la corrupción en diversos servicios públicos (sanidad, educación, concesiones de obras públicas,...) y sectores (empresarios/as, jueces/zas, policías,...)
• Preg. 24: Acuerdo con diversas frases en relación a la corrupción y la clase política: injusto pensar que los/as políticos/as son corruptos/as, los partidos políticos persiguen la corrupción, el problema es de los/as que tienen dinero y corrompen.
• Preg. 25 y 26: Preferencia de los españoles y del entrevistado/a entre un político honrado/corrupto o eficaz.
• Preg. 27: Acuerdo con determinadas razones como causa de la corrupción política en España: es parte de la naturaleza humana, es propio de la cultura española,...
• Preg. 28: Definición de diversos tipos de corrupción: contrato de familiares por parte de trabajadores de la administración, que se cobre el subsidio del paro mientras se está trabajando, no pagar el IVA para pagar menos por un producto,... Tarjeta I, batería 1-4 (Claramente es un acto de corrupción, cree que es… pero no está seguro, creo que no es… pero no está seguro, claramente no es un acto de corrupción).
• Preg. 29: Responsable de la lucha contra la corrupción. Tarjeta J, 5 categorías.
• Preg. 30: Medidas prioritarias para controlar la corrupción. Tarjeta K, 4 categorías largas
• Preg. 31: Escala de implicación en casos de corrupción de diversos partidos políticos: PSOE, PP, IU, PNV, CiU y CC. Tarjeta L, escala 1-10.

c. Indicadores fijos de todos los meses (planteados antes de las preguntas sociodemográficas).

• Escala de autoubicación ideológica. Tarjeta ESCALA, escala 1-10.
• Recuerdo de voto en las elecciones generales Tarjeta RECUERDO DE VOTO, 5 categorías.

Anexo 4: Contraste de los hallazgos localizados con Barómetros del segundo trimestre del año 2014 (últimos disponibles en el momento de redacción del trabajo).

NOTASTop

BibliografíaTop