Un análisis de la situación de la investigación con encuesta en los países del entorno más próximo revela un gran desarrollo de las encuestas telefónicas en los últimos años del siglo XX (Häder, Häder y Kuhne, 2012), que genera que, en la última década, fuera la modalidad de recogida de información más utilizada, superando ampliamente a la encuesta presencial (De Leeuw y Hox, 2015). Pese a los estrepitosos fracasos de las primeras investigaciones con esta modalidad (Gwartney, 2007), su uso se extiende en Estados Unidos desde la década de 1960, dominando los modos de recogida desde los años 80 del siglo XX (Tucker y Lepkowski, 2008).

La situación en España es muy diferente. Según revela el Estudio de la industria de los estudios de mercado de AEDEMO, a inicios de los años noventa del siglo pasado el número de encuestas telefónicas —en relación con el total de encuestas— apenas alcanzaba el 25 % (Díaz de Rada y Portilla, 2015). En el año 2000 por primera vez el número de encuestas telefónicas supera las presenciales: 41 % y 38 % respectivamente (Alós, 2001). En el primer quinquenio del siglo XXI tuvo lugar un notable aumento en la utilización de la encuesta telefónica hasta 2007.

A partir de este momento, su uso ha experimentado un notable descenso a favor de las encuestas autoadministradas a través de Internet (ANEIMO-AEDEMO-ESOMAR, 2017). Entre los motivos que explican esta situación destaca su bajo coste, la rapidez en la recogida de la información, así como el descenso del error de medida por su menor deseabilidad social y las mejoras del cuestionario electrónico (Callegaro, Lozar Manfreda y Vehovar, 2015). Ahora bien, este bajo coste genera, en numerosas ocasiones, una baja relación calidad-precio y lo mismo sucede con la rapidez. La necesidad de destrezas informáticas de la población objeto de estudio, problemas de compatibilidad con los equipos de los entrevistados, así como la mayor autoselección y la baja tasa de respuestas de las encuestas en web indican que no se trata, aún hoy, del mejor modo para encuestas a la población general (Toepoel, 2015).

Por estos motivos, este trabajo centra su atención en las encuestas administradas (con entrevistador), concretamente en las presenciales y telefónicas. La literatura destaca la mayor calidad de las primeras (Loosveldt, 2008), frente a la rapidez y bajo coste de las telefónicas (Lavrakas, 2010). Estas son las principales ventajas de ambos modos, existiendo en nuestro idioma numerosos trabajos que exponen exhaustivamente las ventajas e inconvenientes de cada una (entre otros, Díaz de Rada, 2015; Cea D’Ancona, 2010; Díaz de Rada, 2010).

El objetivo del presente trabajo es considerar si las respuestas a un mismo cuestionario varían según la modalidad de recogida de la información utilizada, y surge porque apenas se han realizado en nuestro contexto investigaciones que analicen los efectos de respuesta1 de la modalidad no presencial (encuesta telefónica), situación diferente a lo ocurrido en otros países donde —antes de adoptar este modo de recogida— se llevaron a cabo numerosos experimentos para constatar que la utilización de la encuesta en la sociedad norteamericana era exportable a otros contextos (entre otros, Nicolaas, Thomson y Lynn, 2000; De Leeuw, 1992; Sykes y Collins, 1988; Sykes y Hoinville, 1985). Tras realizar una búsqueda exhaustiva de investigaciones españolas sobre encuestas telefónicas tan solo han sido localizadas cinco referencias (Gabardo Vallejo, 2013; Díaz de Rada, 2014 y 2011 ; Galán, Rodríguez y Zorrilla, 2004; Salinas, Calvo y Aguilar, 2004), todas ellas referidas a las ventajas y desventajas de cada modo, pero sin considerar los efectos de respuesta.

El artículo comienza con una exposición de los efectos de respuesta en las encuestas, para proceder a continuación con la elaboración de una serie de medidas para localizar tales efectos en una encuesta presencial y telefónica (mediante llamadas a teléfonos fijos) realizada en Andalucía. La información técnica del estudio y las técnicas a utilizar dan paso a los resultados, estructurados en tres partes: falta de respuesta, efectos de respuesta en preguntas con disposición vertical y en preguntas de batería. Las conclusiones sintetizan los hallazgos localizados, al tiempo que plantean nuevos desafíos para el futuro.

Un primer objetivo es conocer si las respuestas al cuestionario varían según la modalidad de recogida de información utilizada; esto es, si el hecho de utilizar una comunicación basada únicamente en recursos auditivos (a través del teléfono) o auditivos-gestuales-paralingüísticos (entrevistador) genera cambios en las respuestas, considerando los efectos de respuesta señalados en el apartado anterior (De Leeuw, 2008; Loosveldt, 2008).

Un segundo objetivo es considerar hasta qué punto esta influencia varía según el tipo de pregunta utilizada, diferenciando entre preguntas de respuesta única con categorías de respuesta en disposición vertical y preguntas formadas por ítems (con disposición horizontal) dentro de una batería (preguntas de batería). De los cinco efectos de respuesta identificados en el apartado anterior se analizará el primero (influencia del orden de categorías de respuesta) en las preguntas en disposición vertical y todos ellos en las escalas incluidas en preguntas de batería, las más numerosas en la presente investigación.

Para conocer hasta qué punto la disposición o colocación de las categorías influye en la elección de los entrevistados se seguirá la estrategia utilizada por Heerwegh (2009), que propone hacer un recuento de las ocasiones en las que cada entrevistado ha elegido las dos primeras categorías de respuesta para identificar el efecto primacía, haciendo lo propio con las dos últimas para identificar el efecto recencia. La identificación de la falta de respuesta se realiza de forma similar, con un recuento (Heerwegh, 2009) de las respuestas “no sabe y las declaraciones específicas de no desear responder (“no responde”).

Para las escalas valorativas colocadas dentro de una de batería de preguntas, las más numerosas en la presente investigación, se utilizan además cuatro criterios de calidad:

El presente trabajo trata de constatar hasta qué punto la situación señalada en el apartado efectos de respuesta, detectada en otros países, se produce también en la comunidad autónoma andaluza. Para comprobar si el modo de recogida de la información genera efectos de respuesta se utiliza un mismo cuestionario, administrado cara a cara y telefónicamente a dos muestras similares, y el objetivo es conocer la variabilidad de las respuestas proporcionadas en cada modalidad, centrado específicamente en los efectos de respuesta definidos con anterioridad.

Con este propósito se ha utilizado el Barómetro de Opinión Pública de Andalucía (Instituto de Estudios Sociales Avanzados-IESA, 2010) que utiliza un cuestionario de 197 variables, de las que 161 son variables de contenido (ver anexo 1) y el resto sociodemográficas. Se trata de preguntas cerradas que recogen actitudes y opiniones. En cuanto al tipo de pregunta empleadas, el cuestionario está formado por preguntas de respuesta única y disposición vertical de las categorías de respuesta, así como por preguntas de batería con diversidad en el número de respuestas:

Se ha utilizado también el formato de batería para dos preguntas nominales (17 variables) con seis opciones de respuesta que fueron administradas con una tarjeta de respuesta en la presencial.

Se ha señalado el uso de tarjetas con las respuestas (siempre en la presencial) porque la literatura sobre el tema da cuenta de un efecto primera opción cuando los entrevistados leen las respuestas, efecto generado porque, una vez localizada una posible respuesta, éstos interrumpen la lectura y la seleccionan, procediendo a responder otra pregunta sin terminar de leer todas las posibles respuestas de la pregunta anterior (Galesic et al. 2008). Este efecto primacía, lógicamente, estará más presente en la encuesta presencial respondida con tarjetas, aunque la práctica totalidad de estudios que comparan entre encuestas presenciales y telefónicas han utilizado tarjetas en la presencial (entre otros, Nicolaas, Thomson y Lynn, 2000; Sykes y Collins, 1988; Sykes y Hoinville, 1985).

Centrados en las 161 variables de contenido —esto es, exceptuando las que recogen rasgos sociodemográficos— se eliminaron, en primer lugar, las variables referidas a comportamientos, centrando la investigación en variables actitudinales. Analizar la influencia de la colocación de las opciones de respuesta, la tendencia a elegir la última (efecto recencia) o la primera –efecto primacía–, precisa utilizar preguntas que contengan varias respuestas o, al menos, una cantidad de información considerable. En el cuestionario, la práctica totalidad de las preguntas dicotómicas contienen únicamente dos palabras, “si/no” o “acuerdo/desacuerdo”3, por lo que se ha decido eliminar las preguntas con 3 y menos alternativas de respuesta.

Esta reducción en el número de preguntas ha afectado fundamentalmente a las preguntas con categorías en disposición vertical, que desciende a 26 preguntas o variables. En las preguntas de batería únicamente se ha eliminado la última batería (11 ítems), lo que implica que el análisis se centre en 71 variables. Ambas situaciones llevan a limitar los análisis a 97 variables (26+71), centrándose en conocer cómo funcionan las preguntas de 4 y más categorías.

Respecto a los encuestados, considerando como marco muestral los residentes en Andalucía de 18 años en adelante, se estableció un tamaño muestral de 3655 entrevistas repartidas proporcionalmente según el número de escaños de cada provincia. Se realizaron encuestas presenciales en los domicilios, localizando las unidades últimas del muestreo mediante el empleo de rutas aleatorias y cuotas de sexo y edad.

A medida que transcurría el trabajo de campo se detectaron importantes descensos de cooperación en determinadas secciones censales. Esta situación llevó a la utilización de un segundo modo, encuesta telefónica, siguiendo la recomendación de la literatura sobre el empleo de otro modo para aumentar la cooperación (entre otros, Dillman, Smyth y Christian, 2009; De Leeuw, 2008). Para ello fueron seleccionados, del mismo marco muestral pero limitado a las zonas con menor participación, una segunda muestra de 623 personas entrevistadas con teléfonos fijos, siguiendo la misma selección muestral que la encuesta presencial. El trabajo de campo se realizó entre el 18 de octubre y el 18 de noviembre de 2010 en la encuesta presencial, y entre el 1 y 18 de noviembre el mismo año en la telefónica.

Ahora bien, para conocer la influencia de la modalidad de recogida de información es preciso comparar dos muestras (telefónica y presencial) realizadas en la misma zona y con la misma población objetivo (Holbrook, Green y Krosnick, 2003). Para ello, los análisis se centraron en las secciones con menor cooperación, es decir, en las zonas donde se utilizaron ambas encuestas, presencial y telefónica. Por ello, de las 3.655 encuestas presenciales realizadas este artículo se limita a las secciones censales donde fue empleada también la encuesta telefónica. La comparación de las características sociodemográficas de las 3.655 encuestas presenciales y las 609 realizadas en las zonas donde se utilizó también la encuesta telefónica se presenta en el Anexo 2, donde se aprecia una similar distribución ente ambas en sexo, edad y relación con la actividad. No así en el nivel de estudios, donde se produce una importante disminución de los colectivos con estudios de ESO e inferiores y un aumento de los más cualificados.

Solo en esta variable, y en el número de parados y estudiantes, se aprecian diferencias significativas, que llevan a señalar que los colectivos residentes en esta zona presentan un nivel educativo superior al promedio de Andalucía y una mayor tasa de ocupación. Esta última situación, relacionada con el tiempo en el que se está en casa, pudiera explicar la menor respuesta conseguida por la encuesta presencial, algo que ya ha sido constatado por otras investigaciones (Riba, Torcal y Morales, 2010). El mayor número de estudiantes es otra de las variables que explica la mejor tasa de cooperación y justifica el empleo de una nueva modalidad, en la medida que éstos son entrevistados en las últimas horas del día (Pasadas del Amo, Soria Zambrano y Zarco, 2006).

Volviendo a las diferencias en el nivel de estudios, y siempre teniendo en cuenta que la encuesta telefónica suele seleccionar más personas con estudios superiores4, contar con una submuestra más ilustrada permite una mejor comparación entre la encuesta telefónica y la presencial. Dicho de otro modo, el mayor nivel de estudios de la submuestra permite rechazar que las diferencias localizadas entre ambos modos tengan su origen en la influencia de esta variable.

Para conocer si existen diferencias significativas en el número de elecciones de las primeras o últimas categorías de respuesta según modalidad, se utiliza la técnica de la diferencia de medias, siguiendo la práctica realizada por investigaciones similares realizadas en otros países (entre otros, Holbrook et al. 2007; Holbrook, Green y Krosnick, 2003; Krosnick et al. 2002).

La utilización de una regresión múltiple permite detectar hasta qué punto las diferencias localizadas están producidas por la modalidad o por la posible desigualdad sociodemográfica de las muestras. La variable dependiente es el número de preguntas con efectos (primacía, recencia, “no sabe”, etc.), y como términos independientes se consideran el sexo, la edad, el nivel de estudios y la situación laboral, así como las interacciones entre el nivel de estudios y la edad. Todas han sido codificadas considerando la última categoría como referencia.

Los términos dependientes elegidos son variables cuantitativas que siempre obtienen valores positivos y una distribución asimétrica, consecuencia del recuento del número de preguntas con efectos primacía, recencia, etc. Al tratarse de variables que no cumplen los supuestos de la regresión por mínimos cuadrados ordinarios se empleó una regresión binomial negativa, en línea como han procedido otros trabajos similares (Zhang y Conrad, 2014).

El análisis de resultados se ha dividido en cuatro partes, exponiendo en primer lugar el número de respuestas no dadas por cada modo, la falta de respuesta parcial considerando todo el cuestionario. A partir de aquí, se diferencia según el tipo de pregunta, dedicando el siguiente apartado a las preguntas con disposición vertical y los dos siguientes a las preguntas de batería, más numerosas en este estudio y en los que se ha utilizado un mayor número de medidas de calidad.

Ahora bien, antes de proceder con el análisis de las respuestas hay que comprobar la similitud de las muestras, hasta qué punto se está trabajando con muestras equivalentes, situación básica e imprescindible para garantizar la adecuación de los análisis (Petersen, 2008). El análisis de los rasgos sociodemográficos de los que han respondido en cada modalidad desvela una gran similitud en edad y sexo y diferencias en nivel educativo y relación con la actividad, como viene siendo habitual en la práctica totalidad de investigaciones sobre el tema (entre otros, Galán, Rodríguez y Zorrilla, 2004; Salinas, Calvo y Aguilar, 2004; Ellis y Krosnick, 1999; De Leeuw, 1992; Jordan, Marcus y Reeder, 1980; Groves y Kahn, 1979): la encuesta telefónica selecciona más personas con estudios superiores —en perjuicio de las personas con estudios primarios y de ESO— y más ocupados fuera del hogar. También lleva a cabo una menor selección de jubilados y más personas dedicadas a tareas domésticas no remuneradas, pero son diferencias que no llegan a ser significativas. En el anexo 2 se exponen los rasgos sociodemográficos de ambas muestras.

Este trabajo se sitúa en la línea de investigaciones internacionales centradas en conocer el efecto del modo de recogida de información en estudios sobre actitudes: analizando el cuestionario “como un todo” y no pregunta a pregunta (entre otros, Chang y Krosnick, 2010; Holbrook et al. 2007; Nicolaas, Thomson y Lynn, 2000; Sykes y Collins, 1988). Se trata de una línea de investigación muy fructífera y con gran futuro, mucho más en unos momentos en los que numerosos investigadores recomiendan la utilización de varios modos (modos mixtos) para conocer de forma óptima el objeto de estudio (entre otros, De Leeuw, 2005; Dillman, Smyth y Christian, 2009).

El trabajo comienza definiendo los cinco efectos de respuesta más estudiados: orden de categorías de respuesta, falta de respuesta parcial al “no saber” que responder o “no contestar”, ausencia de diferenciación, extremidad y aquiescencia. Una vez definidos, seguidamente se considera la ausencia de no respuestas (presencia de “no sabe” y “no responde”) en todo el cuestionario.

Tan sólo un 6,7 % de las preguntas del cuestionario han recibido respuestas no sustantivas, principalmente “no sabe”, porcentaje que no varía cuando se tienen en cuenta los dos tipos de preguntas considerados en esta investigación: de respuesta única con categorías verticales y de escalas dentro de baterías.

Ahora bien, se trata de una magnitud que aumenta hasta el 7,7 % en la encuesta presencial, reduciéndose hasta el 3,9 % en la telefónica, cifras que se incrementan en los varones, los entrevistados mayores de 65 años y en aquellos con estudios primarios. Es importante destacar que la baja tasa de falta de respuesta parcial de la encuesta telefónica es un resultado opuesto a la investigación norteamericana sobre el tema; situación diferente a los experimentos realizados en Europa.

Un estudio en profundidad de las posibles explicaciones de esta situación apunta, por un lado, a los numerosos recursos dedicados a la formación del equipo encuestador y, por otro, a la monitorización constante, monitorización que ha podido corregir los errores rápidamente (Gwartney, 2007), impidiendo que se conviertan en hábitos. Otra explicación a considerar es que se trata de una situación de entrevista más cómoda para el entrevistador, que permite que éste motive más respuestas en la encuesta telefónica que en la presencial. Como tercera razón, la mayor facilidad para abandonar la entrevista sin terminar por parte de los encuestados a través del teléfono, lo que implica que las personas menos motivadas para responder a la encuesta (strong satisficers) la abandonen y, por tanto, los encuestados que permanecen proporcionen respuestas de mayor calidad. En este estudio en concreto la tasa de abandonos sin terminar fue muy elevada (143 entrevistados), lo que puede explicarse por el tema (política) y la longitud de la entrevista.

En el segundo apartado se analiza la presencia de efectos de respuesta en preguntas con categorías verticales, apreciando un ligero efecto recencia de la encuesta telefónica en preguntas con 4 y 5 categorías. Se trata de un efecto que aumenta en las preguntas de batería de 5, 6 y 10 categorías, que se incrementa aún más cuando la entrevista presencial utiliza tarjetas. El uso de tarjeta tiende a repartir las respuestas, a reducir las respuestas a los extremos.

En el último apartado —dentro de los resultados— se lleva a cabo un análisis específico de las preguntas de batería con respuestas ordinales considerando la diferenciación, extremidad, aquiescencia, elección de respuestas fáciles y falta de respuesta. Las preguntas de 5 categorías son las que muestran una mayor diferencia entre modalidades, en 5 de los 7 indicadores calculados. La encuesta telefónica obtiene valores superiores en todos los indicadores, lo que implica una mayor diferenciación y una menor falta de respuesta parcial, aspectos que indican una elevada calidad de respuesta; pero también una mayor extremidad, aquiescencia y baja elección de respuestas fáciles, todo lo cual está indicando escasa calidad de respuesta.

Como conclusión cabe destacar la similitud en los resultados de ambos modos, aún cuando el modo presencial utiliza tarjetas que suponen una notable ayuda para los entrevistados. Numerosos expertos (entre otros, Nicolaas, Thomson y Lynn, 2000; Sykes y Collins, 1988) recomiendan “paliar” la imposibilidad de utilizar tarjetas en la encuesta telefónica preguntando en “dos pasos”: primero por el acuerdo/desacuerdo y después por la intensidad del mismo (“muy” o “bastante”). Respecto a los efectos recencia, muy presentes en la encuesta telefónica, pueden eliminarse con sencillez aleatorizando las respuestas, repartiendo este efecto entre todas las categorías. Ahora bien, estas buenas noticias de la equivalencia del modo telefónico están amenazadas por dos factores. El primero, la utilización masiva del marketing telefónico y, como segundo factor, el elevado crecimiento del número de personas que han sustituido el teléfono fijo por el móvil: el Instituto Nacional de Estadística señala que el 22 % de las viviendas españolas únicamente disponen de teléfono móvil; llegando al 42 % en determinadas comunidades autónomas (Peleteiro, 2012). Se trata, además, de un aspecto casi exponencial por el elevado número de teléfonos fijos “no funcionales”, esto es, que no son respondidos y siguen operativos únicamente para acceder a Internet o han sido contratados por los servicios paquetizados de las compañías (móvil+fijo+ADSL). A esto hay que añadir los requisitos para encuestas a través del móvil, realizadas en situaciones no muy cómodas (conduciendo, en una reunión, etc.) que impiden en numerosas ocasiones la realización de la entrevista y, en cualquier caso, precisan de encuestas más breves.

Cabe terminar señalando las limitaciones de esta investigación, realizada en una única comunidad autónoma y sobre una temática concreta, principalmente actitudes políticas y evaluación de la actuación del gobierno autónomo ante diversos problemas sociales. Ahora bien, la frecuencia de estos temas en investigaciones por encuestas —son temas presentes en cuatro de los once barómetros anuales del CIS— y el hecho de que esta comunidad suponga casi el 20 % de la población española, lleva a considerar que pudieran ser resultados perfectamente extrapolables a otras temáticas y áreas geográficas. En cualquier caso, se trata de una tarea que supera notablemente los objetivos de este modesto trabajo, animando a otros investigadores a constatarlo.

Consideramos que es poco probable que otras variables afecten a los resultados. Ahora bien, debe tenerse en cuenta que se trata de un estudio correlacional, no experimental, por lo que el control de las distintas variables que pueden explicar las diferencias entre ambos grupos está limitado a aquellas variables contempladas en el estudio. Los efectos debidos al perfil de los entrevistados han sido controlados a posteriori con técnicas de análisis que aíslan el efecto del modo del resto de variables (véase, los modelos de regresión utilizados).