Los cuestionarios autoinformados son un método de evaluación profusamente utilizado en el ámbito de las ciencias sociales ¹ . Están formados por una serie de ítems que, conjuntamente, permiten estimar el nivel de una persona en una determinada variable o constructo psicológico. Siguiendo la teoría clásica de los test, una de las formas de conseguir esto es a través de la suma de las puntuaciones en los ítems (Lord, Novick y Birnbaum 1968), obteniendo una puntuación total que ha de guardar una relación monotónica con el nivel en el rasgo medido (Cox 1980).

La asignación de puntuaciones a las respuestas de los sujetos está condicionada por el formato de respuesta de los ítems. El formato Likert es un formato bastante habitual en investigaciones de las ciencias sociales y de la salud. Consiste en preguntar al evaluado por su grado de acuerdo con el enunciado del ítem, ofreciéndole alternativas de respuesta ordenadas, por ejemplo, desde el “completamente en desacuerdo” al “completamente de acuerdo” (Likert 1932). Partiendo del postulado de que parece dudoso que lo sujetos entiendan las alternativas como equidistantes (i. e., que las distancias entre las posibles respuestas sean las mismas), las respuestas a los ítems vendrían dadas en una escala ordinal. En consecuencia, teóricamente no sería adecuado realizar operaciones aritméticas con los valores numéricos asignados a las alternativas (Jamieson 2004; Kuzon, Urbanchek y McCabe 1996; Stevens 1946), imposibilitando la obtención de una puntuación total en el test a través de la suma de las puntuaciones en los ítems. No obstante, muchos otros autores critican esta perspectiva, alegando que las escalas de medida no limitan las técnicas estadísticas que se pueden aplicar sobre los datos, sino las interpretaciones posteriores de estos análisis (Carifio y Perla 2008; 2007; Pell 2005; Knapp 1990; Lord 1953). Incluso el propio S. S. Stevens, autor de la clasificación de las escalas de medida en nominal, ordinal, intervalo y razón, reconoce que esta práctica “estadísticamente ilegal” puede llevar a resultados fructíferos (Stevens 1946: 679).

Siguiendo esta visión menos “purista”, y dado que los formatos de respuesta tipo Likert presentan multitud de variaciones, es lógico pensar que algunas de estas últimas se acercan más a ser escalas de intervalo. Por ejemplo, algunos autores afirman que eliminar las etiquetas intermedias en los formatos tipo Likert mejora la linealidad de la escala, si bien este es un punto polémico (Kronsick y Fabrigar 1997). El espacio visual entre las opciones de respuesta puede modificar la proporción de alternativas seleccionadas: si los extremos se acercan a los puntos intermedios, la proporción de respuestas en los extremos baja (Funke y Reips 2006). Incluso el uso de números negativos para identificar opciones de respuesta (p. ej., ir de -2 a 2 en vez de 0 a 5) o el orden -ascendente o descendente- de las alternativas afecta a la respuesta de los sujetos (Christian, Parsons, y Dillman 2009; Schwarz 1999). No obstante, el aspecto más estudiado ha sido el número de alternativas de respuesta adecuadas (Leung 2011; Lozano, García-Cueto y Muñiz 2008; Preston y Colman 2000; Cox 1980). Los resultados más habituales indican que a mayor número de alternativas, mayor precisión en la respuesta del participante, si bien existe un límite (en torno a siete alternativas) a partir del cual este incremento no es estadísticamente significativo (Lozano, García-Cueto y Muñiz 2008; Cox 1980).

Si pudiese aumentarse infinitamente el número de alternativas, se llegaría a una escala continua, en la que parece más probable que el sujeto entienda los puntos de la escala como equidistantes. La idea de ofrecer un formato de respuesta continuo fue introducida a principios del siglo pasado, bajo el término ‘Graphic Rating Scales’ (GRS) (Freyd 1923; Hayes y Patterson 1921). Estos formatos consisten en una línea cuyos extremos se identifican con sendas etiquetas (p. ej.: “completamente en desacuerdo” y “completamente de acuerdo”). Las etiquetas intermedias suelen evitarse, ya que se ha demostrado que sesgan la linealidad de la escala (Matejka et al. 2016). Las GRS sin etiquetas intermedias suelen identificarse como ‘Visual Analog Scales’ (VAS) (Couper et al. 2006; Svensson 2000). El sujeto da su respuesta marcando uno de los infinitos puntos que ofrece la línea. La puntuación del ítem se obtiene midiendo la distancia entre uno de los extremos y el punto marcado. Si bien el proceso de puntuación es laborioso en cuestionarios de lápiz y papel, el mismo se vuelve automático en cuestionarios aplicados por ordenador. La implementación informática de las VAS puede hacerse bien replicando la conducta del sujeto al responder con lápiz y papel (i. e., marcar un punto sobre una línea) o utilizando sliders, en los cuales la persona da la respuesta arrastrando un punto sobre una línea. Aunque esta diferencia es sutil, se han detectado diferencias entre ambos métodos (Funke 2016).

Así, el uso de un formato de respuesta continuo como el VAS elude el debate acerca del cálculo de puntuaciones totales a partir de ítems con formato de respuesta Likert. En otras palabras, la mejor forma de evitar los problemas derivados de la discretización de las escalas de medida (esto es, el establecimiento de un número limitado de alternativas de respuesta, como ocurre en el formato de respuesta tipo Likert) es no discretizar (Krieg 1999). Así, obviando el componente psicológico del proceso de respuesta, la mejora en la precisión (i. e., la capacidad del participante para situarse en la escala de medida) que permite el formato VAS se debería traducir en una mejora en las propiedades psicométricas del cuestionario. Esto se debe a que el aumento del número de alternativas de respuesta debería aumentar la variabilidad de las puntuaciones (Cox 1980), y, en el caso de las VAS, el número de alternativas es infinito. Suponiendo que el participante está respondiendo de forma precisa, con el formato VAS se obtendrían covarianzas mayores entre los ítems que evalúan el mismo rasgo. Esto mejoraría todos los índices basados en la covarianza o correlación, como es el caso de los derivados del análisis factorial o del coeficiente α de Cronbach, algo ya demostrado empíricamente (Preston y Colman 2000). Finalmente, mayor variabilidad en las puntuaciones de los ítems conllevaría mayor variabilidad en las puntuaciones totales de los cuestionarios, mejorando su capacidad discriminativa y los valores correlaciones en las relaciones con otras variables.

Pese a esto, los estudios que comparan empíricamente el formato de respuesta VAS con el Likert no suelen encontrar grandes diferencias entre ellos. Cook et al. (2001), encontraron fiabilidades ligeramente mejores en el caso del formato VAS, si bien el tiempo de respuesta fue ligeramente mayor. Briesch et al. (2013) y Couper et al. (2006) no encontraron diferencias en las varianzas de las respuestas VAS y Likert, en contraste con Guyatt et al. (1987), que sí las hallaron. Las diferencias más notables que suelen señalarse son el mayor número de respuestas extremas en los formatos VAS frente a las escalas Likert (Funke y Reips 2006; Hasson y Arnetz 2005). Estas comparaciones no suelen hacerse con escalas que evalúen rasgos de personalidad. Por ejemplo, Funke y Reips (2012) preguntan por los gustos estéticos, Couper et al. (2006) por la opinión acerca de la influencia de los genes y ambientes en la conducta, y Roster, Lucianetti y Albaum (2015) por la sensibilidad a la investigación en el ámbito empresarial. En cuanto a la mayor parte de las investigaciones con escalas VAS, preguntan acerca de cuestiones médicas (Voutilainen et al. 2016; Myles y Urquhart 2005; Bijur, Silver y Gallagher 2001; Myles et al. 1999). Si bien existe algún estudio que compara escalas de respuesta Likert y continua en cuestionarios de personalidad administrados online (Toland et al. 2021; Simms et al. 2019; Kuhlmann, Dantlgraber y Reips 2017; Hilbert et al. 2016), estos no son frecuentes.

Dada la fácil implementación informática de las escalas VAS y los posibles beneficios psicométricos que estas podrían aportar a los cuestionarios de evaluación, nos parece muy interesante seguir recabando datos que permitan confirmar, o no, los beneficios hipotetizados. Desde esta perspectiva, el objetivo del presente trabajo es estudiar la influencia del formato de respuesta (VAS frente a Likert de cinco puntos) en las propiedades psicométricas de escalas de rasgos de personalidad administradas online. Para ello, se utilizó un cuestionario conformado por dos escalas (temeridad e impulsividad), las cuales se administraron en ambos formatos (Likert y VAS) entre febrero y mayo de 2022.

A continuación, en el apartado de método se indica la muestra recogida, el procedimiento de aplicación, los instrumentos utilizados y el plan de análisis de datos. Posteriormente, se presentan los resultados derivados de la investigación. Finalmente, en el apartado de discusión estos resultados se ponen en relación con el objetivo anteriormente mencionado y se describen algunas limitaciones del presente estudio.

Las escalas aplicadas formaban parte de una investigación más amplia sobre rasgos socialmente aversivos en que los participantes debían responder a un cuestionario online, accesible desde móvil, tableta u ordenador. Este cuestionario fue subido a una página web diseñada ad hoc por los autores. Los ítems con formato de respuesta tipo Likert consistían en cinco botones de opción, mientras que los formatos VAS eran sliders HTML de 150 píxeles de longitud. Se fijó esta longitud puesto que la misma permitía responder cómodamente tanto desde un ordenador como desde dispositivos con menor tamaño de pantalla (figura 2).

Tras contestar a las preguntas referentes a variables sociodemográficas (edad, sexo, nivel educativo), el participante comenzaba respondiendo los ítems tipo Likert correspondientes a las escalas cortoplacismo y temeridad, los cuales estaban mezclados con las escalas de honestidad-humildad y amabilidad del cuestionario de personalidad HEXACO (Roncero, Fornés y Belloch 2013), la versión española del cuestionario de psicopatía SRP-III (Gómez-Leal et al. 2021) y la escala de triada oscura DD (Pineda, Sandín y Muris 2020). Posteriormente, respondía a las preguntas en formato VAS de las escalas cortoplacismo y temeridad, así como de otras 2 escalas (manipulación e insensibilidad) que forman parte de un cuestionario de evaluación psicológica pendiente de publicación por los autores del manuscrito. El cuestionario total estaba formado por 79 ítems con formato de respuesta Likert y 26 ítems con formato de respuesta VAS

Las tres escalas pueden definirse de la forma siguiente ² :

Inicialmente, para poder comparar ambos formatos de respuesta, se transformaron linealmente las puntuaciones de los formatos VAS (0-100) para que estuviesen entre los límites de las respuestas Likert (0-4), permitiendo así su comparación. Con el objetivo de analizar si existen diferencias entre los dos formatos a nivel de ítem, se calcularon sus medias, desviaciones típicas e índices de discriminación. Además, se representaron sus histogramas, superponiendo los de los ítems con formato Likert sobre los de formato VAS.

Para analizar si las covarianzas entre los ítems de las escalas VAS fueron superiores a las de las escalas Likert, se calculó la matriz de correlaciones entre los ítems de cada escala.

Posteriormente, para comprobar si existían diferencias entre las puntuaciones totales de las escalas Likert y VAS, se compararon sus medias con la prueba t de Student -aportando la d de Cohen como estimador del tamaño del efecto (Cohen 1992)- y sus varianzas con la prueba de Brown-Forsythe.

A continuación, se llevó a cabo un análisis factorial exploratorio con cada escala, utilizando correlaciones de Pearson y extrayendo el número de dimensiones recomendadas por el análisis paralelo. Como método de extracción, se utilizó el de mínimos cuadrados no ponderados robustos. El ajuste de la estructura factorial se comprobó con el porcentaje de varianza explicada y los estadísticos CFI (Comparative Fit Index o índice de ajuste comparativo) y RMSEA (Root Mean Square Error of Aproximation o raiz cuadrada de la media de los errores cuadráticos de aproximación). Para comprobar si el formato de respuesta afectó a la estructura factorial de cada escala, se compararon sus pesos factoriales con el coeficiente de congruencia de Wrigley y Neuhous (García-Cueto 1994) y sus porcentajes de varianza explicada.

Posteriormente, con la finalidad de observar si el formato de respuesta VAS mejora la fiabilidad de la escala, se estimó el coeficiente alpha de Cronbach (α) de cada una de ellas, comparándolos entre sí con el estadístico t (Feldt 1980).

Todos los análisis estadísticos se han realizado en R, versión 4.1.1 (R Core Team 2022), con excepción de los análisis factoriales, realizados con el programa Factor, versión 12.01.01 (Lorenzo-Seva y Ferrando 2006). Los resultados y sintaxis de análisis están accesibles en el material complementario.

Los histogramas de los formatos Likert y VAS pueden consultarse en la figura 3. Para el cortoplacismo, las respuestas VAS se distribuyen por toda la escala, si bien las respuestas más frecuentes se dan en los extremos. Esta tendencia no se observa en los ítems Likert, en los cuales la alternativa cuatro (“completamente de acuerdo”) es siempre la menos seleccionada. En el caso de la temeridad, se observa un efecto suelo claro (i. e., gran proporción de respuestas en la alternativa más baja de la escala) en ambos formatos de respuesta.

Las bajas frecuencias de respuestas en el extremo derecho de los ítems de las escalas Likert frente a las encontradas en las escalas VAS explican por qué las respuestas VAS cuentan con una media mayor (tabla 2). Las desviaciones típicas también son ligeramente mayores en el caso de los ítems de las escalas VAS.

En cuanto a los índices de discriminación, los formatos de respuesta Likert han obtenido mejores índices que los formatos de respuesta VAS (tabla 2). Las correlaciones entre ítems fueron mayores en las escalas Likert frente a las VAS (tabla 3).

Respecto a las puntuaciones totales, se encontraron diferencias estadísticamente significativas entre las escalas con formato VAS y las Likert, siendo superiores las primeras (cortoplacismo: t = 10.671, p = < .001, d = 0.257; temeridad: t = -11.121, p = < .001, d = 0.177). No obstante, no se han observado diferencias estadísticamente significativas entre las varianzas de las puntuaciones totales (cortoplacismo: F(1, 1166) = 0.842, p = .718; temeridad: F(1, 1166) = 0.750, p = .774).

El porcentaje de varianza explicada, así como el RMSEA y el CFI de cada escala, pueden consultarse en la tabla 4. Si bien los ajustes fueron similares, las escalas Likert cuentan con un mayor porcentaje de varianza explicada.

Los pesos factoriales para cada escala pueden consultarse en la tabla 5. Los índices de congruencia (cortoplacismo: .995; temeridad: .999) indican que la estructura factorial del cuestionario no se ha visto afectada por el formato de respuesta.

Respecto a la fiabilidad, las estimaciones a través del coeficiente α indican una consistencia interna mayor en las escalas con formato Likert frente a las VAS, diferencias estadísticamente significativas según la t de Feldt (cortoplacismo: α _Likert = 0.775, α _VAS = 0.713, t = 5.278, p = < .001; temeridad: α _Likert = 0.836, α _VAS = 0.797, t = 6.745, p = < .001).

El objetivo de esta investigación fue comprobar si las escalas de respuesta VAS mejoraban las propiedades psicométricas de dos escalas de personalidad administradas online cuyos formatos de respuesta originales eran tipo Likert de cinco alternativas. Partiendo del hecho de que, si bien existen investigaciones que comparan estos formatos de respuesta (Voutilainen et al. 2016; Roster, Lucianetti y Albaum 2015; Briesch et al. 2013; Funke y Reips 2012; Reips y Funke 2008; Couper et al. 2006; Hasson y Arnetz 2005; Cook et al. 2001; Guyatt et al. 1987), las investigaciones que utilizan cuestionarios de rasgos de personalidad no suelen ser muy frecuentes (Toland et al. 2021; Simms et al. 2019; Kuhlmann, Dantlgraber y Reips 2017; Hilbert et al. 2016), los resultados indican diferencias en las puntuaciones totales, índices de discriminación y estimaciones de fiabilidad; no obstante, el formato de respuesta no afectó a la varianza de las puntuaciones totales ni a la estructura factorial.

Una inspección visual de los histogramas muestra que en los ítems con formato de respuesta Likert hay menos respuestas extremas en la parte derecha de la escala comparada que en las encontradas en el formato VAS. Este efecto se conoce como ‘end-aversion bias’ (Funke y Reips 2006; Hasson y Arnetz 2005). No obstante, esta tendencia suele ser bilateral, es decir, las personas suelen responder en los puntos intermedios de la escala, evitando sus extremos. En este caso, la aversión únicamente se da en el extremo derecho de los formatos Likert. Este fenómeno puede explicar por qué la media de los ítems VAS es mayor que la de los ítems Likert, pues la presencia de puntuaciones extremas en la alternativa de mayor valor empuja la media hacia arriba. La presencia de puntuaciones extremas en la escala VAS podría explicarse por una mayor facilidad de respuesta en los extremos (i. e., arrastrar el slider a un extremo frente a ajustar un valor bajo o alto).

Pese a que no se han observado diferencias estadísticamente significativas entre las medias o varianzas de las puntuaciones totales, sí se han observado efectos en estimadores derivados de la varianza, como es el caso de α. Revisando la tabla 2, puede observarse que las desviaciones típicas de los ítems son ligeramente más pequeñas en el caso de los ítems con formato Likert. Este hecho puede tener un efecto notable en α (manteniendo constante la varianza de la puntuación total), explicando así el hecho de haber encontrado evidencias de mayor consistencia interna en las escalas Likert. Una mayor consistencia interna implica correlaciones más altas entre los ítems de la escala y mayores índices de discriminación, lo que esta investigación ha probado empíricamente.

Las diferencias de fiabilidad y discriminación indican que los participantes son más precisos con el formato de respuesta Likert. Esta mayor precisión puede deberse a la dificultad que algunas personas pueden tener para responder utilizando sliders, especialmente en dispositivos táctiles (Buskirk 2015). Otro motivo puede ser la poca longitud de la línea de los formatos VAS, cuyo tamaño se fijó para poder responder cómodamente desde dispositivos pequeños (150 píxeles equivalen a 5,3 centímetros en una resolución de 720p., la más habitual en pantallas electrónicas). El hecho de haber demostrado que la longitud de la línea en escalas VAS influye en la precisión del sujeto (Reips y Funke 2008) nos lleva a concluir que el peor rendimiento de las escalas VAS se debe probablemente a esta cuestión.

Finalmente, aunque las estructuras factoriales de las escalas no se han visto afectadas por el formato de respuesta, el porcentaje de varianza explicada ha sido menor en el caso de las escalas continuas. Esto último se debe al menor valor de los pesos factoriales, derivados de la disminución en las covarianzas entre los ítems. Dicho de otro modo, la estructura factorial es la misma (lo cual no es sorprendente, teniendo en cuenta que se trata de los mismos ítems), pero está menos “definida” debido a la menor precisión del formato de respuesta VAS.

Esta investigación muestra que el efecto de un formato de respuesta sobre las propiedades psicométricas de un test depende, fundamentalmente, del cambio que este produzca en las correlaciones entre los ítems (i. e., la consistencia interna). Uno de los factores que influirá en la consistencia interna es la precisión del sujeto al utilizar la escala de respuesta. Si bien se ha hipotetizado que las escalas VAS permiten una mayor precisión (Voutilainen et al. 2016), otros estudios empíricos concluyen que las propiedades psicométricas prácticamente no varían entre ambos formatos de respuesta (Briesch et al. 2013; Couper et al. 2006; Cook et al. 2001). De hecho, algunas investigaciones reivindican el uso de los formatos Likert frente a los VAS, apoyándose en la sensación de que las personas parecen entenderlos mejor (Hilbert et al. 2016; van Laerhoven, van der Zaag-Loonen, y Derkx 2004; Guyatt et al. 1987) y que, en ocasiones, sus propiedades psicométricas son mejores (Simms et al. 2019).

Aunque esta investigación ahonda en la línea de esta última afirmación, existen una serie de limitaciones que han de tenerse en cuenta. La primera es que no se han probado distintas longitudes de línea en los formatos VAS, pudiendo darse el caso de que, con líneas más largas, la precisión del sujeto mejore. La segunda es que tampoco se ha registrado el dispositivo desde el que ha respondido el participante, lo cual impide comprobar si existen diferencias al responder desde un teléfono, tableta u ordenador. Finalmente, el haber realizado un muestreo de conveniencia puede haber introducido ciertos sesgos (véanse, por ejemplo, las diferencias de participación entre hombres y mujeres), lo cual limita la generalización de los resultados. Cuestiones interesantes para futuras investigaciones podrían ser la inclusión de cuestionarios de lápiz y papel y el uso de cuestionaros que evalúen otros tipos de rasgos.