<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD Journal Publishing DTD v3.0 20080202//EN" "http://dtd.nlm.nih.gov/publishing/3.0/journalpublishing3.dtd">
<article article-type="research-article" dtd-version="3.0" xml:lang="es" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">


	<front>
		<journal-meta>
			<journal-id journal-id-type="publisher-id">Revista Internacional de Sociolog&#x00ED;a</journal-id>
			<journal-title-group>
				<journal-title>Revista Internacional de Sociolog&#x00ED;a</journal-title>
				<abbrev-journal-title>RIS</abbrev-journal-title>
			</journal-title-group>
			<issn pub-type="epub">0034-9712</issn>
			<publisher>
				<publisher-name>Consejo Superior de Investigaciones Cient&#x00ED;ficas</publisher-name>
			</publisher>
		</journal-meta>
		
		<article-meta>
			<article-id pub-id-type="publisher-id">ris.2017.75.1.15.89</article-id>
            <article-id pub-id-type="doi">10.3989/ris.2017.75.1.15.89</article-id>
			 
			<article-categories>
				<subj-group subj-group-type="heading">
				<subject>ART&#x00CD;CULO</subject>
				</subj-group>
			</article-categories>	 	 
				
			<title-group>
				<article-title>¿Qu&#x00E9; dice la investigaci&#x00F3;n social sobre las pruebas educativas externas?</article-title>
				<trans-title-group xml:lang="en">
					<trans-title>What does social research say about high-stakes tests?</trans-title>
				</trans-title-group>
				<alt-title alt-title-type="running-head">¿Qu&#x00E9; dice la investigaci&#x00F3;n social sobre las pruebas educativas externas?</alt-title>
			</title-group>
			
						
			<contrib-group>
			
				<contrib contrib-type="author" corresp="yes"> 
					<name>
					 <surname>Feito Alonso</surname>
					 <given-names>Rafael</given-names>
					</name>
					<xref ref-type="aff" rid="U1"/>
					<xref ref-type="corresp" rid="cor1"/>
				</contrib>
			
			</contrib-group>
			
			<aff id="U1">Universidad Complutense de Madrid</aff>
			
			<author-notes>
				<corresp id="cor1"><email xlink:href="rfeito@cps.ucm.es">rfeito@cps.ucm.es</email>
				ORCID iD: <ext-link ext-link-type="uri" xlink:href="http://orcid.org/0000-0002-2579-5028">http://orcid.org/0000-0002-2579-5028</ext-link></corresp>
			</author-notes>
			
			
			<pub-date pub-type="epub">
				<day>31</day>
				<month>03</month>
				<year>2017</year>
			</pub-date>
						
			
			<pub-date pub-type="collection">
			<year>2017</year>
			</pub-date>
			
			<volume>75</volume>
			<issue>1</issue>
			
			<elocation-id>e053</elocation-id>

			 <history>
				<date date-type="received">
					<day>09</day>
					<month>06</month>
					<year>2015</year>
				</date>
				<date date-type="accepted">
					<day>13</day>
					<month>05</month>
					<year>2016</year>
				</date>
				<date date-type="published on line">
					<day>02</day>
					<month>03</month>
					<year>2017</year>
				</date>
			 </history>
			 
			<permissions>
				<copyright-statement>&#x00A9; 2017 CSIC</copyright-statement>
				<copyright-year>2017</copyright-year>
				<license license-type="open-access" xlink:href="http://creativecommons.org/licenses/by/3.0/es/deed.en">
					<license-p>Este es un art&#x00ED;culo de acceso abierto distribuido bajo los t&#x00E9;rminos de la licencia Creative Commons Attribution (CC BY) Espa&#x00F1;a 3.0.</license-p>
				</license>
			</permissions>
			
			<abstract xml:lang="es">
				<title>RESUMEN</title>
				<p>Las pruebas externas estandarizadas (<italic>high-stakes tests</italic>, en la jerga anglosajona), que han de ser aprobadas para obtener una credencial de Educaci&#x00F3;n Secundaria, han dado lugar a amplios debates en los pa&#x00ED;ses en que se han implantado. Especialmente en el caso de los Estados Unidos de Am&#x00E9;rica se ha detectado que este tipo de test ha provocado una reducci&#x00F3;n considerable de los contenidos curriculares, los cuales se han centrado en exceso en lo que se pueda preguntar en los propios test. Al mismo tiempo, se ha producido una modificaci&#x00F3;n sustancial en los procesos de aprendizaje que, centrados en unos conocimientos de tipo f&#x00E1;ctico, se alejan de la experimentaci&#x00F3;n, el debate o el trabajo en equipo. Pese a que hay discrepancias, en general, la investigaci&#x00F3;n ha detectado que es dudoso que estas pruebas mejoren los resultados acad&#x00E9;micos. Sin embargo, se incrementa el porcentaje de abandono escolar temprano. Ha sido frecuente cierto nivel de fraude en las pruebas por parte de los directivos escolares, evitando que se presentasen a los test los alumnos de menor rendimiento acad&#x00E9;mico. La revisi&#x00F3;n de investigaciones que se lleva a cabo en este art&#x00ED;culo permite contextuar el debate que en Espa&#x00F1;a se ha generado en torno a las pruebas externas que plantea la Ley Org&#x00E1;nica de Mejora de la Calidad Educativa (LOMCE) aprobada en 2013.</p>
			</abstract>
			
			<trans-abstract xml:lang="en">
				<title>ABSTRACT</title>
				<p>High-stake tests, which students need to pass in order to gain a Secondary education certificate, have aroused a lot of controversy whenever they have been implemented. Especially in the USA these tests have produced a dramatic shrinking of school knowledge as they have been focused into questions posed by the very tests. At the same time, there has been a critical modification of the learning processes due to the fact that these tests encourage students to pay more attention to factual knowledge, which is far away from hands-on learning, debating in class or working in teams. In spite of certain discrepancies, by and large, research casts serious doubts about whether these tests are conductive to better academic performance. Nevertheless, the dropout rate is on the rise. More often than not, school principals have been found preventing struggling students to sit the exams. A review of the research into this matter allows us to put into context the debate surrounding external exams posed by the current education law (LOMCE: Law for the Improvement of Educational Quality) passed by the parliamentary majority of the Popular Party in Spain in 2013.</p>
			</trans-abstract>

			
			<kwd-group xml:lang="es">							
				<title>PALABRAS CLAVE</title>
				<kwd>Educaci&#x00F3;n comparada</kwd>
				<kwd>High-stakes</kwd>
				<kwd>Legislaci&#x00F3;n escolar</kwd>
				<kwd>LOMCE</kwd>
				<kwd>Pruebas externas</kwd>
				<kwd>Reforma educativa</kwd>
			</kwd-group>
			
			<kwd-group xml:lang="en">
				<title>KEYWORDS</title> 			
				<kwd>Comparative Education</kwd>	
				<kwd>Educational Reform</kwd>
				<kwd>External Tests</kwd>
				<kwd>High-Stakes</kwd>
				<kwd>LOMCE</kwd>
				<kwd>School Law</kwd>
			</kwd-group>
		
		</article-meta>
	</front>		
	

	<body>	
			
		<sec id="S1">
			<title/>
			<p>La LOMCE (Ley Org&#x00E1;nica de Mejora de Calidad de la Educaci&#x00F3;n), la vigente ley educativa aprobada por el parlamento espa&#x00F1;ol a finales de 2013, propone la realizaci&#x00F3;n de pruebas externas para todo el alumnado de Primaria (en los cursos tercero y sexto), de la Secundaria obligatoria y del Bachillerato. En estos dos &#x00FA;ltimos niveles ser&#x00ED;a preciso aprobarlas para obtener la credencial correspondiente. Esto es lo que en la jerga anglosajona se llaman ex&#x00E1;menes de tipo <italic>high-stakes</italic>, expresi&#x00F3;n que quiere decir que se trata de pruebas que tienen consecuencias importantes para quien las lleva a cabo. Un ejemplo de <italic>high-stake</italic>, fuera del &#x00E1;mbito escolar, es el examen de conducir: quien no lo aprueba no est&#x00E1; autorizado a circular con un autom&#x00F3;vil por las v&#x00ED;as p&#x00FA;blicas. Tambi&#x00E9;n existen los <italic>low-stakes</italic>, ex&#x00E1;menes –como, por ejemplo, los que realiza el PISA– que no inciden directamente sobre el futuro del alumnado –nada tienen que ver con su promoci&#x00F3;n acad&#x00E9;mica–, del profesorado o de los centros escolares. Otro ejemplo de prueba <italic>low-stake</italic> es la finlandesa <italic>Ylioppilastutkinto</italic> (cuyo precedente es el examen de acceso a la Universidad de Helsinki), que es el &#x00FA;nico examen nacional en este pa&#x00ED;s y sirve como est&#x00E1;ndar de comparaci&#x00F3;n para valorar el desempe&#x00F1;o de los estudiantes de modo que las escuelas puedan elaborar estrategias de mejora (<xref ref-type="bibr" rid="CIT26">Klein 2010</xref>). En alguna ocasi&#x00F3;n, las pruebas son tan sumamente exigentes (<italic>high)</italic> que el fracaso de los alumnos en ellas puede llegar a suponer el cierre de la escuela y el despido de sus profesores. De este modo, en el caso de los Estados Unidos, la ley <italic>No Child Left Behind</italic> (NLCB)<xref ref-type="fn" rid="NOTE1">1</xref> determina que, en el segundo a&#x00F1;o en que una escuela tenga malos resultados, a su alumnado se le ofrecer&#x00E1; la posibilidad de acudir a un centro de mayor calidad. De no mejorar en el tercer a&#x00F1;o, sus estudiantes pueden hacer uso de tutor&#x00ED;as gratuitas despu&#x00E9;s del horario escolar. Si la escuela siguiera con una baja puntuaci&#x00F3;n, pasar&#x00ED;a a convertirse en un centro concertado (<italic>charter school</italic>) y su plantilla disminuir&#x00ED;a dr&#x00E1;sticamente.</p>

			<p>Los resultados de estas pruebas pueden ir m&#x00E1;s all&#x00E1; de lo estrictamente escolar. En los Estados Unidos sirven para configurar zonas de escolarizaci&#x00F3;n y, en consecuencia, escuelas socialmente excluyentes (<xref ref-type="bibr" rid="CIT02">Amrein y Berliner 2002</xref>). Las agencias de propiedad inmobiliaria utilizan tales resultados para valorar la calidad del vecindario y esto afecta al precio de la vivienda. Las familias que pueden permit&#x00ED;rselo deciden vivir en una zona u otra en funci&#x00F3;n de estos resultados.</p>

			<p>Los grupos pol&#x00ED;ticos, sociales y profesionales opuestos a la LOMCE consideran que las pruebas externas propuestas en esta ley son una reedici&#x00F3;n de las rev&#x00E1;lidas que existieron antes de la aprobaci&#x00F3;n de la Ley General de Educaci&#x00F3;n de 1970 –cosa que el ministro de Educaci&#x00F3;n que promovi&#x00F3; la ley, Jos&#x00E9; Ignacio Wert, negaba<xref ref-type="fn" rid="NOTE2">2</xref> alegando que estas eran un sistema de <italic>numerus clausus</italic> que regulaba el n&#x00FA;mero de personas que pod&#x00ED;an pasar de la Primaria al Bachiller Elemental y de este al Superior–. Es decir, de acuerdo con quienes se oponen a la ley, se tratar&#x00ED;a de un mecanismo de selecci&#x00F3;n socioeducativa.</p>

			<p>En principio, poco habr&#x00ED;a que objetar a la existencia de pruebas que permitan unificar los criterios de rendimiento de los estudiantes. El mayor problema que plantean, salvo que sean particularmente abiertas y flexibles, es que tienden a condicionar la pedagog&#x00ED;a y los contenidos de los cursos previos. Del mismo modo que el segundo curso de Bachillerato se ha convertido en una especie de academia para la selectividad, cuarto de la ESO podr&#x00ED;a experimentar una transformaci&#x00F3;n similar debido a las pruebas externas.</p>

			<p>Es muy leg&#x00ED;timo que tanto al Gobierno como a la ciudadan&#x00ED;a, a las familias y al profesorado les preocupe saber con cierto grado de precisi&#x00F3;n si nuestros escolares han aprendido aquello que es exigible al finalizar determinado curso o al transitar de una etapa educativa a otra. Diane Ravith, inicialmente una defensora de este tipo de pruebas, lo explicaba con claridad meridiana:</p>

						<disp-quote><p>“¿Qui&#x00E9;n podr&#x00ED;a oponerse al hecho de asegurar que los ni&#x00F1;os dominan las destrezas b&#x00E1;sicas de la lectura y de las matem&#x00E1;ticas? ¿Qui&#x00E9;n podr&#x00ED;a oponerse a un examen anual de estas destrezas? Con seguridad, yo no. ¿No examinan, de hecho, las escuelas a sus alumnos al menos una vez al a&#x00F1;o?” (<xref ref-type="bibr" rid="CIT39">2010</xref>: 25).</p></disp-quote>

			<p>En el caso de Espa&#x00F1;a, en ausencia de pruebas externas, el alumnado puede recorrer toda la ense&#x00F1;anza preuniversitaria –hasta la realizaci&#x00F3;n de la Prueba de Acceso a la Universidad (PAU)– con la &#x00FA;nica y exclusiva evaluaci&#x00F3;n de los profesores de su centro (el cual podr&#x00ED;a ser solo uno en el supuesto de haber estudiado en un centro privado o, un m&#x00ED;nimo de dos, en el caso de haberlo hecho en la ense&#x00F1;anza p&#x00FA;blica). Todo esto es un terreno abonado para la arbitrariedad: se podr&#x00ED;a aprobar o suspender una asignatura en funci&#x00F3;n de las peculiaridades de su profesor. Lo que tenemos ahora en nuestro sistema educativo supone que no sabemos qu&#x00E9; pueda haber aprendido un alumno. Si se presentara a la PAU, algo –aunque no mucho– se podr&#x00ED;a saber. Las pruebas externas se convertir&#x00ED;an en una garant&#x00ED;a de que el alumnado que las aprobase ha adquirido al menos los conocimientos sobre los que versaren tales evaluaciones.</p>

			<p>No obstante, conviene tener en cuenta el peligro que supone magnificar el peso de estas pruebas en la evaluaci&#x00F3;n del sistema educativo. Hace ya algunas d&#x00E9;cadas, Donald T. Campbell (<xref ref-type="bibr" rid="CIT13">1976</xref>) acu&#x00F1;&#x00F3; una famosa ley que lleva su nombre (tambi&#x00E9;n conocida como el “principio de indeterminaci&#x00F3;n de Heisenberg para las ciencias sociales”) que viene a decir que cuanto m&#x00E1;s se utiliza un indicador social para resolver problemas sociales, resulta m&#x00E1;s susceptible de distorsionar y de corromper los procesos sociales que trata de corregir. En su libro sobre los ex&#x00E1;menes del tipo <italic>high-stakes</italic>, Nichols y Berliner (<xref ref-type="bibr" rid="CIT33">2008a</xref>) advert&#x00ED;an de la similitud en la pr&#x00E1;ctica de estas pruebas con el uso perverso que hizo Sears en California en su retribuci&#x00F3;n a los mec&#x00E1;nicos de coches. En lugar de abonarles un salario, la empresa decidi&#x00F3; que se les pagar&#x00ED;a una comisi&#x00F3;n en funci&#x00F3;n del n&#x00FA;mero de reparaciones que hicieran. Al poco tiempo, las autoridades del estado amenazaron a Sears debido a la enorme cantidad de quejas de clientes por reparaciones innecesarias. Algo similar ocurri&#x00F3; durante a&#x00F1;os en la Uni&#x00F3;n Sovi&#x00E9;tica cuando se ordenaba a los trabajadores fabricar, bajo amenaza, tractores o tanques, con independencia de que posteriormente fueran &#x00FA;tiles o no.</p>

			<p>La bibliograf&#x00ED;a sobre pruebas externas es inmensa. Para seleccionar art&#x00ED;culos cient&#x00ED;ficos se ha recurrido a bases de datos como <italic>Education Resources Information Center, JSTOR</italic> y <italic>Sociological Abstracts</italic> utilizando palabras clave del tipo “<italic>high-stakes exams</italic>”, “<italic>exit exams</italic>” o “<italic>exit test</italic>”. Ha sido de gran utilidad el uso del buscador general de Google, ya que esto ha permitido acceder no solo a art&#x00ED;culos cient&#x00ED;ficos, sino tambi&#x00E9;n a publicaciones de la prensa general o del &#x00E1;mbito profesional docente, y a informes realizados por diversos <italic>think tanks</italic>. A lo largo de la revisi&#x00F3;n bibliogr&#x00E1;fica se ha producido una suerte de efecto de bola de nieve: muchas de las lecturas remit&#x00ED;an a otras. Esto ha permitido conocer en profundidad las r&#x00E9;plicas, contrarr&#x00E9;plicas, d&#x00FA;plicas y dem&#x00E1;s a que ha dado lugar este intenso debate protagonizado fundamentalmente por economistas, soci&#x00F3;logos, psic&#x00F3;logos e historiadores. Buena parte de la literatura sobre este tema procede de la discusi&#x00F3;n generada en torno al uso de los <italic>high-stakes tests</italic> en los Estados Unidos de Am&#x00E9;rica.</p>

			<p>En las p&#x00E1;ginas que siguen se explicar&#x00E1;n el debate sobre estas pruebas y las consecuencias que han tenido; las cuales se refieren; fundamentalmente, a la reducci&#x00F3;n de los contenidos curriculares y al modo en que se ense&#x00F1;a, al desempe&#x00F1;o educativo, a los diferentes resultados obtenidos en funci&#x00F3;n del estatus socioecon&#x00F3;mico y de la etnia del alumnado, y, finalmente, a las repercusiones que han tenido sobre las actitudes de los equipos directivos, de los profesores y de los estudiantes. Todo ello podr&#x00ED;a servir de orientaci&#x00F3;n para el debate educativo que ha suscitado en Espa&#x00F1;a la LOMCE. La experiencia acumulada sobre este tipo de pruebas en otros pa&#x00ED;ses deber&#x00ED;a hacernos muy cautos, no ya tanto con respecto a su existencia, como con relaci&#x00F3;n a su contenido y al tipo de preguntas que en ellas se planteen.</p>

		</sec>
			
		<sec id="S2">
			<title>¿QU&#x00C9; CONTENIDOS EVAL&#x00DA;AN LAS PRUEBAS EXTERNAS?</title>

			<p>Quiz&#x00E1;s esta sea la cuesti&#x00F3;n principal del debate relativo a las pruebas externas. Como se ver&#x00E1; m&#x00E1;s adelante, estas no tienen por qu&#x00E9; reducir los contenidos curriculares, ni centrarse en unas pocas materias del curr&#x00ED;culo escolar, ni tienen que consistir en preguntas de tipo test. De hecho, dos autores extremadamente cr&#x00ED;ticos con los <italic>high-stakes</italic>, como Nichols y Berliner (<xref ref-type="bibr" rid="CIT33">2008a</xref>), no se oponen a los ex&#x00E1;menes estandarizados y no tienen problema alguno en reconocer que el SAT (<italic>Scholastic Aptitude Test</italic>, prueba similar a la de acceso a la universidad en Espa&#x00F1;a) puede ser una prueba de gran utilidad para la medici&#x00F3;n de saberes complejos y diversos.</p>

			<p>El principal riesgo de este tipo de pruebas es que el conjunto de la ense&#x00F1;anza se pueda concentrar en los contenidos que en ellas se plantean (<italic>teaching to the test</italic>) a costa de otros igualmente necesarios para la formaci&#x00F3;n de las nuevas generaciones. Un trabajo realizado por J. J. Pedulla (citado en <xref ref-type="bibr" rid="CIT33">Nichols y Berliner 2008a</xref>) indica que el 80% de los profesores de aquellos estados norteamericanos en los que hay <italic>high-stakes</italic> se queja de que son presionados para obtener buenos resultados, lo que se traduce en ense&#x00F1;ar para los test obviando todo lo dem&#x00E1;s.</p>

			<p>Los test que se han venido utilizando limitan considerablemente el aprendizaje de destrezas indispensables para desenvolverse en el mundo actual. Se trata de una estrategia que, a corto plazo, puede beneficiar a los alumnos de las clases media y alta, pero que resulta contraria a lo que les va a esperar en el mundo del trabajo. Tal limitaci&#x00F3;n anula la posibilidad de centrarse en la profundizaci&#x00F3;n de los temas curriculares, en desarrollar niveles sofisticados de aprendizaje, los cuales incluyen destrezas de alto nivel y la capacidad para aplicarlas en escenarios que no resulten familiares al alumnado. Esto es lo que al respecto dec&#x00ED;a Robert Reich (quien fuera secretario de Trabajo en la primera administraci&#x00F3;n Clinton):</p>

						<disp-quote><p>“Muchos de los nuevos empleos dependen de la creatividad –del pensamiento <italic>out of the box</italic>–, de la originalidad y del talento. Casi por definici&#x00F3;n, los test estandarizados no pueden medir este tipo de cosas. Son adecuados para medir la habilidad para repetir mec&#x00E1;nicamente hechos y aplicar modos estandarizados de an&#x00E1;lisis. Nuestra obsesi&#x00F3;n por los test estandarizados va justamente en direcci&#x00F3;n contraria a las necesidades de la econom&#x00ED;a moderna” (<xref ref-type="bibr" rid="CIT40">Reich 2001</xref>: 64).</p></disp-quote>

			<p>La investigaci&#x00F3;n es concluyente con respecto a la reducci&#x00F3;n del conocimiento a lo meramente f&#x00E1;ctico. Au (<xref ref-type="bibr" rid="CIT07">2008</xref>) se&#x00F1;ala que la ense&#x00F1;anza de la historia –cuando esta materia entra en los test– se convierte en una colecci&#x00F3;n de datos f&#x00E1;cticos, lo que impide que sea una actividad que promueva el pensamiento en torno a esta disciplina. Richard Rothstein (<italic>cfr.</italic> Nichols y Berliner 2006) explica que en los test se pide a los estudiantes que identifiquen detalles de los textos, en lugar de centrarse en la idea principal. Por ejemplo, un escrito sobre Crist&#x00F3;bal Col&#x00F3;n puede pedir a los alumnos que citen los nombres de las tres carabelas, de modo que estos no llegan a saber que al navegar hacia el oeste el navegante genov&#x00E9;s quer&#x00ED;a probar que la tierra era redonda. En el mismo sentido, Anagnostopoulos (<xref ref-type="bibr" rid="CIT05">2003</xref>) observ&#x00F3; que los test en Chicago limitaban la posible interpretaci&#x00F3;n global de un texto como <italic>Matar a un ruise&#x00F1;or</italic>, excluyendo elementos fundamentales de naturaleza pol&#x00ED;tica e ideol&#x00F3;gica. Se corre el serio riesgo de que la docencia se convierta en una suerte de edici&#x00F3;n del juego del <italic>Trivial Pursuit</italic>. Hamilton (2005) se&#x00F1;ala que en los Estados Unidos la instrucci&#x00F3;n empieza a parecerse a los test. Por ejemplo, las actividades derivadas de la lectura de un libro se reducen a leer pasajes cortos seguidos de preguntas de elecci&#x00F3;n m&#x00FA;ltiple, un tipo de lectura –si es que as&#x00ED; cupiera llamarla– que no se da en la vida real.</p>

			<p>Las pruebas estandarizadas suelen abordar cuestiones de unas pocas materias del curr&#x00ED;culo, aquellas que la escuela considera importantes, dejando el resto en la penumbra de la indiferencia. Este ser&#x00ED;a el caso de las pruebas de “Conocimientos y Destrezas Indispensables” que realiza la Comunidad de Madrid a alumnos de sexto de Primaria y tercero de la ESO (se puede ver en qu&#x00E9; consisten en la web de la Consejer&#x00ED;a de Educaci&#x00F3;n de esta comunidad aut&#x00F3;noma). Se trata de pruebas que se centran de modo casi exclusivo en la competencia lectora y en conocimientos matem&#x00E1;ticos obviando el resto de contenidos curriculares; es decir, tan solo analizar&#x00ED;an el grado de adquisici&#x00F3;n de ciertas competencias b&#x00E1;sicas. Igualmente se ha denunciado el elevado coste de la realizaci&#x00F3;n de estas pruebas.</p>

			<p>En el caso de la LOMCE nos encontramos con una situaci&#x00F3;n similar. As&#x00ED;, las pruebas de tercer curso de Primaria se limitan a tan solo dos de las siete competencias contempladas en el Real Decreto 126/2014, de 28 de febrero (el cual determina el curr&#x00ED;culo b&#x00E1;sico de Primaria). Sin que medie explicaci&#x00F3;n alguna, las pruebas externas de este curso se limitan a tan solo la Competencia Ling&#x00FC;&#x00ED;stica y a la Competencia Matem&#x00E1;tica (aunque, en realidad, la segunda de las competencias se llama “Competencia Matem&#x00E1;tica y Competencias b&#x00E1;sicas en Ciencia y Tecnolog&#x00ED;a”).</p>

			<p>De este modo, estas pruebas no abordan las siguientes competencias (ordenadas desde la tercera a la s&#x00E9;ptima):</p>

				<list list-type="bullet">
					<list-item>
						<p>3.º Competencia Digital.</p>
					</list-item>
					
					<list-item>
						<p>4.º Aprender a Aprender.</p>
					</list-item>
					
					<list-item>
						<p>5.º Competencias Sociales y C&#x00ED;vicas.</p>
					</list-item>
					
					<list-item>
						<p>6.º Sentido de Iniciativa y Esp&#x00ED;ritu Emprendedor.</p>
					</list-item>
					
					<list-item>
						<p>7.º Conciencia y Expresiones Culturales.</p>
					</list-item>
				</list>

			<p>Finalmente, conviene poner de manifiesto c&#x00F3;mo el nivel de exigencia de las pruebas var&#x00ED;a a lo largo del tiempo. Este ha sido el caso de las pruebas de sexto de Primaria de la Comunidad de Madrid. De un curso a otro, los resultados pueden mejorar notablemente. Pese a que no cabr&#x00ED;a descartar un perfeccionamiento del aprendizaje de los alumnos, la clave para tal evoluci&#x00F3;n parece residir en que el examen es m&#x00E1;s f&#x00E1;cil. Sin &#x00E1;nimo de exhaustividad, y a modo de ejemplo, el dictado pasa de ser un texto –uno o varios p&#x00E1;rrafos– a un listado de peque&#x00F1;as frases. Volviendo a los Estados Unidos, el caso de Chicago resulta ejemplar por el modo en que en cuesti&#x00F3;n de muy poco tiempo se puede pasar de obtener p&#x00E9;simos resultados a mejorar considerablemente, bien como consecuencia de que profesorado y alumnado aprenden a desenvolverse con estos test, o bien de que simplemente se rebajan sus niveles de exigencia (<xref ref-type="bibr" rid="CIT41">Roderick y Nagaoka 2005</xref>). En definitiva, su rigor depende en muy buena medida de la propia severidad de las pruebas. En los Estados Unidos fluct&#x00FA;a considerablemente entre estados, y en cada uno de ellos, de un a&#x00F1;o a otro. Un informe de la Fundaci&#x00F3;n Abell (<xref ref-type="bibr" rid="CIT01">2003</xref>) hac&#x00ED;a referencia al dilema que ten&#x00ED;a que afrontar la Junta Estatal de Educaci&#x00F3;n de Maryland sobre el rigor de las pruebas. De llegar a la misma exigencia que la media del resto de los estados, se hubiera condenado a la no obtenci&#x00F3;n del t&#x00ED;tulo de Secundaria Superior a un 20% m&#x00E1;s de estudiantes que en el curso anterior, con el agravante de que hubiese afectado sobre todo a los de menor nivel econ&#x00F3;mico.</p>

		</sec>
		
		<sec id="S3">
			<title>¿C&#x00D3;MO EVAL&#x00DA;AN LAS PRUEBAS EXTERNAS?</title>

			<p>No menos importante que los contenidos de las pruebas externas, es el modo c&#x00F3;mo estas eval&#x00FA;an. Hasta ahora, lo que ha predominado es el examen tipo test, algo que llev&#x00F3; a que, durante su primera campa&#x00F1;a presidencial, Obama apuntase la necesidad de acometer cambios sustantivos en la ley NCLB (que ampara, pese a que no obliga a ello, los ex&#x00E1;menes externos). Lleg&#x00F3; a decir que los profesores dejar&#x00ED;an de estar “abocados a dedicar el curso a preparar a los ni&#x00F1;os para rellenar c&#x00ED;rculos en test estandarizados”. Se&#x00F1;al&#x00F3; que materias como la historia y el arte estaban siendo marginadas y que, en definitiva, ni&#x00F1;os y adolescentes no recib&#x00ED;an una educaci&#x00F3;n completa. Propuso que era preferible ayudar a las escuelas con problemas en lugar de sancionarlas (<xref ref-type="bibr" rid="CIT38">Ravitch 2009</xref>). Sin embargo, finalmente los ex&#x00E1;menes externos tipo test contin&#x00FA;an existiendo.</p>

			<p>Las pruebas externas definen los contenidos que cuentan como conocimiento leg&#x00ED;timo, de modo que lo que no se eval&#x00FA;a en los test –lo que habitualmente sucede con el arte, las ciencias y los estudios sociales– mengua considerablemente (<xref ref-type="bibr" rid="CIT17">Jones, Jones y Hargrove 2003</xref>; <xref ref-type="bibr" rid="CIT07">Au 2008</xref>; <xref ref-type="bibr" rid="CIT29">Mons 2009</xref>;). Adem&#x00E1;s, y esto es lo que se quiere plantear en este ep&#x00ED;grafe, los test terminan por controlar el modo en que se ense&#x00F1;a, de manera que el conocimiento se plantea en forma de preguntas de respuesta corta, precisa e indiscutible. A partir de aqu&#x00ED;, el curr&#x00ED;culo es presentado como un conjunto de datos aislados que los alumnos han de memorizar. Los profesores asumen un mayor control sobre la did&#x00E1;ctica, de modo que los alumnos tienen menos oportunidades de dirigir su propio aprendizaje o de explorar conceptos o tem&#x00E1;ticas que pudieran interesarles.</p>

			<p>El peligro de que la formaci&#x00F3;n se centre en los test es evidente. Jonathan King (citado en <xref ref-type="bibr" rid="CIT45">Wagner 2010</xref>), un reconocido bi&#x00F3;logo molecular del MIT, envi&#x00F3; a sus dos hijos a la misma escuela. Su hijo mayor aprendi&#x00F3; desde la experiencia. Junto con sus compa&#x00F1;eros de clase, iba a una charca cercana a su centro escolar y all&#x00ED; tomaba muestras. De hecho, los ni&#x00F1;os descubr&#x00ED;an criaturas que la ciencia desconoc&#x00ED;a. Con su segundo hijo, las cosas fueron radicalmente diferentes ya que hab&#x00ED;a sido preparado para pasar los test. La experiencia, el mancharse las manos, hab&#x00ED;an desaparecido. Howard Gardner (<xref ref-type="bibr" rid="CIT18">2002</xref>) plantea la necesidad de que el alumnado piense y act&#x00FA;e como lo hacen los cient&#x00ED;ficos, los matem&#x00E1;ticos, los historiadores y los artistas. Las investigaciones han demostrado que los alumnos que aprenden de este modo manifiestan una elevada motivaci&#x00F3;n intr&#x00ED;nseca y est&#x00E1;n m&#x00E1;s dispuestos a desarrollar el pensamiento cr&#x00ED;tico. Justamente, esto es lo que se propone el interesant&#x00ED;simo informe Grattan:</p>

						<disp-quote><p>“Las reformas acometidas en Hong Kong giran en torno a un objetivo central: mejorar el aprendizaje de los estudiantes. Un an&#x00E1;lisis en profundidad detect&#x00F3; que el aprendizaje de los estudiantes era mon&#x00F3;tono y orientado hacia el examen y dejaba poco espacio para pensar, investigar y crear. La ense&#x00F1;anza se hab&#x00ED;a convertido en un proceso de transmisi&#x00F3;n unidireccional. Hong Kong quer&#x00ED;a que los ni&#x00F1;os se implicaran en actividades de aprendizaje a partir de lo que saben, interactuando, creando e investigando nuevos conocimientos. Su nueva definici&#x00F3;n de aprendizaje supuso alejarse del &#x00E9;nfasis previo en la adquisici&#x00F3;n de conocimiento” (Grattan 2012: 18).</p></disp-quote>

			<p>Las pruebas externas de Secundaria<xref ref-type="fn" rid="NOTE3">3</xref> que propone la LOMCE pretenden, en principio, evaluar una serie de destrezas cognitivas de alto nivel. Sin &#x00E1;nimo de ser exhaustivo, he aqu&#x00ED; –entre otras cosas– lo que se quiere evaluar de la Competencia en Comunicaci&#x00F3;n Ling&#x00FC;&#x00ED;stica:</p>

				<list list-type="alpha-lower">
					<list-item>
						<p>Inferir la informaci&#x00F3;n relevante de los textos, identificando la idea principal y las ideas secundarias, y estableciendo relaciones entre ellas.</p>
					</list-item>
					
					<list-item>
						<p>Reconocer la coherencia global del texto.</p>
					</list-item>
					
					<list-item>
						<p>Resumir textos narrativos, descriptivos, expositivos y argumentativos de forma clara, integrando la informaci&#x00F3;n en oraciones que se relacionen l&#x00F3;gica y sem&#x00E1;nticamente.</p>
					</list-item>
					
					<list-item>
						<p>Deducir informaci&#x00F3;n y relaciones no expl&#x00ED;citas as&#x00ED; como organizar la informaci&#x00F3;n del texto para vincularla a un conocimiento previo.</p>
					</list-item>
				</list>
				
			<p>O, en el caso de la Competencia Matem&#x00E1;tica y de la Competencias B&#x00E1;sicas en Ciencia y Tecnolog&#x00ED;a se evaluar&#x00ED;an, entre otras, estas capacidades:</p>
			
				<list list-type="alpha-lower">
					<list-item>
						<p>Determinar m&#x00E9;todos, estrategias o herramientas eficientes y apropiados para resolver problemas para los que hay m&#x00E9;todos de resoluci&#x00F3;n com&#x00FA;nmente utilizados.</p>
					</list-item>
					
					<list-item>
						<p>Utilizar modelos: generar ecuaciones o diagramas para representar o ilustrar situaciones, sistemas, procesos, conceptos, principios o relaciones.</p>
					</list-item>
					
				</list>

			<p>Sin embargo, al final del documento oficial que explica el contenido de estas pruebas, el lector descubre que se trata de ex&#x00E1;menes tipo test (“Las preguntas de la prueba ser&#x00E1;n en formato de elecci&#x00F3;n m&#x00FA;ltiple con cuatro alternativas y de respuestas semiconstruidas”) y que contendr&#x00E1;n 350 cuestiones. Parece poco probable que se puedan generar ecuaciones o reconocer la coherencia global de un texto en un test. Dar&#x00ED;a la sensaci&#x00F3;n de que no se hubieran puesto de acuerdo entre s&#x00ED; los autores de las p&#x00E1;ginas referidas a qu&#x00E9; se quiere evaluar con los de las relativas a c&#x00F3;mo evaluar.</p>

			<p>La medici&#x00F3;n de saberes complejos tiene un coste econ&#x00F3;mico sensiblemente m&#x00E1;s alto –en torno al triple– que el de los contenidos, relativamente simples, de un test. As&#x00ED;, por ejemplo, el estado norteamericano de Maryland contrat&#x00F3; a una empresa privada la evaluaci&#x00F3;n de las preguntas de respuesta m&#x00FA;ltiple –<italic>Measurement Inc.</italic>, como se puede ver en Abell Fondation (<xref ref-type="bibr" rid="CIT01">2003</xref>)–. Sin embargo, las respuestas abiertas y los ensayos eran evaluados siguiendo el criterio de la evaluaci&#x00F3;n por pares realizada por profesores (en caso de que hubiese gran desacuerdo entre ellos, la evaluaci&#x00F3;n se asignar&#x00ED;a a un tercer evaluador).</p>

			<p>En tiempos pasados, los test iban m&#x00E1;s all&#x00E1; de lo meramente f&#x00E1;ctico. Desde los a&#x00F1;os sesenta hasta los noventa del pasado siglo, la evaluaci&#x00F3;n en los Estados Unidos se basaba en la <italic>National Assessment of Educational Progress</italic> (NAEP). Inicialmente pensada como un mecanismo de informaci&#x00F3;n basado en test psicom&#x00E9;tricos, la NAEP fue evolucionando hacia un sistema que inclu&#x00ED;a la medici&#x00F3;n de una amplia gama de contenidos cognitivos y no cognitivos, destrezas y rasgos del car&#x00E1;cter personal. Tambi&#x00E9;n se valoraban los h&#x00E1;bitos de buena salud y la capacidad de cooperar con otras personas para resolver problemas (Ruiz i Tarrag&#x00F3; <xref ref-type="bibr" rid="CIT42">2010</xref>). Las evaluaciones inclu&#x00ED;an test, pruebas creativas y observaciones de las actividades de los alumnos y de los centros. A causa de su alto coste econ&#x00F3;mico, las metodolog&#x00ED;as de evaluaci&#x00F3;n de la NAEP fueron abandonadas durante los recortes presupuestarios de los a&#x00F1;os setenta y nunca m&#x00E1;s fueron recuperadas.</p>

			<p>Por tanto, nada impide que las pruebas externas vayan m&#x00E1;s all&#x00E1; de los test y sean capaces de medir destrezas complejas. Justamente esto es lo que ocurre en diversos pa&#x00ED;ses. Un examen de nivel que contemple destrezas gen&#x00E9;ricas tales como el modo en que se redacta, se razona, se procesa la informaci&#x00F3;n, etc. podr&#x00ED;a ser de gran utilidad. En concreto este ser&#x00ED;a, por ejemplo, el modelo de las <italic>Coalition Schools</italic> en los Estados Unidos, en las que el t&#x00ED;tulo de Educaci&#x00F3;n Secundaria se obtiene en pruebas p&#x00FA;blicas, similares a las de nuestras tesis doctorales, ante tribunales constituidos por profesores del centro y por alg&#x00FA;n adulto nombrado por el propio estudiante (<xref ref-type="bibr" rid="CIT06">Apple y Beane 2005</xref>). Si se quisiera una evaluaci&#x00F3;n m&#x00E1;s objetiva se podr&#x00ED;a contar con la presencia de profesores de otros centros. En este tipo de pruebas, cada estudiante presenta en p&#x00FA;blico investigaciones o ensayos para cada una de las &#x00E1;reas de conocimiento, sean asignaturas o bloques curriculares m&#x00E1;s interdisciplinares. De paso solventar&#x00ED;amos en buena medida el actual car&#x00E1;cter escasamente democr&#x00E1;tico de la evaluaci&#x00F3;n, al convertirla en una actividad p&#x00FA;blica y genuinamente colegiada. Luis Garicano (<xref ref-type="bibr" rid="CIT19">2015</xref>) explicaba una forma similar de examen de fin de etapa, esta vez en Holanda:</p>

						<disp-quote><p>“Recientemente tuve la oportunidad de asistir [...] a la presentaci&#x00F3;n de los proyectos de final de bachillerato en un Technasium. Un Technasium es un instituto de bachillerato especializado para estudiantes que quieren en el futuro estudiar materias t&#x00E9;cnicas y cient&#x00ED;ficas, desde ingenier&#x00ED;as a matem&#x00E1;ticas o ciencias naturales. [...] En el Technasium los proyectos adquieren una importancia especial. El proyecto de fin de estudios (&#x00FA;ltimo a&#x00F1;o de bachillerato) requiere 200 horas de trabajo por estudiante (equivalente a cinco semanas de trabajo a tiempo completo).</p>

						<p>En el Technasium de Amersfoort, observ&#x00E9; fascinado la presentaci&#x00F3;n de seis proyectos. Un grupo ten&#x00ED;a que dise&#x00F1;ar, bajo la supervisi&#x00F3;n de un despacho de arquitectura, la infraestructura de una peque&#x00F1;a urbanizaci&#x00F3;n de vacaciones: carreteras, energ&#x00ED;a sostenible, puentes. Los c&#x00E1;lculos inclu&#x00ED;an el tipo de puentes sobre el canal y sus soportes, el grosor de las carreteras, el tipo de energ&#x00ED;a usada, la forma de guardar el exceso de energ&#x00ED;a. Otro grupo ten&#x00ED;a el encargo de dise&#x00F1;ar un sistema para ayudar a los ancianos a levantarse de la cama sin ayuda. Resolvieron el reto con la ayuda de un brazo articulado para la parte alta del cuerpo y un soporte con un peque&#x00F1;o motor para las piernas, todo ello controlado con un sencillo control remoto. Un tercer grupo investig&#x00F3; las anormalidades cromos&#x00F3;micas en dos pacientes del Hospital Universitario de Utrecht. Un cuarto grupo dise&#x00F1;&#x00F3; un robot que pudiera llevar bebidas de una habitaci&#x00F3;n a otra, evitando obst&#x00E1;culos. Otro grupo nos dej&#x00F3; con la boca abierta cuando tuvo que disculparse al explicar que su presentaci&#x00F3;n hab&#x00ED;a sido declarada confidencial por el cliente: el cliente, una empresa l&#x00ED;der en tratamiento de aguas, hab&#x00ED;a decidido que el proyecto hab&#x00ED;a desarrollado conocimiento patentable y no quer&#x00ED;a que nada fuera presentado hasta que existiera la patente”.</p></disp-quote>

			<p>En el caso de pa&#x00ED;ses como “Australia, Dinamarca, Inglaterra, Escocia, Finlandia, Francia, Irlanda, Holanda y buena parte de Canad&#x00E1; y Alemania, por ejemplo, los ex&#x00E1;menes de fin de la Secundaria superior […] tienen lugar durante un periodo de dos semanas o m&#x00E1;s. Los ex&#x00E1;menes de cada asignatura duran alrededor de tres horas y exigen que los estudiantes escriban ensayos, describan experimentos y muestren qu&#x00E9; pasos han seguido para resolver un problema” (<xref ref-type="bibr" rid="CIT09">Bishop 2005</xref>: 4).</p>

			<p>Tal y como explicaba Sireci (<xref ref-type="bibr" rid="CIT43">2005</xref>), un examen estandarizado significa que su contenido es equivalente en todos los lugares en que se aplica y que las condiciones a que se somete a los sujetos examinados son las mismas. A esto hay que a&#x00F1;adir que una prueba estandarizada no tiene por qu&#x00E9; limitarse tan solo a preguntas de respuesta m&#x00FA;ltiple –de tipo test– y que su contenido puede abarcar cuestiones de alto nivel cognitivo (en las que defender un punto de vista o desarrollar un argumento), para lo que aduce como ejemplo el <italic>Graduate Records Examn</italic> o el <italic>Law School Admissions Test</italic> (f&#x00E1;cilmente consultables en Internet). Este tambi&#x00E9;n podr&#x00ED;a ser el caso de un examen de &#x00E1;mbito mundial de conocimientos de ingl&#x00E9;s como es el <italic>Cambridge Proficiency in English</italic> –igualmente de f&#x00E1;cil acceso en la red–. Aqu&#x00ED; (y solo apunto algunos aspectos), junto con una enorme bater&#x00ED;a de preguntas de respuesta m&#x00FA;ltiple y ejercicios en los que acertar con la palabra adecuada para completar una frase o escribirla de un modo alternativo, hay que redactar varios escritos en los que sopesar diferentes puntos de vista y realizar un ejercicio de conversaci&#x00F3;n. En definitiva, la opci&#x00F3;n del examen tipo test es una de entre otras muchas posibilidades.</p>

			<p>Cocker (<xref ref-type="bibr" rid="CIT16">2005</xref>) menciona la existencia de ex&#x00E1;menes en los que se requiere escribir ensayos cortos donde se responde a preguntas del siguiente tenor: “explica por qu&#x00E9; motivos has acudido al m&#x00E9;dico y describe los s&#x00ED;ntomas”, “describe c&#x00F3;mo ha sucedido el accidente y, si hace falta, haz un diagrama”. En esta misma l&#x00ED;nea, Plake (<xref ref-type="bibr" rid="CIT36">2005</xref>) hac&#x00ED;a referencia a los ex&#x00E1;menes de desempe&#x00F1;o en los que se exige acometer una tarea similar a la que se tiene que ejecutar en una situaci&#x00F3;n real. Por ejemplo, para convertirse en dentista se han de demostrar destrezas con un paciente real.</p>

		</sec>
		
		<sec id="S4">
			<title>RESULTADOS</title>

			<p>Una de las cuestiones clave en este debate es el de si con estos ex&#x00E1;menes se consigue elevar el nivel educativo del estudiantado. Los datos procedentes de las evaluaciones internacionales como el PISA o el TIMMS<xref ref-type="fn" rid="NOTE4">4</xref> apuntan a la prudencia. Uno de los datos aportados desde los defensores de la LOMCE en favor de las pruebas externas es esta cita del informe de la OCDE <italic>Education at a Glance. 2012</italic>:</p>

						<disp-quote><p>“Los datos del PISA de 2009 sugieren que los pa&#x00ED;ses que utilizan ex&#x00E1;menes externos estandarizados tienden a obtener mejores resultados, incluso cuando se considera la renta nacional. M&#x00E1;s del 10% de la varianza en los resultados de lectura entre pa&#x00ED;ses se explican por la existencia de estos ex&#x00E1;menes. En otras palabras, los estudiantes de sistemas escolares que usan ex&#x00E1;menes externos estandarizados est&#x00E1;n 16 puntos por encima de media que los estudiantes de sistemas que no los utilizan [...]. …la existencia de estos ex&#x00E1;menes no est&#x00E1; relacionada con la equidad, esto es la solidez de la relaci&#x00F3;n entre el origen socioecon&#x00F3;mico de los estudiantes y el desempe&#x00F1;o en lectura. Estos hallazgos sugieren la necesidad de m&#x00E1;s investigaciones referidas a la relaci&#x00F3;n entre la existencia de los ex&#x00E1;menes estandarizados y el desempe&#x00F1;o relativo de los estudiantes en evaluaciones como el PISA (OECD 2012: 527).</p></disp-quote>

			<p>Como se puede ver, la &#x00FA;ltima frase invita a la cautela. Algo similar ha sucedido con las pruebas del TIMSS. Con los datos de 39 pa&#x00ED;ses referidos al octavo curso de esta evaluaci&#x00F3;n internacional en el a&#x00F1;o 1995, Bishop (<xref ref-type="bibr" rid="CIT10">2006</xref>) descubri&#x00F3; que aquellos pa&#x00ED;ses que contaban con sistemas de ex&#x00E1;menes externos basados en el curr&#x00ED;culum (CBEEES: <italic>Curriculum-based external exit examination system</italic>) tienen mejores resultados en Matem&#x00E1;ticas y Ciencias (habiendo controlado previamente las diferencias de renta per capita entre los pa&#x00ED;ses). Una investigaci&#x00F3;n posterior, acometida por Huang (<xref ref-type="bibr" rid="CIT24">2009</xref>), reanaliza estos mismos datos, incluyendo en el listado de los 39 pa&#x00ED;ses de Bishop dos m&#x00E1;s excluidos por este autor que, en realidad, s&#x00ED; cuentan con CBEEEES: Chipre y Portugal (no obstante, Huang comenta que podr&#x00ED;a haberse incluido tambi&#x00E9;n Espa&#x00F1;a si se considerase la PAU como un CBEEES). La mera inclusi&#x00F3;n de estos dos pa&#x00ED;ses hace que las diferencias de rendimiento detectadas por Bishop se conviertan en insignificantes. Huang considera que se deben b&#x00E1;sicamente al modo en que en cada naci&#x00F3;n se aplican esos ex&#x00E1;menes. Recu&#x00E9;rdese, tal y como se ha explicado m&#x00E1;s arriba, c&#x00F3;mo son los ex&#x00E1;menes externos en Holanda.</p>

			<p>Si el objetivo del Ministerio de Educaci&#x00F3;n espa&#x00F1;ol con las pruebas externas es mejorar en los informes PISA, se podr&#x00ED;a tomar en consideraci&#x00F3;n el caso de los Estados Unidos. Pese a los ya numerosos a&#x00F1;os en que se llevan aplic&#x00E1;ndolas, este pa&#x00ED;s no ha conseguido mejorar posiciones en las sucesivas ediciones de los informes PISA. Esto es lo que afirmaba la que quiz&#x00E1;s sea la investigaci&#x00F3;n m&#x00E1;s concluyente, la llevada a cabo por el Consejo Nacional de Investigaci&#x00F3;n (<xref ref-type="bibr" rid="CIT23">Hout y Elliott 2011</xref>). En sus m&#x00E1;s de ciento treinta p&#x00E1;ginas, editadas por el prestigioso soci&#x00F3;logo Michael Hout y por Stuart W. Elliott, se concluye que las pruebas estandarizadas no han acercado el nivel educativo de los Estados Unidos al de los pa&#x00ED;ses m&#x00E1;s exitosos. La mayor parte de estas pruebas, en el mejor de los casos, elevan m&#x00ED;nimamente los resultados. Los ex&#x00E1;menes externos para la obtenci&#x00F3;n de la credencial de Secundaria Superior hacen disminuir el porcentaje de alumnos que consiguen tal t&#x00ED;tulo sin que por ello los niveles de aprendizaje mejoren.</p>

			<p>En el caso norteamericano, la pol&#x00E9;mica se ha centrado en si el alumnado de aquellos estados que aplican pruebas externas obtienen mejores resultados que el de los que no las llevan a cabo. Los datos que arrojan diferentes estudios son contradictorios. Los m&#x00E1;s publicitados por los medios de comunicaci&#x00F3;n muestran que los estados que han aplicado las rev&#x00E1;lidas punt&#x00FA;an peor en las evaluaciones de &#x00E1;mbito nacional que aquellos que no las han aplicado (<xref ref-type="bibr" rid="CIT02">Amrein y Berliner 2002</xref>). A ello hay que a&#x00F1;adir que los resultados son a&#x00FA;n peores para los estudiantes de menor estatus socioec&#x00F3;nomico. En el caso de la rev&#x00E1;lida en Arizona, el noventa y siete por cien de los alumnos afroamericanos, latinos y nativos suspendieron en Matem&#x00E1;ticas, porcentaje mucho mayor que el igualmente alto de los blancos.</p>

			<p>Nichols (<xref ref-type="bibr" rid="CIT31">2007</xref>) explica el caso de Texas, cuyo ejemplo de rev&#x00E1;lidas fue en su momento considerado mod&#x00E9;lico y que, en realidad, no fue tal. Para comprobarlo simplemente bast&#x00F3; algo tan sencillo como comparar los resultados del examen de Texas (TAAS, <italic>Texas Assessment of Academic Skills</italic>) con el examen nacional NAEP (<italic>National Assessment of Educational Progress</italic>) para darse cuenta de que no hab&#x00ED;a ning&#x00FA;n milagro escolar en este estado. Los buenos resultados del TAAS eran consecuencia de que se estaba ense&#x00F1;ando para preparar la prueba en las escuelas, as&#x00ED; como que se impidi&#x00F3; hacer el examen a los estudiantes menos acad&#x00E9;micos y de que se calcul&#x00F3; err&#x00F3;neamente el n&#x00FA;mero de personas que hab&#x00ED;an abandonado la escuela<xref ref-type="fn" rid="NOTE5">5</xref>. Jacob (<xref ref-type="bibr" rid="CIT25">2001</xref>) indicaba que las rev&#x00E1;lidas de Secundaria no ten&#x00ED;an relaci&#x00F3;n con los logros de los estudiantes. La &#x00FA;nica excepci&#x00F3;n era la de los alumnos con bajos resultados en lectura. Al igual que en otras investigaciones citadas, se detecta un mayor abandono escolar all&#x00ED; donde existen estos ex&#x00E1;menes. Marchant y Paulson (<xref ref-type="bibr" rid="CIT27">2005</xref>) compararon los resultados de estas rev&#x00E1;lidas con el SAT y se&#x00F1;alaron que los estados que las llevaban a cabo obten&#x00ED;an peores resultados en el SAT y adem&#x00E1;s sus tasas de graduaci&#x00F3;n en Secundaria eran m&#x00E1;s bajas.</p>

			<p>Sin embargo, hay investigadores que discrepan radicalmente de estos resultados. Con los mismos datos que los utilizados por Amrein y Berliner (<xref ref-type="bibr" rid="CIT02">2002</xref>), Hanushek y Raymond (<xref ref-type="bibr" rid="CIT21">2004</xref>) llegaron a conclusiones diferentes, cuando no opuestas. Para ello, estos &#x00FA;ltimos incluyeron en su an&#x00E1;lisis estados inicialmente excluidos en el trabajo de los primeros. De este modo, descubrieron que los resultados en la NAEP eran m&#x00E1;s altos en los estados con <italic>high-stakes</italic> que en el resto. Del mismo modo que Hanushek y Raymond, Braun (<xref ref-type="bibr" rid="CIT12">2004</xref>) reanaliza los datos de Amrein y Berliner. Compara los resultados en cuarto y octavo cursos en la NAEP. Sus resultados ponen de manifiesto el impacto positivo de los <italic>high-stakes</italic> en los resultados escolares. Carnoy y Loeb (<xref ref-type="bibr" rid="CIT14">2002</xref>) analizan los resultados de la NAEP en el periodo comprendido entre 1996 y 2000 y detectan unos resultados moderadamente positivos en cuarto curso y muy favorables en octavo.</p>

			<p>En su defensa, Amrein y Berliner aducen que no solo analizaron los datos de la NAEP, sino que tambi&#x00E9;n observaron los efectos que los ex&#x00E1;menes de graduaci&#x00F3;n en Secundaria Superior (<italic>high school</italic>) ejerc&#x00ED;an sobre los test de acceso a la universidad del tipo SAT o la participaci&#x00F3;n en cursos de nivel avanzado. De hecho, los ex&#x00E1;menes para la obtenci&#x00F3;n de la Secundaria Superior han dado lugar a un incremento de las tasas de abandono escolar y a una mayor matriculaci&#x00F3;n en el GED (<italic>General Educational Development</italic>, una certificaci&#x00F3;n educativa para adultos)<xref ref-type="fn" rid="NOTE6">6</xref>, el cual es un sustituto de la credencial de Secundaria Superior.</p>

			<p>Una revisi&#x00F3;n realizada en un texto de la OCDE (2012) concluye que las pruebas estandarizadas en los Estados Unidos parecen ser positivas para las matem&#x00E1;ticas elementales y, sin embargo, no son estad&#x00ED;sticamente significativas para la lectura ni dan lugar, ni de lejos, a las mejoras inicialmente previstas. Los resultados para los alumnos son inciertos.</p>

			<p>En lo que s&#x00ED; hay pleno consenso en todos los estudios es en el dato de que los estudiantes de minor&#x00ED;as &#x00E9;tnicas salen peor parados que los de la mayor&#x00ED;a blanca. Dianne Ravitch (<xref ref-type="bibr" rid="CIT38">2009</xref>; <xref ref-type="bibr" rid="CIT39">2010</xref>) concluye que las diferencias entre los estudiantes de las minor&#x00ED;as y los blancos apenas se han modificado. Pese a que los resultados de los alumnos de nueve y trece a&#x00F1;os han mejorado entre 2004 y 2008, el avance ha sido inferior al registrado en el periodo comprendido entre 1999 y 2004. Este tipo de test favorece a las familias acomodadas, ya que son las que se pueden pagar academias y tutores particulares para su preparaci&#x00F3;n (<xref ref-type="bibr" rid="CIT34">Nichols y Berliner 2008b</xref>).</p>

		</sec>
			
		<sec id="S5">
			<title>EQUIPOS DIRECTIVOS, PROFESORES Y ALUMNOS: ACTITUDES Y COMPORTAMIENTOS</title>

			<p>¿Cu&#x00E1;les han sido las reacciones de los equipos directivos de los centros y de sus profesores y alumnos? En la medida en que estos test son relevantes para la propia existencia del centro escolar o para la promoci&#x00F3;n de su profesorado, se han producido numerosos casos de fraude consistente en evitar que se presentasen a las pruebas los estudiantes de menor rendimiento, cuya presencia har&#x00ED;a bajar la nota media del centro o del estado. Thrupp y Hursh (<xref ref-type="bibr" rid="CIT44">2006</xref>) relatan el caso de Rodney Paige, superintendente del distrito escolar de Houston, quien orden&#x00F3; a los directores bajo su jurisdicci&#x00F3;n que no consignaran como tales a los alumnos que hab&#x00ED;an abandonado los estudios. En su lugar, deb&#x00ED;an hacer constar que se hab&#x00ED;an trasladado a otro centro, que hab&#x00ED;an regresado a su pa&#x00ED;s de origen o que adujeran alguna otra raz&#x00F3;n distinta del abandono escolar. Esta “contabilidad creativa” de Paige (quien entre 2001 y 2004 desempe&#x00F1;ar&#x00ED;a el cargo de secretario de Educaci&#x00F3;n en el gobierno Bush con el que sac&#x00F3; adelante la mencionada ley NCLB) redujo enormemente las estad&#x00ED;sticas de fracaso escolar en Houston. Tal supuesto &#x00E9;xito le mereci&#x00F3; distinciones p&#x00FA;blicas por la excelencia educativa conseguida bajo su mandato. Algo similar describ&#x00ED;a Mons (<xref ref-type="bibr" rid="CIT29">2009</xref>: 27) en el caso de Holanda.</p>

						<disp-quote><p>“En 2006, en Holanda, un pa&#x00ED;s con pruebas <italic>high-stakes</italic>, los inspectores investigaron pr&#x00E1;cticas de exclusi&#x00F3;n en ciertas escuelas como respuesta a los rumores relativos a los test realizados al final de la Educaci&#x00F3;n Primaria. Se descubri&#x00F3; que, en algunos casos, los alumnos que ten&#x00ED;an mayores probabilidades de ser enviados a los itinerarios escolares menos prestigiosos –<italic>Leerwegondersteunend onderwijs</italic> (grupos de refuerzo)– no hicieron el test. Una vez m&#x00E1;s, las acciones de los profesores llevaron a la obtenci&#x00F3;n de unos resultados mejores de los que se deber&#x00ED;an haber obtenido”.</p></disp-quote>

			<p>Los profesores terminan por etiquetar a su alumnado en funci&#x00F3;n de los resultados previsibles en estas pruebas. En el trabajo cualitativo de Booher-Jennings (<xref ref-type="bibr" rid="CIT11">2005</xref>) se denunciaba que aquellos tend&#x00ED;an a clasificar a los alumnos en tres grupos: los que aprobar&#x00ED;an con seguridad, los susceptibles de mejora y los casos perdidos. La consecuencia era que los docentes concentraban su atenci&#x00F3;n en los segundos ya que los resultados del resto son poco menos que inamovibles. Incluso, es frecuente que el profesorado ayude a los alumnos a hacer las pruebas, los cuales, a su vez, recurren a copiar y ayudarse entre s&#x00ED;. Todo ello desvirt&#x00FA;a considerablemente la validez de estos ex&#x00E1;menes (<xref ref-type="bibr" rid="CIT32">Nichols y Berliner 2005</xref>). Amrein y Berliner (<xref ref-type="bibr" rid="CIT04">2003</xref>) citaban una encuesta que hab&#x00ED;a revelado que el diez por ciento del profesorado admit&#x00ED;a haber dado indicaciones a los alumnos para resolver las preguntas y el quince por ciento les concedi&#x00F3; m&#x00E1;s tiempo del establecido. El libro de Crick, Jones y Hargrove (<xref ref-type="bibr" rid="CIT17">2003</xref>) recoge el dato de que el 90% del profesorado reconoc&#x00ED;a ser sometido a presi&#x00F3;n para que mejorase los resultados de sus alumnos.</p>

			<p>Es obvio que estos embustes no justificar&#x00ED;an la inexistencia de las pruebas externas. En todo caso, y debido a la casi imposibilidad de controlarlos, tales fraudes apuntan a la necesidad de conseguir altas dosis de consenso entre los diferentes estamentos que componen la comunidad educativa (carencia de acuerdo que ha sido especialmente criticada en el caso de la LOMCE).</p>

			<p>Uno de los supuestos de las pruebas estandarizadas es que incrementar&#x00E1;n la motivaci&#x00F3;n (por lo menos la extr&#x00ED;nseca) de los estudiantes. Aqu&#x00ED;, una vez m&#x00E1;s, los resultados no son concluyentes. Algunas investigaciones detectan que los alumnos se sintieron m&#x00E1;s motivados, mientras que otras destacan que los profesores estaban preocupados por su menor amor por el aprendizaje (<xref ref-type="bibr" rid="CIT28">Mons 2007</xref>).</p>

			<p>Un tema de gran relevancia es el del estr&#x00E9;s que estas pruebas provocan en el alumnado. Sobre esta cuesti&#x00F3;n, adem&#x00E1;s de la consabida investigaci&#x00F3;n en los Estados Unidos, contamos con datos del Reino Unido y de Australia (<xref ref-type="bibr" rid="CIT37">Polesel 2012</xref>). Cohen (<xref ref-type="bibr" rid="CIT15">2013</xref>) advert&#x00ED;a que el 25% de los ni&#x00F1;os tiene trastornos de ansiedad, en buena medida derivados de las exigencias de la escuela. Honor&#x00E9; (<xref ref-type="bibr" rid="CIT22">2008</xref>) se&#x00F1;alaba que el 41 % de los ni&#x00F1;os de entre nueve y trece a&#x00F1;os afirm&#x00F3; sentir estr&#x00E9;s durante gran parte del tiempo o en todo momento porque ten&#x00ED;an demasiadas tareas escolares.</p>

		</sec>
			
		<sec id="S6">
			<title>CONCLUSIONES</title>

			<p>Resulta dif&#x00ED;cil determinar qu&#x00E9; cabr&#x00ED;a entender por un alumno educado. Posiblemente habr&#x00ED;a consenso en que queremos personas que lean peri&#x00F3;dicos, libros y otros materiales; que acudan a exposiciones art&#x00ED;sticas de muy diverso tipo (desde el cine al teatro, pasando por museos, representaciones musicales y un largo etc&#x00E9;tera); que, en la medida de sus posibilidades, viajen y conozcan otros mundos; que practiquen deporte; que sean capaces de comprender los rudimentos de la explicaciones cient&#x00ED;ficas de nuestro mundo. Todo est&#x00E1; muy bien, pero no basta. Es preciso tambi&#x00E9;n aprender a convivir, a amar al pr&#x00F3;jimo, a respetar a quienes no piensan como nosotros, a participar democr&#x00E1;ticamente en la vida de la polis. Y esto no se aprende escuchando a un profesor o leyendo libros: no queda m&#x00E1;s remedio que practicarlo cotidianamente en la escuela.</p>

			<p>Junto a estas destrezas interpersonales, no habr&#x00ED;a que perder de vista, tal y como recordaba Levin (2006), habilidades intrapersonales como la perseverancia o el autocontrol. Nada de esto est&#x00E1; en el punto de mira de las pruebas estandarizadas que han sido objeto de an&#x00E1;lisis en la literatura cient&#x00ED;fica sobre el tema.</p>

			<p>Son tantos, y tan sumamente graves, los problemas que plantean las pruebas externas que algunos de los mejores sistemas educativos, tras contrastarlo con la realidad emp&#x00ED;rica, simplemente las eliminan o las complementan con otras evaluaciones. A modo de ejemplo, a Australia –el pa&#x00ED;s del mundo con mayor porcentaje de estudiantes universitarios– lo que le preocupa es la competencia, no tanto con la cada vez m&#x00E1;s marginal Europa, sino con los “tigres” asi&#x00E1;ticos. En el informe Grattan (2012), se recoge una informaci&#x00F3;n valios&#x00ED;sima sobre qu&#x00E9; ha sucedido con los <italic>high-stakes tests</italic> australianos (los cuales se realizaban al finalizar la Primaria y la Secundaria Inferior y determinaban el tipo de escuela al que ir&#x00ED;an los alumnos). Estos ex&#x00E1;menes han desaparecido y con ellos el &#x00E9;nfasis en la mera adquisici&#x00F3;n repetitiva de conocimientos. Ahora se hacen ex&#x00E1;menes <italic>low-stakes</italic> (algunos incluso han dejado de existir debido a la loable intenci&#x00F3;n de rebajar el nivel de estr&#x00E9;s del alumnado) cuyos resultados no se entregan a los estudiantes: sirven para que cada escuela pueda mejorar.</p>

			<p>No est&#x00E1; del todo claro que estas pruebas supongan una mejora del aprendizaje de los estudiantes. M&#x00E1;s bien podr&#x00ED;a estar sucediendo todo lo contrario, ya que obligan a que el curr&#x00ED;culo se centre, no solo en las materias que preferentemente sean evaluadas (la Lengua y las Matem&#x00E1;ticas) dejando al margen las dem&#x00E1;s, sino que cambian radicalmente el estilo docente, el cual se concentra en el aprendizaje meramente f&#x00E1;ctico al margen de la experimentaci&#x00F3;n, el contraste de ideas o la b&#x00FA;squeda de fuentes alternativas de informaci&#x00F3;n. En definitiva, y pese a que en un primer momento los ni&#x00F1;os de las clases media y alta salgan beneficiados, quedar&#x00E1;n claramente incapacitados para desenvolverse en una sociedad en la que los conocimientos se multiplican cada poco tiempo exponencialmente (lo que obliga a aprender a lo largo de toda la vida) y en la que no sabemos cu&#x00E1;les ser&#x00E1;n los principales empleos que en el futuro habr&#x00E1; de desempe&#x00F1;ar el alumnado que hoy est&#x00E1; en la escuela.</p>

			<p>La investigaci&#x00F3;n educativa muestra un aumento de las desigualdades sociales y un incremento del abandono escolar al hilo de las pruebas externas, con lo que una vez m&#x00E1;s se estar&#x00ED;a actuando contra una sociedad del conocimiento que exige elevar de un modo sostenido el nivel educativo del conjunto de la poblaci&#x00F3;n.</p>

			<p>Detr&#x00E1;s de los <italic>high stakes</italic> test, al menos de los que se han venido utilizando habitualmente, parece haber un modelo educativo basado en la pasividad del alumnado, al que se le condena a aprender de un modo poco compatible con las exigencias del trabajo en equipo, de saber resolver imprevistos, de expresarse en p&#x00FA;blico, del fomento de la creatividad y otras demandas cada vez m&#x00E1;s frecuentes en los empleos de la sociedad del conocimiento.</p>
			
		</sec>
		
	</body>
	
	
	<back>
		
		<sec id="notas">
			<title>NOTAS</title>
		
				<fn-group>
					<fn id="NOTE1"><label>1</label>
					<p>Literalmente significa “ning&#x00FA;n ni&#x00F1;o puede quedar retrasado”. Se trata de una ley federal aprobada en 2001 que apoya la educaci&#x00F3;n basada en est&#x00E1;ndares que son controlados por medio de ex&#x00E1;menes externos propuestos por cada Estado. El inter&#x00E9;s de esta ley para el tema tratado en este texto es que supuso la consagraci&#x00F3;n de los <italic>high-stakes</italic>, aunque, en este caso, las consecuencias recaen sobre los centros y sus profesores y no sobre el alumnado. La informaci&#x00F3;n oficial se puede ver en <uri>http://www2.ed.gov/nclb/landing.jhtml</uri></p>
				</fn>
				
				<fn id="NOTE2"><label>2</label>
					<p>V&#x00E9;ase el debate parlamentario celebrado en el pleno del Congreso de los Diputados el 16 de Julio de 2013 (<uri>http://www.congreso.es/public_oficiales/L10/CONG/DS/PL/DSCD-10-PL-129.PDF</uri>)</p>
				</fn>
				
				<fn id="NOTE3"><label>3</label>
					<p>Se puede ver en el siguiente link del Ministerio de Educaci&#x00F3;n: <uri>http://www.mecd.gob.es/servicios-al-ciudadano-mecd/dms/mecd/servicios-al-ciudadano-mecd/informacion-publica/audiencia-informacion-publica/cerrados/2015/evaluaciones-finales/proyecto-RD-evaluaciones-finales/proyecto%20RD%20evaluaciones%20finales.pdf</uri></p>
				</fn>
				
				<fn id="NOTE4"><label>4</label>
					<p>TIMMS es el acr&#x00F3;nimo de <italic>Trends in International Mathematics and Science Study</italic> (Estudio de las Tendencias en Matem&#x00E1;ticas y Ciencias). Es una evaluaci&#x00F3;n internacional de conocimientos de estas dos materias de los estudiantes de los grados cuarto y octavo en diferentes pa&#x00ED;ses.</p>
				</fn>
				
				<fn id="NOTE5"><label>5</label>
					<p>De hecho en este caso se habla del efecto <italic>Lake Wobegon</italic> (nombre de una ciudad ficticia de los Estados Unidos) y que consiste en sobreestimar las capacidades propias.</p>
				</fn>
				
				<fn id="NOTE6"><label>6</label>
					<p>Se puede ver una explicaci&#x00F3;n en <uri>http://www.cde.ca.gov/ta/tg/gd/</uri></p>
				</fn>
				
			</fn-group>
		</sec>
				
		<ref-list>
			<title>REFERENCIAS BIBLIOGR&#x00C1;FICAS</title>
				
			<ref id="CIT01">
			<element-citation publication-type="report">
			  <collab>Abell Foundation</collab>
			  <year>2003</year>
			  <source>High Risk or High Time? A Critical Junction in implementing Maryland’s High-Stakes High School Assessment as a Graduation Requirement. History and background; problems and recommendations</source>
			  <publisher-loc>Baltimore</publisher-loc>
			  <publisher-name>The Abell Foundation</publisher-name>
			  <comment>Informe julio 2003. Consulta 2 de junio de 2013 (<uri>http://www.abell.org/sites/default/files/publications/ed_highstakes_703.pdf</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT02"> 
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Amrein</surname>
					  <given-names>A. L.</given-names>	  
				  </name>
				  <name>
					  <surname>Berliner</surname>
					  <given-names>D. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>High-stakes testing, uncertainty, and student learning</article-title>
			  <source>Education Policy Analysis Archives</source>
			  <volume>10</volume>
			  <issue>18</issue>
			  <comment>Consulta 4 de agosto de 2014 (<uri>http://epaa.asu.edu/ojs/article/viewFile/297/423</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT03">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Amrein</surname>
					  <given-names>A. L.</given-names>	  
				  </name>
				  <name>
					  <surname>Berliner</surname>
					  <given-names>D. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <source>An Analysis of Some Unintended and Negative Consequences of High-Stakes Testing</source>
			  <publisher-loc>Tempe</publisher-loc>
			  <publisher-name>Arizona State University</publisher-name>
			  <comment>Consulta 3 de abril de 2012 (<uri>http://nepc.colorado.edu/files/EPSL-0211-125-EPRU.pdf</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT04">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Amrein</surname>
					  <given-names>A. L.</given-names>	  
				  </name>
				  <name>
					  <surname>Berliner</surname>
					  <given-names>D. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>The effects of High-stakes testing on student motivation and learning</article-title>
			  <source>Educational Leadership</source>
			  <issue>Febrero 2003</issue>
			  <fpage>32</fpage>
			  <lpage>38</lpage>
			  <comment>Consulta 22 de marzo de 2014 (<uri>http://www.wou.edu/~girodm/611/testing_and_motivation.pdf</uri>)</comment> 
			</element-citation>
			</ref>

			<ref id="CIT05">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Anagnostopoulos</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>Testing and student engagement with literature in urban clasrooms: a multi-layered perspective</article-title>
			  <source>Research in the Teaching of English</source>
			  <volume>38</volume>
			  <fpage>177</fpage>
			  <lpage>212</lpage>
			</element-citation>
			</ref>

			<ref id="CIT06">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Apple</surname>
					  <given-names>M. W.</given-names>	  
				  </name>
				  <name>
					  <surname>Beane</surname>
					  <given-names>J. A.</given-names>	  
				  </name>				  
			  </person-group>
			  <year>2005</year>
			  <source>Escuelas democr&#x00E1;ticas</source>
			  <publisher-loc>Madrid</publisher-loc>
			  <publisher-name>Morata</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT07">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Au</surname>
					  <given-names>W.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <article-title>Devising inequality: a Bernsteinian analysis of high-stakes testing and social reproduction in education</article-title>
			  <source>British Journal of Sociology of Education</source>
			  <volume>29</volume>
			  <fpage>639</fpage>
			  <lpage>651</lpage>
			  <comment><uri>http://dx.doi.org/10.1080/01425690802423312</uri></comment>  
			</element-citation>
			</ref>

			<ref id="CIT08">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Au</surname>
					  <given-names>W.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <source>Unequal By Design. High-Stakes Testing and the Standardization of Inequality</source>
			  <publisher-loc>Nueva York</publisher-loc>
			  <publisher-name>Routledge</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT09">
			<element-citation publication-type="working-paper">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Bishop</surname>
					  <given-names>J. B.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>High School Exit Examinations: When Do Learning Effects Generalize?</article-title>
			  <publisher-name>School of Industrial and Labor Relations, Center for Advanced Human Resource Studies, Cornell University</publisher-name>
			  <publisher-loc>Ithaca</publisher-loc>
			  <comment>CAHRS Working Paper Series. Consulta 6 de junio de 2015 (<uri>http://digitalcommons.ilr.cornell.edu/cgi/viewcontent.cgi?article&#x003D;1003&#x0026;context&#x003D;cahrswp</uri>)
			  </comment>
			</element-citation>
			</ref>

			<ref id="CIT10"> 
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Bishop</surname>
					  <given-names>J. B.</given-names>	  
				  </name>
			  </person-group>
			  <year>2006</year>
			  <chapter-title>Drinking from the fountain of knowledge: Student incentive to study and learn-Externalities, information problems, and peer pressure</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Hanushek</surname>
					  <given-names>E. A.</given-names>	  
				  </name>
				  <name>
					  <surname>Machin</surname>
					  <given-names>S. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Woessmann</surname>
					  <given-names>L.</given-names>	  
				  </name>				  				  
			  </person-group>
			  <source>Handbook of the Economics of Education</source>
			  <publisher-loc>Amsterdam</publisher-loc>
			  <publisher-name>North-Holland</publisher-name>
			  <fpage>909</fpage>
			  <lpage>944</lpage>
			</element-citation>
			</ref>

			<ref id="CIT11">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Booher-Jennings</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>Below the bubble: 'Educational triage' and the Texas accountability System</article-title>
			  <source>American Educational Research Journal</source>
			  <volume>42</volume>
			  <fpage>231</fpage>
			  <lpage>268</lpage>
			  <comment><uri>http://dx.doi.org/10.3102/00028312042002231</uri></comment> 
			</element-citation>
			</ref>

			<ref id="CIT12">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Braun</surname>
					  <given-names>H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <article-title>Reconsidering the Impact of High-stakes Testing</article-title>
			  <source>Education Policy Analysis Archives</source>
			  <volume>12</volume>
			  <issue>1</issue>
			  <comment><uri>http://dx.doi.org/10.14507/epaa.v12n1.2004</uri></comment> 
			</element-citation>
			</ref>

			<ref id="CIT13">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Campbell</surname>
					  <given-names>D. T.</given-names>	  
				  </name>
			  </person-group>
			  <year>1976</year>
			  <source>Assessing the Impact of Planned Social Change</source>
			  <publisher-loc>Hanover (New Hamspshire)</publisher-loc>
			  <publisher-name>The Public Affairs Center, Dartmouth College</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT14">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Carnoy</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Loeb</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <article-title>Does External Accountability Affect Student Outcomes?: A Cross-State Analysis</article-title>
			  <source>Educational Evaluation and Policy Analysis</source>
			  <volume>24</volume>
			  <fpage>305</fpage>
			  <lpage>331</lpage>
			  <comment><uri>http://dx.doi.org/10.3102/01623737024004305</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT15">
			<element-citation publication-type="newspaper">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Cohen</surname>
					  <given-names>L. J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <month>septiembre</month>
			  <day>26</day>
			  <article-title>The Drama of the Anxious Child</article-title>
			  <source>Time</source>
			  <comment>26 de septiembre de 2013. Consulta 30 de julio de 2014 (<uri>http://ideas.time.com/2013/09/26/the-drama-of-the-anxious-child/#ixzz2g0AHZCBF</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT16">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Crocker</surname>
					  <given-names>L.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <chapter-title>Teaching For the Test: How and Why Test Preparation Is Appropriate</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Phelps</surname>
					  <given-names>R. P.</given-names>	  
				  </name>
			  </person-group>
			  <source>Defending Standardized Testing</source>
			  <publisher-loc>New Jersey</publisher-loc>
			  <publisher-name>Lawrence Erlbaum Associates Publishers</publisher-name>
			  <fpage>159</fpage>
			  <lpage>174</lpage>
			</element-citation>
			</ref>

			<ref id="CIT17">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gail Jones</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Jones</surname>
					  <given-names>B. D.</given-names>	  
				  </name>
				  <name>
					  <surname>Hargrove</surname>
					  <given-names>T. Y.</given-names>	  
				  </name>				  				  
			  </person-group>
			  <year>2003</year>
			  <source>The Unintended Consequences of High-Stakes Testing</source>
			  <publisher-loc>Lanham (Maryland)</publisher-loc>
			  <publisher-name>Rowman &#x0026; Littlefield</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT18">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gardner</surname>
					  <given-names>H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <source>La educaci&#x00F3;n de la mente y el conocimiento de las disciplinas. Lo que todos los estudiantes deber&#x00ED;an comprender</source>
			  <publisher-loc>Barcelona</publisher-loc>
			  <publisher-name>Paid&#x00F3;s</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT19">
			<element-citation publication-type="newspaper">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Garicano</surname>
					  <given-names>L.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <month>06</month>
			  <day>02</day>
			  <article-title>¿El fin de la clase magistral?</article-title>
			  <source>El Pa&#x00ED;s</source>
			  <comment>2 de junio de 2015. Consulta el 2 de junio de 2015 (<uri>http://economia.elpais.com/economia/2015/03/05/actualidad/1425575098_421184.html</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT20">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Jensen</surname>
					  <given-names>B.</given-names>	  
				  </name>
				  <name>
					  <surname>Hunter</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Sonnemann</surname>
					  <given-names>J.</given-names>	  
				  </name>	
				  <name>
					  <surname>Burns</surname>
					  <given-names>T.</given-names>	  
				  </name>			  				  
			  </person-group>
			  <year>2012</year>
			  <source>Catching up: Learning from the best schools systems in East Asia</source>
			  <publisher-loc>Melbourne</publisher-loc>
			  <publisher-name>Grattan Institute</publisher-name>
			  <comment>Consulta 12 de abril de 2013 (<uri>http://grattan.edu.au/wp-content/uploads/2014/04/129_report_learning_from_the_best_main.pdf</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT21">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hanushek</surname>
					  <given-names>E. A.</given-names>	  
				  </name>
				  <name>
					  <surname>Raymond</surname>
					  <given-names>M. E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <article-title>Does School Accountability Lead to Improved Student Performance?</article-title>
			  <source>Journal of Policy Analysis and Management</source>
			  <volume>24</volume>
			  <fpage>297</fpage>
			  <lpage>327</lpage>
			  <comment><uri>http://dx.doi.org/10.3386/w10591</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT22">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Honor&#x00E9;</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008</year>
			  <source>Bajo presi&#x00F3;n. C&#x00F3;mo educar a nuestros hijos en un mundo hiperexigente</source>
			  <publisher-loc>Barcelona</publisher-loc>
			  <publisher-name>RBA</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT23">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hout</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Elliott</surname>
					  <given-names>S. W.</given-names>	  
				  </name>				  
			  </person-group>
			  <year>2011</year>
			  <source>Incentives and Test-Based Accountability in Education Committee</source>
			  <publisher-loc>Washington, D.C.</publisher-loc>
			  <publisher-name>National Academies Press</publisher-name>
			  <comment>Consulta 30 de Julio de 2014 (<uri>http://www.nap.edu/catalog.php?record_id=12521</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT24">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Huang</surname>
					  <given-names>Min-Hsiung</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <article-title>Do Public Exams Raise Student Performance? A Cross-National Difference-in-Differences Analysis</article-title>
			  <source>Journal of Social Sciences and Philosophy</source>
			  <volume>21</volume>
			  <fpage>1</fpage>
			  <lpage>24</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT25">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Jacob</surname>
					  <given-names>B. A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2001</year>
			  <article-title>Getting tough? The impact of high school graduation exams</article-title>
			  <source>Educational Evaluation and Policy Analysis</source>
			  <volume>23</volume>
			  <fpage>99</fpage>
			  <lpage>121</lpage>
			  <comment><uri>http://dx.doi.org/10.3102/01623737023002099</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT26">
			<element-citation publication-type="conf-proc">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Klein</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <article-title>The Differing Purposes and Effects of State-Wide Exit Examinations A comparison of Finland, Ireland and the Netherlands from a Governance Perspective</article-title>
			  <conf-name>Trabajo presentado en la 36ª Reuni&#x00F3;n Anual de la Asociaci&#x00F3;n Internacional de Evaluaci&#x00F3;n de la Educaci&#x00F3;n (OIEA)</conf-name>
			  <conf-loc>Bangkok, Tailandia</conf-loc>
			  <conf-date>julio 2010</conf-date>
			  <comment>Consulta 30 de mayo de 2014 (<uri>http://www.iaea.info/documents/paper_4d519c43.pdf</uri>)</comment>			  
			</element-citation>
			</ref>
			
			<ref id="CIT27">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Marchant</surname>
					  <given-names>G. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Paulson</surname>
					  <given-names>S. E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>The relationship of high school graduation exams to graduation rates and SAT scores</article-title>
			  <source>Education Policy Analysis Archives</source>
			  <volume>13</volume>
			  <fpage>2</fpage>
			  <lpage>17</lpage>
			  <comment>Consulta 30 de julio de 2014 (<uri>http://epaa.asu.edu/ojs/article/view/111/237</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT28">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Mons</surname>
					  <given-names>N.</given-names>	  
				  </name>
			  </person-group>
			  <year>2007</year>
			  <source>Les nouvelles politiques &#x00E9;ducatives</source>
			  <publisher-loc>Par&#x00ED;s</publisher-loc>
			  <publisher-name>PUF</publisher-name>
			  <comment><uri>http://dx.doi.org/10.3917/puf.mons.2007.01</uri></comment>			  
			</element-citation>
			</ref>

			<ref id="CIT29">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Mons</surname>
					  <given-names>N.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <source>Theoretical and real effects of standardised assessment</source>
			  <publisher-name>Eurydice</publisher-name>
			  <comment>Background paper to the study National Testing of Pupils in Europe: Objectives, Organisation and Use of Results EACEA. Consulta 30 de julio de 2014 (<uri>http://eacea.ec.europa.eu/education/eurydice/documents/thematic_reports/111EN.pdf</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT30">
			<element-citation publication-type="working-paper">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Morris</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>Student Standardised Testing: Current Practices in OECD Countries and a Literature Review</article-title>
			  <publisher-loc>Paris</publisher-loc>
			  <publisher-name>Organisation for Economic Co-operation and Development</publisher-name>
			  <comment>OECD Education Working Papers 65. Consulta 30 de julio de 2014 (<uri>http://dx.doi.org/10.1787/5kg3rp9qbnr6-en</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT31">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Nichols</surname>
					  <given-names>S. L.</given-names>	  
				  </name>
			  </person-group>
			  <year>2007</year>
			  <article-title>High-Stakes Testing: Does It Increase Achievement?</article-title>
			  <source>Journal of Applied School Psychology</source>
			  <volume>23</volume>
			  <fpage>109</fpage>
			  <lpage>128</lpage>
			  <comment><uri>http://dx.doi.org/10.1300/J370v23n02_04</uri></comment>
			</element-citation>
			</ref>

			<ref id="CIT32">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Nichols</surname>
					  <given-names>S.L.</given-names>	  
				  </name>
				  <name>
					  <surname>Berliner</surname>
					  <given-names>D. C.</given-names>	  
				  </name>				  
			  </person-group>
			  <year>2005</year>
			  <source>The Inevitable Corruption of Indicators and Educators Through High-Stakes Testing</source>
			  <publisher-loc>Tempe</publisher-loc>
			  <publisher-name>Arizona State University</publisher-name>
			  <comment>Consulta 30 de julio de 2014 (<uri>http://files.eric.ed.gov/fulltext/ED508483.pdf</uri>)</comment>	  
			</element-citation>
			</ref>
			
			<ref id="CIT33">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>			  
					  <surname>Nichols</surname>
					  <given-names>S.L.</given-names>	  
				  </name>
				  <name>
					  <surname>Berliner</surname>
					  <given-names>D. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008a</year>
			  <source>Collateral Damage. How high-stakes testing corrupts America’s school</source>
			  <publisher-loc>Cambridge</publisher-loc>
			  <publisher-name>Harvard Education Press</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT34">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>			  
					  <surname>Nichols</surname>
					  <given-names>S.L.</given-names>	  
				  </name>
				  <name>
					  <surname>Berliner</surname>
					  <given-names>D. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2008b</year>
			  <article-title>Why Has High-Stakes Testing So Easily Slipped into Contemporary American Life?</article-title>
			  <source>Phi Delta Kappa</source>
			  <volume>89</volume>
			  <fpage>672</fpage>
			  <lpage>676</lpage>
			  <comment>Consulta 2 de junio de 2013 (<uri>http://www.jstor.org/stable/20442603</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT35">
			<element-citation publication-type="report">
			  <collab>OECD</collab>
			  <year>2011</year>
			  <source>Equity and Quality in Education - Supporting Disadvantaged Students and Schools</source>
			  <comment>Consulta 2 de junio de 2013 (<uri>http://www.oecd.org/edu/school/equityandqualityineducation-supportingdisadvantagedstudentsandschools.htm</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT36">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Plake</surname>
					  <given-names>B. S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <chapter-title>Doesn't Everybody Know That 70% is Passing?</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Phelps</surname>
					  <given-names>R. P.</given-names>	  
				  </name>
			  </person-group>
			  <source>Defending Standardized Testing</source>
			  <publisher-loc>New Jersey</publisher-loc>
			  <publisher-name>Lawrence Erlbaum Associates Publisher</publisher-name>
			  <fpage>175</fpage>
			  <lpage>186</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT37">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Polesel</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Dulfer</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Turnbull</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <source>The Experience of Education: The impacts of high stakes testing on school students and their families</source>
			  <comment>Literature review January 2012. Whitlan Institute. Consulta 30 de julio de 2014 (<uri>http://www.whitlam.org/__data/assets/pdf_file/0008/276191/High_Stakes_Testing_Literature_Review.pdf</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT38">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ravitch</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <article-title>Time to Kill `No Child Left Behind’</article-title>
			  <source>Education Week</source>
			  <volume>28</volume>
			  <issue>33</issue>
			  <comment>Consulta 2 de julio de 2013 (<uri>http://www.edweek.org/ew/articles/2009/06/04/33ravitch_ep.h28.html</uri>)</comment>
			</element-citation>
			</ref>

			<ref id="CIT39">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ravitch</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <source>The Death and Life of the Great American School System: How Testing and Choice Are Undermining Education</source>
			  <publisher-loc>Nueva York</publisher-loc>
			  <publisher-name>Basic Books</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT40">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Reich</surname>
					  <given-names>R. B.</given-names>	  
				  </name>
			  </person-group>
			  <year>2001</year>
			  <article-title>Standards for what?</article-title>
			  <source>Education Week</source>
			  <volume>20</volume>
			  <fpage>64</fpage>
			  <lpage>65</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT41">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Roderick</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Nagaoka</surname>
					  <given-names>J.</given-names>	  
				  </name>				  
			  </person-group>
			  <year>2005</year>
			  <article-title>Retention under Chicago’s high-stakes testing program: Helpful, harmful, or harmless?</article-title>
			  <source>Educational Evaluation and Policy Analysis</source>
			  <volume>27</volume>
			  <fpage>309</fpage>
			  <lpage>340</lpage>
			  <comment><uri>http://dx.doi.org/10.3102/01623737027004309</uri></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT42">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ruiz i Tarrag&#x00F3;</surname>
					  <given-names>F.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <article-title>Los centros educativos ante la rendici&#x00F3;n de cuentas: ‘lessons from America’</article-title>
			  <source>La evaluaci&#x00F3;n en los procesos de mejora y autonom&#x00ED;a</source>
			  <volume>5</volume>
			  <fpage>14</fpage>
			  <lpage>17</lpage>
			  <comment>Consulta 30 de julio de 2014 (<uri>http://www.xtec.cat/~fruiz/present/D1479.pdf</uri>)</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT43">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Sireci</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <chapter-title>The Most Frequently Unasked Questions About Testing</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Phelps</surname>
					  <given-names>R. P.</given-names>	  
				  </name>
			  </person-group>
			  <source>Defending Standardized Testing</source>
			  <publisher-loc>New Jersey</publisher-loc>
			  <publisher-name>Lawrence Erlbaum Associates Publishers</publisher-name>
			  <fpage>11</fpage>
			  <lpage>122</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT44">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Thrupp</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Hursh</surname>
					  <given-names>D.</given-names>	  
				  </name>				  
			  </person-group>
			  <year>2006</year>
			  <chapter-title>The Limits of Managerialist School Reform: The Case of target-Setting in England and the USA</chapter-title>
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Lauder</surname>
					  <given-names>H.</given-names>	  
				  </name>
				  <name>
					  <surname>Brown</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Dillabough</surname>
					  <given-names>J. A.</given-names>	  
				  </name>
				  <name>
					  <surname>Halsey</surname>
					  <given-names>A. H.</given-names>	  
				  </name>				  				  				  
			  </person-group>
			  <source>Education, Globalization &#x0026; Social Change</source>
			  <publisher-loc>Oxford</publisher-loc>
			  <publisher-name>Oxford University Press</publisher-name>
			  <fpage>642</fpage>
			  <lpage>653</lpage>
			</element-citation>
			</ref>
			
			<ref id="CIT45">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Wagner</surname>
					  <given-names>T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <source>The Global Achievement Gap. Why even our best schools don’t teach the new survival skills our children need and what we can do about it?</source>
			  <publisher-loc>Nueva York</publisher-loc>
			  <publisher-name>Basic Books</publisher-name>
			</element-citation>
			</ref>	

		</ref-list>
		
		<app-group>
			<app>
				<title>Sobre el autor</title>
					<p>RAFAEL FEITO ALONSO es catedr&#x00E1;tico de Sociolog&#x00ED;a en la Facultad de Ciencias Pol&#x00ED;ticas de la Universidad Complutense de Madrid. Es autor de <italic>Nacidos para perder</italic> (Madrid, CIDE. 1990), <italic>Estructura social contempor&#x00E1;nea</italic> (Madrid, Siglo XXI, 1995), <italic>Clases sociales y comportamiento pol&#x00ED;tico en Espa&#x00F1;a</italic> (Madrid, Entinema, 1998), <italic>Los retos de la educaci&#x00F3;n obligatoria</italic> (Barcelona, Ariel, 2000), <italic>Una educaci&#x00F3;n de calidad para todos</italic> (Madrid, Siglo XXI, 2002), <italic>Otra escuela es posible</italic> (Madrid, Siglo XXI, 2006), <italic>Construyendo escuelas democr&#x00E1;ticas</italic> (Hipatia, Barcelona, 2008), <italic>Los retos de la participaci&#x00F3;n escolar</italic> (Madrid, Morata, 2011) y de m&#x00E1;s de un centenar de art&#x00ED;culos en revistas especializadas y generalistas.</p>
					
			</app>
		</app-group>
		
	</back>
</article>