117
Código de referato: SP.190.XXXIV/15
STUDIA POLITICÆ Número 34 ~ primavera-verano 2014/2015
Publicada por la Facultad de Ciencia Política y Relaciones Internacionales,
de la Universidad Católica de Córdoba, Córdoba, República Argentina.
*
A fin de no extender en exceso la exposición, incluiremos únicamente y a pie de pági-
na, las normas legales más importantes.
**
Doctora en Ciencias Políticas y Sociología por la Universidad Complutense de Ma-
drid. Profesora Titular Interina de Ciencia Política y de la Administración en la Universi-
dad Carlos III de Madrid.
Ester García Sánchez
**
Resumen
Este artículo analiza algunos de los sistemas de evaluación implantados
en ámbitos sectoriales de políticas del gobierno central en España, que
ejemplifican la fragmentación que caracteriza a la función evaluativa. El
estudio pone de relieve la existencia de elementos positivos en la confi-
guración de dichos sistemas si bien se identifican, al tiempo, ciertos pro-
blemas “internos” y de coordinación entre ellos. Sobre esta base se plan-
tean algunas reflexiones y propuestas para fortalecer los sistemas y
evaluación en su conjunto en España.
Palabras clave: evaluación – sistemas de evaluación – institucionaliza-
ción – España
Abstract
This article is devoted to analyze several evaluation systems which have
been implemented in the field of sectoral policies of the Spanish central-
state government; they show the current fragmentation of the evaluation
function. The research shows that some positive and remarkable
Sistemas de evaluación en España:
análisis y propuestas
*
34 - primavera-verano 2014/2015
118 STUDIA POLITICÆ
1
Emplearemos aquí el término “evaluación” en un sentido amplio, de manera que
con él nos referiremos tanto a la evaluación de programas o proyectos públicos
como a aquellas otras actividades que, en sentido estricto, quedarían fuera de esta
rúbrica pero que se encuentran próximas y/o pueden servir de base para su desa-
rrollo (por ejemplo, la evaluación del sistema educativo realizada por el Instituto
Nacional de Evaluación Educativa, INEE, o la de profesores y titulaciones de uni-
versidad que lleva a cabo la Agencia Nacional de Evaluación de la Calidad y Acre-
ditación, ANECA).
elements can be found, even though some internal and coordination
problems have also been identified. We take these elements as a starting
point for discussion and to make proposals to strengthen the evaluation
systems and evaluation capacity in Spain.
Keywords: evaluation – evaluation systems – institutionalization –
Spain
Introducción
E
L panorama de la evaluación en España se caracteriza por un impor-
tante grado de segmentación.
1
La Agencia Estatal de Evaluación de
las Políticas Públicas y la Calidad de los Servicios (AEVAL) vino a
sumarse en 2007 a las entidades ya existentes que, en ciertos ámbitos terri-
toriales y/o sectoriales, habían venido asumiendo ese mismo cometido, en
algunos casos desde hacía casi tres décadas.
Los distintos sistemas de evaluación presentan en sí aspectos positivos y
negativos pero, además, de esta pluralidad resultan también virtudes y defi-
ciencias que, cuanto menos, constituyen un reto de cara a la consolidación
de la evaluación.
El artículo que se presenta persigue tres objetivos, uno general y dos de
carácter específico. Comenzando por estos últimos, se trata, en primer lu-
gar, de ofrecer una panorámica de la evaluación en España y de sus líneas
generales de configuración. Analizamos, en segundo lugar, algunos de los
sistemas estatales de evaluación más asentados y de mayor desarrollo —
los vinculados a la política educativa no universitaria y a la de coopera-
ción al desarrollo— junto con uno de reciente creación —el de la política
de formación para el empleo. Prestamos atención al marco legal y norma-
tivo que los regula, a la existencia de organismos especializados, al modo
en que se conforma la evaluación desde el punto de vista conceptual, teó-
rico y metodológico (definición, tipos, enfoques, principios, criterios, refe-
119
2
Entendemos por sistema de evaluación el conjunto de elementos —objetivos, meca-
nismos y procedimientos, organismos y/o unidades organizativas, normas, principios, re-
cursos— destinado a la evaluación de políticas, programas y proyectos. Idealmente, y
por ir implícito en el concepto de “sistema”, dichos elementos están interrelacionados,
como lo están también con el entorno en el que se ubican. Véanse INSTITUTO NAVARRO
DE ADMINISTRACIÓN PÚBLICA (2011) y UNEG (2012).
3
Una perspectiva aún más amplia que la que ofrecemos aquí sobre este tema se
puede encontrar en VIÑAS (2009), RIVERO (2011), RUIZ (2012) o LABEAGA y MUÑOZ
(2013).
rentes teóricos) y a la determinación de funciones.
2
Dicho análisis nos
permitirá identificar debilidades y fortalezas de los sistemas así como pun-
tos de encuentro y discrepancias entre ellos. El objetivo general es extraer
aprendizajes que pudieran servir para la mejora de los sistemas y de la
evaluación en el nivel central de gobierno, incluso, para otros países con
realidades y sistemas políticos “similares”. Para el logro de estos objeti-
vos, recurriremos al análisis documental, tanto de fuentes primarias —le-
gislación, esencialmente— como secundarias —trabajos académicos y do-
cumentos oficiales de instituciones públicas.
La estructura expositiva será la siguiente. En el primer apartado, descri-
biremos las líneas generales de la evaluación en España y los sistemas
de evaluación que tienen una orientación generalista, con mayor detalle
en el caso de la AEVAL. El segundo apartado se centrará en los tres sis-
temas sectoriales de evaluación ya indicados, más concretamente en los
elementos mencionados en el párrafo anterior. Dedicaremos el tercer
apartado a mostrar los puntos fuertes y las áreas de mejora de los cuatro
sistemas. Concluiremos con un epígrafe de reflexiones finales y pro-
puestas.
La evaluación en España
3
España no cuenta con un único organismo ni con un único sistema de eva-
luación. Tanto desde el punto de vista sectorial como territorial, e incluso
desde ambos de manera simultánea, la evaluación se encuentra claramente
segmentada. A nivel estatal, además de un organismo generalista como la
AEVAL, encontramos que cada sector o subsector de políticas ha trazado
sus propias pautas en lo que a la práctica de la evaluación se refiere, ha se-
guido también procesos de institucionalización diferenciados que, en oca-
siones, han cristalizado en la creación de organismos especializados y
cuenta, por tanto, con sistemas específicos de evaluación.
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
120 STUDIA POLITICÆ
4
Y, en la cooperación al desarrollo, incluso en algunas entidades locales.
5
Si bien estaba prevista ya en la Ley 28/2006, de 18 de julio, de Agencias estatales para
la mejora de los servicios públicos. La creación de la AEVAL se realizó a partir del tra-
bajo desarrollado por una Comisión de Expertos constituida para tal fin y cuyas conclu-
siones se recogen en Garde (2005).
6
Preámbulo, Real Decreto 1418/2006, de 1 de diciembre, por el que se aprueba el Esta-
tuto de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los
Servicios.
A su vez, esta fragmentación se reproduce en el nivel autonómico
4
don-
de coexisten en algunos casos organismos de evaluación generalistas y
sistemas y/o unidades u organismos de evaluación asociados a diferentes
políticas sectoriales. Aún más: en aquellos sectores en los que ciertos ac-
tores no institucionales tienen un papel activo en el diseño, implantación
y evaluación de las políticas (como las ONG en el área de la cooperación
al desarrollo), el mapa de agentes puede presentar incluso mayor comple-
jidad.
Ni que decir tiene que el ritmo y los resultados de los procesos de institu-
cionalización y configuración de los sistemas han sido muy diversos.
La función de evaluación generalista en la Administración Central
del Estado
Marco legal, normativo y estructura institucional
La función de evaluación, en el nivel central de gobierno, está encomenda-
da a la AEVAL desde su creación en 2007
5
; por tanto, el sistema de eva-
luación generalista pivota en el marco de la AGE en torno a este organismo
público, que depende del ejecutivo (actualmente a través del Ministerio de
Hacienda y Administraciones Públicas). Su cometido principal es la “pro-
moción y realización de evaluaciones y análisis de impacto de las políticas
y programas públicos, así como el impulso de la gestión de las calidad de
los servicios”.
6
El funcionamiento y la financiación de la Agencia vienen
determinados por el contrato de gestión que suscribe con la AGE y en el
que, a su vez, se enmarcan su Plan de Acción Anual y su Plan de Trabajo.
En este último se recogen las evaluaciones que le son encargadas por el
Consejo de Ministros a partir de la propuesta que la propia Agencia realiza
y que debe ser aprobada por el pleno de su Consejo Rector —el órgano co-
legiado de gobierno de la AEVAL.
121
7
Véase http://www.aeval.es/es/cooperacion_y_redes/sistema/
Dada la estructura altamente descentralizada del sistema político espa-
ñol, la AEVAL no puede operar en las comunidades autónomas salvo
que, previamente, haya firmado con ellas un convenio de colaboración
para evaluar materias específicas en el ámbito de sus respectivas com-
petencias o políticas y programas públicos que las mismas gestionen.
La AEVAL puede también celebrar convenios de colaboración con la
Federación Española de Municipios y Provincias (FEMP) o con entida-
des locales.
En línea con lo anterior, las comunidades autónomas no cuentan con pre-
sencia institucional en la Agencia salvo en el supuesto de que suscriban
un convenio de colaboración, en cuyo caso pasan a tener representación
en el Consejo Rector —del que, inicialmente, solo forman parte algunos
ministerios y las organizaciones sindicales más representativas.
En los últimos años se han dado desde la AEVAL algunos pasos para la
construcción de un Sistema Público de Evaluación. Con ese fin, se han
potenciado los convenios de colaboración y se ha constituido un Grupo de
Trabajo sobre Evaluación en el seno de la Red Interadministrativa de Ca-
lidad de los servicios. El Grupo pretende “identificar elementos clave para
el desarrollo de la evaluación en los ámbitos de competencia de los miem-
bros (...), intercambiar información sobre estrategias y actividades concre-
tas que puedan desarrollar al respecto” y poner en marcha “en la medida
de lo posible, proyectos conjuntos que permitan aprovechar de forma efi-
ciente las capacidades, experiencias y recursos respectivos”.
7
Conceptualización, aspectos metodológicos y funciones
Desde la AEVAL se concibe la evaluación como “un proceso de genera-
ción de conocimiento sistemático y razonado, apoyado en evidencias, que
incluye un juicio de valor sobre la base de unos criterios de valor explíci-
tos” (AEVAL, 2009: 5).
La Agencia no da prioridad a ningún tipo o enfoque particular sino que
parte de una perspectiva adaptativa que busca adecuar el proceso de eva-
luación al objeto evaluado y a los objetivos que se persigan. La evaluación,
para la AEVAL, se orienta a una finalidad netamente práctica pero no solo
instrumental: la de “contribuir a la mejora de la eficacia de las intervencio-
nes públicas, e impulsar la transparencia, el aprendizaje y la rendición de
cuentas” (AEVAL, 2009: 5).
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
122 STUDIA POLITICÆ
8
La relación de los diecisiete estatutos de autonomía y los enlaces a los mismos está
disponible en http://www.seap.minhap.gob.es/es/areas/politica_autonomica/Estatutos_
Autonomia/est_autonomia.html.
La evaluación en las comunidades autónomas
La mayoría de los estatutos de autonomía (las leyes de mayor rango de las
comunidades autónomas) incluyen algún apunte sobre evaluación y, aun-
que en todos los casos se trata de menciones de carácter general, existen
entre ellos ciertas diferencias.
Cataluña (2006), Aragón (2007) y, sobre todo Andalucía (2007), son las
comunidades cuyos estatutos dedican mayor interés a la evaluación; en
ellos se señala tanto el papel que corresponde a la evaluación en los distin-
tos ámbitos de política como la necesidad de que los poderes públicos pro-
muevan la participación de los ciudadanos en la elaboración, “prestación”
y evaluación de las políticas públicas. El estatuto de Andalucía llega inclu-
so a prever en su artículo 138 la existencia de un sistema de evaluación de
políticas públicas, cuya organización y funcionamiento serán regulados por
ley. No parece casual que sean algunos de los estatutos más recientes los
que dedican mayor atención a la evaluación.
En el extremo contrario, nos encontramos con los estatutos de Extremadu-
ra (2011) y de Baleares (2007), que limitan sus referencias a la evaluación
de actuaciones de cooperación al desarrollo en el primer caso o, en el se-
gundo, hacen alusiones ciertamente amplias e imprecisas.
La colaboración de las autonomías en la evaluación general del sistema
educativo estaba ya prevista en algunos de los primeros estatutos de auto-
nomía, como los de Asturias, Cantabria, La Rioja, Murcia, Castilla-La
Mancha, todos ellos de 1982, y Madrid, de 1983, lo que pone de relieve el
reconocimiento que, ya por aquel entonces, se otorgaba a la evaluación en
el marco de las políticas educativas. El estatuto de Castilla-León se refiere
únicamente a este ámbito pero no en fechas tan tempranas sino en 2007.
8
Lo que ninguno de los estatutos contempla es la creación de organismos o
unidades con atribuciones en evaluación. Pese a ello, hasta el momento en
dos comunidades autónomas se han constituido organismos o unidades de
evaluación de carácter transversal, Cataluña y Navarra, si bien sus compe-
tencias son claramente distintas. Iválua (Instituto Catalán de Evaluación de
Políticas Públicas, creado en 2006), tiene como cometido la realización de
evaluaciones, no así la Comisión Foral de Evaluación de las Políticas Pú-
blicas y la Calidad de los Servicios de Navarra (2005), que se centra en ac-
tividades de formación, sensibilización y promoción de la evaluación, ade-
123
9
Puede encontrarse información adicional en las direcciones http://www.ivalua.cat/ y
http://www.navarra.es/home_es/Temas/Administracion+Publica/Evaluacion+y+Calidad/
Comision+Foral+de+Evaluacion/.
10
En la actualidad, cinco comunidades autónomas cuentan con organismos (institutos
o agencias) de evaluación educativa: Andalucía, Canarias, Cataluña, Baleares y País
Vasco. En cooperación al desarrollo, hasta donde se ha podido constatar, no existen ins-
tituciones específicas de evaluación en ninguna comunidad autónoma.
11
El primero de estos organismos depende de la Secretaría General de Cooperación In-
ternacional para el Desarrollo que se encuentra, a su vez, vinculada a la Secretaría de
Estado de Cooperación Internacional y para Iberoamérica del Ministerio de Asuntos Ex-
teriores y Cooperación. Por su parte, el INEE se halla adscrito a la Dirección General de
Evaluación y Cooperación Territorial, dependiente de la Secretaría de Estado de Educa-
ción y Formación Profesional del Ministerio de Educación, Cultura y Deporte.
12
En este caso, se pueden encontrar antecedentes incluso en los años previos al retor-
no de la democracia. Sobre esta cuestión véase (GARCÍA SÁNCHEZ, 2004).
más de en el registro de las evaluaciones que se hayan llevado a cabo des-
de el gobierno autonómico.
9
Esta circunstancia rebaja, en cierto modo, la
complejidad del sistema en tanto que la Comisión no tiene que “competir”
con otros actores públicos que realicen trabajos de evaluación.
La evaluación en las políticas sectoriales de la AGE
Como ya hemos apuntado, la AEVAL desarrolla su actividad en paralelo a
otros organismos de carácter sectorial. Veamos cuáles son los rasgos que
caracterizan a los relacionados con la educación, la formación para el em-
pleo y la cooperación al desarrollo.
Marco legal, normativo y estructuras institucionales
10
Tanto la política educativa como la de cooperación al desarrollo cuentan
con entidades especializadas en evaluación —el INEE y la División de
Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento,
respectivamente—.
11
Los procesos de institucionalización de la evaluación
en estos ámbitos han tenido continuidad hasta hoy, desde que dieron co-
mienzo en la segunda mitad de los ochenta con la creación del “Servicio de
Evaluación” en el Centro de Investigación y Documentación Educativa
(CIDE) del Ministerio de Educación (1986)
12
y de la “Oficina de Planifi-
cación y Evaluación” en el caso del Ministerio de Asuntos Exteriores
(1988). En el transcurso de dichos procesos, esas unidades u organismos
(que han ido registrando distintos nombres y conociendo diferentes ads-
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
124 STUDIA POLITICÆ
13
“Órgano de coordinación, concertación y colaboración entre las Administraciones
Públicas que cuenta con la presencia de las Comunidades Autónomas, Entidades locales
o de aquellas instancias de coordinación supramunicipal en quien éstos expresamente
deleguen”. Artículo 1 del Real Decreto 22/2000, de 14 de enero, por el que se regula la
composición, competencias, organización y funciones de la Comisión Interterritorial de
Cooperación para el Desarrollo.
14
Real Decreto 395/2007, de 23 de marzo, por el que se regula el subsistema de for-
mación profesional para el empleo.
15
Si bien la normativa parece apuntar a la Subdirección General de Políticas de Em-
pleo. Véase el artículo 13.1 del Real Decreto 1383/2008, de 1 de agosto, por el que se
aprueba la estructura orgánica y de participación institucional del Servicio Público de
Empleo Estatal.
cripciones organizativas y funcionales) fueron progresivamente asumiendo
y definiendo sus áreas de actividad (García Sánchez, 2004; Argilés, 2014;
Tiana, 2014).
La participación de las comunidades autónomas en el INEE queda garan-
tizada en la normativa que regula la estructura y funciones de este organis-
mo. Por su parte, el documento marco de la política de evaluación de la
cooperación española —elaborado recientemente en el marco de un proce-
so participativo (Ministerio de Asuntos Exteriores y Cooperación
[MAEC], 2013)— prevé la creación de una red de puntos focales de eva-
luación a través de la Comisión Interterritorial de Cooperación para el De-
sarrollo.
13
El sistema de evaluación de la formación para el empleo muestra, por el
contrario, un nivel de desarrollo ciertamente limitado. La práctica evaluati-
va es muy reducida si se compara con la que existe en otros países, como
destacan Cueto y Mato (2009) y González Oliva, Karlsdotter, Martín, y Ló-
pez del Amo (2010). No obstante, en los últimos años se han dado algunos
pasos significativos en la configuración de un sistema de evaluación en su
seno. La norma que creó el citado subsistema
14
estableció ya la obligación
de evaluar el conjunto y algunos de sus componentes y determinó los acto-
res a los que se les atribuía esa función: el Servicio Público de Empleo Es-
tatal (SEPE) perteneciente a la AGE y, en el ámbito de sus competencias,
los órganos correspondientes de las Comunidades Autónomas. No obstante,
dicha norma no especificaba a qué unidad concreta del SEPE se le asigna-
ban las tareas de evaluación, de tal modo que el mapa institucional resulta
algo confuso.
15
Por otra parte, la implantación del sistema de evaluación de la formación
para el empleo no se produjo de manera efectiva hasta 2010, fecha en que
se aprobó el “I Plan Anual de Evaluación de la calidad, impacto, eficacia
125
16
Las personas designadas debían tener un perfil técnico en evaluación o en gestión y
un amplio conocimiento del subsistema.
17
Organización sin ánimo de lucro perteneciente al SEPE y de la que forman parte ad-
ministraciones públicas y asociaciones empresariales y sindicatos más representativos.
18
Ley Orgánica 8/2013, de 9 de diciembre, para la mejora de la calidad educativa.
19
Resulta muy elocuentes, en este sentido, los temas y la orientación de las ponencias
y comunicaciones presentadas en el Instituto entre 2012 y 2014. Los vídeos y papers es-
tán disponibles en la página web http://www.mecd.gob.es/inee/Ponencias.html.
y eficiencia del conjunto del subsistema de formación profesional para el
empleo”, que desarrollaba y concretaba las previsiones en materia de eva-
luación contenidas en la norma de creación del subsistema. En 2011 se
puso en marcha el II Plan, con una estructura y unos contenidos casi idén-
ticos a los del Plan anterior.
16
De la elaboración de los planes se hizo car-
go un grupo técnico constituido por representantes del SEPE, de los servi-
cios de empleo de las comunidades autónomas y de la Fundación
Tripartita para la Formación en el Empleo.
17
Así, en la práctica, fueron
estos actores los que perfilaron el esquema que iba a ser aplicable en las
evaluaciones.
Conceptualización y aspectos metodológicos
En el ámbito educativo, el concepto de evaluación posee distintos signifi-
cados. Se trata, por tanto, de una rúbrica general bajo la que se acomodan
diferentes tipos de evaluación según el objeto al que se refieran: alumnos,
programas, centros o sistema en su conjunto. El sistema de evaluación de
la educación contempla esa diversidad al abarcar el sistema estatal de indi-
cadores de la educación, la evaluación general del sistema educativo, la
participación en la elaboración de indicadores internacionales y en evalua-
ciones de carácter internacional y, desde la aprobación de la LOMCE,
18
las
denominadas “evaluaciones individualizadas”, que han de pasar los alum-
nos al concluir la educación primaria, la Educación Secundaria Obligatoria
(ESO) y el bachillerato y que, como apunta acertadamente Tiana (2014),
operan en la práctica como reválidas.
Los estudios internacionales de evaluación educativa impulsados desde la
OCDE, la Asociación Internacional para la Evaluación del Rendimiento
Educativo (en Inglés, IEA) o la Unión Europea han inspirado en gran me-
dida los trabajos del INEE. La perspectiva técnico-metodológica que ha
predominado en ellos ha sido, como cabía esperar, eminentemente cuantita-
tiva y clásica, de forma aún más evidente en los últimos años.
19
La medi-
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
126 STUDIA POLITICÆ
ción y las pruebas estandarizadas con foco en el alumno ocupan, por tanto,
un lugar central en el sistema de evaluación.
Por lo que se refiere a la formación para el empleo, tanto en el I como en el
II Plan se apuesta por una evaluación de carácter anual y ex post, siguiendo
lo establecido en la norma reguladora del sistema. Desde el punto de vista
metodológico, la evaluación tiene carácter cuantitativo (si bien se prevé la
posibilidad de recurrir, para ciertos temas, a técnicas que proporcionen evi-
dencia cualitativa). Se parte de una idea genérica de evaluación aunque el
empleo de los criterios (calidad, eficacia, eficiencia e impacto) e indicado-
res del sistema se hace depender de la modalidad de la formación en la que
se centre.
Por su parte, la evaluación de la política de cooperación toma como princi-
pal referente los trabajos de EVALNET, la Red de Evaluación del Comité
de Ayuda al Desarrollo de la OCDE. La evaluación se concibe como “un
proceso sistemático y planificado de recogida de información” cuyo objeti-
vo es “analizar, interpretar y valorar de manera crítica y objetiva una inter-
vención, política o estrategia de cooperación para el desarrollo, incluyendo
su diseño, su puesta en práctica, su estructura de gestión y sus resultados”
(MAEC, 2013: 3).
Si bien se reconoce la importancia de evaluar las intervenciones desde una
perspectiva integral, se apunta la conveniencia de dedicar una especial
atención a las evaluaciones de resultados e impacto.
La política de evaluación de la cooperación española no parte de una posi-
ción preestablecida en lo que a aproximaciones teórico-metodológicas se
refiere. Se insiste en ella en que la elección de enfoques, métodos y técni-
cas ha de obedecer al objeto concreto de evaluación, las preguntas a las
que se quiera responder y a los fines que se persigan (MAEC, 2013). Inclu-
so, los criterios de valor, un elemento tradicional en la evaluación de la co-
operación española, se consideran de uso potestativo y, en su caso, no limi-
tado a los fijados desde el CAD (pertinencia, eficiencia, eficacia, impacto y
sostenibilidad) sino ligado “a las características de cada intervención y por
las necesidades informativas de los diferentes actores implicados” (MAEC,
2013: 5).
Finalidad y objetivos de la evaluación
Las evaluaciones, en el marco de la política educativa, se conciben como
instrumentos orientados a proporcionar información para el conocimiento y
el perfeccionamiento no ya solo de las políticas educativas sino también, en
127
20
Artículo 143.3 y apartado VIII del preámbulo, respectivamente, de la Ley Orgánica
8/2013, de 9 de diciembre, para la mejora de la calidad educativa.
el caso de las evaluaciones individualizadas, del aprendizaje de los alum-
nos y de la gestión de los centros.
20
.
Tanto en la política de cooperación como en la de formación para el em-
pleo, la rendición de cuentas figura entre los fines a los que se orienta la
evaluación. En el primer caso, se apunta que con ella se pretenden generar
aprendizajes para mejorar la eficacia y la calidad del sistema de coopera-
ción, al tiempo que proporcionar elementos para la transparencia y la rendi-
ción de cuentas. Por su parte, la finalidad del sistema articulado en los pla-
nes de evaluación de la formación para el empleo es ofrecer información
explicativa y de utilidad al Sistema Nacional de Empleo (SNE) y a los ac-
tores que lo integran. Esta finalidad, sin embargo, no se agota en sí misma
por cuanto debe encaminarse, a su vez, a facilitar “la rendición de cuentas
de la Administración Publica con los ciudadanos en el marco de una rela-
ción cada vez más transparente y cercana” (Sistema Nacional de Empleo,
2012: 30).
¿Qué se puede aprender de los sistemas de evaluación?
Como hemos visto en las páginas anteriores, cada uno de los sistemas de
evaluación a los que se ha pasado revista se articula y opera de forma dife-
renciada.
En los cuatro sistemas analizados encontramos un marco legal y normativo
en el que se prevé la función de evaluación y se establece la unidad u orga-
nismo a la que se le encomienda. Tanto en el sistema de carácter general
como en los de educación y cooperación al desarrollo existen organismos
diferenciados y especializados y una atribución clara y concreta de funcio-
nes mientras que, en el caso de la formación para el empleo, se alude a la
evaluación de manera genérica, sin precisar en qué debe concretarse, ade-
más de no existir un organismo que la asuma en exclusiva. La principal de-
bilidad en este punto no es tanto la ausencia de un órgano específico sino
la indefinición en la función de evaluación y de las responsabilidades que
van ligadas a ella (UNEG, 2012).
Lo apuntado en el párrafo anterior tiene, sin duda, mucho que ver con el
modo en que se concibe la evaluación desde el punto de vista conceptual,
teórico y metodológico. En este sentido, el sistema de evaluación de la for-
mación para el empleo, por menos elaborado, resulta menos sólido que los
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
128 STUDIA POLITICÆ
21
La lista sería casi infinita. En el ámbito de las políticas educativas, véanse, entre
otros, WEISS (1993; 1999), PATTON (1997), ESCUDERO (2010), ANGULO (2014) y
restantes sistemas. No se indica de qué definición de evaluación se parte, ni
se identifican los principios que inspiran o enmarcan los planes y las activi-
dades de evaluación, si bien es cierto que se mencionan algunas cuestiones,
a las que se denomina “enfoques” y que podrían desempeñar un papel
equivalente como ideas fundamentales y orientadoras. Lo que podría ser la
“política” de evaluación del sistema no aparece tampoco recogida de forma
explícita, ordenada y sistematizada en ningún tipo de documento, ni meto-
dológico ni institucional. No se tienen en cuenta —o, al menos, no hay
constancia de ello— las investigaciones y estudios de evaluación que se
utilizan como referente, ya sea por razones político-institucionales o cientí-
fico-académicas.
Todo ello contrasta con la importancia prestada por los otros sistemas ana-
lizados a los aspectos conceptuales y metodológicos, aun cuando se puedan
advertir en ellos ciertas deficiencias. Esto revela no solo el grado de “acti-
vidad” o el dinamismo del sistema (el trabajo interno de reflexión y docu-
mentación, la participación en foros profesionales y científicos nacionales e
internacionales, etc.) sino que, además, es una muestra de transparencia y
permite analizar y valorar su madurez y calidad tanto en términos políticos
como “científico-metodológicos”.
Ahora bien, no sería justo olvidar, a la hora de hacer esa valoración, los
factores que condicionan los éxitos y fracasos de los sistemas: por ejemplo,
su tradición e historia, el mayor o menor avance de la evaluación en las
disciplinas y campos científicos con los que se asocia, la fragilidad o forta-
leza de los sistemas de seguimiento en los que se basa, el desinterés o el
impulso otorgado desde las instancias políticas, los recursos abundantes o
limitados de los que dispone, por señalar tan solo algunos.
De la misma forma, no sería razonable pensar que solo los sistemas jóvenes
y poco desarrollados presentan alguna debilidad. En este sentido, llama la
atención la apuesta —previa e indiscutida— que se hace desde la evaluación
educativa y la formación por el empleo, por determinados enfoques —el clá-
sico de comprobación del logro de objetivos mediante baterías de indicado-
res y pruebas estandarizadas— o ciertos tipos de evaluación —ex post y de
resultados y/o impactos— descartando otros como la evaluación de diseño o
de implantación. Son muchos los trabajos que han destacado los problemas
—y el error conceptual— que supone equiparar medición y evaluación y, en
general, las deficiencias del pensamiento positivista y eficientista.
21
Hace
129
MATHISON y ROSS (2002), EMAKUNDE (2007), OSUNA, BUENO, MURCIANO y PORRINI
(2010) o SISTEMA NACIONAL DE EMPLEO (2011) llevan la crítica a las evaluaciones de
la formación.
ya décadas que se acepta que “no hay estudios ‘perfectos’ porque no hay
acuerdo sobre qué es la perfección” (Patton, 1986: 220). La elección de
métodos y metodologías debe basarse, pues, no en decisiones a priori
sino en lo que el objeto, los objetivos y las necesidades de información
aconsejen.
La debilidad, cuando no inexistencia de las relaciones entre sistemas es, a
nuestro juicio uno de los aspectos más negativos. La AEVAL no cuenta, de
entrada, con representación de organismos sectoriales de evaluación de la
AGE (y la participación de las comunidades autónomas está condicionada
a la previa firma de un convenio). Es cierto que las comunidades autóno-
mas tienen, sin embargo, mayor vinculación con los sistemas de carácter
sectorial de la AGE, algo previsto en la normativa reguladora del INEE y
de la formación para el empleo y solo propuesto en el caso de la política de
evaluación de la cooperación. Aunque no ha sido objeto de estudio en este
artículo, merece la pena apuntar que la fragmentación territorial —conse-
cuencia del elevado nivel de descentralización que caracteriza al sistema
político español— no está exenta de ventajas, por ejemplo, una mejor
adaptación de las políticas y los sistemas de evaluación a las distintas reali-
dades y a las particularidades de cada subsistema político-administrativo y/
o de cada política sectorial.
Para concluir: algunas reflexiones y propuestas
Es innegable que, en las últimas décadas, España ha registrado un notable
avance en lo que a la evaluación refiere, pero también lo es que persisten
ciertos obstáculos y desafíos, tanto en su práctica como en su instituciona-
lización. Respecto de esta última (por ser el aspecto más íntimamente rela-
cionado con lo tratado en este artículo), cabe plantear ciertas sugerencias a
partir de lo expuesto en las páginas previas.
Es preciso reforzar y dar continuidad a los sistemas sectoriales de evalua-
ción. Estos, que deben ser vistos como una inversión y contar con una
apuesta política permanente, no solo son importantes para la mejora de los
procesos de toma de decisiones en los respectivos ámbitos sino que su soli-
dez contribuye al desarrollo de la cultura y las capacidades “generales” de
evaluación (UNEG, 2012).
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
130 STUDIA POLITICÆ
22
Véase http://www.aeval.es/es/cooperacion_y_redes/sistema/
23
Véase http://www.aeval.es/es/cooperacion_y_redes/sistema/
24
Una idea similar para el ámbito educativo se encuentra en KUSHNER y GARCÍA SÁN-
CHEZ (2010).
25
RODRÍGUEZ y MONTERDE (2014) y MAEC (2013) ofrecen algunos apuntes sobre el
último aspecto para la política de la cooperación al desarrollo. TIANA (2014) hace lo pro-
pio para el ámbito educativo.
Por otra parte, parece aconsejable seguir avanzado en la creación de un
Sistema Público de Evaluación, el espacio más adecuado para poner en
común y transferir conocimientos y experiencias, para “generar sinergias y
evitar duplicidades de acción”.
22
La colaboración entre distintas instan-
cias brinda oportunidades de beneficio mutuo. Dada la diversidad territo-
rial y sectorial, no es descartable que las diferencias conceptuales, técnicas
y metodológicas planteen dificultades a la hora de trabajar de manera con-
junta. De ahí la conveniencia de que el Sistema Público de Evaluación se
construya sobre la base (o se limite a) de elementos comunes (conceptos,
principios, mecanismos de toma de decisiones, etc.), siendo respetuoso
con las tradiciones de los distintos ámbitos y de manera “gradual, perma-
nente, modulada y singularizada”.
23
Junto a ello, cabría explorar la posi-
bilidad de constituir espacios sectoriales de colaboración y/o coordinación
entre órganos o instituciones de evaluación de los distintos ámbitos territo-
riales.
En ambos casos se requiere, “para sacar provecho de los distintos grupos
que forman la comunidad de evaluadores, tender puentes y construir equi-
pos en los distintos niveles de gobierno y en el marco de Unión Europea y
entre las distintas tradiciones existentes entre evaluadores, científicos so-
ciales, economistas, analistas de políticas y consultores de organizaciones”
(Comisión Europea, 2013: 27).
24
Es importante, para ello, que los siste-
mas de evaluación sean adaptativos y no partan de esquemas preordena-
dos. Cuanto más formalizado y rígido sea un sistema, menores serán sus
posibilidades de aprendizaje y de innovación.
Hemos apuntado, en este artículo, tan solo algunas de las muchas cuestio-
nes relacionadas con los procesos de desarrollo e institucionalización de la
evaluación. No por ello dejamos de tener en cuenta la importancia que tie-
nen, por ejemplo, cómo se articule la relación entre las funciones de plani-
ficación y evaluación de las políticas, el rigor con el que se definen ciertos
términos y el sentido que se les otorga, o la influencia real de las evalua-
ciones en la mejora de las intervenciones públicas.
25
Todos ellos se reve-
lan como temas de gran interés para futuros estudios comparados.
131
Bibliografía
AEVAL (2009) La función evaluadora. Principios orientadores y directrices de actuación
en la evaluación de políticas y programas. Madrid. Disponible en: http://
www.aeval.es/export/sites/aeval/comun/pdf/actualidad/Funcion_evaluadora.pdf
ANGULO, J. F. (2014) Los tests estandarizados como herramienta neoliberal de someti-
miento. Trabajadores de la Enseñanza, 348, noviembre-diciembre. Disponible en:
http://docpublicos.ccoo.es/cendoc/041898TestEstandarizados Herramienta.pdf
ARGILÉS, J. M. (2014) “Veinticinco años de evaluación en la política española de coope-
ración internacional para el desarrollo”. Revista de Evaluación de Programas y Polí-
ticas Públicas, 3, 19-52. DOI: http://dx.doi.org/10.5944/reppp.3.2014 .13359
COMISIÓN EUROPEA (2013) Evalsed Sourcebook: Method and Techniques. Bruselas. Dis-
ponible en:
http://ec.europa.eu/regional_policy/sources/docgener/evaluation/guide/
evaluation_sourcebook.pdf#page=172
CUETO, B. y MATO, F. J. (2009) “A nonexperimental evaluation of training programmes:
regional evidence for Spain”. The Annals of Regional Science, 43 (2), 415-433.
EMAKUNDE / INSTITUTO VASCO DE LA MUJER (2007) Guía básica para incorporar la
perspectiva de género en la evaluación de los sistemas de empleo y formación. Vito-
ria-Gasteiz: Emakunde / Instituto Vasco de la Mujer. Disponible en: http://
www.euskadi.eus/contenidos/informacion/publicaciones_guias2/es_emakunde/ad-
juntos/guiaevaluacion_cast.pdf
ESCUDERO, J. M. (2010). “Evaluación de las políticas educativas: cuestiones perennes y
retos actuales”. Revista Fuentes, 10, 8-31. Disponible en: http://institucional.us.es/
fuentes/numeros_anteriores/firma_anterior.php?vid=10
GARCÍA SÁNCHEZ, E. (2004) “La institucionalización de la evaluación educativa no uni-
versitaria en España”. Gestión y Análisis de Políticas Públicas, 30-31, 29-40. Dis-
ponible en: http://revistasonline.inap.es/index.php?journal=GAPP&page=article&op
=view&path[]=372&path[]=372
GARCÍA SÁNCHEZ, E. y KUSHNER, S. y (2010) “Educación, políticas y políticas de eva-
luación educativa“. Gestión y Análisis de Políticas Públicas, número monográfico
coordinado por S. Kushner y E. García Sánchez, 3, 7-15.
GARDE, J. A. (coord.) (2005) La Agencia Estatal de Evaluación de la Calidad de los
Servicios y de las Políticas Públicas. Reflexiones y propuesta de creación. Informe
de la Comisión de Expertos. Madrid: MAP/INAP.
GONZÁLEZ OLIVA, J. J.; KARLSDOTTER, K.; MARTÍN, J. J., y LÓPEZ DEL AMO, M. P. (2010)
“Factores que influyen en la creación de empleo para los asistentes a cursos de for-
mación para el empleo en Andalucía”. Investigaciones de Economía de la Educa-
ción, 5, 1223-1242.
INSTITUTO NAVARRO DE ADMINISTRACIÓN PÚBLICA (2011) El sistema público de evalua-
ción en Navarra. Pamplona. Disponible en: http://www.navarra.es/NR/rdonlyres/
D1F236EB-D42E-49B7-B86B-EBFEFCB04FF3/205994/Elsistemapublicode
evaluacionenNavarra.pdf
LABEAGA, J. M. y MUÑOZ, C. (2013) “La evaluación de políticas públicas en España:
aprendizaje y práctica institucional”. Revista de Evaluación de Programas y Políti-
cas Públicas, 1, 31-53. http://revistas.uned.es/index.php/REPPP/article/view/10778
ESTER GARCÍA SÁNCHEZ
34 - primavera-verano 2014/2015
132 STUDIA POLITICÆ
MAEC (2013) Política de evaluación de la cooperación española. Madrid. Disponible
en: http://www.aecid.org.sv/wp-content/uploads/2013/07/20130626_POLITICA_
DE_EVALUACION_xon-linex.pdf?5b637b
MATHISON, S. y ROSS, E. (2002) “Hegemony and «Accountability» in Schools and Uni-
versities”. Workplace. A journal for academic labour, 9, 88-102. Disponible en:
http://ices.library.ubc.ca/index.php/workplace/article/view/184050/183877
OSUNA, J. L.; BUENO, C.; MURCIANO, J. y PORRINI, L. (2010) “Los niveles de evaluación
y seguimiento de la formación: calidad vs. política”. Revista Fuentes, 10, 101-122.
Disponible en: http://institucional.us.es/fuentes/gestor/apartados_revista/pdf/mono-
grafico/kpsslxmb.pdf
PATTON, M. Q. (1986) Utilization-Focused Evaluation. Thousand Oaks, CA: Sage
(2ª edición).
———. (1997). Utilization-Focused Evaluation. Thousand Oaks, CA: Sage (3ª
edición).
RIVERO, A. (2011) “Tensiones y problemas de legitimación en la evaluación de políti-
cas públicas. Un análisis a la luz del caso español”. Revista Enfoques IX (14),
195-224.
RODRÍGUEZ, C. y MONTERDE, R. (2014) “El uso de las evaluaciones en la ayuda al
desarrollo. El caso de la cooperación española”. Revista de Evaluación de Pro-
gramas y Políticas Públicas, 3, 19-52. DOI: http://dx.doi.org/10.5944/reppp.3.
2014.13366
RUIZ, A. (2012) “Panorámica actual de la evaluación de políticas públicas”. Presupuesto
y Gasto Público, 68, 13-23. Disponible en: http://www.ief.es/documentos/recursos/
publicaciones/revistas/presu_gasto_publico/68_01.pdf
SISTEMA NACIONAL DE EMPLEO (2011) Informe de ejecución del I Plan anual de evalua-
ción de la calidad, impacto, eficacia y eficiencia del conjunto del subsistema de for-
mación profesional para el empleo 2010. Resumen ejecutivo. Madrid. Disponible
en: https://www.sistemanacionalempleo.es/pdf/Resumen_Ejecutivo_eval_FPE_
2011.VSEP2014.pdf
———. (2012) Plan anual de evaluación de la calidad, impacto, eficacia y eficiencia
del conjunto del subsistema de formación profesional para el empleo 2011. Madrid.
Disponible en: https://www.sistemanacionalempleo.es/pdf/PLAN_EVAL_FPE_
2011_final.pdf
TIANA, A. (2014) “Veinte años de políticas de evaluación general del sistema educativo
en España”. Revista de Evaluación de Programas y Políticas Públicas, 2, 1-21.
DOI: http://dx.doi.org/10.5944/reppp.2.2014.12029
UNEG (2012) National Evaluation Capacity Development: Practical tips on how to
strengthen National Evaluation Systems. A Report for the United Nations Evaluation
Group (UNEG) Task Force on National Evaluation Capacity Development. Disponi-
ble en: http://www.unevaluation.org/document/detail/1205.
VIÑAS, V. (2009) “The European Union’s Drive towards Public Policy Evaluation. The
Case of Spain”. Evaluation, 15 (4), 459-472.
133
WEISS, C. H. (1993) “Where politics and research evaluation meet”. Evaluation Practi-
ce, 14 (1), 93-106.
———. (1999) “The interface between evaluation and public policy”. Evaluation, 5 (4),
468-486.
Fecha de recepción: 02/03/2015.
Fecha de aceptación: 30/04/2015.
ESTER GARCÍA SÁNCHEZ
