37
*
Una versión preliminar de este artículo y acotada a un menor número de casos ha
sido publicada en: http://www.cippec.org/documents/10179/51825124+DPP+IMyE+
Hacia+un+an%C3%A1lisis+de+evaluabilidad+de+planes+y+programas+sociales,%20
Aquilino,%20Arias,%20Estevez,%20Echt.pdf/63917ffe-fb9d-46e1-b01f-
dffb9ed85ce3
**
Directora, Coordinador, Asistente y Coordinadora —respectivamente— del Progra-
ma de Incidencia, Monitoreo y Evaluación del Centro de Implementación de Políticas
Públicas para la Equidad y el Crecimiento (CIPPEC).
Hacia un análisis de evaluabilidad
de planes y programas sociales: un
estudio sobre 33 iniciativas
implementadas en Argentina
*
Natalia Aquilino, Eva Arias, Sofía Estévez y
Agustina Suaya
**
Resumen
La evaluación es una función estratégica del estado que permite generar
información útil y valiosa para abordar aspectos claves de las políticas
públicas tales como impacto, efectos, eficiencia o eficacia, entre otros.
Además, puede convertirse en una herramienta de cambio que mejore el
desempeño de la política y presente una utilidad social relacionada con
los intereses de los titulares de derechos y de la sociedad toda.
Pero, ¿están los planes y programas gubernamentales nacionales en con-
diciones de ser evaluados y producir información relevante para la toma
de decisiones? Este trabajo analiza las condiciones de evaluabilidad de
un conjunto de iniciativas mediante la aplicación de una herramienta
Código de referato: SP.191.XXXIV/15
STUDIA POLITICÆ Número 34 ~ primavera-verano 2014/2015
Publicada por la Facultad de Ciencia Política y Relaciones Internacionales,
de la Universidad Católica de Córdoba, Córdoba, República Argentina.
34 - primavera-verano 2014/2015
38 STUDIA POLITICÆ
analítica que recopila los aspectos más críticos vinculados a la evaluabi-
lidad sistematizados en cinco dimensiones.
Los resultados indican que hay un desarrollo desigual en materia de eva-
luabilidad en Argentina, destacándose la concentración de planes y pro-
gramas en dos polos. Un conjunto de intervenciones con altos niveles de
evaluabilidad, el cual contrasta con el otro grupo que casi no tiene desa-
rrollada ninguna de las cinco dimensiones. Los hallazgos muestran la ne-
cesidad de desplegar estrategias diversificadas de desarrollo de capacida-
des al interior de los ministerios.
Palabras clave: evaluabilidad – política social – monitoreo – evaluación
– capacidades
Abstract
Evaluation is a strategic function of the State that generates useful and
valuable information to address key aspects of public policies such as
impact, effects, efficiency or effectiveness among others. Additionally,
evaluation can become a tool for change that improves policy
performance and present a social utility related to the interests of rights
holders and society as a whole.
But, are national plans and government programs able to be evaluated
and produce relevant information for decision-making and positions?
This paper analyzes conditions of evaluability in a set of initiatives by
applying an analytical tool that collects critical aspects related to
evaluability systematized in five dimensions.
The results indicate that there is an uneven development regarding
evaluability in Argentina, highlighting the existence of two poles of
plans and programs. On the one hand, a set of interventions with high
levels of evaluability, which contrasts with the other group which has
almost no development in any of the five dimensions. These findings
show the need of deploying diverse strategies towards capacity building
within ministries.
Key words: evaluability - social policy – monitoring – evaluation –
capacities
1. Introducción
L
A producción y el uso del conocimiento e información constituyen
rasgos esenciales en el proceso de elaboración e implementación de
políticas públicas. Es por eso que contar con políticas públicas dise-
ñadas para ser monitoreadas y evaluadas con regularidad es un componen-
te fundamental para fomentar el desarrollo de mejores intervenciones esta-
tales y alcanzar de manera más eficiente y transparente los objetivos de
desarrollo.
39
En este sentido, el presente trabajo busca observar el grado de evaluabili-
dad de las políticas públicas en Argentina. Para el análisis empírico se se-
leccionaron 33 planes y programas sociales implementados por el gobierno
nacional, los cuales fueron analizados mediante la aplicación de un proto-
colo de evaluabilidad articulado en torno a cinco dimensiones.
En este sentido, el presente trabajo es de carácter exploratorio y no pre-
tende agotar la discusión sobre la evaluabilidad de las políticas públicas
en Argentina, ni sobre la evaluabilidad de las políticas públicas aquí es-
tudiadas. Lo que se busca es obtener una aproximación al estado en el
que se encuentran diversos aspectos que hacen a la evaluabilidad y con-
tribuir al debate creciente sobre la importancia de pensar mecanismos de
monitoreo y evaluación al momento de diseñar planes y programas de
gobierno.
En estas páginas no se indaga acerca de cuáles elementos son los faltan-
tes para institucionalizar o regular la evaluación como técnica de gestión.
Por el contrario, a través del enfoque empleado, se pretende observar y
conocer cuáles son aquellos elementos que existen y están presentes en
planes y programas que implican una mirada que sea, en alguna medida,
evaluativa. Así, este estudio analiza hasta qué punto la política públicas
implementadas incorporan elementos y crean las condiciones que pue-
dan favorecer el monitoreo y evaluación de los resultados de la gestión
pública.
En la primera parte se presenta el marco conceptual y teórico que guía el
análisis y, a su vez, se detalla la metodología que se utiliza para medir la
evaluabilidad de los programas y planes de gobierno. En la segunda sec-
ción se exponen los resultados descriptivos del protocolo de evaluabilidad
por dimensión, para luego, mediante un análisis de cluster, detectar patro-
nes de asociación entre dimensiones e identificar las políticas con mayor o
menor nivel de evaluabilidad. Finalmente presentamos algunas reflexiones
y propuestas destinadas a promover una “mirada evaluativa” sobre la ges-
tión de gobierno.
2. Marco conceptual
a. El análisis de evaluabilidad
La evaluación es una función estratégica del estado. Con ella se genera in-
formación útil y valiosa para abordar distintos aspectos relevantes de las
políticas públicas como son su impacto, eficiencia o eficacia. Tal es la im-
portancia de evaluar que se puede afirmar que “no existe otra área que ten-
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
40 STUDIA POLITICÆ
ga un impacto social tan grande como el de mejorar las capacidades de rea-
lizar evaluaciones rigurosas” (Galiani, 2006: 8).
Pero ¿están todas las políticas públicas nacionales en condiciones de ser
evaluadas? En este trabajo, partimos del supuesto de que cualquier progra-
ma, plan o proyecto es susceptible de ser evaluado. No obstante, el alcan-
ce y el tipo de evaluación posible están determinados por elementos que
se relacionan, entre otras cosas, con el diseño de la intervención, los siste-
mas de información y recolección de datos articulados para realizar el se-
guimiento durante la implementación, los recursos humanos y operativos
disponibles, las expectativas y beneficios esperados por los participantes
y, en general, con la actitud de los implicados en el desarrollo de la la eva-
luación. Las características específicas y situación de estos elementos en
cada caso determinarán la conveniencia de poner en marcha o no una eva-
luación.
Por análisis de evaluabilidad entendemos un proceso sistemático que per-
mite identificar si un plan o programa (o incluso una organización) está
en condiciones de ser evaluado, recomienda metodologías de evaluación
adecuadas a cada escenario particular y establece si su evaluación permi-
tirá generar información útil y valiosa (Wholey, 1979; Rutman, 1980;
Morras Imas y Rist, 2009). Además, Youtie, Bozeman y Shapira (1998)
definen a la evaluabilidad como el grado en el que las características par-
ticulares de un programa afectan la habilidad de proveer una evaluación
efectiva.
El análisis de evaluabilidad constituye una herramienta estratégica de la
evaluación de políticas públicas (Merino, 2007), entre otros motivos por-
que su empleo correcto conlleva la legitimización de la evaluación poste-
rior; porque implica un aporte a la transparencia y a la rendición de cuen-
tas de las acciones públicas, y porque permite recabar información de alto
valor estratégico para que los actores implicados en la evaluación definan
sus cursos de acción. Al mismo tiempo, el análisis de evaluabilidad per-
mite optimizar el presupuesto del programa y fundamentalmente de la
porción destinada a evaluación ya que evita grandes inversiones inade-
cuadas o innecesarias y brinda una justificación basada en valoraciones
concretas de los gastos a realizar para las necesidades del programa o
plan en cuestión.
Además de servir como una herramienta de análisis, la cual permite identi-
ficar aquellas políticas públicas que tienen mejores condiciones de ser eva-
luadas, el protocolo de evaluabilidad permite familiarizar al evaluador con
las características y el contexto de la política pública y facilitar el desarro-
llo de relaciones de colaboración con el personal administrativo.
41
1
Se realizaron dos focus groups con funcionarios de los ministerios nacionales de Tra-
bajo, Empleo y Seguridad Social, Educación, Salud, Jefatura de Gabinete de Ministros,
Sindicatura General de la Nación, Auditoría General de la Nación y de organismos inter-
nacionales (Banco Mundial, PNUD, OPS-OMS), personalidades vinculadas al mundo
de las políticas públicas en general como al mundo de la evaluación y del análisis de
evaluabilidad en particular desde ámbitos académicos y de la sociedad civil.
En aquellos casos en los que una evaluación en profundidad sea viable, un
análisis de evaluabilidad recomendará metodologías de evaluación adecua-
das a cada escenario particular, a la vez que establecerá si la eventual eva-
luación permitirá generar información relevante, por ejemplo, bajo la forma
de aportes para la mejora del rendimiento del programa. Cuando los análi-
sis de evaluabilidad arrojen resultados negativos, será su propósito dar re-
comendaciones acerca de cómo reacondicionar el programa para generar
las condiciones que viabilicen la evaluación. Es recomendable realizar este
tipo de análisis antes de que se lleve a cabo la evaluación, o al menos como
una etapa inicial de la evaluación para asegurar que esta sea útil. También
puede realizarse un análisis de evaluabilidad como una revisión intermedia
del programa, para identificar áreas de mejora para su posterior evaluación
(UNIFEM, 2009).
En el presente trabajo se recurre a un análisis de evaluabilidad para deter-
minar en qué medida algunos planes y programas nacionales en Argentina
están en condiciones de ser evaluados.
b. El protocolo de evaluabilidad
Luego de realizar una exhaustiva revisión de la literatura, se desarrolló un
protocolo que permite observar y medir, a través de indicadores cuantitati-
vos y cualitativos, el grado de evaluabilidad de las políticas públicas. Di-
cho protocolo se desagrega en cinco dimensiones que contienen indicado-
res y preguntas-guía pensadas con el propósito de lograr una aproximación
holística a nuestro objeto de estudio para, de esta manera, minimizar la pro-
babilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una se-
rie de actividades con funcionarios relacionados con los distintos planes y
programas analizados para obtener sus visiones. De manera paralela, el
equipo realizó grupos focales,
1
entrevistas y encuestas a funcionarios de
gobierno y académicos vinculados a la evaluación y a la implementación
de programas sociales, con el fin de presentar el instrumento y someterlo a
críticas. Este proceso de consulta con la comunidad de expertos en evalua-
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
42 STUDIA POLITICÆ
ción permitió mejorar y afinar la herramienta, sin embargo, está en cons-
tante evolución y no descartamos a futuro incorporar nuevos indicadores o
mejorar los existentes.
El protocolo empleado para el análisis toma como fuente el Protocolo de
Evaluabilidad de las políticas públicas de la Comunidad Foral de Nava-
rra, diseñado por el Servicio de Calidad de Políticas y Servicios Públicos
del Instituto Navarro de Administración Pública (INAP) de España y al
Checklist for Reviewing Scope of Work for Performance Evaluation de la
United States Agency for International Development (USAID), entre otros.
A partir de estos instrumentos se creó una herramienta de análisis adaptada
al contexto argentino.
Para la elaboración de la herramienta se construyeron cinco dimensiones
de análisis y cuarenta y tres preguntas/indicadores que guían el estudio de
los distintos temas. La primera dimensión, “calidad del diseño y planifica-
ción de la intervención” es fundamental para determinar la evaluabilidad
de un proyecto. La calidad del diseño de los proyectos influye ampliamen-
te en la calidad de sus evaluaciones (Davies, 2013). En esta línea Davies
(2013) sostiene que en un mundo ideal, los proyectos estarían bien diseña-
dos, y que un aspecto de su buen diseño sería su evaluabilidad. La “cali-
dad del sistema de información”, segunda dimensión del protocolo de eva-
luabilidad diseñado, determinará el grado de accesibilidad a la
información sobre la intervención, fundamental para llevar a cabo tareas
de evaluación. La tercera dimensión, “calidad de la estrategia de evalua-
ción”, observa si desde el origen de la intervención se prevén instancias
de evaluación tanto durante el transcurso de la implementación de la polí-
tica pública como luego de terminada. Se releva, asimismo, la definición
de las variables institucionales, temporales y geográficas de las eventuales
evaluaciones, así como su manifestación de propósito. La sistematización
de lecciones aprendidas y la existencia de mecanismos de retroalimenta-
ción de la información surgida en instancias evaluativas también son teni-
das en consideración en esta dimensión. La cuarta dimensión estima la ca-
lidad de la estrategia de actores de la intervención. Es decir, entre otras, la
previsión del involucramiento de grupos de interés y beneficiarios en el
proceso evaluativo, así como la previsión de la contratación de actores ex-
ternos para llevar a cabo las evaluaciones. Por último, la quinta dimensión
“recursos destinados” analiza la estrategia de asignación de recursos eco-
nómicos, temporales y humanos. Los tres tipos de recursos son considera-
dos igual de importantes a la hora de garantizar la calidad del monitoreo y
la evaluación.
La tabla que figura a continuación resume las cinco dimensiones y explica
brevemente los factores que se exploran en cada una de estas instancias.
43
Tabla 1. Dimensiones y áreas de análisis del protocolo
Como decíamos anteriormente, las dimensiones están compuestas por un
set de indicadores o preguntas que se responden de manera dicotómica.
2
Los indicadores están formulados con una direccionalidad positiva, por lo
cual las respuestas afirmativas son aquellas asociadas con mayores niveles
de evaluabilidad. De esta manera, el indicador va a tomar el valor 1 si la
Fuente: elaboración propia sobre la base de INAP (2008).
Dimensiones
Calidad de la planificación
y del diseño de la
intervención para lograr
los efectos deseados
Calidad del sistema de
información para el
seguimiento, la producción
y el archivo de la evidencia
Calidad de la estrategia de
evaluación prevista
Estrategia de actores
adoptada para incluir la
participación durante las
diferentes etapas de
seguimiento y evaluación
Recursos efectivos
destinados a la evaluación
Áreas a explorar
Diagnóstico.
Relación objetivos/resultados esperados.
Examen de la coherencia interna de la
estrategia propuesta en la intervención.
Existencia y calidad de indicadores de
seguimiento.
Fuentes de información.
Mecanismo de recolección de datos.
Archivo, registro y gestión de datos.
Tipo de estrategia.
Propósitos y alcance.
Utilización de resultados y
retroalimentación.
Difusión de hallazgos y sistematización
de lecciones.
Identificación y participación de
distintos actores relacionados con el
seguimiento y la evaluación (políticos,
gestores y técnicos).
Gobernabilidad del sistema de M&E.
Presupuesto.
Tiempos.
Recursos humanos asignados.
Cantidad de
preguntas/
indicadores
14
10
10
4
5
2
El listado completo de preguntas que componen el protocolo se encuentra en el anexo.
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
44 STUDIA POLITICÆ
respuesta a esa pregunta es “sí” o el valor 0 si la información disponible in-
dica que la respuesta es “no”. Como se describe en la siguiente sección, la
información utilizada para responder el protocolo provenía de información
pública y de información solicitada al gobierno. Es por estos motivos que
es posible que algunos indicadores que tomen el valor 0 puedan cambiar si
es que más información se hace disponible. Esto quiere decir que estas me-
didas, aun cuando buscan simplificar el análisis no intentan tener un carác-
ter valorativo definitivo.
Para no quedarnos simplemente con un análisis dicotómico y evitar sesgar
el reporte por falta de información, decidimos hacer un indicador compues-
to de evaluabilidad. Este indicador simplemente toma las distintas dimen-
siones de análisis para conformar un índice de evaluabilidad de las políti-
cas públicas. Así, este índice nos permite obtener resultados parciales a
nivel de dimensión, observando la composición de los indicadores, y resul-
tados globales, mirando la articulación entre dimensiones.
Aprovechando que las dimensiones tienen indicadores cualitativos, se deci-
dió generar una clasificación en tres grupos de evaluabilidad dependiendo
de la cantidad de respuestas afirmativas que tengan los programas. Para
ello se utilizó un simple cálculo de sumatoria sin ponderaciones. La tabla
que figura a continuación define los criterios adoptados para esta clasifica-
ción inicial.
Tabla 2. Grado de evaluabilidad a nivel dimensión
Primera
dimensión
Segunda
dimensión
Tercera
dimensión
Cuarta
dimensión
Quinta
dimensión
Alta
Puntaje igual o
mayor a 10
Puntaje igual o
mayor a 8
Puntaje igual o
mayor a 8
Puntaje mayor o
igual a 3
Puntaje mayor o
igual a 4
Media
Puntaje igual o menor a 9
e igual o mayor a 6
Puntaje menor o igual a 7
y mayor o igual a 5
Puntaje menor o igual a 7
y mayor o igual a 5
Puntaje igual a 2
Puntaje igual a 2 o 3
Baja
Puntaje igual o
menor a 5
Puntaje igual o
menor a 4
Puntaje igual o
menor a 4
Puntaje igual o
menor a 1
Puntaje igual o
menor a 1
Fuente: elaboración propia.
Finalmente, para observar algún patrón más general de evaluabilidad, se
realizó un análisis de clusters. “El análisis de clusters (o análisis de con-
glomerados) es una técnica de análisis exploratorio de datos para resolver
45
3
El análisis de conglomerados de K medias es un método de agrupación de casos
que se basa en las distancias existentes entre ellos en un conjunto de variables
(este método de aglomeración no permite agrupar variables). Se comienza selec-
cionado los K casos más distantes entre sí (el usuario debe determinar inicialmen-
te el número K de conglomerados que desea obtener). Y a continuación se inicia la
lectura secuencial del archivo de datos asignando cada caso al centro más próximo
y actualizando el valor de los centros a medida que se van incorporando nuevos
casos. Una vez que todos los casos han sido asignados a uno de los K conglomera-
dos, se inicia un proceso iterativo para calcular los centroides finales de esos K
conglomerados.
4
Para determinar el grupo que mejor se adapta a los datos, corrimos un test que
permite reconocer qué número de grupos provee una mejor distinción entre los
grupos. Dado que el objetivo del estudio de cluster es analizar patrones, este test
aporta información clave para entender el grado de similitud intragrupos y dife-
rencia intergrupos. A pesar de que en este trabajo solo vamos a presentar los resul-
tados que mejor se adapten a la información, también para los otros grupos están
disponibles.
problemas de clasificación. Su objeto consiste en ordenar objetos (perso-
nas, cosas, animales, plantas, variables, etc.) en grupos (conglomerados o
clusters) de forma que el grado de asociación/similitud entre miembros del
mismo cluster sea más fuerte que el grado de asociación/similitud entre
miembros de diferentes clusters. Cada uno se describe como la clase a la
que sus miembros pertenecen.
El análisis de cluster es un método que permite descubrir asociaciones y
estructuras en los datos que no son evidentes a priori pero que pueden ser
útiles una vez que se encontraron. Los resultados de un análisis de clusters
pueden contribuir a la definición formal de un esquema de clasificación tal
como una taxonomía para un conjunto de objetos, a sugerir modelos esta-
dísticos para describir poblaciones, a asignar nuevos individuos a las clases
para diagnóstico e identificación, etc.” (Villardón, 2007: 2).
Con el análisis de cluster se buscó encontrar patrones y asociaciones entre
las dimensiones con el objetivo de identificar los distintos niveles de eva-
luabilidad de la muestra de programas. Específicamente se realizó un clus-
ter análisis no jerárquico (k means
3
), es decir que los grupos que observa-
dos no están anidados. Dado que una deficiencia de este tipo de análisis
es que el investigador debe determinar el número de grupos a formar, y
que por la naturaleza del objeto de estudio desconocemos, decidimos rea-
lizar el análisis dividiendo la muestra en 3, 4 y 5 grupos. En la sección de
resultados se presentan los valores que muestran la mejor adaptación a los
datos.
4
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
46 STUDIA POLITICÆ
5
No todos los programas grandes en términos presupuestarios fueron incluidos en la
muestra. Esto obedece a una restricción debida a nuestro interés en tener una muestra
con diferentes niveles de ejecución y fuentes de financiamiento.
c. Selección de los casos y fuentes de información
Tras desarrollar el protocolo, el paso siguiente fue confeccionar la muestra
de planes y programas a relevar. Dicho proceso se realizó en dos etapas. En
primer lugar, definimos los criterios de selección y luego conformamos la
muestra a partir de la aplicación de los criterios a la totalidad de los progra-
mas y planes listados en la página web de Presidencia de la Nación. Poste-
riormente se incorporaron a nuestro análisis programas nacionales imple-
mentados actualmente que cumplen con los criterios de selección, pero que
no figuraban en dicho portal al momento del primer relevamiento.
El criterio de selección de nuestra muestra de programas se basó en que
sean planes o programas relevantes en términos de cobertura y financia-
miento. La premisa detrás de esto es que si son programas importantes en
términos de alcance poblacional y de destinación de presupuesto, entonces
es esperable que sean evaluables.
5
Además, se procuró tener una muestra
heterogénea en cuanto a la fuente de financiamiento, organismos de ejecu-
ción y área de abordaje. Como en este primer análisis no podíamos evaluar
todos los planes y programas de gobierno, se priorizaron aquellos de los
ministerios de Salud, Educación y Desarrollo Social.
Siguiendo estos criterios, la lista de planes y programas analizados en este
trabajo está compuesta de la siguiente manera:
TABLA 3. Lista de planes y programas estudiados
1. Programa Primeros Años
2. Plan Nacional de Abordaje Integral
3. Plan Nacional de Acción por los
Derechos de los Niños, Niñas y
Adolescentes
4. Plan Nacional de Deporte Social
5. Plan para la Reducción de la Mortalidad
Materno-Infantil, de las Mujeres y de las
Adolescentes
6. Programa Nacional de Control de la
Tuberculosis y la Lepra
7. Programa Nacional de Chagas
8. Programa Nacional de Control de
Enfermedades Zoonóticas
17. Programa Conectar Igualdad
18. Programa Remediar + Redes
19. Plan Nacer (Plan Sumar)
20. Programa de Educación Media y
Formación para el Trabajo de Jóvenes II
21. Programa Nacional para la Producción
Limpia y el Consumo Sustentable
22. Programa de Mejora de la Gestión
Municipal
23. Programa de Mejoramiento de la
Educación Rural
24. Programa BE.CAR - Becas de
Formación en el Exterior en Ciencia y
Tecnología
47
6
Las solicitudes de información fueron enviadas en tres tandas. La primera se hizo lle-
gar a los ministerios en marzo 2013, la segunda en abril 2013 y la tercera en septiembre
2014. Para el análisis presente en este documento se utilizó como insumo las respuestas
a las solicitudes de información que llegaron hasta el día 1 enero 2015 inclusive.
Las fuentes de información utilizadas para aplicar el protocolo a cada pro-
grama de la muestra fueron de dos tipos. En primer lugar, se realizó una
búsqueda exhaustiva de información de cada una de estas políticas públicas
por Internet. En segundo lugar, se enviaron solicitudes de información a los
organismos responsables de la ejecución de los planes y programas.
6
Es
decir que este trabajo utiliza información pública que se encuentra disponi-
ble en línea o que fue entregada por funcionarios públicos. Esto es una li-
mitación ya que el acceso a la información no siempre es completo. El pro-
tocolo fue ejecutado usando la información existente, sin embargo es
posible que algunos valores de los indicadores que se presentan puedan su-
frir modificaciones, si más información se hace pública.
3. ¿Están los planes y programas nacionales en condiciones de ser
evaluados? Un análisis del protocolo de evaluabilidad
a. Análisis por dimensión
Dimensión 1: la calidad de la planificación y del diseño de la intervención
para lograr los resultados o efectos deseados.
La primera dimensión considerada es “calidad de la planificación y diseño
de la intervención”. En ella se recaba información acerca del diagnóstico
9. Programa Nacional de Sanidad Escolar
10. Programa Nacional de Detección y
Control de la Enfermedad Celíaca
11. Programa Nacional de Cardiopatías
Congénitas
12. Programa Nacional de Prevención de
Cáncer Cérvico-Uterino
13. Programa Nacional de Control de
Tabaco
14. Plan Nacional de Educación Obligatoria
y Formación Docente
15. Programa de Mejoramiento de Barrios II
16. Programa de Mejoramiento de la
Equidad Educativa II
25. Programa Nacional de Salud Sexual y
Procreación Responsable
26. Programa Ingreso Social con Trabajo
27. Plan Nacional de Seguridad Alimentaria
28. Programa Jóvenes con Más y Mejor
Trabajo
29. Programa Seguro de Capacitación y
Empleo
30. Plan Nacional Manos a la Obra
31. Programa Federal de Construcción de
Viviendas - Techo Digno
32. Plan Federal Incluir Salud
33. Programa Nacional Agua Más Trabajo
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
48 STUDIA POLITICÆ
7
Los indicadores denominados SMART por sus siglas en inglés; specific, measurables,
achievables, relevant and time phased.
de los problemas que la iniciativa pretende resolver y de los objetivos o
resultados esperados de la intervención. La probabilidad de que las eva-
luaciones redunden en una mejora del desempeño de los programas de-
pende de que estos cumplan con tres condiciones: que haya una correcta
definición de los objetivos de los programas; que sean plausibles, y que se
defina el uso de la información derivada de la evaluación (Strosberg &
Wholey, 1983). Además, la literatura indica que los objetivos deben ser
específicos, mensurables, alcanzables, relevantes y limitados temporal-
mente
7
(Thurston & Potvin, 2003; Youtie, Bozeman, & Shapira, 1999;
Smith, 1989; Rutman, 1980; Grupo de Evaluación de Naciones Unidas,
2012; Instituto Navarro de Administración Pública, 2008).
En este sentido, con respecto al diagnóstico de problemas, se ha indagado
si estos están cuantificados o son medibles y si sus causas fueron identifi-
cadas. Resulta relevante saber si se ha definido una línea de base para la
posterior valoración de la intervención en relación con la solución de los
problemas identificados; si las dimensiones institucionales, temporales,
sectoriales y geográficas de la intervención fueron definidas y si se con-
dujo un análisis del contexto operativo en el que se desarrollará la inter-
vención.
En lo referido a los objetivos y resultados esperados de la intervención, se
examinó si fueron explícitamente definidos, si son claros, concisos y si
están cuantificados o son medibles o valorables. Por otro lado, se analizó
la adecuación de estos objetivos a los problemas diagnosticados y, final-
mente, el establecimiento o no de un horizonte temporal en el que se pre-
tende alcanzarlos.
Tabla 4. Indicadores de la dimensión 1
Dimensión
Dimensión 1
Indicador
¿Existe un diagnóstico de los problemas que se pretenden resolver con
la intervención?
¿Se han identificado las causas de los problemas?
¿Se identifican claramente los problemas y necesidades en el diagnóstico?
¿Están cuantificados o son medibles?
¿Se ha definido la línea de base para la posterior valoración de la
intervención en relación con la solución de los problemas identificados?
49
Fuente: elaboración propia.
A partir de aplicar el protocolo de evaluabilidad a los casos en estudio en-
contramos que el 85 % de los programas revisados presenta un diagnósti-
co de los problemas, un porcentaje menor (64 %) identifica las causas de
las problemáticas en cuestión. Casi todas las intervenciones (94 %) cuen-
tan con definición clara de las dimensiones institucionales, temporales,
sectoriales y geográficas de la intervención, sin embargo, el análisis sobre
el contexto operativo se realiza con menor frecuencia (73 % de las inter-
venciones cumplen con este componente).
Además de definir cuestiones operativas vinculadas a la posterior imple-
mentación de la política pública, el diagnóstico requiere de un profundo
análisis sobre la problemática que se busca mejorar con la intervención.
En este sentido encontramos que en un 79 % de los casos los diagnósticos
identifican claramente los problemas y necesidades, sin embargo la pro-
porción de proyectos con objetivos cuantificables y medibles es un poco
más baja (73 %).
A pesar de la gran cantidad de proyectos que cuentan con diagnósticos,
solo un 62 % tiene recolectada una línea de base. Esto es un gran limi-
tante para la posterior evaluación ya que sin ella es difícil conocer des-
pués los cambios en las variables que se buscan afectar con la política
pública.
Dimensión 1
¿Se han definido las dimensiones institucionales, temporales,
sectoriales y geográficas de la intervención?
¿Se ha hecho un análisis del contexto operativo en el que se desarrolla
la intervención?
¿Se han definido explícitamente los objetivos perseguidos con la
intervención?
¿Son claros?
¿Son concisos?
¿Son cuantificables o medibles?
¿Están cuantificados?
¿Responden los objetivos de la intervención a las necesidades y
problemas detectados?
¿Se ha definido el horizonte temporal en el que se pretenden alcanzar
los objetivos?
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
50 STUDIA POLITICÆ
En lo referido a los objetivos de las intervenciones, cabe señalar que en un
amplio porcentaje (superior al 90 %) estos fueron definidos explícitamen-
te de manera clara, responden a necesidades y problemas detectados y son
medibles. Aun cuando encontramos que los objetivos están correctamente
definidos, solo un 36 % de los casos determina el horizonte temporal en el
que se pretende cumplir con esas metas.
En términos generales encontramos que esta dimensión, la cual suele te-
ner un alto impacto sobre el grado de evaluabilidad de una política públi-
ca, es bastante robusta a lo largo de nuestra muestra. Así, casi 79 % de
los casos presentan un nivel de evaluabilidad alto para esta dimensión,
15 % tiene un nivel medio y solamente 6 % un nivel bajo.
Dimensión 2: la calidad del sistema de información para el seguimiento,
la producción y el archivo de evidencia relevante para la toma de decisio-
nes que se genera durante la implementación.
La segunda dimensión analizada es “calidad del sistema de informa-
ción”, la cual busca analizar qué tipo de sistema de monitoreo existe y
cuáles son las fuentes de información a las que se recurre para informar
esos sistemas. Esta dimensión observa los indicadores empleados, las
fuentes de información establecidas y los mecanismos de recolección de
datos. Es importante destacar que sin un sistema de información rico y
que funcione es muy difícil monitorear y evaluar una política pública ya
que estas dos actividades se nutren de la información contenida en indi-
cadores.
En cuanto a los indicadores, es necesario saber si se ha diseñado una ma-
triz de monitoreo y evaluación, si se han definido indicadores para reco-
pilar sistemáticamente la información sobre la evolución de la interven-
ción y sus actividades, si estos son relevantes y si se han definido las
fuentes de información para recabarlos. El tipo de indicadores empleados
en cada programa es importante, pueden ser de impacto, resultado, activi-
dad o producto.
Sobre el acceso a la información, se analiza si se establecen o no las
fuentes de información disponibles y si se han definido tanto los proce-
dimientos para la recogida de información sobre la intervención como
el momento en el que debe recogerse la información de cada indicador.
51
Tabla 5. Indicadores de la dimensión 2
Fuente: elaboración propia.
En contraposición a lo observado en la dimensión 1, esta segunda dimen-
sión presenta magros resultados. De la muestra seleccionada, el 55 % de
los programas y planes define una matriz de monitoreo. Si tenemos en
cuenta que en la mayoría de los casos los objetivos de la intervención eran
cuantificables, se debería esperar que un mayor número de programas y
planes de gobierno tengan sistemas de monitoreo. A pesar que hay pocos
sistemas constituidos, una gran mayoría de los programas analizados
(80 %) define indicadores para recopilar la información sobre la evolución
de la intervención y sus actividades. Sin embargo, es posible detectar que
en el 31 % de los casos esos indicadores no proveen información relevante
para la toma de decisiones.
Al analizar el tipo de indicador, observamos que el 62 % de los planes o
programas que recopilan algún tipo de información procesan indicadores
Indicador
¿Se ha definido una matriz de monitoreo y evaluación?
¿Se han definido indicadores para recopilar sistemáticamente la
información sobre la evolución de la intervención y sus actividades?
¿Son relevantes los indicadores para la intervención?
¿Se han definido las fuentes de información para los indicadores?
¿Se han definido indicadores de impacto?
¿Se han definido indicadores de resultado?
¿Se han definido indicadores de producto?
¿Se han definido indicadores de actividad?
¿Se ha definido algún procedimiento para la recogida de información
sobre la intervención?
¿Se ha definido cuándo se debe recoger la información de cada
indicador?
¿Se ha definido una matriz de monitoreo y evaluación?
¿Se han definido indicadores para recopilar sistemáticamente la
información sobre la evolución de la intervención y sus actividades?
¿Son relevantes los indicadores para la intervención?
¿Se han definido las fuentes de información para los indicadores?
Dimensión
Dimensión 2
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
52 STUDIA POLITICÆ
de impacto, 77 % tiene indicadores de resultado, 50 % indicadores de
producto y 21 % indicadores de actividad. Estos valores son muy buenos
ya que sugieren que los indicadores están recopilando información en las
partes más difíciles de las matrices de planificación, pero sorprende la
baja presencia de indicadores de procesos.
Por otra parte, mientras que en el 88 % de los programas y planes que tie-
nen indicadores funcionando se definen los procedimientos para el rele-
vamiento de información, solo el 58 % de los casos consigna explícita-
mente las fuentes de información que se utilizarán para la recolección de
los distintos indicadores y un 54 % se establece la periodicidad de la re-
colección de datos. La baja ausencia de este tipo de información debería
despertar alertas, seguramente haya reglas informales que establezcan los
tiempos y las fuentes de información pero sería ideal avanzar hacia su
institucionalización. Para tener indicadores confiables y útiles para la ges-
tión se requiere de buena información, tener estos procesos institucionali-
zados contribuiría a transparentar los sistemas de monitoreo y permitiría
la auditoria de los datos por parte de otros grupos interesados.
En conclusión, de los programas analizados se observa que un 42 % se
encuentra en un nivel alto de evaluabilidad para esta dimensión, 13 %
tiene un nivel medio y 45 % nivel bajo. Si pensamos que la evaluación y
el monitoreo constituyen un instrumento fundamental para mejorar el di-
seño de las políticas públicas, resulta clave entonces lograr un seguimien-
to de los hallazgos producidos por los sistemas de monitoreo y evalua-
ción de las intervenciones. Las recomendaciones surgidas a partir del
seguimiento y la evaluación deberían retroalimentar el proceso de gestión
de la política pública (Wilson, 2006), generando así un circulo virtuoso.
Sin una segunda dimensión fuerte es difícil que se puedan mejorar las in-
tervenciones y sacar el mayor provecho a las inversiones en evaluación y
monitoreo. La gran cantidad de planes y programas que tienen bajos ni-
veles de evaluabilidad de sus sistemas de información indica que este es
un componente que requiere mayor desarrollo por parte de los gobier-
nos. Fortalecer y sistematizar la recopilación de información y la produc-
ción de indicadores mejoraría el nivel actual de evaluabilidad de las polí-
ticas públicas.
Dimensión 3: la estrategia de evaluación.
La siguiente dimensión considerada es “calidad de la estrategia de eva-
luación”, la cual contempla tres grandes componentes: el diseño de la
evaluación, sus objetivos y alcances y los mecanismos de retroalimenta-
53
ción. Respecto del tipo de estrategia, se analiza aquí si los planes o pro-
gramas que componen la muestra definieron una estrategia de evalua-
ción. Si lo hicieron, se consideró además si se definió la realización de
una evaluación de medio término, final o ambas. En términos de objeti-
vos y alcance de los programas, se consideró si los propósitos de la eva-
luación y las preguntas a la que ésta debe dar respuesta fueron definidos,
y si en su formulación se tuvieron o tendrán en cuenta los intereses de
los grupos más representativos relacionados con la intervención. Ade-
más, se examinó si se han acotado las dimensiones temporales, geográfi-
cas e institucionales de la intervención que serán consideradas en la eva-
luación y si existe una asignación previa de responsabilidades en
relación con la ejecución, validación y control de calidad de las evalua-
ciones a realizar. En cuanto a la utilización de resultados y retroalimen-
tación, es relevante a los fines de un análisis de evaluabilidad conocer si
la información suministrada será utilizada y si la evaluación podría in-
fluir en la intervención.
Tabla 6. Indicadores dimensión 3
Fuente: elaboración propia.
Indicador
¿Se ha definido una estrategia de evaluación?
¿Se ha definido una evaluación de medio término?
¿Se ha definido una evaluación de final?
¿Se ha definido una estrategia de evaluación de medio término y final?
¿Se han definido los propósitos de la evaluación?
¿Se han definido las preguntas a las que la evaluación debe dar
respuesta?
En la formulación de preguntas de evaluación, ¿se ha tenido en cuenta
o se tendrán en cuenta los intereses de los grupos más representativos
relacionados con la intervención?
¿Se han acotado las dimensiones (temporales, geográficas,
institucionales, etc.) de la intervención que van a ser consideradas en la
evaluación?
¿Se prevé en el diseño del programa la implementación de un análisis
de sus condiciones de evaluabilidad?
¿Se va a establecer algún tipo de procedimiento para dar seguimiento a
la incorporación de las recomendaciones de la evaluación?
Dimensión
Dimensión 3
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
54 STUDIA POLITICÆ
En el 70 % de los programas analizados se observó la planificación de al-
gún tipo de estrategia de evaluación, aunque hay un único programa que
piensa hacer también un análisis de evaluabilidad. De aquellos que van a
implementar evaluaciones, muchos no explicitan cuándo van a tener lugar
(30 % no informa el dato); de aquellos que si lo hacen el 81 % planea una
evaluación de mediano plazo y otra evaluación al finalizar el proyecto.
Entre los que piensan hacer una única evaluación, suele ser a mitad de tér-
mino.
Cuando se hace una evaluación es usual que sus propósitos estén defini-
dos (83 % de los casos analizados), sin embargo, las preguntas de evalua-
ción no suelen estar predeterminadas (solo un 50 % de las evaluaciones
tienen este componente). En aquellas que sí tienen una pregunta de inves-
tigación, esta suele incluir los intereses de los grupos relacionados a la po-
lítica pública. Dado el carácter central de la pregunta de investigación
para guiar el diseño y la implementación de la evaluación, la carencia de
este componente puede comprometer la calidad de la evaluación, ya que
es probable que mucha información rica que se puede recolectar al inicio
de la intervención sea descartada por ausencia de preguntas guía para la
evaluación.
En el 57 % de los casos donde se planea una evaluación, la misma ya tiene
definidas las dimensiones temporales, geográficas e institucionales. Es pa-
radójico encontrar planes y programas que no tienen definida una pregun-
ta de evaluación pero sí están definidas cuestiones que es recomendable
establecer en función de la pregunta. En la mayoría de las evaluaciones
programadas (65 %) también existe un componente de planeamiento sobre
el uso de la evaluación para la toma de decisiones.
El análisis sobre la tercera dimensión indica que se encuentra poco desa-
rrollada en los planes y programas analizados. Encontramos que en un
55 % de los casos el nivel de evaluabilidad de esta dimensión es bajo, en
18 % es medio y en un 27 % es alto. Teniendo en cuenta que la eviden-
cia indica que uno de los factores que fortalecen la evaluabilidad es in-
corporar parte del diseño de la evaluación al momento de diseñar el pro-
grama, resulta fundamental reforzar este componente. En la siguiente
sección se analiza la presencia de factores que pueden contribuir a un
mayor desarrollo de las estrategias de evaluación, sin embargo creemos
que pueden existir dos mecanismos: imposiciones externa vinculadas a
requerimientos legales (por ejemplo, de organismos de crédito que fi-
nancian la iniciativa) o voluntad de los hacedores de la política o funcio-
narios a cargo de implementar la política pública. En un escenario ideal,
es esperable que la necesidad de monitorear y evaluar sea valorada por
55
la totalidad de los actores involucrados a partir de su potencial para for-
talecer las iniciativas y no como un instrumento de control impuesto
desde afuera.
Además, se observó que la generación de planes nacionales que incluyen
monitoreo y evaluación periódicos desde la planificación no solo es benefi-
ciosa para la intervención; frecuentemente, permitió generar articulaciones
y sinergias con actores externos, tales como universidades nacionales,
8
en-
contrar áreas de vacancia en la formación y generar nuevas ofertas temáti-
cas en el ámbito académico.
Dimensión 4: la estrategia de actores
A partir de la cuarta dimensión, “estrategia de actores” se buscará determi-
nar el grado de implicación de los actores y partes interesadas en la evalua-
ción. Esta dimensión contribuye a entender no solamente el conjunto de ac-
tores que van a ser partícipes directos de la evaluación, sino también
profundizar los canales que comunicación y difusión posteriores a la eva-
luación.
Tabla 7. Indicadores dimensión 4
8
Es el caso, por ejemplo, del Programa Conectar Igualdad. Para conocer más acerca de
la estrategia de evaluación del programa recomendamos ver: MINISTERIO DE EDUCACIÓN
(2011) Nuevas voces, nuevos escenarios: estudios evaluativos sobre el Programa Co-
nectar Igualdad, Ministerio de Educación, Buenos Aires. Disponible en: http: //
portal.educacion.gov.ar//conectarigualdad/
Fuente: elaboración propia.
Indicador
¿Se ha identificado a los actores implicados en la intervención?
¿Se ha realizado un análisis previo de los principales intereses y
posibilidades de participación en el proceso de evaluación?
¿Existen grupos de presión que puedan interferir en la independencia de
la evaluación?
¿Se facilitará la participación de los “actores implicados “en el desarrollo
de la evaluación?
Dimensión
Dimensión 4
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
56 STUDIA POLITICÆ
Del análisis de la muestra surge que, si bien se identifican los actores que
participarán de un modo u otro en la intervención en un 82 % de los ca-
sos, el número de planes y programas que realizaron un análisis previo
acerca de los principales intereses y posibles participaciones de los actores
es bajo, pues alcanzan a menos del 50 % de las intervenciones. Este análi-
sis permite, durante la etapa de diseño de la evaluación, vincular a todos
los participantes con el proceso, mejorando así la legitimidad de los resul-
tados. Además este análisis posibilita la identificación de grupos de pre-
sión que puedan afectar los resultados de la evaluación, sin embargo, en
los casos analizados este componente no parece ser relevante ya que no se
reporta ningún caso donde estos grupos estén operando.
Finalmente, en cerca de la mitad de las políticas públicas analizadas se en-
cuentran mecanismos para facilitar la participación de los actores implica-
dos en la política pública. Escuchar e integrar a estos grupos puede contri-
buir a una mejor identificación de la pregunta de investigación y a hacer
un producto que sea útil para un conjunto amplio de actores.
En términos globales encontramos que la muestra se divide en dos gran-
des grupos: proyectos que tienen una fuerte estrategia de actores (45 %)
versus proyectos muy débiles en este aspecto (42 %). En el rango interme-
dio solamente encontramos 4 proyectos, que representan un 12 % de la
muestra. Esta distribución es lógica en la medida que lograr puntos inter-
medios de inclusión de actores parece bastante complejo. Incorporar un
amplio set de actores tiende a mejorar la legitimidad del proceso de eva-
luación, sin embargo los equipos grandes de trabajo son también más difí-
ciles de coordinar y requieren mayores tiempos para llegar a acuerdos so-
bre puntos estratégicos de la evaluación. El equilibrio ideal de tener un
conjunto representativo de actores que igual permita el desarrollo ágil y
eficiente de la evaluación es difícil de lograr, ya que todo dependerá de
los actores que se vean involucrados y de la distribución de preferencias
entre ellos.
Dimensión 5: recursos destinados para la implementación de la estrategia
de evaluación
La quinta y última dimensión, “recursos destinados” se desagrega en in-
dicadores de presupuesto, tiempo y equipo. Esta dimensión es clave ya
que sin estos recursos no es posible implementar una estrategia de eva-
luación.
57
Tabla 8. Indicadores dimensión 5
Fuente: elaboración propia.
En primer lugar, es necesario conocer si existe un presupuesto definido
para la evaluación, y de ser así, si el monto asignado es adecuado para lle-
var a cabo esta acción. En cuanto a recursos asignados, el 30 % de los pro-
gramas y planes revisados cuenta con un presupuesto específico para llevar
a cabo actividades de seguimiento y/o evaluación. Dentro de este conjunto,
el 80 % tiene financiamiento internacional, lo cual en general está asociado
con requisitos de evaluación por parte de los bancos que financian las in-
tervenciones.
Para analizar si el presupuesto destinado a tareas de monitoreo y/o evalua-
ción es adecuado se tomó como parámetro que este represente al menos
5 % del presupuesto del programa, tal como se emplea en estrategias estan-
darizadas de desarrollo. Esta proporción no se pudo encontrar en ninguno
de los casos seleccionados en nuestra muestra. Si bien en algunos casos se
manifiesta que los recursos disponibles —humanos, temporales, financie-
ros— no son suficientes, en otros se percibe que existe un problema de efi-
ciencia en la asignación de los mismos.
Por último el protocolo analiza si el tiempo asignado para realizar la eva-
luación es suficiente, y si cuando se reciban los productos de la evalua-
ción los actores involucrados estarán a tiempo de utilizarlos para mejorar
la intervención. En un 27 % de los casos el tiempo asignado a tareas de
evaluación parece razonable, sin embargo, en la gran mayoría de los casos
los tiempos previstos son escasos y afectan directamente a la calidad de la
evaluación. En lo que respecta a los resultados y la posibilidad de que es-
tén a tiempo para ser usados para mejorar la política pública, encontramos
que en un 37 % de los casos esto es así. De todas maneras hay que ser
cautos ya que es importante encontrar un equilibrio para tener rápidos re-
Indicador
¿Existe un presupuesto definido para la evaluación?
¿Es el presupuesto adecuado para llevar a cabo la evaluación?
¿El tiempo asignado para realizar la evaluación es suficiente para
llevarla a cabo?
¿Cuándo se espera recibir los productos de la evaluación? ¿Estarán a
tiempo para que puedan mejorar la intervención?
En caso de optar por realizar una evaluación interna, ¿son los recursos
humanos disponibles suficientes para llevar a cabo la evaluación?
Dimensión
Dimensión 5
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
58 STUDIA POLITICÆ
sultados, pero a su vez evaluar la política pública cuando ya se encuentra
madura, de lo contrario es posible que los resultados no sean confiables ya
que en general los efectos no son inmediatos a la implementación de la in-
tervención.
A diferencia de las otras dimensiones, la de recursos no tiene casos con
alto nivel de evaluabilidad. Además, la mayoría (64 %) se ubica en la cate-
goría más baja de la escala. Esto no es sorprendente, la evaluación todavía
no es vista como un componente estratégico y por lo tanto hay resistencia a
invertir recursos para su implementación. De todas maneras, es posible
también que nuestro análisis este subestimando la cantidad de recursos hu-
manos y económicos que se destinan a este fin, ya que muchas veces los fi-
nanciadores internaciones brindan apoyo técnico y de recursos humanos
para la realización de estas evaluaciones por aparte de los presupuestos
destinados a la intervención.
b. Desempeño de los programas y planes
Esta sección presenta los principales resultados obtenidos mediante el aná-
lisis de cluster, el cual busca identificar patrones entre las dimensiones. La
idea de esta sección es encontrar grupos con distintos niveles de evaluabili-
dad, lo cual nos va a permitir no solamente identificar las fortalezas y debi-
lidad de cada uno sino también pensar las implicancias en términos de po-
lítica pública.
Antes de iniciar el estudio de los resultados, nos gustaría presentar el test
que nos permitió definir el número de grupos que mejor se adapta a los da-
tos de la muestra. Como describimos en el marco conceptual, el test que
vamos a presentar en la siguiente tabla muestra el valor del Calinski/Hara-
basz pseudo-F. En términos simples, a mayor pseudo-f mejor es el ajuste de
la data. Sin embargo, este test no es perfecto y cuando dos valores están
muy próximos es necesario ver la distribución de los datos a la luz de la li-
teratura y el uso que se le piense dar a la información.
Tabla 9. Test
Fuente: elaboración propia.
Cantidad de grupos
3
4
5
Calinski/Harabasz pseudo-F
16.11
15.98
14.51
59
Según los datos del test, las mejores distribuciones se dan con 3 o 4 gru-
pos.
9
Es fundamental entender que la calidad de la distribución se mide
mediante el grado de homogeneidad que hay al interior de cada grupo
mientras a su vez la distinción de los grupos es lo más heterogénea posible.
Dado que el test no deja claro cuál es el número ideal de grupos, vamos a
presentar los resultados para 3 y 4 grupos ya que ambas distribuciones nos
cuentan detalles distintos al momento de pensar las implicancias de este es-
tudio en términos de políticas públicas.
Tabla 10. Resultados análisis cluster- 3 grupos
9
Vale aclarar que para analizar mejor la información las cinco dimensiones fueron
transformadas en un set de dummy variables. Es decir que para cada valor posible que
podía tomar la dimensión (alta, media, baja) se generó una variable con el valor de 1 si
el proyecto correspondía con esa categoría, y 0 en caso contrario. Esto fue fundamental
para permitir una lectura de los datos de manera simple.
Nota: la tabla presenta las medias en cada una de las categorías de las cinco dimensiones
de análisis para cada grupo identificado usando la metodología de análisis de cluster.
Las celdas marcadas son aquellas con promedios más altos por dimensión, solo fueron
coloreadas para facilitar la lectura de la tabla.
Fuente: elaboración propia.
Dimensión 1
Dimensión 2
Dimensión 3
Dimensión 4
Dimensión 5
Alta
Media
Baja
Alta
Media
Baja
Alta
Media
Baja
Alta
Media
Baja
Alta
Media
Baja
1,0 0,0 16 0,0 0,0 7 1,0 0,0 10
0,0 0,0 16 0,7 0,5 7 0,0 0,0 10
0,0 0,0 16 0,3 0,5 7 0,0 0,0 10
0,8 0,4 16 0,0 0,0 7 0,1 0,3 10
0,2 0,4 16 0,0 0,0 7 0,2 0,4 10
0,1 0,3 16 1,0 0,0 7 0,7 0,5 10
0,6 0,5 16 0,0 0,0 7 0,0 0,0 10
0,3 0,5 16 0,0 0,0 7 0,1 0,3 10
0,1 0,3 16 1,0 0,0 7 0,9 0,3 10
0,9 0,3 16 0,1 0,4 7 0,0 0,0 10
0,1 0,3 16 0,0 0,0 7 0,2 0,4 10
0,0 0,0 16 0,9 0,4 7 0,8 0,4 10
0,0 0,0 16 0,0 0,0 7 0,0 0,0 10
0,7 0,5 16 0,1 0,4 7 0,0 0,0 10
0,3 0,5 16 0,9 0,4 7 1,0 0,0 10
mean sd count mean sd count mean sd count
1 2 3
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
60 STUDIA POLITICÆ
Según la tabla 10, es posible distinguir tres tipos de grupos. El primero está
compuesto por casi la mitad de la muestra y representa a aquellos progra-
mas que tienen altos niveles de evaluabilidad. Así se observa que la mayo-
ría de los que componen este grupo tienen altos niveles de evaluabilidad
para las 4 primeras dimensiones, y un nivel medio para la quinta dimen-
sión.
En contraposición, el segundo y tercer grupos contrastan con los valores
del primero, presentando bajos niveles de evaluabilidad. Los programas
que están en estos grupos, 21 % y 30 % de la muestra respectivamente,
suelen tener un mal desempeño en casi todas las dimensiones. La única di-
ferencia real entre ambos es que aquellos que conforman el tercer grupo
tienen al menos altos niveles de evalubilidad para la primera dimensión.
En términos de política pública esta distinción muestra que hay dos tipos
distintos de esfuerzos que se deben hacer. Por un lado, encontramos que hay
un gran set de programas que parecen tener buenas condiciones para ser
evaluados, sin embargo necesitan reforzar aspectos concretos, especialmen-
te en materia de recursos humanos y presupuestarios. Aun cuando estos pro-
gramas suelen tener altos niveles de evaluabilidad es importante tener pre-
sente que el acceso a recursos es un factor central para una política de
evaluación, ya que las otras dimensiones son condiciones necesarias pero
no suficientes para lograr evaluar una política pública. Por el otro lado ha-
llamos una gran cantidad de programas con bajos niveles de evaluabilidad,
los cuales necesitan de un apoyo más integral para reforzar todas las dimen-
siones antes de poder dar pasos sustantivos en evaluación.
Similares características y recomendaciones pueden ser derivadas al dividir
la muestra en 4 grupos (tabla 11). En este caso, también nos encontramos
con un primer grupo con altos niveles de evaluabilidad en casi todas las di-
mensiones. Un segundo y un tercer grupo con características similares a las
presentadas anteriormente, es decir con bajos niveles de evaluabilidad para
todas sus dimensiones. Sin embargo lo más interesante es que el cuarto
grupo muestra un conjunto de programas con niveles intermedios de desa-
rrollo.
Como que observamos en la tabla 10, en términos de políticas sería funda-
mental pensar en estrategias diversificadas. Para el primer grupo podría
pensarse una estrategia de ampliación de los recursos destinados a evalua-
ción, mientras que para los grupos 2 y 3 en una estrategia más amplia de
desarrollo de capacidades en todos los ámbitos. Finalmente, para el cuarto
grupo se deberían concentrar los esfuerzos en reforzar la calidad de la es-
trategia de evaluación como así también mejorar la asignación de recursos
específicos.
61
Tabla 11. Resultados análisis cluster- 4 grupos
Nota: la tabla presenta las medias en cada una de las categorías de las cinco dimensiones
de análisis para cada grupo identificado usando la metodología de análisis de cluster.
Las celdas marcadas son aquellas con promedios más altos por dimensión, solo fueron
coloreadas para facilitar la lectura de la tabla.
Fuente: elaboración propia.
Ambos clusters no ayudan a entender que el concepto de evaluabilidad es
algo más que una condición que los programas tienen o carecen, sino más
bien una construcción que se da dentro de un continuo. Es por ese motivo
que el fortalecimiento de los planes y programas en materia de monitoreo y
evaluación siempre debe tener una mirada integradora, ya que la evaluabi-
lidad de un programa depende de un conjunto muy amplio de factores.
4. Recapitulando: ¿están las políticas públicas en condiciones de
ser evaluadas?
A lo largo de este trabajo indagamos sobre un tema estratégico que todavía
no ha sido investigado en profundidad en Argentina. Teniendo en cuenta
que las políticas sociales conforman el conjunto de intervenciones con la
Dimensión
1
Dimensión
2
Dimensión
3
Dimensión
4
Dimensión
5
Alta
Media
Baja
Alta
Media
Baja
Alta
Media
Baja
Alta
Media
Baja
Alta
Media
Baja
1,0 0,0 12 0,0 0,0 7 1,0 0,0 9 1,0 0,0 5
0,0 0,0 12 0,7 0,5 7 0,0 0,0 9 0,0 0,0 5
0,0 0,0 12 0,3 0,5 7 0,0 0,0 9 0,0 0,0 5
0,8 0,5 12 0,0 0,0 7 0,1 0,3 9 0,6 0,5 5
0,2 0,4 12 0,0 0,0 7 0,2 0,4 9 0,2 0,4 5
0,1 0,3 12 1,0 0,0 7 0,7 0,5 9 0,2 0,4 5
0,8 0,5 12 0,0 0,0 7 0,0 0,0 9 0,0 0,0 5
0,2 0,4 12 0,0 0,0 7 0,0 0,0 9 0,8 0,4 5
0,1 0,3 12 1,0 0,0 7 1,0 0,0 9 0,2 0,4 5
0,9 0,3 12 0,1 0,4 7 0,0 0,0 9 0,6 0,5 5
0,1 0,3 12 0,0 0,0 7 0,1 0,3 9 0,4 0,5 5
0,0 0,0 12 0,9 0,4 7 0,9 0,3 9 0,0 0,0 5
0,0 0,0 12 0,0 0,0 7 0,0 0,0 9 0,0 0,0 5
0,9 0,3 12 0,1 0,4 7 0,0 0,0 9 0,0 0,0 5
0,1 0,3 12 0,9 0,4 7 1,0 0,0 9 1,0 0,0 5
mean sd count mean sd count mean sd count mean sd count
1 2 3 4
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
62 STUDIA POLITICÆ
mayor cantidad de evaluaciones en el mundo (Imas y Rist, 2009), el grado
evaluabilidad de estas políticas puede decir mucho sobre el estado de la
evaluación en el país.
Se observa que hay niveles muy desiguales de desarrollo, el cluster análisis
nos deja ver que hay dos grandes grupos de políticas: aquellas con un esta-
do avanzado en material de evaluabilidad y las otras con una situación
diametralmente opuesta. De todas las dimensiones, la dimensión 1 “calidad
de la planificación y del diseño de la intervención para lograr los efectos
deseados” es la que mayor nivel de desarrollo tiene. Esto no resulta sor-
prendente en tanto el diagnóstico es un componente esencial en el diseño
de la política y por lo tanto se debería esperar que todas tengan este com-
ponente desarrollado. En contraposición, la 5
a
dimensión “recursos efecti-
vos destinados a la evaluación” es la que requiere mayor desarrollo. Como
ya se mencionó, los recursos específicos asignados a la evaluación son un
elemento fundamental para garantizar la evaluabilidad.
La 2
a
dimensión, “calidad del sistema de información para el seguimiento,
la producción y el archivo de la evidencia”, tiene en promedio una gran
cantidad de programas con niveles altos de evaluabilidad. Sin embargo,
vale destacar que encontramos que casi todos aquellos con bajos niveles
generales de evaluabilidad presentan un magro desarrollo de sus sistemas
de información. Otra vez, tener una matriz de monitoreo e indicadores no
es condición suficiente para tener una política de evaluación, sin embargo,
sin estos datos es muy complejo poder después realizar un estudio acerca
Evaluabilidad promedio por dimensión
63
de los impactos de la política. Además, en términos de la planificación de
la evaluación hay ciertos datos que solo se pueden recolectar antes de la
implementación, por lo tanto, la falta de desarrollo de esta dimensión pro-
duce daños casi irreparables a la evaluabilidad posterior de la política pú-
blica.
Finalmente, las dimensiones 3 “calidad de la estrategia de evaluación pre-
vista”, y 4 “estrategia de actores adoptada para incluir la participación du-
rante las diferentes etapas de seguimiento y evaluación”, parecen compor-
tarse siguiendo a las otras dimensiones. Los programas que tienen buena
planificación y buenos sistemas de información también suelen tener es-
trategias desarrolladas, mientras que lo opuesto también es cierto. Es ver-
dad que estas dimensiones son sumamente importantes, sin embargo con-
sideramos que el desarrollo de estas capacidades puede mejorarse aun
cuando el programa ya se encuentra en una etapa avanzada de implemen-
tación.
En conclusión, hay un grado muy desigual en materia de evaluabilidad en
los treinta tres planes y programas sociales nacionales en Argentina.
Entonces, vale la pena preguntarnos ¿cómo puede fortalecerse la evaluabi-
lidad de planes y programas de gobierno? Creemos que de nuestro análisis
se desprenden por lo menos dos dimensiones de trabajo para avanzar en
una agenda de mejora de la evaluabilidad de las intervenciones públicas:
1) fortalecimiento del contexto institucional, calidad del diseño de las po-
líticas públicas y enforcement del enfoque de evaluación y 2) desarrollo de
capacidades en los organismos implementadores.
Desde el punto de vista del contexto institucional, creemos que está pen-
diente en Argentina un ejercicio por regular la “mirada evaluativa”. La
disparidad de resultados que arroja el análisis de evaluabilidad muestra
que por un lado, no existen reglas de diseño y operación homogéneas
para la elaboración de planes y programas de gobierno con capacidad
para parametrizar aspectos indispensables de la formulación de las políti-
cas (objetivos, resultados, indicadores, productos, fuentes de información,
etc.) y del diseño de sistemas de información (matrices de monitoreo y
evaluación).
En México, en 1998, el Congreso introdujo el requisito de que todos los
programas federales que ofrecieran subsidios debían preparar reglas de
operación (ROP), con información básica sobre el diseño del programa,
sus objetivos, indicadores de desempeño, poblaciones beneficiarias y me-
canismos de operación. Las ROP mejoraron significativamente la dispo-
nibilidad y calidad de la información de desempeño, así como las posibi-
lidades de monitorear y evaluar sobre algunos parámetros de calidad...
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
64 STUDIA POLITICÆ
Pero fue en 1999 cuando se produjo un hito para la evaluación cuando el
Congreso estableció que todos los programas con reglas de operación de-
bían ser evaluados anualmente por evaluadores externos” (Castro; López-
Acevedo; Beker Busjeet; Fernández Ordoñez, 2009).
En nuestro contexto, tampoco se observa una norma que obligue y prevea
el financiamiento de la evaluación de programas como la ley federal mexi-
cana. De ahí que las intervenciones en mejores condiciones de evaluabili-
dad se diseñen en contextos de financiamiento externo con mayores exi-
gencias de diseño. Este hecho, sumado a la inexistencia de un organismo
que se ocupe de analizar la calidad del diseño, planificar la evaluación y fi-
nanciarla deja librado a las capacidades individuales el grado de evaluabili-
dad de las intervenciones.
Desde el punto de vista de las capacidades de los organismos implementa-
dores, algunos procesos que podrían favorecer la evaluabilidad son el for-
talecimiento de las capacidades técnicas de las personas involucradas en
ese proceso y el fomento del uso de la evidencia en la toma de decisiones.
A través de la provisión de información y propuestas de mejora, será posi-
ble contribuir al desarrollo e implementación de los planes y programas en
curso (así como las nuevas iniciativas). Por evidencia, se entiende, entre
otras cosas, aquellas experiencias positivas, las principales fortalezas y de-
bilidades de los planes y programas, los modelos de alocación de recursos
más eficientes —con el propósito, por ejemplo, de evitar yuxtaposiciones
de recursos y gastos innecesarios—.
Al mismo tiempo la profesionalización y meritocratización del sector pú-
blico es un factor determinante para la aplicación práctica de mecanismos
estables, independientes, autónomos y rigurosos de diseño, implementación
y evaluación de los efectos de las políticas públicas.
Es importante recordar, que la evaluación de políticas públicas conlleva de-
safíos no solamente metodológicos, sino también normativos y políticos.
Respecto del último punto, coincidimos con Bovens, Hart y Kuipers (2006)
en que la evaluación de las políticas públicas es una acción inherentemente
política.
10
En la misma línea, Wilson (2006) afirma que el proceso de las
políticas públicas no existe en el vacío, sino que solamente puede ser en-
tendido en un contexto político. Esto es porque la evaluación de políticas
públicas está vinculada, entre otras cosas, a procesos de rendición de cuen-
10
Estos autores parafrasean a Clausewitz diciendo que “la evaluación de las políticas
públicas no es más que la continuación de la política por otros medios”.
65
tas, de sistematización de lecciones aprendidas que inevitablemente tienen
ganadores y perdedores entre los actores involucrados en dicha política
(Boyens, Hart y Kuipers 2006).
Argentina está teniendo avances significativos pero lentos en materia de
monitoreo y evaluación, sin embargo, todavía resta mucho camino por re-
correr para tener una cultura de evaluación y un uso de los resultados de
manera estratégica por parte de los tomadores de decisión.
Bibliografía
BOVENS, M.; HART, P. & KUIPERS, S. (2006) “Chapter XVII. The Politics of Policy Eva-
luation”. In M. MORAN, M. REIN & R. E. GOODIN, The Oxford Handbook of Public
Policy. Oxford: Oxford University Press, pp. 319-335.
CASTRO, M. F.; LÓPEZ-ACEVEDO, G.; BEKER BUSJEET, G. y FERNÁNDEZ ORDOÑEZ, X.
(2009) El Sistema de M&E de México: Un salto del nivel sectorial al nacional, Se-
rie de Documentos de Trabajo DCE, Nº 20; Grupo Independiente de Evaluación,
Banco Mundial; Washington.
GRUPO DE EVALUACIÓN DE NACIONES UNIDAS (2012) http://www.uneval.org/papersan-
dpubs/documentdetail.jsp?doc_id=21. Obtenido de Normas de Evaluación.
GALIANI, S. (2006) Políticas Sociales: instituciones, información y conocimiento. San-
tiago de Chile: Naciones Unidas.
INGRAM, H. & SCHNEIDER, A. L. (2006) “Policy Analysis for Democracy”. In M. MORAN,
M. REIN & R. E. GOODIN, The Oxford Handbook of Public Policy. Oxford: Oxford
Unversity Press, Chapter VIII, pp. 169-189.
INSTITUTO NAVARRO DE ADMINISTRACIÓN PÚBLICA (2008) Protocolo de Evaluabilidad de
las Políticas Públicas en la Comunidad Floral de Navarra. Navarra: Gobierno de
Navarra.
MERINO, M. (2007) La evaluabilidad: de instrumento de gestión a herramienta estratégi-
ca en la evaluación de políticas públicas. Madrid: Agencia de Evaluación y Calidad.
RUTMAN, L. (1980) Planning useful evaluations. Evaluability assessment. Beverly Hills:
Sage.
SMITH, M. (1989) Evaluability assessment: A practical approach. Norwell: Kluwe.
STROSBERG, M. A. & WHOLEY, J. (1983) Evaluability Assessment: From Theory to Prac-
tice in the Department of Health and Human Services. Public Administration Re-
view, 66-71.
THURSTON, W. E. & POTVIN, L. (2003) Evaluability Assessment: A Tool for Incorpora-
ting Evaluation in Social Change Programmes. Londres: Sage.
VILLARDÓN, J. L. V. (2007) Introducción al análisis de clúster. Departamento de Estadís-
tica de la Universidad de Salamanca-España.
WHOLEY, J. S. (1994) “Assessing the feasibility and likely usefulness of evaluation”. En
J. WHOLEY, H. HATRY & K. NEWCOMER, Handbook of Practical Program Evalua-
tion. San Francisco: Jossey Bass.
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
66 STUDIA POLITICÆ
WILSON, R. (2006) “Chapter VII. Policy Analysis as Policy Advice”. In M. MORAN, M.
REIN & R. E. GOODIN, The Oxford Handbook of Public Policy. Oxford: Oxford Uni-
versity Press, pp. 152-167.
YOUTIE, J.; BOZEMAN, B. & SHAPIRA, P. (1999) Using an evaluability assessment to se-
lect methods for evaluating state technology development programs: the case of the
Georgia Research Alliance. Evaluation and Program Planning, 55-64.
Documentos y portales consultados
ARGENTINA’S PLAN NACER. EVALUATION STRATEGY (s.f.) Recuperado el 05 de marzo de
2013, de http://siteresources.worldbank.org/EDUCATION/Resources/278200-
1126210664195/1636971-1238439091031/Argentina_outputs.pdf
AUDITORÍA GENERAL DE LA NACIÓN (s.f.) Informe de Auditoría de Gestión del “Plan Na-
cer” del Contrato de Préstamo BIRF Nº 7409/AR y 7225/AR al 31/12/08. Recupera-
do el 23 de febrero de 2013, de http://www.agn.gov.ar/debitum/nro_7/Evaluando
%20la%20gesti%C3%B3n%20de%20la%20deuda/Informe_Final_Plan_Nacer.pdf
AUDITORÍA GENERAL DE LA NACIÓN (s.f.) Informe de Auditoría de Gestión del “Compo-
nente I: Seguro de Capacitación y Empleo” del Contrato de Préstamo BIRF Nº
7703/AR al 31/12/09. Recuperado el 23 de febrero de 2013, de http://www.agn.g
ov.ar/informes/informesPDF2012/2012_227.pdf
BANCO INTERAMERICANO DE DESARROLLO (s.f.) Propuesta de Préstamo Programa de
Promoción de la Producción Limpia y Consumo Sustentable. Recuperado el 23 de
febrero de 2013
———. Propuesta de Préstamo Programa de Innovación Tecnológica III. Recuperado
el 23 de Febrero de 2013, de http://idbdocs.iadb.org/wsdocs/getdocument.aspx? doc-
num=36998629
———. Propuesta de Préstamo Programa de Mejoramiento de Barrios II. Recuperado
el 23 de febrero de 2013, de http://www.iadb.org/es/proyectos/project-information-
page,1303.html?id=AR-L1019
———. Esquema conceptual de proyecto Programa de Apoyo a la Política de Mejora-
miento de la Equidad Educativa.
———. Informe de seguimiento de progreso 2012 primer período. Programa de Apoyo
a la Política de Mejoramiento de la Equidad Educativa. Recuperado el 05 de marzo
de 2013, de http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=37353133
———. Programa de Apoyo a la Política de Mejoramiento de la Equidad Educativa.
Recuperado el 05 de marzo de 2013, de http://www.iadb.org/es/proyectos/project-in-
formation-page,1303.html?id=AR-L1108
——— Propuesta de Préstamo Programa de Mejora de la Gestión Municipal. Recupe-
rado el 23 de febrero de 2013, de http://iadb.org/es/proyectos/project-information-
page,1303.html?id=AR-L1016
———. Project Outline Programa de Mejora de la Gestión Municipal. Recuperado el
23 de febrero de 2013, de http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum
=703926
67
BANCO INTERAMERICANO DE DESARROLLO (s.f.) Propuesta de Préstamo Programa de
Fortalecimiento de la Atención Primaria de la Salud. Recuperado el 23 de febrero
de 2013, de http://www.iadb.org/es/proyectos/project-information-page,1303.html?
id=AR-L1020
———. Informe de Gestión Semestral Segundo Semestre 2012. Recuperado el 20 de
abril de 2013
BANCO INTERNACIONAL DE RECONSTRUCCIÓN Y FOMENTO (s.f.) Lifelong learning project.
Recuperado el 23 de febrero de 2013, de http://www.worldbank.org/projects/
P095514/ar-lifelong-learning-project?lang=en
———. Loan Agreement Lifelong Learning Project.Recuperado el 23 de febrero de
2013, de http://documents.worldbank.org/curated/en/2007/11/8890402/loan-agree-
ment-l7474-ar-conformed
———. Loan Agreement “Basic Protection Project”.Recuperado el 23 de febrero de
2013, de http://www-wds.worldbank.org/external/default/WDSContentServer/
WDSP/LCR/2009/06/24/396779F3C99D7EA9852575DF00587AE3/1_0/Rendered/
PDF/L77030AR0CONCORMED.pdf
———. Project Appraisal Document “Basic Protection Project”.Recuperado el 23 de
febrero de 2013, de http://www-wds.worldbank.org/external/default/WDSContent-
Server/WDSP/IB/2009/05/19/000333038_20090519020601/Rendered/PDF/
478740PAD0P115101Official0Use0Only1.pdf
———. Seguro de Capacitación y Empleo. Recuperado el 23 de febrero de 2013, de
http://www.worldbank.org/projects/P115183/argentina-basic-protection-
project?lang=en
———. Loan Agreement Rural Education Improvement Project.Recuperado el 11 de
Abril de 2013, de http://www-wds.worldbank.org/external/default/WDSContentSer-
ver/WDSP/LCR/2007/01/26/CFE18A14C95F102985257220006F6E94/2_0/Rende-
red/PDF/Loan073531AR1Final1Signed.pdf
———. Project Appraisal Document Rural Education Improvement Project.Recuperado
el 11 de Abril de 2013, de http://www-wds.worldbank.org/external/default/WDS-
ContentServer/WDSP/IB/2005/11/30/000160016_20051130154728/Rendered/PDF/
33215.pdf
———. Restructuring Paper Rural Education Improvement Project.Recuperado el 11
de abril de 2013, de http://www-wds.worldbank.org/external/default/WDSContent-
Server/WDSP/IB/2012/02/02/000333037_20120202010551/Rendered/PDF/
614960Replacem0estructuring0PROMER.pdf
———. Loan Agreement Provincial Maternal Child Health Investment APL 2.Recupe-
rado el 05 de marzo de 2013, de http://www-wds.worldbank.org/external/default/
WDSContentServer/WDSP/LCR/2007/07/19/AC1EC241CF25A39985
2572F10074A760/2_0/Rendered/PDF/Loan074091AR1Conformed.pdf
———. Project Appraisal Document Provincial Maternal Child Health Investment APL
2.Recuperado el 05 de febrero de 2013, de http://www-wds.worldbank.org/external/
default/WDSContentServer/WDSP/IB/2006/10/17/000090341_20061017113406/
Rendered/PDF/37702.pdf
———. Project Information Document Second Maternal and Child Health Investment
Project.Recuperado el 05 de marzo de 2013, de http://www-wds.worldbank.org/ex-
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
68 STUDIA POLITICÆ
ternal/default/WDSContentServer/WDSP/IB/2006/08/25/000003596_
20060829075208/Rendered/PDF/PID10Appraisal0Stage1Rev10AR0APL0II.pdf
BANCO INTERNACIONAL DE RECONSTRUCCIÓN Y FOMENTO (s.f.) Integrated Safeguard Data
Sheet Provincial Maternal Child Health Investment APL 2.Recuperado el 05 de mar-
zo de 2013, de http://www-wds.worldbank.org/external/default/WDSContentServer/
WDSP/IB/2006/08/25/000003596_20060829075628/Rendered/PDF/Integrated
0Saf1et010Appraisal0Stage.pdf
BANCO MUNDIAL (s.f.) BNPP PPP Health and Education Synthesis Reports. Impact Eva-
luation of Maternal Child Provincial Health Investment Project in Argentina. Recu-
perado el 05 de marzo de 2013, de http://siteresources.worldbank.org/EDUCATION/
Resources/278200-1126210664195/1636971-1238439091031/Argentina_
Plan_Nacer_Synthesis.pdf
CONECTAR IGUALDAD (s.f.) Informes Ejecutivos. Encuentro de presentación de informes
de investigación. Recuperado el 05 de marzo de 2013, de http://repositorio.
educacion.gov.ar/dspace/bitstream/handle/123456789/77908/Informes_
Ejecutivos.pdf?sequence=1
———. Presentación Coordinación de acciones de seguimiento 2012. Recuperado el
05 de marzo de 2013, de http://conectarigualdad.prometeotdf.org/files/2012/09/
presentacion_de_coordinacion_de_acciones2012_10-05-12.pdf
CONSEJO FEDERAL DE EDUCACIÓN (s.f.) Las politicas de inclusión digital educativa. El
Programa Conectar Igualdad. Recuperado el 05 de marzo de 2013, de http://
www.me.gov.ar/consejo/resoluciones/res10/123-10_01.pdf
JEFATURA DE GABINETE DE MINISTROS. http://www.jgm.gov.ar/
MINISTERIO DE DESARROLLO SOCIAL. http://www.desarrollosocial.gov.ar
MINISTERIO DE EDUCACIÓN. http://www.me.gov.ar/
MINISTERIO DEL INTERIOR Y TRANSPORTE. http://www.mininterior.gov.ar/
MINISTERIO DE PLANIFICACIÓN FEDERAL E INVERSIÓN PÚBLICA. http://www.minplan.
gov.ar/contenidos/home.html
MINISTERIO DE PLANIFICACIÓN FEDERAL E INVERSIÓN PÚBLICA (s.f.) Presentación ante SI-
GEN del Programa Federal de Construcción de Viviendas “Techo Digno”. Recupe-
rado el 20 de Abril de 2013, de http://www.sigen.gov.ar/red_federal/pdfs_red/
Techo_Digno.pdf
———. Reglamento Operativo Programa Federal de Construcción de Viviendas “Te-
cho Digno”. Recuperado el 20 de abril de 2013, de http://www.vivienda.gov.ar/
construccion/normativa.html
MINISTERIO DE SALUD. www.msal.gov.ar,
MINISTERIO DE TRABAJO, EMPLEO Y SEGURIDAD SOCIAL. www.trabajo.gov.ar
PROGRAMA CONECTAR IGUALDAD (s.f.) Nuevas voces, nuevos escenarios: estudios evaluati-
vos sobre el Programa Conectar Igualdad. Recuperado el 20 de abril de 2013, de
http://repositorio.educacion.gov.ar:8080/dspace/bitstream/item/96909/Investigacion
%20PCI.pdf?sequence=1
PROGRAMA DE APOYO A LA POLÍTICA DE MEJORAMIENTO DE LA EQUIDAD EDUCATIVA II (s.f.)
Reglamento Operativo. Recuperado el 05 de marzo de 2013, de http://portales.
educacion.gov.ar/dgufi/files/2011/08/Compilado-v2-revision-fechas-PMI.pdf
69
PROGRAMA DE EDUCACIÓN MEDIA Y FORMACIÓN PARA EL TRABAJO DE JÓVENES FASE II
(s.f.) Convenio de Financiación. Recuperado el 20 de abrill de 2013, de http://
portales.educacion.gov.ar/dgufi/files/2011/08/Convenio-Fase-II.pdf
PROGRAMA DE MEJORAMIENTO DE LA EDUCACIÓN RURAL (s.f.) Manual Operativo. Recu-
perado el 11 de abril de 2013, de http://portales.educacion.gov.ar/dgufi/files/2011/
08/manual_dic111.pdf
PROGRAMA DE MEJORA DE LA GESTIÓN MUNICIPAL (s.f.) Reglamento Operativo. Recupe-
rado el 23 de Febrero de 2013, de http://www.uec.gov.ar/uec2006/shared/uploads/
web/filelibrary/PMGM-BID1855-Reglamento%20Operativo[1].pdf
PROGRAMA INGRESO SOCIAL CON TRABAJO (s.f.) Distribuidor Nacional Ingreso Social con
Trabajo. Recuperado el 20 de abril de 2013, de http://www.desarrollo social.gob.ar/
Uploads/i1/Distribuidor%20Nacional%20Ingreso%20Social%20con%20Trabajo.pdf
———. Guía Informativa. Recuperado el 20 de abril de 2013, de http://www.desarrollo
social.gob.ar/Uploads/i1/ArgentinaTrabaja/4.%20Gu%C3%ADa%20informativa.pdf
PROGRAMA NACIONAL DE SALUD SEXUAL Y PROCREACIÓN RESPONSABLE (2011) Políticas
de salud sexual y salud reproductiva. Avances y desafíos. Balance 2003-2011. Bue-
nos Aires: Ministerio de Salud de la Nación.
PROGRAMA NACIONAL REMEDIAR REDES (s.f.) Evaluación de Medio Término del Progra-
ma Remediar Redes. Recuperado el 20 de abril de 2013, de http://www.
remediar.gob.ar/index.php?option=com_content&view=article&id= 916:evaluacion-
de-medio-termino-&catid=32:ediciones-especiales
———. Evaluación del Curso en Uso Racional de Medicamentos. Recuperado el 20 de
abril de 2013, de http://www.remediar.gob.ar/index.php?option=com_content&
view=category&layout=blog&id=32&Itemid=36
UNIÓN EUROPEA (20 de abril de 2013) Programa de Educación Media y Formación para
el Trabajo. Obtenido de http://eeas.europa.eu/delegations/argentina/eu_ argentina/
cooperation/cooperation_proj_list/edja/index_es.htm
Leyes, decretos y resoluciones
LEY NACIONAL 25673. (s.f.).
LEY NACIONAL 25724. (s.f.).
MINISTERIO DE DESARROLLO SOCIAL (s.f.) Resolución 1018/2003.
———. Resolución 2476/2010.
———. Resolución 3182/2009.
MINISTERIO DE EDUCACIÓN (s.f.) Resolución 3182/2009.
MINISTERIO DE PLANIFICACIÓN FEDERAL E INVERSIÓN PÚBLICA (s.f.) Resolución 428/2009.
MINISTERIO DE SALUD (s.f.) Resolución 1460/2012.
MINISTERIO DE TRABAJO, EMPLEO Y SEGURIDAD SOCIAL (s.f.) Resolución 497/2008.
PODER EJECUTIVO NACIONAL (s.f.) Decreto 336/2006.
———. Decreto 2724/2002.
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
70 STUDIA POLITICÆ
PODER EJECUTIVO NACIONAL (s.f.) Decreto 459/2010.
SECRETARÍA DE EMPLEO (s.f.) Resolución 110/2012.
———. Resolución 261/2008.
5. Anexo: Protocolo de evaluabilidad
Dimensión
Dimensión 1: Calidad
de la planificación y del
diseño de la
intervención para lograr
los efectos deseados.
Dimensión 2: Calidad
del sistema de
información para el
seguimiento, la
producción y el archivo
de la evidencia.
Indicador
¿Existe un diagnóstico de los problemas que se pretenden
resolver con la intervención?
¿Se han identificado las causas de los problemas?
¿Se identifican claramente los problemas y necesidades en
el diagnóstico?
¿Están cuantificados o son medibles?
¿Se ha definido la línea de base para la posterior valoración
de la intervención en relación con la solución de los
problemas identificados?
¿Se han definido las dimensiones institucionales,
temporales, sectoriales y geográficas de la intervención?
¿Se ha hecho un análisis del contexto operativo en el que
se desarrolla la intervención?
¿Se han definido explícitamente los objetivos perseguidos
con la intervención?
¿Son claros?
¿Son concisos?
¿Son cuantificables o medibles?
¿Están cuantificados?
¿Responden los objetivos de la intervención a las
necesidades y problemas detectados?
¿Se ha definido el horizonte temporal en el que se
pretenden alcanzar los objetivos?
¿Se ha definido una matriz de monitoreo y evaluación?
¿Se han definido indicadores para recopilar
sistemáticamente la información sobre la evolución de la
intervención y sus actividades?
¿Son relevantes los indicadores para la intervención?
¿Se han definido las fuentes de información para los
indicadores?
71
Dimensión 2: Calidad
del sistema de
información para el
seguimiento, la
producción y el archivo
de la evidencia.
Dimensión 3: Calidad
de la estrategia de
evaluación prevista.
Dimensión 4:
Estrategia de actores
adoptada para incluir la
participación durante
las diferentes etapas
de seguimiento y
evaluación.
¿Se han definido indicadores de impacto?
¿Se han definido indicadores de resultado?
¿Se han definido indicadores de producto?
¿Se han definido indicadores de actividad?
¿Se ha definido algún procedimiento para la recogida de
información sobre la intervención?
¿Se ha definido cuándo se debe recoger la información de
cada indicador?
¿Se ha definido una estrategia de evaluación?
¿Se ha definido una evaluación de medio término?
¿Se ha definido una evaluación de final?
¿Se ha definido una estrategia de evaluación de medio
término y final?
¿Se han definido los propósitos de la evaluación?
¿Se han definido las preguntas a las que la evaluación debe
dar respuesta?
En la formulación de preguntas de evaluación ¿se ha tenido
en cuenta o se tendrán en cuenta los intereses de los
grupos más representativos relacionados con la
intervención?
¿Se han acotado las dimensiones (temporales, geográficas,
institucionales, etc.) de la intervención que van a ser
consideradas en la evaluación?
¿Se prevé en el diseño del programa la implementación de
un análisis de sus condiciones de evaluabilidad?
¿Se va a establecer algún tipo de procedimiento para dar
seguimiento a la incorporación de las recomendaciones de
la evaluación?
¿Se ha identificado a los actores implicados en la
intervención?
¿Se ha realizado un análisis previo de los principales
intereses y posibilidades de participación en el proceso de
evaluación?
¿Existen grupos de presión que puedan interferir en la
independencia de la evaluación?
¿Se facilitará la participación de los “actores implicados “en
el desarrollo de la evaluación”?
NATALIA AQUILINO - EVA ARIAS - SOFÍA ESTÉVEZ - AGUSTINA SUAYA
34 - primavera-verano 2014/2015
72 STUDIA POLITICÆ
Además de esos indicadores, para cada proyecto se recopila información básica:
1) ¿Se trata de un plan, programa o proyecto?
2) Organismo de ejecución
3) Tipo de norma que le da origen (ley/decreto/resolución)
4) Tipo de ejecución (centralizada/descentralizada)
5) Componentes o subprogramas
6) Resumen de los objetivos de la política pública
7) Población beneficiaria
8) Localización
9) Bienes y servicios provistos
10) Antecedentes
11) ¿Tiene financiamiento internacional?
12) Fuente
13) Monto
14) Financiamiento nacional
15) Fuente
16) Presupuesto
17) Presupuesto total
18) Fecha de inicio
19) Fecha de cierre
20) Disponibilidad de principales documentos normativos.
Fecha de recepción: 02/03/2015.
Fecha de aceptación: 30/04/2015.
Dimensión 5: Recursos
efectivos destinados a
la evaluación
¿Existe un presupuesto definido para la evaluación?
¿Es el presupuesto adecuado para llevar a cabo la
evaluación?
¿El tiempo asignado para realizar la evaluación es suficiente
para llevarla a cabo?
¿Cuándo se espera recibir los productos de la evaluación?
¿Estarán a tiempo para que puedan mejorar la intervención?
En caso de optar por realizar una evaluación interna, ¿son
los recursos humanos disponibles suficientes para llevar a
cabo la evaluación?
