Magíster en Administración, Planeamiento y Desarrollo de la Universidad de Bristol,

Reino Unido. Becaria Chevening. Actualmente es la Directora Ejecutiva del Instituto Fe-

deral de Gobierno de la Facultad de Ciencia Política y Relaciones Internacionales de la

Universidad Católica de Córdoba.

Experto en Evaluación de Políticas Públicas [Universidad Complutense de Madrid],

Coordinador del Instituto de Estudios de Economía, Evaluación y Empleo (i3e), investi-

gador de la Cátedra Carlos Román de Evaluación. Profesor de la Escuela Universitaria

de Osuna (US) y docente especializado en evaluación.

Editorial

Evaluación de políticas públicas

por Laura Porrini

y Juan Murciano

L 2015 fue declarado como el Año Internacional de Evaluación

(EvalYear) en la Tercera Conferencia Internacional sobre la Capaci

dad Nacional de Evaluación celebrada en San Pablo, Brasil, en el

año 2013. Esta designación apunta a promover la evaluación y formulación

de políticas basadas en la evidencia en los planos internacional, regional,

nacional y local, materializándose en una pluralidad de eventos durante el

año 2015: seminarios, conferencias, publicaciones, entre otras expresiones.

Desde el Instituto Federal de Gobierno de la Facultad de Ciencia Política y

Relaciones Internacionales decidimos sumarnos a esta iniciativa, abogando

—mediante la publicación de un monográfico sobre evaluación de políticas

públicas en nuestra revista Studia Politicæ— por la institucionalización de

la evaluación de políticas públicas en nuestro país y por un mayor uso de

las evidencias aportadas por las evaluaciones al momento de diseñar o re-

conducir políticas, programas o proyectos públicos.

Este es el espíritu que orienta los contenidos de esta publicación, en cuyas

páginas se presentan artículos que reflejan cinco aspectos específicos en el

tema que nos convoca: algunos autores exponen propuestas metodológicas

innovadoras, enfatizando la importancia de la creatividad y la búsqueda

constante de nuevos enfoques que sean capaces de responder a las nuevas

demandas que permanentemente impone la realidad en materia de investi-

34 - primavera-verano 2014/2015

8 STUDIA POLITICÆ

gación evaluativa; otros explican el estado del arte de la evaluación de po-

líticas públicas en diversos países (cultura evaluativa del país e instancias

de fortalecimiento en marcha, experiencias de evaluación promovidas des-

de el Estado, sistemas de evaluación estatales, entre otros); en algún caso

se exponen iniciativas centradas en promover la institucionalización y pro-

fesionalización de la evaluación en diferentes contextos; en un artículo se

enfatizan elementos relativos a normas, estándares y calidad de las evalua-

ciones; mientras que otros autores incluyen referencias específicas a los

usos que se le da a la evaluación de políticas públicas relatando experien-

cias concretas.

En todos los casos la evaluación de políticas públicas se pone en el centro

de la escena, no como un fin en sí mismo sino como una herramienta al

servicio de la mejora de la gestión; erigiéndose como un aliado de todos

los actores involucrados en la gestión de las políticas públicas y afectados

por sus efectos.

Carlos Bueno y José Luis Osuna, en su artículo “Diálogo social y evalua-

ción pluralista: ajustes entre cauce y enfoque para una gobernanza más de-

mocrática”, centran sus ideas en que el tradicional marco sobre el que se

sostiene el diálogo social parte de una premisa de gobernanza en la que se

establece que hay que encontrar espacios en los que intercambiar pareceres

con los agentes económicos y sociales representativos, que son, en definiti-

va, quienes conforman los “stakeholders institucionalizados”. La institucio-

nalización de dichos espacios conforma lo que viene a denominarse como

el diálogo social. El diálogo social es por tanto un cauce, en el que se intro-

ducen pautas de evaluación pluralista para dar como resultado una forma

de hacer gobernanza. El pragmatismo de la evaluación pluralista, superan-

do lo que se conoce como la investigación evaluativa, hace que exista una

gran concordancia entre el cauce que propone en diálogo social y el enfo-

que metodológico de la evaluación. No obstante, existe la necesidad de

afrontar algunos ajustes que permitan ampliar, impulsar y fortalecer de for-

ma más vertebrada tanto el cauce de participación como la herramienta de

evaluación en aras a una gobernanza, más transparente, exigente con los

criterios de evaluación y con la búsqueda de consensos y, en definitiva,

más democrática.

“Hacia un análisis de evaluabilidad de planes y programas sociales: un es-

tudio sobre 33 iniciativas implementadas en Argentina”, de Natalia Aquili-

no, Eva Arias, Sofía Estévez y Agustina Suaya, parten de considerar a la

evaluación como una función estratégica del Estado que permite generar

información útil y valiosa para abordar aspectos claves de las políticas pú-

blicas tales como impacto, efectos, eficiencia o eficacia, entre otros, pu-

diendo convertirse en una herramienta de cambio que mejore el desempeño

de la política y presente una utilidad social relacionada con los intereses de

los titulares de derechos y de la sociedad toda. Ahora bien: ¿están los pla-

nes y programas gubernamentales nacionales en condiciones de ser evalua-

dos y producir información relevante para la toma de decisiones? Este tra-

bajo analiza las condiciones de evaluabilidad de un conjunto de iniciativas

mediante la aplicación de una herramienta analítica que recopila los aspec-

tos más críticos vinculados a la evaluabilidad, sistematizados en cinco di-

mensiones. Los resultados indican que hay un desarrollo desigual en mate-

ria de evaluabilidad en Argentina, destacándose la concentración de planes

y programas en dos polos. Por un lado, un conjunto de intervenciones con

altos niveles de evaluabilidad, el cual contrasta con el otro grupo que casi

no tiene desarrollada ninguna de las cinco dimensiones. Los hallazgos

muestran la necesidad de desplegar estrategias diversificadas de desarrollo

de capacidades al interior de los ministerios.

Por su parte, “Evaluar para transformar, transformar la evaluación: orienta-

ciones para la capacitación”, de Gloria Bonder y María del Carmen Tamar-

go, enfatiza la importancia del desarrollo de capacidades para la evaluación

con enfoque de género, como un tema central para el logro de la transfor-

mación de las relaciones sociales de género en el mediano-largo plazo.

Para ello, uno de los desafíos que plantea es continuar mejorando las capa-

cidades institucionales para el diseño, gestión y evaluación con enfoque de

género de las políticas públicas, puntualizando que este campo requiere

una reflexión crítica sobre el ejercicio de la evaluación y sobre los enfo-

ques y metodologías de capacitación para la construcción de una cultura

evaluativa transformadora.

Laura Rodríguez Cardozo propone una “Metodología de evaluación de la

sustentabilidad en áreas naturales protegidas”, describiendo el estado del

arte y realizando una propuesta metodológica centrada en el contexto

mexicano. El artículo sugiere que, a pesar de que a partir de 2006 se incre-

mentó el número de evaluaciones anuales efectuadas a programas federales

las centradas en temáticas ambientales no han logrado tener una fuerte pre-

sencia (ni numérica ni teórico-metodológica) en el conjunto de las evalua-

ciones nacionales, probablemente debido a su alta complejidad. En particu-

lar, ha sido difícil que los trabajos logren un adecuado equilibrio entre los

distintos componentes de la sustentabilidad: ambientales, sociales y econó-

micos. Por otra parte, salvo pocas excepciones, las áreas naturales protegi-

das (ANP) no han sido objeto de evaluación. Así, con el objetivo de forta-

lecer las debilidades señaladas, en el artículo se retoman trabajos

metodológicos internacionales para hacer una propuesta adaptada al con-

texto mexicano.

EDITORIAL

34 - primavera-verano 2014/2015

10 STUDIA POLITICÆ

Ester García Sánchez, en su artículo sobre los “Sistemas de evaluación en

el gobierno central en España: análisis y propuestas”, explora algunos de

los sistemas de evaluación implantados en ámbitos sectoriales de políticas

del gobierno central en España, que ejemplifican la fragmentación que ca-

racteriza a la función evaluativa. El estudio pone de relieve la existencia

de elementos positivos en la configuración de dichos sistemas si bien se

identifican, al mismo tiempo, ciertos problemas “internos” y de coordina-

ción entre ellos. A partir de esto, se plantean algunas reflexiones y pro-

puestas para fortalecer los sistemas y de la evaluación en su conjunto en

España.

Finalmente, Myriam Cardozo Brum ofrece un detalle del “Estado del arte

de la evaluación de políticas y programas públicos en México”, resaltando

la importancia de esta experiencia en tanto México incorpora sistemática-

mente los procesos de evaluación al inicio del siglo XXI. En 2006 su orga-

nización es asumida por un Consejo Nacional de Evaluación. Dos años

después el Gobierno del Distrito Federal (GDF) crea el primer órgano local

de evaluación. La profesionalización de la evaluación es imprescindible

para avanzar en este proceso, pero México solo ha contado con algunos

cursos y diplomados de formación y la publicación de pocos libros; y no

dispone de revistas especializadas en el tema, ni de asociaciones de profe-

sionales que generen espacios de actualización y discusión. El sistema na-

cional de evaluación ha realizado avances (e.g. evaluar el diseño de progra-

mas), ha mantenido algunos problemas (e.g. el pago de las evaluaciones lo

hace el mismo programa evaluado), y también ha incrementado otros (e.g.

simplificación de los trabajos). Hoy el número de evaluaciones ha crecido

aceleradamente en México, poniendo –por diversas razones que se comen-

tan en el artículo- en entredicho su integralidad, calidad y utilidad, conclu-

yéndose que crecer aceleradamente puede ser un riesgo para la calidad del

sistema, que este debe supervisarse con metaevaluaciones periódicas y que

en el corto plazo la utilización de los buenos resultados debe promoverse,

entre otros, mediante la introducción de sistemas de incentivos, económi-

cos y simbólicos, individuales y colectivos.

Estos seis artículos aportan distintas miradas de la evaluación de políticas

públicas, relatando experiencias para su institucionalización y mejora, pro-

poniendo nuevos enfoques y promoviendo su uso por parte de decisores

públicos.

En este sentido, si comenzamos indicando la vocación de este número de la

revista Studia Politicæ de promover la institucionalización de la evaluación

y el uso de sus evidencias para el perfeccionamiento de las políticas públi-

cas, como colofón, a la luz de las reflexiones y propuestas que se formulan

en los artículos seleccionados, cabe preguntarse en qué medida la evalua-

ción está encontrando cauces para avanzar en estas líneas (si resultan creí-

bles y útiles, si están usándose y si están logrando mejorar las políticas pú-

blicas); o, por el contrario, como ocurriera en otras épocas de su evolución

reciente, es “víctima de una enfermedad” que tiene como síntomas el mie-

do, el rechazo, o el escepticismo y cuyo pronóstico recomienda explorar

nuevas aproximaciones, teorías y métodos o nuevas formas de implanta-

ción gradual y decidida.

Así, cabe señalar en el nivel macro que uno de los principales retos que

afronta en estos contextos la evaluación de políticas públicas es transitar

desde la promoción de la cultura evaluativa a su institucionalización. En

este proceso madurativo que implica internalizar la práctica evaluativa re-

sulta crucial otorgar centralidad a la función evaluativa, ubicándola con el

rango suficiente en el marco normativo, dotándola de los recursos necesa-

rios, humanos y económicos. Se trata pues de configurar sistemas vertebra-

dos y políticas de evaluación que permitan evaluar pensando en planificar y

que faciliten planificar pensando en evaluar; y que, evitando la burocratiza-

ción, establezcan un nivel óptimo de evaluaciones que pueda ser procesa-

do. En este contexto, disponer de sistemas de información orientados a la

evaluación (y no solo a la gestión) constituye una condición necesaria para

la evaluabilidad y determina, en última instancia, el potencial normativo,

propositivo y prospectivo, el cual suele verse mermado cuando el segui-

miento ocupa gran parte del trabajo evaluativo y le infiere, por tanto, un ca-

rácter descriptivo que la debilita.

En este “viaje” a los retos de la evaluación, los policy makers, las unidades

administrativas y departamentos de la administración deben transitar desde

la externalización de la evaluación como suceso a integrar y liderar la

evaluación como proceso. En este sentido, no pueden quedar como meros

eslabones en los que en el marco de administraciones públicas multinivel

trasladan al nivel “inferior” las responsabilidades en materia de evaluación

y seguimiento o simplemente se externalice el proceso en su conjunto. Por

el contrario, afrontan el reto de abordar una adecuada destilación en la que

cada nivel de la administración asuma sus responsabilidades e incorpore

sus necesidades informativas a los procesos evaluativos. Si bien la realiza-

ción de las evaluaciones puede (y debe) externalizarse en determinados

ámbitos y niveles, es cierto que la definición de las preguntas que buscan

respuesta así como otros requerimientos y expectativas junto a la traduc-

ción administrativa y operativización de las recomendaciones de mejora

son tareas indelegables y no espontáneas para las que la administración pú-

blica debe preparase adecuadamente, configurando unidades especializadas

y desarrollando el perfil de gestores y gestoras de evaluación. Son estas

unidades y equipos los que, con la capacidad y recursos suficientes, deben

EDITORIAL

34 - primavera-verano 2014/2015

12 STUDIA POLITICÆ

garantizar la disposición de la información necesaria; acompañando el pro-

ceso y salvaguardando la calidad de la participación, su sistematicidad y la

obtención de respuestas concretas y recomendaciones prácticas y orienta-

das a la acción. Estas deben, en última instancia, dar seguimiento a la apli-

cación de las recomendaciones, establecer controles para (meta)evaluar las

evaluaciones e impulsar la gestión del conocimiento.

Este proceso se orienta al uso y utilización de las evaluaciones para la me-

jora, siendo pues el reto transitar desde la realización de evaluaciones a su

uso y aplicación efectivos. No basta con promover la evaluabilidad o reali-

zar evaluaciones si no se desencadenan procesos de aprendizaje colectivo.

Las experiencias muestran que medidas específicas como la respuesta obli-

gatoria a las recomendaciones por parte de los/as gestores/as (follow-up o

fichas contradictorias) o el carácter vinculante de estas recomendaciones,

se muestran insuficientes si no van acompañadas de procesos de fortaleci-

miento de capacidades, de compromiso y liderazgo políticos, y de genuinos

procesos participativos que allanen el camino del cambio y de la mejora.

Es por ello que esta apertura de la administración hacia la internalización

de la cultura evaluativa y su institucionalización en el ámbito operativo y

de gestión, debe ir precedida y acompañada del liderazgo político y de la

implicación de los tomadores de decisiones, pues son estos a quienes, en

última instancia, debe ser útil la evaluación para que sus evidencias gene-

ren mejores políticas y, estas, induzcan transformaciones y cambios signifi-

cativos en la vida de las personas, de las comunidades, de los territorios y

los sectores productivos.

A estos retos, desde el lado de la demanda de evaluaciones, emergen otros

desde el lado de la oferta, entre quienes las realizan, investigan sobre ellas

y conforman la profesión. En este sentido, uno de los retos más destacados

está asociado a transitar desde la evaluación espontánea hacia la defini-

ción y delimitación de conocimientos, competencias y estándares de la

profesión y de la evaluación; y, en cuanto a enfoques y métodos, transitar

desde la consulta a la participación y desde las miradas sesgadas hacia la

integralidad de la evaluación. Mucho se ha escrito sobre la necesidad de

instaurar procesos de evaluación participativa que impliquen a los stakehol-

ders (cuanto antes mejor), promuevan aprendizajes colectivos y faciliten el

desarrollo de capacidades. No obstante, la evaluación participativa conti-

núa estando más en el discurso que en la práctica, desarrollando entretanto

“evaluaciones consultivas”, en las que, al menos, se procura incorporar las

percepciones de los destinatarios y algunos stakeholders. Esto, no obstante,

queda lejos de un proceso genuino de participación, en el que decisores,

destinatarios y stakeholders incorporan sus necesidades informativas en la

conceptualización y diseño de la evaluación, despertando pues su interés

en el proceso, alentando su apropiación y, desplegando, consecuentemente,

un proceso de acompañamiento interactivo e iterativo. Esto se erigiría

como el caldo de cultivo idóneo para comprender los hallazgos y facilitar

la incorporación de las correspondientes recomendaciones, especialmente

cuando suponen cambios trascendentales o afectan al nivel sustantivo de

las políticas.

Y en cuanto a los enfoques y métodos, el reto está en mantener miradas in-

tegrales que mejoren significativamente nuestro conocimiento y compren-

sión de la caja negra de los programas y políticas públicas y de las respues-

tas que estas generan en la población; superando perspectivas parceladas.

Tan importante como evaluar los resultados e impactos de las políticas pú-

blicas, es hacer lo propio con su conceptualización y diseño, o con sus pro-

cesos de operacionalización, gestión y ejecución; especialmente cuando se

amplían las bases de involucrados en la gestión de las políticas públicas y

se añade complejidad a la gobernanza, la cual se erige como clave de bóve-

da de lo posible entre lo esperado, con independencia de las bondades y

fundamentos de las teorías del cambio o de la teoría del programa en que

se sustenten las intervenciones. En este ámbito el potencial de la evalua-

ción alcanza su cénit cuando parte del contexto para buscar el óptimo dise-

ño, y no al revés.

Creemos que estos aportes facilitarán la generación de un diálogo abierto

que posibilite avanzar en el objetivo de este EvalYear: defender y promover

la evaluación y formulación de políticas basadas en la evidencia en todos

los planos; pues, como apuntara el profesor Carlos Román (2006), es la

mejor forma de legitimar la intervención pública en el nuevo siglo, ya que

la alternativa al mal-estado no debe ser el no-estado.

Que hoy tengamos en nuestras manos este número monográfico se debe a

la idea original que en su momento socializara la magíster Iriana Ferreyra,

coordinadora de gestión del conocimiento del Instituto Federal de Gobier-

no, a la que agradecemos su apoyo. También queremos agradecer la cola-

boración de todas las entidades, universidades y centros de investigación

que se sumaron a la difusión de nuestra convocatoria, desde la Red Eva-

luAR hasta la Cátedra Carlos Román de Evaluación (Universidad de Sevi-

lla), la Sociedad Española de Evaluación y la Red Internacional de Evalua-

ción. A todos ellos, muchas gracias.

EDITORIAL