135
STUDIA POLITICÆ Número 34 ~ primavera-verano 2014/2015
Publicada por la Facultad de Ciencia Política y Relaciones Internacionales,
de la Universidad Católica de Córdoba, Córdoba, República Argentina.
Estado del arte de la evaluación de
políticas y programas públicos en
México
Código de referato: SP.188.XXXIV/15
*
Doctora en Ciencias Políticas y Sociales por la Universidad Nacional Autónoma de
México (UNAM) e investigadora de la Universidad Autónoma Metropolitana (UAM),
México, DF.
Myriam Cardozo Brum
*
Resumen
México incorpora sistemáticamente los procesos de evaluación al inicio
del siglo XXI. En 2006 su organización es asumida por un Consejo Na-
cional de Evaluación. Dos años después el Gobierno del Distrito Federal
(GDF) crea el primer órgano local de evaluación.
La profesionalización de la evaluación es imprescindible para avanzar en
este proceso, pero México solo ha contado con algunos cursos y diplo-
mados de formación y la publicación de pocos libros; y no dispone de
revistas especializadas en el tema, ni de asociaciones de profesionales
que generen espacios de actualización y discusión.
El sistema nacional de evaluación ha realizado avances (e.g. evaluar el
diseño de programas), ha mantenido algunos problemas (e.g. el pago de
las evaluaciones lo hace el mismo programa evaluado), y también ha in-
crementado otros (e.g. simplificación de los trabajos). Hoy el número de
evaluaciones ha crecido aceleradamente, poniendo en entredicho su inte-
gralidad, calidad y utilidad, debido a que: a) solo se evalúa parte de la
gestión del programa, b) la calidad es afectada, entre otras, por la falta
de convocatorias con requisitos específicos para cada caso o de verifica-
ción en campo de la información institucional, y c) la utilización real de
sus resultados alcanza niveles muy bajos.
34 - primavera-verano 2014/2015
136 STUDIA POLITICÆ
El sistema del GDF, por el contrario, ha realizado un número reducido
de evaluaciones tratando de profundizar en la explicación de los proble-
mas y la adopción de recomendaciones de fondo; sin embargo, su trabajo
es incipiente y aún vulnerable si no recibe el apoyo necesario para su
consolidación y la efectiva utilización de sus recomendaciones.
Se concluye que crecer aceleradamente puede ser un riesgo para la cali-
dad del sistema, que este debe supervisarse con metaevaluaciones perió-
dicas y que en el corto plazo la utilización de los buenos resultados debe
promoverse, entre otros, mediante la introducción de sistemas de incenti-
vos, económicos y simbólicos, individuales y colectivos.
Palabras clave: evaluación – institucionalización – políticas públicas –
programas públicos – México
Abstract
Mexico systematically incorporated the processes of evaluation at the
beginning of the 21st century. In 2006 their organization was under
taken up over by the new National Council of evaluation. Two years
later the Government of the Distrito Federal (GDF) creates the first local
organization for evaluation.
The professionalization of evaluation is essential, but Mexico only had a
few courses and diplomas and the publication of a few books. There are
no journals or professional associations that generate new information
and debate.
The national system of evaluation has made some progress (e.g.
assessing program design), has kept old problems (e.g. payment of
assessments are still made by the evaluated program), and has magnified
other existing problems (e.g. oversimplification of the work). Today the
number of evaluations has grown dramatically calling into question its
integrity, quality and usefulness, since: a) only part of the management
of the program is evaluated, b) the quality is affected, among others, by
the lack of summons with specific requirements to each case, or by the
lack of verification of the institutional information in the field, c) There
are very low levels of utilization of their results.
On the other hand, the system of the GDF has made a small number of
evaluations trying to improve problem definition and the follow up and
adoption of recommendations. However, their work is incipient and is
still vulnerable if it does not receive support for its consolidation and
effective use of its recommendations.
It is concluded that growing rapidly may be a risk for the quality of the
system, which should be monitored with periodic meta-evaluations.
Also, that in the short-term, the utilization of the good results must be
promoted, among others, by introducing systems of incentives, both
economic and symbolic, individual and collectives.
Keywords: evaluation – institutionalization – public policies – public
programs – México
137
1
Universidad Autónoma Metropolitana.
Introducción
M
ÉXICO se incorpora de manera sistemática a los procesos de eva-
luación de políticas y programas públicos al inicio del siglo XXI.
El número de sus trabajos ha crecido aceleradamente y los tipos
de evaluación se han diversificado desde la creación, a nivel federal, del
Consejo Nacional de Evaluación de la Política de Desarrollo Social (Co-
neval) en 2006, y, en menor grado y con carácter local, del Consejo de
Evaluación del Desarrollo Social del Distrito Federal (Evalúa DF). Am-
bos Consejos han organizado en forma diferente sus sistemas de evalua-
ción e impulsado enfoques teóricos alternativos.
A continuación se presentan los principales antecedentes de este proceso
para luego analizar el estado actual del arte, incluyendo su institucionali-
zación y profesionalización, su normatividad, organización, planeación y
ejecución, así como los mecanismos enfocados a mejorar la calidad de
los trabajos y a incentivar su utilización. La información analizada en el
artículo se ha ido generando dentro de un proyecto de investigación desa-
rrollado a nivel universitario
1
desde el año 2003.
1. Breves antecedentes e institucionalización formal
En 1976 se creó la Secretaría de Programación y Presupuesto (SPP),
entonces encargada de la planeación, programación, presupuestación,
control y evaluación del gasto público. La SPP contó con una Subsecre-
taría de Evaluación de los resultados de los programas gubernamenta-
les, que debía diseñar e implantar un sistema nacional de evaluación;
sin embargo, acabó realizando estudios parciales y de poco impacto en
el proceso.
En 1982 inició funciones la entonces Secretaría de la Contraloría Gene-
ral de la Federación (Secogef), encargada de la fiscalización, el control
interno y la evaluación de la administración pública. Al siguiente año la
SPP le transfirió completamente las funciones de evaluación pero la Se-
cogef no pudo cumplirlas debido a la crisis económica que se atrave-
saba.
Unos pocos años después (aproximadamente por 1989) comenzaron a apli-
carse algunas de las ideas del New Public Mangement como consolidar una
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
138 STUDIA POLITICÆ
cultura administrativa que propiciara la eficiencia y la productividad en la
gestión de las instituciones gubernamentales, promoviera la evaluación de
la calidad y la transparencia en la prestación de los servicios públicos y
previniera y combatiera la corrupción.
Dicho enfoque se reforzó en 1995 con un programa de modernización
que identificaba entre los principales problemas a resolver: las deficien-
cias en los mecanismos de medición y evaluación del desempeño de la
gestión pública, para los que se proponía el diseño de un sistema basado
en objetivos claros y metas cuantificables, indicadores de desempeño, re-
visión y adaptación del Sistema Integral de Información y fortalecimiento
y mayor independencia de los órganos internos de control preventivo y
correctivo. En los años siguientes la Secretaría de Hacienda y Crédito
Público (SHCP) fue encargada de estudiar la posibilidad de reformar el
sistema presupuestal, vinculándolo a la evaluación de resultados de la
gestión pública, pero esto solo se implementó parcialmente.
Si bien desde 1986 hubo intentos de diseñar metodologías y de evaluar
programas, fue en la segunda mitad de los noventa que se realizaron los
primeros trabajos, iniciando en 1997 el proyecto de evaluación externa
más ambicioso solicitado por el gobierno mexicano, el del Programa de
Educación, Salud y Alimentación.
El proceso de institucionalización formal de la evaluación inicia en el nue-
vo siglo con la decisión de la Cámara de Diputados de exigir la evalua-
ción externa anual de los programas financiados con recursos fiscales.
Destaca el trabajo realizado por la Secretaría de Desarrollo Social (Sede-
sol) que creó una Subsecretaría encargada de la evaluación de los 20-30
programas que se encontraban bajo su responsabilidad. También la Secre-
taría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación
(Sagarpa) que realizó evaluaciones mediante convenio con la Food and
Agriculture Organization of the United Nations (FAO). En 2002, se esta-
bleció el Sistema de Seguimiento de Metas Presidenciales, bajo la respon-
sabilidad de la entonces Secretaría de la Contraloría y el Desarrollo Admi-
nistrativo, para uso interno del Gobierno Federal y, al año siguiente, se
aprobó la Ley General de Desarrollo Social (LGDS) que previó la crea-
ción de un Consejo Nacional de Evaluación, que recién sería creado en
2006 como Coneval y se complementaría en 2007 con el Sistema de Eva-
luación del Desempeño de la SHCP, basado en la Ley de Presupuesto y
Responsabilidad Hacendaria aprobada un año antes. Estas decisiones con-
solidan la institucionalización formal de los procesos de evaluación a ni-
vel federal.
139
2
Maestría en Políticas Públicas de la Universidad Autónoma Metropolitana, maestrías
en Evaluación Educativa de la Universidad Nacional Autónoma de México y en Evalua-
ción y Administración de Proyectos de la Universidad Panamericana.
A nivel local, ante la casi inexistencia de un proceso de evaluación en la
administración del Gobierno del Distrito Federal (GDF) que contribuyera a
mejorar la gestión de sus políticas y programas sociales, en 2007, su Jefe
de Gobierno creó Evalúa DF, el que fue instalado al siguiente año. Además,
en el marco del Modelo de Gestión para Resultados, la Coordinación Ge-
neral de Modernización Administrativa del GDF desarrolló el Programa de
Monitoreo y Evaluación del Desempeño Gubernamental 2010-2012, desti-
nado a evaluar sus instituciones a través de sistemas de indicadores, esta-
dísticas y encuestas, y emitir recomendaciones basadas en información ob-
jetiva y confiable.
2. Profesionalización de la evaluación
En materia de formación, México no ha contado hasta ahora con progra-
mas académicos especializados en el tema, solo algunos pocos cursos en
posgrados más amplios.
2
Si bien fueron las universidades y otras institu-
ciones educativas y de investigación las que iniciaron la realización de eva-
luaciones independientes y han estado desarrollando trabajos por consulto-
ría, a la fecha no han existido programas especialmente enfocados al
desarrollo de esta incipiente profesión y puede constatarse el reducido nú-
mero de tesis vinculadas al tema, que en los últimos años se han venido in-
crementado en forma acelerada. Además, existe una fuerte carencia de ma-
terial didáctico propio: la inmensa mayoría de los libros y revistas que
exponen métodos de evaluación y presentan experiencias de aplicación,
provienen especialmente de los Estados Unidos de América (EUA) y, en
mucho menor medida, de Europa o Canadá; respondiendo a contextos muy
diferentes de los nuestros.
Los esfuerzos realizados en este campo incluyen, entre otros: un primer di-
plomado en evaluación organizado por el Centro de Estudios para el Desa-
rrollo Rural Sustentable y la Soberanía Alimentaria de la Cámara de Dipu-
tados y otro promovido por la Universidad Autónoma Metropolitana,
ambos en 2006; otro diplomado y diversos talleres de capacitación organi-
zados por Evalúa DF en 2008-2009, y un nuevo diplomado impartido en
2009-2010 por la Escuela de Administración Pública del Distrito Federal.
Por otra parte, Coneval junto con la Comisión Económica para América
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
140 STUDIA POLITICÆ
Latina (CEPAL) y, por otro lado, la SHCP, han capacitado intensamente en
torno al diseño del marco lógico. La SHCP (2012) informó que de marzo
2009 a diciembre 2011 instrumentó un curso de educación a distancia so-
bre la MIR (Matriz de Indicadores para Resultados) que atendió a 2 459
servidores públicos.
Recientemente se ha instalado también una sede del Center for Learning
on Evaluation and Result (CLEAR) en el Centro de Investigación y Do-
cencia Económicas AC (CIDE), encargado de proporcionar conocimiento
institucional y técnico de vanguardia a sus clientes de América Latina
para
“fortalecer las capacidades de evaluación, monitoreo y gestión por re-
sultados; promover la utilización de la evidencia empírica como la he-
rramienta principal para la evaluación y para la rendición de cuentas;
y fortalecer el liderazgo de América Latina en estas áreas mediante
una estrecha vinculación con los otros Centros regionales y a través
de la generación de espacios para el aprendizaje entre regiones”
(CLEAR, s/f).
Hace poco más de un año inició la impartición de su primer Diplomado de
Políticas Públicas y Evaluación y actualmente está programando el cuarto
para marzo de 2015, con un costo de USD 2 200, bastante elevado para el
contexto latinoamericano.
Con apoyo de CLEAR y la planta de investigadores del Centro de Inves-
tigación en Evaluación y Encuestas del Instituto Nacional de Salud Públi-
ca (INSP), también se aprobó en 2013 un programa virtual de Especiali-
dad de un año de duración en Evaluación Integral de Programas y
Políticas de Desarrollo Social. Busca formar profesionales capaces de
abordar la evaluación de un programa o una política de desarrollo social
desde una perspectiva integral. Está dirigido a tomadores de decisión,
operadores de programas, académicos, consultores o profesionales intere-
sados en formarse en el área de evaluación y/o que actualmente formen
parte activa de programas sociales. Trata de capacitar en la realización de
evaluaciones para las distintas etapas del proceso de políticas y progra-
mas, tanto con metodología cualitativa como cuantitativa. Tiene un costo
total de USD 3 150.
Coneval se ha mostrado más preocupado por la capacitación continua de
quienes están realizando las evaluaciones que por la formación en general,
por lo que acaba de realizar (octubre de 2014) el Segundo Seminario diri-
gido a las Entidades Federativas del país en materia de “Implementación
de un sistema de monitoreo, evaluación y uso de la medición de la pobre-
141
za para la toma de decisiones”. Además de los temas del título se incluyen
otros vinculados a la planeación como el uso de información para la crea-
ción de programas sociales.
A nivel municipal, las instituciones convocantes de la Conferencia Anual
del Municipio organizaron el pasado mes de noviembre un evento de me-
dio día sobre Medición y Evaluación del Desempeño en la Administración
Pública, en el marco del Foro Sistema de Evaluación del Desempeño (en
gobiernos locales) para Presupuesto basado en Resultados. La intención es
que los municipios vayan preparando su propio sistema, que deberá estar
listo a fines de 2015.
Por otra parte, México no ha contado con asociaciones de profesionales
independientes, salvo la Asociación Mexicana de Profesionales de la Eva-
luación A.C. que reúne principalmente a especialistas del desarrollo rural,
por lo que no representa a todos los sectores ni tiene cobertura nacional. A
la fecha ha organizado dos congresos, el tercero que tenía programado en
2013 debió cancelarlo. Recientemente, se identificó también una red de-
nominada Academia Nacional de Evaluadores de México. Por otro lado,
muchos evaluadores participan en los congresos y publicaciones virtuales
de la Red de Seguimiento, Evaluación y Sistematización en América Lati-
na y el Caribe (ReLac) y de la Red Latinoamericana y del Caribe de Mo-
nitoreo y Evaluación (Redlacme), impulsada por el Banco Mundial (BM),
el Banco Interamericano de Desarrollo (BID) y el Coneval, que cuenta
con un capítulo mexicano (Red Mexicana de Monitoreo y Evaluación,
Redmexme).
Finalmente, México tampoco dispone de revistas especializadas; los artícu-
los en el tema son poco numerosos y han sido publicados en revistas como
Andamios, Alegatos, Política y Cultura, Gestión y Política Pública, Inves-
tigación Ambiental, Convergencia, y Estudios Sociales. En cuanto a los li-
bros se dispone de alrededor de 15 publicados a lo largo de 10 años.
En síntesis, se han desarrollado esfuerzos importantes aunque aún insufi-
cientes para formar evaluadores, que no se han acompañado de espacios
para la discusión y publicación.
3. El sistema federal de evaluación
Ante la falta de experiencia previa y procesos de capacitación ad hoc, en
años inmediatos al 2001, las evaluaciones externas presentaban desafíos
importantes como mejorar la claridad de las normas que guiaban su con-
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
142 STUDIA POLITICÆ
ducción, contar con un fondo independiente de recursos para la contrata-
ción de evaluadores al margen del programa evaluado, seleccionar siempre
al equipo evaluador mediante concurso, avanzar en la realización de eva-
luaciones participativas centradas en el aprendizaje de funcionarios y ciu-
dadanos, profesionalizar el campo, y realizar un mayor esfuerzo por institu-
cionalizar la cultura de la evaluación (Cardozo, 2012a).
A partir de 2003, la LGDS prevé la realización de evaluaciones con la
finalidad de revisar periódicamente el cumplimiento del objetivo social
de los programas, metas y acciones de la política de desarrollo social,
para corregirlos, modificarlos, adicionarlos, reorientarlos o suspenderlos
total o parcialmente (art. 72). Señala que para efectuar su evaluación,
los programas sociales deberán incluir los indicadores de resultados,
gestión y servicios para medir su cobertura, calidad e impacto. Los pri-
meros miden el cumplimiento de los objetivos sociales y los otros dos,
los procedimientos y calidad de los servicios (art. 74-76). La ley enfati-
za la importancia de la participación social y ciudadana mediante el
mecanismo de contralorías sociales (art. 61-71) y determina que la eva-
luación será anual, aunque también podrá ser multianual en algunos ca-
sos (art.78).
El Reglamento de la ley anterior establece en su art. 76 que el Consejo
Nacional de Evaluación definirá los criterios para la elaboración de los in-
dicadores antes referidos y en los trabajos de evaluación se deberán obser-
var los lineamientos que este establezca (art. 77). Por su parte, el art. 79
aclara que las evaluaciones de impacto de los programas de desarrollo so-
cial podrán realizarse a través de procesos anuales o multianuales, de con-
formidad con la información y naturaleza del programa, lo que constituye
un avance frente a la normatividad previa que prescribía su realización
anual.
Para efectuar una evaluación integral se tendrían que cubrir también los
antecedentes del problema y política o programa evaluado, el enfoque teó-
rico que lo avala dentro del conjunto de los posibles y la situación econó-
mica, social y política en el marco de la cual se evalúa. Sin embargo, la
normatividad vigente no los solicita. La LGDS y su reglamento, no obs-
tante, exigen evaluaciones anuales de: 1) el logro de objetivos y metas
(eficacia), 2) la gestión realizada (procesos) y 3) la cobertura y calidad de
los servicios (resultados). Esto implica que: 1) el proceso de formulación
y diseño del programa puede no ser revisado, como estuvo sucediendo en
el período 2001-2006; 2) tampoco se menciona el análisis de los recursos
(aunque puede ser incluido en la investigación sobre la gestión) cuya
oportunidad, calidad y buena utilización permitirían, conjuntamente con
143
los resultados, evaluar la eficiencia; 3) no incluye un estudio del contexto
económico y político en el marco del cual tiene sentido valorar el progra-
ma y los resultados alcanzados en el año y 4) no solicita la explicitación
del enfoque teórico en que se sustentará la evaluación.
En 2007, Coneval, conjuntamente con dos secretarías vinculadas al con-
trol de la administración pública (SHCP, y Secretaría de la Función Pú-
blica, SFP), comenzó a realizar un Programa Anual de Evaluaciones
(PAE) que incluyó todos los programas con contenido social a cargo de
la Sedesol pero también de otras secretarías, con lo cual su número au-
mentó en forma muy considerable, llegando casi a 200 en 2009 frente a
las 20-30 del período previo (ver cuadro N° 2). También fueron publica-
dos los nuevos “Lineamientos Generales para la Evaluación de los Pro-
gramas Federales de la Administración Pública Federal” (en adelante Li-
neamientos) para guiar la realización de evaluaciones externas que
sustituirían al Acuerdo que había estado vigente desde 2002 para normar
esta actividad.
Los tipos de evaluaciones definidos por los Lineamientos fueron: estratégi-
cas y de programas federales (Cuadro N° 1). Las primeras, como su nom-
bre lo indica, se aplican a las estrategias, políticas e instituciones relaciona-
das con un programa o conjunto de programas, mientras que las demás se
dirigen a los programas concretos y, a su vez, se componen de:
a) Evaluaciones de consistencia y resultados (ECR) referidas al diseño,
desempeño global y resultados basados en el seguimiento de indicadores,
mediante trabajo de gabinete. Cuentan con TR genéricos, originalmente de
100 preguntas, que luego fueron reducidas a 51. Dentro de estas se des-
agregó otro tipo de evaluaciones referidas exclusivamente a diseño. Tam-
bién disponen de TR genéricos, simplificados de 34 a 21 preguntas, que
acaban de aumentarse a 30. Retoman un instrumento de planeación del
marco lógico utilizado por varios organismos internacionales, al que se de-
nomina Matriz de Indicadores para Resultados (MIR).
b) Evaluaciones de indicadores, que analizan su pertinencia y alcance para
la medición de resultados, incluyendo trabajo de campo. No se ha realiza-
do ninguna evaluación de este tipo ni se ha diseñado una metodología es-
pecífica pero se puede considerar que, en parte, se retoman en las evalua-
ciones de diseño.
c) Evaluaciones de procesos, que revisan su eficacia y eficiencia operati-
vas y su contribución al mejoramiento de la gestión. Cuentan con TR ge-
néricos desde 2009 en que empezaron a aplicarse, los que fueron modifi-
cados en 2013. A la fecha solo se han realizado 27 evaluaciones de este
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
144 STUDIA POLITICÆ
tipo; sin embargo, también pueden quedar incluidas cuando se analiza la
operación en las ECR.
d) Evaluaciones de impacto, que miden cambios en los indicadores de re-
sultados atribuibles a la gestión del programa, con base en metodologías
revisadas por la Sedesol, la SFP y el Coneval.
e) Evaluaciones específicas, que incluyen todas las no comprendidas en
los tipos previos, por lo que pueden implicar tanto trabajo de gabinete
como de campo.
Este es el conjunto previsto en los lineamientos que se estuvo aplicando re-
gularmente desde 2007. Posteriormente se fueron desagregando otros tipos
(ver Cuadro N° 1):
f) Las evaluaciones específicas de desempeño (EED), que Coneval co-
menzó a contratar en 2008 como parte de las evaluaciones específicas y
para las que recién elaboró un modelo de TR en la generación 2012-2013,
que solicita: datos generales, resultados/productos, evolución de la cober-
tura, seguimiento a recomendaciones y datos de la instancia evaluadora.
Dicho modelo expresa que “se debe realizar mediante trabajo de gabinete
y únicamente con base en la información proporcionada por Coneval”
(Coneval, 2013: 7), con lo que prácticamente se prohíbe usar información
de fuentes alternativas, lo que constituye una restricción grave a la liber-
tad del evaluador.
f) Las evaluaciones complementarias, también iniciadas en 2008, son con-
sideradas de aplicación opcional, de acuerdo con las necesidades e intere-
ses de las dependencias y entidades, con el fin de mejorar su gestión y ob-
tener evidencia adicional sobre su desempeño; sin embargo, requieren la
opinión del Coneval sobre sus TR.
h) Las integrales de desempeño, que Coneval agregó en 2009, tampoco
cuentan con una metodología explícita, tienen el propósito de contribuir a
mejorar el diseño de políticas públicas y de facilitar una visión de la inte-
racción que existe entre distintos programas sociales federales que aportan
al mismo tema: salud, asistencia social, educación, empleo, desarrollo fo-
restal, población indígena y vivienda.
i) Las de diagnóstico, cuyos elementos mínimos fueron establecidos hace
ya varios años, pero recién en 2014 se inició su aplicación con el objetivo
de analizar un problema concreto, sus causas y consecuencias, el presu-
puesto requerido, así como las poblaciones involucradas y realizar una pro-
puesta para atenderlo, con su correspondiente diseño, a la luz de experien-
cias internacionales exitosas.
145
Cuadro N° 1. Características por tipo de evaluación
Tipos
Estratégicas
ECR
Indicadores
Procesos
Impacto
Específica
Diseño
Complementarias
Integrales de
Desempeño
Específicas de
Desempeño
Diagnóstico
Incluidas en
Lineamientos
X
X
X
X
X
X
X
X
X
Con metodología
expresa
X
X
X
X
X
X
X
X
X
Con TR
X
X
X
X
Trabajo de campo
explícitamente
incluido
X
X
Posible
Posible
Fuente: elaboración propia con base en Coneval-SHCP-SFP (2007) y Coneval (s/f)
Como puede verse, se trata de un conjunto de tipos no siempre excluyen-
tes ni claramente diferenciados, algunos con TR estandarizados, la mayo-
ría son trabajos exclusivamente de gabinete y los que incluyen trabajos
de campo se han aplicado muy poco. Si esta situación se contrasta con
los contenidos exigidos por la LGDS y su reglamento, el tipo más com-
pleto corresponde a la ECR, que incluso agrega la necesaria evaluación
de diseño y de la planeación estratégica, por lo que debería constituir la
evaluación anual fundamental; sin embargo, solo se ha aplicado en 2007
y 2011. La realización de evaluaciones complementarias, estratégicas, es-
pecíficas, de desempeño o de diseño puede ser muy útil pero no cubre to-
dos los aspectos exigidos anualmente por la LGDS.
Si bien el BM (s/f) elaboró un documento de análisis de los Lineamien-
tos, en realidad no analiza los tipos de evaluaciones a aplicar sino que
informa sobre los avances emprendidos por el Consejo en materia de di-
fusión de resultados, impulso a la capacitación de evaluadores, mejora
de sistemas de información, revisión de las leyes que regulan los con-
tratos, etc.
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
146 STUDIA POLITICÆ
Notas: * Las evaluaciones complementarias no se incluyen en el PAE.
** A la fecha en que se elaboró el documento usado como fuente aún no se acababan las
ECR realizadas en 2011.
Fuente: adaptado y corregido de SHCP (2012).
En la práctica, en 2007-2011 se realizaron 697 evaluaciones incluidas en el
PAE (81 % de las planeadas) y 18 complementarias. Las evaluaciones de
diseño de nuevos programas se han aplicado con regularidad. El resto de
ellas se ha concentrado en las EED, que son las más simples, mientras que
las de impacto, las más complejas, alcanzaban apenas a 16 (Cuadro N° 2).
Recientemente, en 2014, se han publicado como evaluaciones específicas
las Fichas de monitoreo y evaluación, una especie de informe muy limitado
(formato de dos páginas), realizado por el propio órgano operador. Si esta
situación se compara con la que estuvo vigente en 2001-2006, se encuentra
que en aquel período las evaluaciones trataban de ser integrales (si bien no
incluían el diseño) y sus TR, aunque muy similares, recogían algunas espe-
cificidades de cada caso, por lo que a partir de 2007 se identifica una clara
tendencia hacia la estandarización y la simplificación. Los cambios intro-
ducidos a los TR de las ECR y de diseño refuerzan esta afirmación.
En algunos casos se hacen estudios de mercado, previos a la contratación,
solicitando cotizaciones para definir el precio a pagar por parte de los pro-
pios programas que serán evaluados (salvo las contratadas directamente
por Coneval). La información sobre los costos de los trabajos ha sido
siempre difícil de obtener, pero en el período 2007-2014 se han encontra-
do casos que varían entre USD 3 995 para una evaluación específica en
2009-2010 hasta USD 2’578.750 para una de impacto (de Oportunidades)
en 2008-2009, con variaciones algunas veces difíciles de justificar. Si se
Cuadro N° 2. Evaluaciones federales realizadas en 2007-2011
Tipo de Evaluación
Diseño
ECR
Procesos
Específicas
EED
Impacto
Estratégicas
TOTAL
Complementarias*
2007 2008 2009 2010 2011 Total
14 19 33 17 25 108
111 0 0 0 0** 111
0 0 5 8 1 14
6 18 22 1 0 47
0 131 132 133 0 396
3 8 4 1 0 16
2 1 1 1 0 5
136 177 197 161 26 697
0 5 5 4 4 18
147
considera la evolución de costos mostrada en el cuadro N° 3 en casos se-
leccionados se concluye que en la actualidad la mayoría de las realizadas
están muy por debajo del precio pagado en el período 2001-2006, funda-
mentalmente debido a la desaparición del trabajo de campo, lo que marca
una tendencia hacia el abaratamiento.
Cuadro N° 3: Costos de las evaluaciones
Año
2002
2005
2007
2008
Evaluaciones consideradas
31 evaluaciones realizadas por Sedesol
4 evaluaciones contratadas por Sedesol
5 evaluaciones de diseño solicitadas por Coneval
16 ECR
Monto promedio
(en USD)
175.465
36.718
23.975
49.780
Fuente: Cardozo (2009).
Un tema muy cercano es el de los mecanismos de contratación. En 2001-
2006 se utilizaba principalmente la invitación a concursar a por lo menos
tres instituciones, actualmente pocos son los casos en que esto se realiza,
sustituyéndolo por adjudicaciones directas, no solamente a instituciones de
educación superior, de investigación científica u organizaciones no lucrati-
vas como marca la LGDS (art. 73) sino también a empresas consultoras.
En síntesis, la constitución del Coneval en 2006 significó un gran paso
adelante en la mejor organización del sistema de evaluaciones externas
(un programa anual de evaluaciones, lineamientos más precisos, inclusión
de la evaluación de diseño, etc.); sin embargo, se han mantenido muchas
de las debilidades y desafíos identificados en las metaevaluaciones pre-
vias realizadas (Cardozo, 2012a), como por ejemplo, la disponibilidad de
un fondo independiente para contrataciones o la realización de evaluacio-
nes participativas.
En 2010, el BID publicó su Índice de Gestión para Resultados (García y
García, 2010) incluyendo a 25 países de América Latina y el Caribe, uno
de cuyos cinco pilares está constituido por el sistema de monitoreo y eva-
luación: México ocupó el cuarto lugar, después de Chile, Brasil y Co-
lombia, todos clasificados en el nivel alto de desarrollo del índice. Se tra-
ta de un buen lugar (calificación de 3.2 en la escala de 0 a 5, con una
diferencia aproximada de 1.3 respecto de Chile), pero también indica que
aún hay retos importantes que superar en materia de desempeño guberna-
mental.
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
148 STUDIA POLITICÆ
El Coneval también ha sido objeto de evaluaciones y auditorías, como la
del BM en 2008 y la de la Auditoría Superior de la Federación (ASF) de
2010. Más recientemente Szekely (2013) aplicó 24 entrevistas y encues-
tas a diversos actores relevantes en el sector de la evaluación y la medi-
ción de la pobreza para conocer su percepción sobre Coneval. El 48 % de
los funcionarios encuestados manifestó estar muy satisfecho y el 39 %
algo satisfecho; mientras que en cuanto a su información y análisis, el
56 % y el 31 % los consideró respectivamente algo o muy requeridos
para los elaboradores de políticas públicas y los tomadores de decisión.
Adicionalmente, los entrevistados identificaron tres retos para dicho Con-
sejo: mantener su independencia del gobierno y la calidad de sus produc-
tos, así como lograr que las evaluaciones tengan un mayor impacto en
mejorar los programas sociales (asunto ya señalado en la evaluación ex-
terna realizada por el BM en 2008).
Otra evaluación (Rojas, 2013) se concentró en el desempeño organizacio-
nal de Coneval. Para ello aplicó 26 entrevistas a personas vinculadas con
los procesos de evaluación. Encontró que han cambiado las circunstan-
cias externas en relación con el estilo político del gobierno federal (más
propenso a los pactos y alianzas, a otorgar plena autonomía al Coneval, a
modificar la forma de elegir a sus Consejeros, etc.), la tendencia a poner
más atención a la fase de implementación de políticas y programas (más
que a su diseño o evaluación ex post) y la alineación de las acciones en
torno a políticas prioritarias de naturaleza multisectorial (no meramente
sectoriales). Estas nuevas expectativas y demandas indujeron al evaluador
a proponer que Coneval asuma nuevos objetivos, adicionales a los previs-
tos en la LGDS, como el apoyo a los gobiernos subnacionales en materia
de evaluación.
En algunas de sus estrategias Coneval comparte responsabilidades con
otras instancias y, según mencionaba Rojas (2013), el gobierno federal
estaba en disposición de otorgarle plena autonomía, mientras algunos fun-
cionarios entrevistados por Székely (2013) habían señalado que quizá re-
sultara recomendable otorgarle autonomía operativa, presupuestaria y de
decisión dentro de la Administración Pública Federal, de manera tal que
no se encontrara sectorizado a la Sedesol, como hasta ese momento. Esto
se consumó con la reforma política-electoral, aprobada por el Congreso y
publicada en febrero de 2014, que le otorgó el carácter de órgano autóno-
mo con personalidad jurídica y patrimonio propios. Además se previó que
esta decisión sería respaldada por la Constitución mediante un nuevo
apartado C en su artículo 26. Sin embargo, la conveniencia de esta deci-
sión ha sido discutida tanto en algunos medios académicos como por el
propio Consejo (Cejudo, 2014; Coneval, s/f).
149
Al margen del Coneval, también es necesario mencionar que reciente-
mente han sido creados nuevos órganos federales encargados de la eva-
luación en temas educativos y ambientales. Además, en paralelo a las ac-
tividades de evaluación del Poder Ejecutivo federal, la ASF de la Cámara
de Diputados ha ido realizando múltiples trabajos dirigidos a auditar el
desempeño de los programas públicos. A nivel de las entidades federati-
vas del país comienzan a crearse algunos órganos locales de evaluación,
siendo el más antiguo el del GDF, conformado en 2008, que se analiza en
el siguiente punto. Y finalmente, se espera que los propios municipios
inicien la instalación de sistemas durante el presente año.
4. El sistema de evaluación del GDF
El Artículo 42 de la Ley de Desarrollo Social del Distrito Federal (LDSDF)
y su Reglamento (RLDSDF) establecen la necesidad de mejorar la gestión
de sus políticas y programas, para lo cual se deben detectar sus aciertos y
fortalezas, identificar sus problemas, recoger ampliamente la opinión de los
participantes o beneficiarios, y en su caso, formular las observaciones y re-
comendaciones para su reorientación y fortalecimiento. Para alcanzar este
objetivo, Evalúa DF ha organizado un sistema de evaluación sustantiva-
mente diferente al federal (Cardozo, 2011 y 2012b). A título de ejemplo, su
normatividad no lo obliga a evaluar sus programas anualmente y establece
que sus recomendaciones tienen carácter vinculatorio.
Ante la ausencia de trabajos evaluativos previos, desde el inicio de su tra-
bajo Evalúa DF impartió diplomados y talleres de formación, publicó una
serie de lineamientos y una pequeña guía de orientación que define los ti-
pos de evaluación encarados por este Consejo, tanto de programas como de
políticas y de servicios. Cada uno de estos se definen a su vez en función
de las etapas del proceso: de formulación o diseño, de implementación u
operación, de resultados y de impacto (Cardozo y Mundo, 2012). De esta
manera se espera que el evaluador recoja y juzgue evidencias pero también
que actúe como facilitador de un proceso de aprendizaje.
Las evaluaciones efectuadas en 2008 contaron con TR genéricos con algu-
nas preguntas específicas por programa, pero desde 2009 estos se diseñan
especialmente en función de la política o el servicio a evaluarse. Dichos
TR solicitan propuestas que, además de diseñar su metodología y planear
sus actividades, incluyan los antecedentes del problema y política o progra-
ma en cuestión, el contexto social, político y económico en que se ha desa-
rrollado y un marco teórico para su estudio.
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
150 STUDIA POLITICÆ
Las convocatorias de Evalúa DF publican los montos disponibles para la
realización de cada trabajo y los equipos se seleccionan mediante concur-
so dentro de una convocatoria abierta entre quienes cumplieron los requi-
sitos y presentaron la mejor propuesta técnica, con base en criterios prees-
tablecidos.
Aunque evidentemente existen aspectos mejorables en la organización de
la evaluación por este Consejo, el trabajo realizado ha constituido un
avance relevante, sobre todo si se tiene en cuenta que no había antece-
dentes en el GDF y que se optó por una organización y un enfoque teóri-
co distinto (cercano al constructivismo) al desarrollado por Coneval, por
lo que se tuvo que ir construyendo paso a paso su modo de encarar los
trabajos.
En la práctica, se han realizado 26 trabajos de evaluación de políticas, pro-
gramas y servicios públicos y dos metaevaluaciones, seleccionados con
base en criterios explícitos y financiados con un fondo específico adminis-
trado por Evalúa DF para garantizar la independencia del evaluador. A par-
tir de 2009 se pasa de la evaluación de programas a la de políticas, dismi-
nuyendo su número en función de su complejidad. La mayoría gira en
torno a las primeras etapas del proceso (diseño/formulación y operación/
implementación); solo uno de los trabajos ha evaluado el impacto y realiza-
do trabajo de campo (Cuadro N° 4).
Cuadro N° 4. Evaluaciones realizadas por Evalúa DF 2008-2013
Fuente: elaboración propia con base en información de Evalúa DF (s/f).
Tipo de evaluación
Diseño y operación de
programas
Formulación e
implementación de políticas
Diseño, operación y
resultados de políticas
Operación, resultados e
impacto de servicios
De presupuesto enfocado
a temas transversales
Metaevaluaciones
Total
2008 2009 2010 2011 2012 2013 Total
13 13
4 2 2 1 9
1 1
1 1
2 2
1 1 2
13 5 4 1 2 3 28
151
MYRIAM CARDOZO BRUM
5. Calidad de las evaluaciones
La calidad de las evaluaciones depende de la normatividad, la información
disponible o la metodología aplicada, pero también de la organización del
trabajo (Cardozo, 2006). A nivel federal, en 2001-2006 se habían detecta-
do debilidades metodológicas en los esquemas de muestreo, la informa-
ción recogida y en la emisión de valoraciones fundamentadas sobre la ges-
tión del programa, pero también problemas de organización y planeación
como la falta de evaluaciones de diseño, de impacto plurianual, de conjun-
tos de programas interrelacionados y la aplicación de metaevaluaciones,
entre otros. A partir de 2006 hubo avances, estancamientos y algunos re-
trocesos que se refieren a continuación, con énfasis en los de tipo organi-
zativo y de planeación, que también afectan la calidad de los informes fi-
nales logrados.
Un documento básico para contribuir a la calidad de la evaluación lo
constituyen los TR en que se especifica la solicitud. Sin embargo, en ma-
teria de desarrollo social federal, un alto porcentaje de los revisados en
una muestra no representativa de 16 casos de 2008-2013 (56 %) careció
de ellos y el resto fueron genéricos. La ausencia de TR puede constituir
parte de la explicación de la limitada contribución de los informes al me-
joramiento de los programas.
La convocatoria por invitación a cuando menos tres instituciones se ha re-
ducido notoriamente, sustituyéndose por asignaciones directas o contrata-
ciones por convenio. A pesar de esto, en general, los equipos evaluadores
fueron de alto nivel; en cambio, se detectaron problemas en cuanto a su
composición disciplinaria (énfasis en economía en detrimento de otras dis-
ciplinas, también necesarias para la comprensión del programa). Los pro-
cesos metodológicos se centraron en la recolección de información de
fuentes institucionales y el análisis documental, como establecen los Li-
neamientos, pero en los casos de evaluación de procesos y de impacto
también se aplicaron encuestas en campo. En el caso de estos últimos, los
modelos aplicados fueron de carácter experimental, con el objetivo de
mostrar una atribución del tipo “causa-efecto”, los que han sido amplia-
mente discutidos en la literatura y, en la práctica, solo han logrado parcial-
mente su finalidad.
Los informes finales están adecuadamente estructurados, su redacción es
clara y su tamaño muy variable: desde dos páginas en el caso de una ficha
de monitoreo a 315 en una evaluación de impacto. Todos se encuentran
disponibles en la página web del Coneval pero, excepto en las evaluaciones
específicas recientes, estos no se acompañan de un documento de reacción
institucional ante el mismo.
34 - primavera-verano 2014/2015
152 STUDIA POLITICÆ
Salvo algunas excepciones, se trata de trabajos de calidad aceptable, con
algunos aspectos poco cubiertos y sin una clara correlación con sus costos
(cuadro N° 5). Sin embargo, sus solicitudes (TR) se han simplificado tanto
que la información agregada es muy limitada en la mayoría de los casos.
En el caso de las evaluaciones de impacto, el problema gira en torno al en-
foque exigido en los Lineamientos: modelos experimentales, costosos y
poco efectivos.
Cuadro N° 5. Costos disponibles y calidad de las evaluaciones correspondientes
Costos
(en USD)
3.995
6.986
7.751
26.403
51.207
55.429
96.225
278.190
805.153
2’578.750
Calidad no
aceptable
X
X
Calidad aceptable
X
Calidad alta
X
X
X
X
X
Calidad muy
alta
X
X
Fuente: elaboración propia con datos de Cardozo (mimeo).
Si comparamos esta situación con la vivida en 2001-2006 durante la con-
tratación de evaluaciones por la Sedesol (Cardozo 2006 y 2012a), no hay
dudas de que el sistema se ha expandido ampliamente, que ha incorporado
la evaluación del diseño, y que está mejor regulado por los Lineamientos, a
pesar de que los tipos de evaluaciones tomen nombres poco sugerentes de
su contenido y algunos ni siquiera se definan. Sin embargo, la riqueza de
contenido de las primeras evaluaciones era mucho mayor porque normal-
mente implicaban un trabajo de campo y los estudios aspiraban a ser inte-
grales, intentando al menos cubrir la ejecución, los resultados y el impacto.
Actualmente, muchas evaluaciones (EED) no son más que una especie de
informe elaborado por un agente externo pero solamente con información
institucional, que no puede verificar. Otras son documentos preparados a
partir de evaluaciones previas (e.g. fichas de monitoreo, “metaevaluacio-
nes”). Incluso la extensión del informe era notablemente mayor en el perío-
do inicial. El actual aumento del número de evaluaciones se ha logrado a
costa de la extensión y la calidad del trabajo, con una notable reducción del
costo por evaluación (salvo excepciones, como la de Oportunidades).
153
La práctica federal actual cumple generalizadamente con el requisito for-
mal de realizar una evaluación anual a través de EED, de diseño y reciente-
mente de diagnóstico, y cada tres o cuatro años realiza una ECR, bastante
completas salvo por la falta de medición del impacto. Los demás tipos (de
procesos, integrales de desempeño, complementarias, estratégicas, de im-
pacto), que podrían ser más efectivos, se han vuelto excepcionales; espe-
cialmente los de impacto.
De las evaluaciones revisadas, pocas son las que contienen recomendacio-
nes novedosas o al menos refuerzan acciones útiles (evaluación de proce-
sos, ECR, estratégicas o de impacto); la mayoría no precisa la manera de
llevarlas a cabo y la instancia responsable, sus costos y tiempos, lo que no
permite garantizar su viabilidad y probabilidad de ser aceptada por los res-
ponsables de los programas correspondientes. También se percibe la recu-
rrencia a recomendar nuevas evaluaciones, especialmente de impacto debi-
do a su notable escasez.
En consecuencia, con el objetivo de mejorar la calidad a nivel federal
mediante una mejor organización, hemos propuesto: a) cumplir con la
obligación legal de realizar siempre evaluaciones externas; b) emitir
siempre TR para cada tipo de evaluación y adecuarlos a la problemática
concreta del programa a evaluar; c) conformar equipos interdisciplinarios
de evaluación, experimentados y ad hoc a cada programa; d) emitir siem-
pre convocatorias, dirigidas al menos a tres instituciones; e) explicitar los
criterios de selección de propuestas; f) transparentar los montos contrata-
dos; g) dar más importancia a la realización de trabajos de campo que
verifiquen y complementen la información institucional; g) intentar eva-
luaciones de impacto de tipo contributivo; h) exigir un mínimo de exten-
sión, calidad y aportaciones a los informes de evaluación, explicitando y
fundamentando mejor las conclusiones, en congruencia con su tipo; e i)
informar siempre sobre la respuesta institucional a la evaluación, las reco-
mendaciones y su cumplimiento, desglosadas para cada evaluación reali-
zada (Cardozo, mimeo).
En el caso del GDF, las cuatro evaluaciones coordinadas por Evalúa DF en
2010 y 2011 varían en sus alcances y temas, pero todas contaron con TR
específicos. Los equipos evaluadores fueron interdisciplinarios, la mayoría
de buen nivel académico, adecuados al tema, pero solo algunos contaban
con experiencia previa en trabajos de evaluación. Los montos pagados fue-
ron de USD 27 532 para los estudios de gabinete en 2010 y USD 84 541
para el que incluyó trabajo de campo en 2011.
Los trabajos contratados evaluaron políticas y servicios públicos y utili-
zaron fundamentalmente entrevistas y análisis de documentos como mé-
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
154 STUDIA POLITICÆ
todos de investigación, enriquecidos con encuestas, observación in situ,
grupos focales y análisis estadístico en el caso de la evaluación de im-
pacto.
Los informes fueron relativamente extensos (entre 186 y 395 páginas) y,
en general, se presentan adecuadamente estructurados y redactados, aun-
que subsisten algunos aspectos confusos; están disponibles en la página
electrónica de Evalúa DF, donde se incluye además la respuesta institucio-
nal ante la evaluación y sus recomendaciones.
Se incluyen trabajos aceptables y otros de buena calidad, de difícil compa-
ración por sus diferencias de complejidad técnica. Como consecuencia de
lo anterior, las propuestas para los problemas organizacionales identifica-
dos son también variadas e incluyen: a) exigir mayor experiencia en eva-
luación a los equipos contratados; b) identificar claramente en todos los
casos la relación entre datos, análisis, conclusiones, valoraciones y reco-
mendaciones; c) especificar la instancia responsable y el plazo para cum-
plir las recomendaciones; d) acompañar siempre el informe final de un re-
sumen ejecutivo; y e) dar seguimiento continuo a las recomendaciones
aceptadas y proceder a iniciar las controversias correspondientes en los
casos de rechazo (Cardozo, mimeo).
De la comparación de los trabajos de Evalúa DF con los revisados a nivel
federal destaca una mayor presencia de convocatorias abiertas, acompaña-
da de TR específicos para cada caso y el preestablecimiento del monto de
los contratos, así como evaluaciones dirigidas a políticas públicas y servi-
cios (no solamente programas). Los trabajos también son más amplios e
intentan profundizar en la explicación de los hallazgos reportados. Solo en
algunos pocos casos federales este resultado es explicable por su menor
disponibilidad de recursos.
6. Utilización de resultados
No basta solo con tener evaluaciones y que estas sean de calidad, se nece-
sita que se utilicen, especialmente para mejorar el diseño y el desempeño
de los programas (utilización instrumental), por lo que las dependencias y
entidades de la Administración Pública Federal se comprometieron a cum-
plir con un conjunto de Aspectos Susceptibles de Mejora (ASM) para au-
mentar la calidad de sus programas en función de las recomendaciones re-
cibidas. Sin embargo, el propio Programa para un Gobierno Cercano y
Moderno 2013-2018 (Diario Oficial de la Federación, 2013) plantea que
en muchas ocasiones los ASM son vistos solamente como un procedi-
155
miento más a realizar en lugar de considerarlos una oportunidad de mejo-
ra para el programa. Además, menciona la importancia del proceso de eva-
luación para rendir cuentas a la ciudadanía, ofreciendo información de ac-
ceso público para la promoción de la participación ciudadana y propone
un conjunto de estrategias y líneas de acción tendientes a articular, en for-
ma transversal y multidisciplinaria, las diferentes acciones de las depen-
dencias y entidades en la materia.
A título de ejemplo en 2012-2013, el porcentaje de recomendaciones fede-
rales acordadas con los operadores para ser transformadas en ASM fue de
45 %. Además, desde 2007 en que se emitieron 930 ASM, estos muestran
una clara tendencia a la disminución, con un aumento pasajero en 2011-
2012, en que se efectuaron ECR. En consistencia con la reducción ante-
rior de ASM y un número importante de cancelaciones (83 ASM en 2013-
2014), su nivel de cumplimiento ha ido en aumento hasta alcanzar el
82 %, con una disminución en 2012-2013 que coincide con la aplicación
de las recomendaciones surgidas de la ECR. Por otra parte, los ASM se
concentran cada vez más en las correcciones de programas, mientras las
reorientaciones vinculadas al rediseño se mantienen en solo un 22 % (ver
Cuadro N° 6).
Cuadro N° 6. Seguimiento de ASM desde 2010
(cumplidos a septiembre de 2014)
Fuente: Informes de Seguimiento de ASM de 2010-2011 a 2013-2014, en Coneval (s/f)
Avances
Número de ASM
fomulados
Promedio
general de
avance (%)
Impactos de los
ASM (%)
Informe 2010-
2011
413
69.4
Adiciones 36
Correcciones 22
Modificaciones
18
Reorientaciones
22
Suspensión 2
Informe 2011-
2012
471
73.9
Adiciones 0
Correcciones 71
Modificaciones
12
Reorientaciones
15
Suspensión 1
Informe 2012-
2013
641
62.6
Adiciones 4
Correcciones 64
Modificaciones
4
Reorientaciones
28
Suspensión 0
Informe 2013-
2014
260
81.9
Adiciones 0
Correcciones 72
Modificaciones
4
Reorientaciones
22
Suspensión 0
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
156 STUDIA POLITICÆ
Año
2009
2010
2011
Recomendaciones
emitidas
124
35
77
Recomendaciones
aceptadas
105 (84.6 %)
32 (91.4 %)
69 (89.6 %)
Recomendaciones
reconsideradas
5
3
0
Preparadas para
controversia
14
0
8
En síntesis, a pesar del carácter no vinculatorio de las decisiones de Coneval
y de enfrentar fuertes resistencias burocráticas, la utilización instrumental de
resultados ha alcanzado un nivel relativamente importante de cumplimiento
cuantitativo, quedando pendiente la evaluación del impacto que efectivamen-
te han tenido en las políticas y programas y fundamentalmente, en sus bene-
ficiarios. Sin embargo, es importante resaltar que esto es fruto de un proceso
en que Coneval acuerda los ASM con los operadores (ellos toman parte en la
decisión de lo que pueden y están dispuestos a hacer), que el nivel de trans-
formación de las recomendaciones en ASM es muy bajo y que estos solo
provocan reorientaciones de programas en un porcentaje muy reducido.
En relación con la utilización presupuestal, con base tanto en los casos
mexicanos analizados por Cardozo (mimeo) como en el estudio efectua-
do por Székely (2013) que recoge la opinión de una muestra de funcio-
narios, no se percibe incidencia de las evaluaciones en la asignación de
recursos.
Por otro lado, en relación con la utilización instrumental en el GDF, el
número de recomendaciones vinculatorias enviadas por Evalúa DF fue
siempre mayor que las sugeridas en los informes de evaluación debido
a que este Consejo las redacta complementando las señaladas en el in-
forme. Sin embargo, las dependencias evaluadas tienen la posibilidad
de manifestar su desacuerdo, en cuyo caso Evalúa DF puede controver-
tirlas.
La aceptación de las recomendaciones ligadas a la operación de los pro-
gramas o la implementación de las políticas (cambios en los procedimien-
tos en curso) era mayor que la ligada a su reformulación (modificación del
diseño mismo de la política) que, en muchos casos, implica mayor dispo-
nibilidad de recursos. El Cuadro N° 7 muestra la evolución de las reco-
mendaciones 2009-2011 y el N° 8 el nivel de cumplimiento de las reco-
mendaciones 2009 en junio de 2011.
Cuadro N° 7. Recomendaciones 2009-2011
Fuente: Primer Informe Semestral del Estado de las Recomendaciones Aceptadas, en
Evalúa DF (2011).
157
En 2009 las 124 recomendaciones fueron dirigidas a 12 programas y de-
pendencias, se distribuyeron aproximadamente en la misma proporción en
materia de diseño (49.6 %) que de operación (50.4 %); sin embargo, de las
14 no aceptadas (11.3 %), nueve se concentraron en diseño y ocho de ellas
implicaban una fuerte repercusión presupuestal. Todas las controvertidas
correspondían a dos de los programas evaluados.
Las cuatro políticas y servicios evaluados en 2010 y 2011 arrojaron un
47 % de aceptación plena y un 18 % de aceptación parcial, con lo que se
estima un 56 % de aceptación global, bastante inferior a los porcentajes re-
portados en años previos. En 2010, las tres recomendaciones no aceptadas
correspondieron al mismo programa; sin embargo, en los meses siguientes
se modificó la ley correspondiente recuperando la esencia de las mismas,
razón por la que ya no fueron controvertidas por Evalúa DF. En este caso
se hizo la primera experiencia de dirigir recomendaciones directamente a la
Secretaría de Finanzas cuando existían importantes repercusiones en las
necesidades financieras.
A partir de 2011 las recomendaciones dejaron de dirigirse a programas para
hacerlo a políticas, al igual que las evaluaciones realizadas, lo que compli-
có el seguimiento porque las recomendaciones ya no se dirigían a un solo
órgano (responsable en el caso de los programas) sino a las varias instan-
cias coordinadas para poner en marcha una política. Se volvieron a enviar
recomendaciones a la Secretaría de Finanzas, debido a que los órganos
operativos no aceptaban las recomendaciones de fuerte impacto presupues-
tal por temor de que dicha Secretaría no les autorizara el gasto correspon-
diente, pero esta empezó también a rechazarlas por considerar que no le
competía emitir opinión sobre las recomendaciones de carácter operativo,
aunque ellas tuvieran fuerte impacto presupuestal.
Cuadro N° 8. Estado de las recomendaciones 2009 al 30 de junio de 2011
Recomendaciones Número Porcentaje
Totalmente cumplidas 65 63
Parcialmente cumplidas 20 19
No cumplidas 18 17
Aún vigentes 2 1
Total 105 100
Fuente: Primer Informe Semestral del Estado de las Recomendaciones Aceptadas, en
Evalúa DF (2011).
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
158 STUDIA POLITICÆ
3
Posteriormente no se h2a publicado información, razón por la que no ha sido posible
cubrir hasta el año 2014, como se hizo a nivel federal.
En general, el cumplimiento total o parcial de la primera generación de re-
comendaciones (2009) a las evaluaciones iniciadas en 2008 fue bastante
elevado al 30 de junio de 2011
3
(73 %, suponiendo que el cumplimiento
parcial fuera del 50 %), aunque existía un importante grado de retraso en
su implementación y en la entrega de la información correspondiente. En
consecuencia, tampoco el carácter vinculatorio de Evalúa DF le ha permi-
tido, hasta la fecha, tener la contundencia esperada en materia de utiliza-
ción instrumental de las evaluaciones.
Por otra parte, Evalúa DF debe entregar copia de los informes de evalua-
ción a la Comisión de Desarrollo Social de la Asamblea Legislativa del
DF y esta los ha utilizado en diversos casos, mas no con fines presupues-
tales. Más bien han sido las propias instancias evaluadas quienes argu-
mentan falta de recursos para negarse a llevar a cabo las recomendacio-
nes, por temor de que la Secretaría de Finanzas no les apruebe el
incremento presupuestal requerido. En consecuencia, tampoco el proceso
de aceptación y cumplimiento de las recomendaciones muestra impactos
sustantivos para mejorar la distribución de los recursos presupuestales en
ninguno de los dos casos considerados, federal ni del GDF.
Pero, además de asegurar la puesta en práctica de las buenas recomen-
daciones surgidas de un proceso de evaluación, es necesario verificar el
impacto que ellas están teniendo en el logro de los objetivos planeados
para resolver problemas sociales. Tal vez sea muy pronto para que esta
actividad se encare, pero a la fecha ninguno de los dos Consejos de
evaluación considerados en el trabajo ha avanzado en su análisis y valo-
ración.
Conclusiones
Desarrollar e internalizar una cultura de la evaluación en diferentes gru-
pos sociales (funcionarios, diputados, investigadores, ONGs) y la ciuda-
danía en general constituye la máxima aspiración de quienes estamos
convencidos de su necesidad y conveniencia, para que esta sea volunta-
riamente aplicada, desarrollada en forma colaborativa, sus productos sean
de alta calidad y sus resultados ampliamente utilizados. Pero lograrlo re-
quiere tiempos muy prolongados como ha sucedido en EUA y, en menor
grado, en Reino Unido y Canadá, por lo que los países latinoamericanos
159
que han iniciado recientemente su institucionalización formal (Colombia,
Chile, México, Brasil, Perú, Argentina, etc.) tienen aún un largo camino
por recorrer.
Para avanzar hacia la meta planteada es fundamental contar con espacios
de profesionalización y reflexión sobre el tema: programas de formación y
capacitación, asociaciones de profesionales que organicen eventos y discu-
tan temas relevantes y publicación de libros y revistas especializadas que
difundan nuevas ideas, métodos y experiencias. En este sentido, los países
de América Latina se caracterizan por sus grandes limitaciones.
La exposición realizada muestra a México como un país que inició un
poco tarde sus procesos de evaluación pero ha crecido aceleradamente
después de la creación de Coneval en 2006, y atraviesa un momento de
incertidumbre relacionada con las posibles consecuencias de los cam-
bios legales que estarán afectando el funcionamiento de dicho Conse-
jo, con el posible riesgo de pérdida de independencia, no legal pero sí
práctica.
Junto con este notable aumento del número de evaluaciones realiza-
das, la tendencia ha sido hacia la estandarización, la simplificación y
el abaratamiento de los trabajos, lo que lleva a cuestionarse sobre su
calidad y el riesgo de que sean considerados un procedimiento más,
sin mayores consecuencias posteriores. En el caso del GDF también es
muy importante cuidar que esta experiencia reciente y novedosa man-
tenga su calidad, nivel de independencia y aumente su utilización de
resultados.
En la revisión de todos los ciclos mexicanos de evaluación de progra-
mas federales 2008-2014 aparecen siempre trabajos de buena y muy
buena calidad (especialmente las ECR, entre las más frecuentes), pero
también algunos que carecen de solidez metodológica y de aportaciones
(EED, también entre las frecuentes). En sus procesos suelen detectarse
problemas que Evalúa DF ha tratado de evitar como: falta de TR o dis-
ponibilidad solo de términos genéricos; adjudicaciones directas de con-
tratos; equipos de evaluación cuya formación, experiencia y composi-
ción disciplinaria no siempre es la adecuada; costos muy diversos y no
justificados; ausencia de trabajo de campo y de recuperación de percep-
ciones de los beneficiarios; tamaño irrisorio de algunos informes, entre
otros.
La situación federal anterior contrasta con la vivida en 2001-2006 en que, a
pesar de la inexperiencia se hacía un gran esfuerzo por llevar a cabo eva-
luaciones integrales, con trabajo de campo e informes más amplios y tam-
bién con la evaluación realizada en el GDF en 2008-2014 que cuenta siem-
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
160 STUDIA POLITICÆ
pre con convocatorias abiertas, TR específicos, montos preestablecidos e
iguales para trabajos similares, e informes más amplios y explicativos, aun-
que también exhibe trabajos de calidad reducida. En los dos casos mencio-
nados, esto ha sido posible debido a que se ha realizado un pequeño núme-
ro de evaluaciones, lo que no sucede en la práctica federal actual y que
podría resolverse mediante la creación de diversos órganos independientes
de evaluación especializados por secretarías (e.g. Instituto Nacional de
Evaluación Educativa), entidades (e.g. Evalúa DF) y municipios.
En síntesis, la situación federal actual muestra una tendencia a cumplir con
el requisito formal de realizar una evaluación anual de un número muy ele-
vado de programas, cuya calidad no está garantizada y, en consecuencia,
tampoco está clara la conveniencia de utilizar sus recomendaciones. Esto
se acompaña también de una ampliación de las atribuciones de Coneval
(asesoría a gobiernos subnacionales, evaluación de consejos estatales), lo
que contribuye a privilegiar la cantidad sobre la profundidad. En cambio,
Evalúa DF puede elegir un número reducido de programas a evaluar y apli-
car metaevaluaciones para mejorar la calidad de los trabajos, pero tampoco
ha logrado la incidencia esperada en cuanto al uso de sus resultados. Cons-
tituye una buena alternativa pero aún incipiente y vulnerable si no se la
apoya consistentemente.
Al respecto, se encontró que el porcentaje de cumplimiento de las reco-
mendaciones comprometidas a nivel instrumental federal es relativamente
alto, pero está limitado por la calidad de las sugerencias realizadas por los
equipos evaluadores y el bajo porcentaje de ellas asumido como compro-
miso, lo que lleva a otra discusión: la conveniencia de que las recomenda-
ciones emitidas por los Consejos de evaluación tengan carácter vinculato-
rio. Sin embargo, el sistema implantado por Evalúa DF ya lo ha puesto en
práctica con resultados no tan positivos como se esperaba debido a la poca
efectividad de las sanciones previstas.
Finalmente, la teoría y las experiencias mundiales muestran un sinnúmero de
factores que pueden explicar el limitado nivel de utilización alcanzado, tan-
tas veces señalado en la metaevaluaciones de distintos países. En estos traba-
jos, la calidad de las evaluaciones no se menciona con un peso significativo
como determinante de la utilización; sin embargo, tampoco interesa promo-
ver la utilización al margen de ella, por lo que se requieren trabajos de me-
taevaluación. Por otra parte, aunque todos los factores señalados en la litera-
tura son útiles por su contribución a la explicación ex post de la utilización
lograda, nuestro interés se centra en aquellos que pueden ser modificados en
el corto plazo por el propio sistema de evaluación, de manera de incrementar
las posibilidades de que las buenas evaluaciones sean tomadas en cuenta. En
161
consecuencia, se seleccionó un subconjunto de aspectos que podrían contri-
buir a incrementar dicha utilización en el contexto mexicano como: amplia
participación de funcionarios desde la planeación de los trabajos, selección
de evaluadores en concursos abiertos, levantamiento de percepciones de be-
neficiarios y organizaciones sociales, presentación oportuna, accesible y cla-
ra del informe, vinculación con la utilización presupuestal, incentivos mone-
tarios y simbólicos, colectivos e individuales, así como seguimiento continuo
del uso comprometido de las recomendaciones (Cardozo, mimeo).
En síntesis, es necesario seguir trabajando para desarrollar una cultura de la
evaluación apoyada con más programas universitarios, publicaciones y
eventos pero, mientras esto no se alcanza, hay que mejorar por medios al-
ternativos tanto la calidad de los trabajos (en riesgo cuando hay un creci-
miento muy importante de la cantidad) como su posterior utilización, para
que los esfuerzos realizados cobren el sentido que justifica la existencia del
trabajo evaluativo en nuestro contexto.
Bibliografía
BANCO MUNDIAL (s/f) “México: Análisis de los Lineamientos generales para la evalua-
ción de los programas federales de la administración pública federal”, disponible en:
http://www.coneval.gob.mx/rw/resource/coneval/quienes/2937.pdf, consultada el 14
de mayo de 2013.
CARDOZO, M. (2006) La evaluación de políticas y programas públicos. El caso de los
programas de desarrollo social en México. Colección Conocer para Decidir, Méxi-
co: Cámara de Diputados-M. A. Porrúa.
———. (2009) Evaluación y metaevaluación en los programas mexicanos de desarro-
llo social. Colección Teoría y Análisis, México: UAM-X.
———. (2011) “Organización y métodos alternativos en la evaluación de políticas y
programas sociales. La experiencia consolidada y la emergente en el caso de Méxi-
co”, en Revista Gestión y Análisis de Políticas Públicas N° 5, 43-59.
———. (2012a). Evaluación y metaevaluación en las políticas y programas públicos.
El estado del arte. México: UAM-X.
———. (2012b) Sistematización de la experiencia de evaluación de Evalúa DF en
2008. Metaevaluación y autoanálisis. México: UAM-X- Evalúa DF.
———. (mimeo) Institucionalización de procesos de evaluación. Calidad y utilización
de sus resultados, México: UAM-X.
CARDOZO, M. y MUNDO, A. (2012) Guía de orientación para la evaluación de políticas
y programas de desarrollo social. México: Evalúa DF.
CEJUDO, G. (2014) “Implicaciones de la autonomía del Coneval”, disponible en: http://
rendiciondecuentas.org.mx/implicaciones-de-la-autonomia-constitucional-de-cone-
val/, consultada el 03 de septiembre de 2014.
MYRIAM CARDOZO BRUM
34 - primavera-verano 2014/2015
162 STUDIA POLITICÆ
CLEAR (s/f) http://www.clear-la.cide.edu/node/6, consulta efectuada el 12 e diciembre
de 2014.
CONEVAL (2013) “Modelo de términos de referencia para la evaluación específica de des-
empeño 2012-2013”, disponible en: www.google.com/url?q=http://www.coneval.
gob.mx/rw/resource/coneval/EVALUACIONES/NORMATIVIDAD/
TdR_EED_2012/EED_TdR_2012_2013.pdf&sa=U&ei=xd9kVMj6OZWhugS6pY
DoAw&ved=0CAkQFjADOB4&client=internal-uds-cse&usg=AFQjCNFW
z_K8tp0j-3hwDib-7B3AQ4R3nA, consultada el 12 de noviembre de 2014.
CONEVAL (s/f) http://www.coneval.gob.mx, múltiples consultas, última realizada el 17 de
febrero de 2015.
CONEVAL-SHCP-SFP (2007) Lineamientos generales para la evaluación de los pro-
grama federales de la administración pública federal, disponible en: http://
www.coneval.gob.mx/rw/resource/coneval/eval_mon/361.pdf, consultada el 03 de
septiembre de 2014.
EVALÚA DF (2011) Primer informe semestral del estado de las recomendaciones acepta-
das, mimeo.
———. (s/f) http://www.evalua.DF.gob.mx, múltiples consultas, última realizada el 15
de enero de 2015.
GARCÍA y GARCÍA (2010). La gestión para resultados en el desarrollo. Avances y desa-
fíos para América Latina y el Caribe. BID.
LEY GENERAL DE DESARROLLO SOCIAL. Diario Oficial de la Federación, 20 de enero de
2004 (última reforma 07 de noviembre de 2013).
LEY DE DESARROLLO SOCIAL PARA EL DISTRITO FEDERAL. Gaceta Oficial del Distrito Fe-
deral, 23 de mayo de 2000.
PROGRAMA PARA UN GOBIERNO CERCANO Y MODERNO 2013-2018. Diario Oficial de la
Federación, 30 de agosto de 2013.
ROJAS, F. (2013). “Evaluación de desempeño organizacional del Consejo Nacional de
Evaluación de la Política de Desarrollo Social”, disponible en: http://www.coneval.
gob.mx/Informes/Coordinacion/Evaluaciones_auditorias_externas/EDO_Resumen_
Ejecutivo.pdf, consultada el 17 de noviembre de 2014.
SHCP (2012). Evaluación del sistema de presupuesto por resultados 2012, disponible
en: http://www.siap.gob.mx/wp-content/pdf/programas_plan_desarrollo/ayuda.pdf,
consultada el 14 de octubre de 2014.
SZÉKELY, M. (2013). “Evaluación externa de los resultados del Consejo Nacional de
Evaluación de la Política de Desarrollo Social”, disponible en: http://www.
coneval.gob.mx/Informes/Coordinacion/Evaluaciones_auditorias_externas/Informe_
EER.pdf, consultada el 17 de noviembre de 2014.
Fecha de recepción: 02/03/2015
Fecha de aceptación: 30/04/2015
