¿Para qué se evalúan los proyectos, programas y políticas públicas?

¿Para qué se evalúan los proyectos, programas y políticas públicas?
En la gestión pública, el monitoreo y la evaluación se utilizan para analizar y valorar el desempeño, los resultados, los procesos e impactos de una intervención. La información que arrojan ambos mecanismos debe ser institucionalizada e incorporada sistemáticamente a la actividad de los operadores de los proyectos, programas y políticas públicas.

La importancia de realizar evaluaciones radica en que sirven para retroalimentar o mejorar la intervención pública. La experiencia generada durante la intervención facilita la toma de decisiones y permite identificar áreas de oportunidad y así plantear recomendaciones.

¿Por qué se evalúa?
Principalmente se evalúa por cuatro razones (Sttuffebeam y Shinkfiled, 1987): planificación, rendición de cuentas, desarrollo y conocimiento. La primera ayuda en el diseño de los proyectos, programas o políticas públicas; la segunda permite saber en qué y cómo se utilizaron los fondos públicos; la tercera facilita el aprendizaje organizativo y el cambio institucional; y, por último, el conocimiento proporciona una explicación de cómo se desarrollan las intervenciones públicas.

¿Qué tipo de evaluaciones existen?
La siguiente tabla resume los diferentes tipos de evaluación que se pueden aplicar según el objeto de estudio o por el contenido en la evaluación. En el primer caso, cada evaluación se enfoca en un momento determinado del proyecto, programa o política pública, por lo que el tipo de evaluación que se aplicará se determinará según su objetivo. La segunda clasificación, obedece al contenido de la misma, estas se diferencian por su diseño, proceso, resultado o impacto. Incluso puede ser una combinación de varias.

Clasificación de las evaluaciones según momento y contenido

Clasificación Tipo Descripción
Momento de ejecución Ex-ante Se aplica antes de ejecutar una política pública con el objetivo de conocer su adecuación a las necesidades observadas y su grado posible de éxito.
Ex-dure Se realiza durante el periodo de ejecución del programa para analizar cómo este se desarrolla e identificar posibles cuellos de botella.
Ex-post Se puede aplicar durante o al final del periodo de ejecución; proporciona un panorama general sobre los éxitos o fracasos.
Contenido de la evaluación Diseño Analiza el diagnóstico a partir del cual se estableció el programa observando la adecuación entre los objetivos establecidos y los problemas detectados.
Proceso Valora el alcance de los objetivos planteados (eficacia) y el costo en términos de tiempo y recursos (eficiencia).
Resultado Estudia la forma en que se ejecutó el programa y su desempeño global para mejorar su gestión.
Impacto Examina los efectos a largo plazo después de la intervención.
Fuente: Elaboración propia en base a Todd y Wolpin (2006), PNUD (2009) y Cardozo (2012).

 

Las evaluaciones se dividen en etapas y cada una aporta un bloque de elementos que sirven al evaluador para la elaboración de diagnósticos precisos sobre un problema específico, una acción de orden público o un proyecto. También le permiten llegar a conclusiones de interés, así como la formulación de recomendaciones que brindan elementos que abarcan todas las dimensiones que puede involucrar lo que se está evaluando a los tomadores de decisiones en sus resoluciones.

¿Qué se evalúa en México?
El artículo 134 de la Constitución Política de los Estados Unidos Mexicanos señala: los recursos económicos de que disponga el gobierno federal y el gobierno del Distrito Federal, así como sus respectivas administraciones públicas paraestatales, se administrará con eficiencia, eficacia y honradez para satisfacer los objetivos a los que estén destinados.

De esta manera, en México se establece como obligatorio realizar evaluaciones a la ejecución de los programas y presupuestos de las dependencias y entidades, el fin que se persigue es realizar una valoración objetiva del desempeño de los programas.

Desde 2004 se han realizado diversos esfuerzos encaminados a evaluar los programas presupuestarios, y así contribuir a la consolidación de una cultura enfocada en el logro de resultados y la rendición de cuentas.

La Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) son los organismos responsables de la evaluación. El Coneval es responsable de evaluar los programas de desarrollo social que están sujetos a reglas de operación y que entregan subsidios, mientras que los programas restantes pueden ser evaluados por parte de la SHCP y la SFP[1].

Los tipos de evaluación que se realizan son: evaluación de los programas nuevos, evaluación de diseño, evaluación de consistencia y resultados, evaluación de procesos, evaluación de impacto, evaluaciones estratégicas.

Evaluación de los programas nuevos
En el caso de programas nuevo se debe elaborar un diagnóstico que justifique su creación, donde se especifique de qué manera el programa contribuye al cumplimiento de los objetivos estratégicos de la dependencia o entidad. Asimismo durante el primer año de ejecución se debe llevar a cabo una evaluación en materia de diseño, mecanismo de elegibilidad para la selección de los beneficiarios y áreas geográficas.

El CONEVAL ofrece una guía de los elementos mínimos a considerar en la elaboración de los diagnósticos de programas nuevos, entre los que se encuentran: antecedentes, identificación y descripción del problema, objetivos (determinar y justificar los objetivos de la intervención), cobertura, diseño de la intervención y presupuesto. 

Evaluación de Diseño
Este tipo de evaluación va dirigida a los programas de nueva creación, permite saber si su esquema actual contribuye a la solución del problema para el cual fue creado.

Los objetivos específicos de la evaluación son analizar la justificación de la creación y diseño del programa, identificar su vinculación con la planeación sectorial y nacional, identificar a sus poblaciones y mecanismos de atención, analizar la consistencia entre su diseño y su normativa, identificar el registro de operaciones presupuestales e identificar complementariedades y coincidencias con otros programas.

La evaluación se compone de siete apartados y 30 preguntas, las cuales deben ser contestadas mediante un esquema binario (Sí/No), así mismo cada una de las respuestas debe ser sustentada con evidencia documental que debe ser proporcionada por la dependencia o entidad responsable del programa.

Apartado Número de preguntas
Justificación de la creación y del diseño del programa 3
Contribución a las metas y estrategias nacionales 3
Población potencial, objetivo y mecanismos de elegibilidad 6
Padrón de beneficiarios y mecanismos de atención 3
Matriz de Indicadores para Resultados (MIR) 11
Presupuesto y rendición de cuentas 3
Complementariedades y coincidencias con otros programas federales 1

 

Evaluación de Consistencia y Resultados.

Su objetivo es analizar el diseño, la planeación estratégica, la cobertura y focalización, la operación y la percepción de la población beneficiaria y responsables.

La evaluación se conforma de seis temas:

  • Diseño donde se analiza la lógica y congruencia en el diseño del programa, así como su vinculación con el plan sectorial y el nacional. También se busca identificar posibles complementariedades y/o coincidencias con otros programas federales.
  • La planeación estratégica busca identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados.
  • En operación se analizan los principales procesos en la normativa aplicable y los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas.
  • La cobertura y focalización se refiere a examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo.
  • En el tema de percepción de beneficiarios se busca identificar si el programa tiene instrumentos que permitan saber el grado de satisfacción de los beneficiarios.
  • Los resultados se deben enfocar en examinar la actuación del programa respecto a la atención del problema para el que fue creado.

La evaluación se divide en seis temas y 51 preguntas.

Apartado Número de preguntas
Diseño 13
Planeación y orientación de resultados 9
Cobertura y focalización 3
Operación 17
Percepción de la población atendida 1
Medición de resultados 8

 

Evaluación de Procesos

Este tipo de evaluación tiene como finalidad realizar una análisis de la forma en cómo opera el programa, para detectar si tiene lo necesario para el logro de las metas y objetivos del programa. Así como generar recomendaciones para la mejora de los procesos.

Se destacan tres componentes de la evaluación, el primero de ellos se refiere a la descripción de los procesos del programa. El segundo, consiste en identificar y analizar los problemas tanto normativos como operativos que pudieran obstaculizar la gestión del programa. Por último, se analiza si la forma en cómo se articulan los procesos contribuye al logro del objetivo del programa y resultado de esto es posible elaborar recomendaciones.

Durante el desarrollo de la evaluación se involucra el análisis tanto de gabinete como de trabajo de campo.

Evaluación de Impacto

Este tipo de evaluaciones permite medir los efectos que tiene un programa en sus beneficiarios comparándolos con individuos con características similares que no fueron beneficiarios. Para realizar una evaluación de impacto se necesita información de al menos dos momentos del tiempo sobre dos grupos de individuos (beneficiarios y no beneficiarios): antes de la aplicación del programa y después de la misma. Este tipo de evaluación son muy importantes ya que mide los efectos netos del programa sobre los beneficiarios, esta información permite saber si el programa ha sido eficaz para resolver el problema al que está enfocado.

La evaluación debe contener:

  • Antecedente del programa
  • Diseño de la intervención
  • Objetivos de la evaluación
  • Información disponible y fuentes
  • Metodología aplicable

La evaluación de impacto implica mayor tiempo y costo en su desarrollo en comparación con las otras evaluaciones. Es por esto que CONEVAL no define una periodicidad en su aplicación, ésta responde a las necesidades de cada programa y dependencia.

Evaluaciones Estratégicas.

Estas evaluaciones se aplican a un programa o conjunto de programas en torno a las estrategias, políticas e instituciones, sirven para diagnosticar y analizar una problemática pública y la manera en cómo el gobierno la atiende. La información obtenida de estas evaluaciones tiene especial relevancia para los tomadores de decisiones

La evaluación de los proyectos, programas y políticas públicas resulta necesaria para que las ideas y proyectos se concreten, ya que la evaluación puede evitar un diseño erróneo, contar con mecanismo inadecuados para detectar fallas o situaciones que necesitan ser corregidas y la ausencia de datos oportunos y veraces para la toma de decisiones que mejoren la gestión pública. En México poco a poco se ha adquirido una cultura de la evaluación, se han conjunto los esfuerzos de distintos organismo con la finalidad de tener un gasto público que responda a los resultados, y que las decisiones en torno al funcionamiento y modificación de los distintos programas se base en información objetiva y veraz.

Bibliografía

Cardozo Brum, M. (2012). Evaluación y metaevaluación en las políticas y programas públicos. México: Universidad Autónoma Metropolitana, División de Ciencias Sociales y Humanidades.
CONEVAL. Elementos mínimos a considerar en la elaboración de diagnósticos de programas nuevos. Disponible en: http://www.coneval.gob.mx/Informes/Evaluacion/Impacto/Diagnostico_Programas_Nuevos.pdf
PNUD (2009). Manual de planificación, seguimiento y evaluación de los resultados de desarrollo. USA: PNUD.
Todd, P. y K. Wolpin (2006) Ex ante evaluation of social programs.Universidad de Pensilvania.
Disponible en http://www.stanford.edu/group/SITE/archive/SITE_2007/segment_5/todd_exantejul2007. pdf.
SHCP (2015) Modelo de Términos de Referencia para la Evaluación en materia de Diseño. Disponible en: http://www.coneval.gob.mx/rw/resource/coneval/eval_mon/normatividad_matriz/Modelo_de_terminos_de_referencia_evaluacion_diseno_final.pdf
SHCP (2013) Modelo de Términos de Referencia para la Evaluación en materia de Proceso. Disponible en: http://www.coneval.gob.mx/rw/resource/coneval/EVALUACIONES/NORMATIVIDAD/TdR_Procesos_2013/TdR_Pro
[1] http://www.transparenciapresupuestaria.gob.mx/


Polaris Group

En Polaris Group diseñamos y evaluamos políticas públicas con profesionalismo y pasión para mejorar la gestión pública.

Contáctanos

Polaris Group Ciudad de Puebla
Blvd. Esteban de Antuñano # 2702 C.P. 72160
T: (222) 2.11.13.42


Suscríbete