Los Sistemas de Monitoreo:

Teoria y Práctica

Alejandro Medina Giopp Julio 21-22, 2014

Los Sistemas de Monitoreo:

Teoria y Práctica

Conceptos y elementos que

constituyen un Sistema Nacional de

Monitoreo

Los Sistemas de Monitoreo: Contexto

Los SM&E son componentes de estrategias de modernización de la gestión pública, buscan contribuir a evitar:

• Crisis Fiscal: Si el monto de recaudaciones de tasas, derechos e impuestos es menor que el gasto corriente hay déficit fiscal, si esto es recurrente, hay crisis fiscal. Lo que presiona a “hacer mas con menos” (incremento de productividad) y mejorar la política fiscal.

• Crisis de legitimidad: se expresa en baja calidad y cobertura de servicios públicos, corrupción, déficit legalidad, baja rentabilidad social del gasto e inversión pública.

A través de SM&E: consecuencias: informe la asignación de recursos, mejora de la gestión de programas, instituciones (productividad) y mayor rendición de cuentas.

Conceptos

Sistema Nacional de Monitoreo

“Conjunto integrado de principios, prácticas gerenciales/ institucionales y técnicas….

Principios:

• Continuidad en la colecta de datos

• Síntesis sobre desviaciones de la programación (y pertinencia program)

• Retroalimentacion sobre hallazgos

Prácticas gerenciales/ institucionales:

• Informar al ciclo presupuestal (tiempo legales)

• Ranking desempeño institucional y de programas

• Uso de la evidencia: reuniones ministeriales (metas presidenciales y seguimiento a PND), informes a Congreso, etc.

Herramientas:

• Estimaciòn de eficacia, eficiencia y calidad de producción institucional; marco de gasto de mediano plazo; planes indicativos, evaluacion de calidad de las estadísticas, medición de productividad en la entrega de servicios, tableros de control de gestion, enfoque de marco lógico, etc.

Conceptos

Sistema Nacional de Monitoreo

“.. que permiten generar reportes continuos del desempeño de la gestión pública..”

Desempeño de:

• Proyectos: sistemas de inversión pública (ex ante, seguimiento, ex post).

• Programas: eficacia, eficiencia, calidad, productividad, focalización.

• Instituciones: modelo organización y gestión (procesos)

• Funcionario públicos: Servicio civil y carrera administrativa. Desempeño servidores públicos.

• Muy importante el tipo y estructura de los Reportes (hallazgos, explicación desviaciones, recomendaciones).

Conceptos

Sistema Nacional de Monitoreo

“.. orientados a mejorar la asignación de recursos en el proceso

presupuestal, la rendición de cuentas, y la gestión pública..” (!! Que

genere Consecuencias!!)

Hallazgos y recomendaciones útiles para:

• Asignación/ reasignación de recursos presupuestales.

• Ajustar el diseño y la gestión de instituciones, programas y

proyectos.

• Mejorar la difusión de resultados y la rendición de cuentas.

De no haber consecuencias, el sistema no es útil. No agrega valor.

Conceptos

Recapitulando: Un sistema Nacional de Monitoreo es:

“Conjunto integrado de pincipios, prácticas gerenciales y

técnicas que permiten generar reportes continuos del

desempeño de la gestión pública; orientados a mejorar la

re-asignación de recursos en el proceso presupuestal, la

rendición de cuentas, y la gestión pública, para constribuir

a la mejora del Bienestar”.

Monitoreo y Evaluación Evaluación Monitoreo

Foco Políticas y Programas. Programas, proyectos,

instituciones, servidores

públicos.

Tiempo Episódico. Periódico.

Métodos Predominantemente

Cuantitativo.

Cuantitativo y

cualitativo.

Alcance Impacto y resultados de

las intervenciones

públicas.

Producción institucional

entregada a usuarios y

beneficiarios, y las

actividades y procesos

de su producción..

Conceptos

Piezas clave: Sistema Nacional de Monitoreo • Un sistema nacional de monitoreo, se constituye de diversas piezas

clave y parte de ciertas condiciones mínimas para poder

consolidarse.

• A continuacion se presentan 12 piezas clave derivadas de la práctica

de Monitoreo en diversos paises, Las piezas de ordenan en 3 niveles:

• Nivel básico: Existencia de condiciones básicas y operación minima.

• Nivel intermedio: El sistema posee articulaciones institucionales

adecuadas.

• Nivel Avanzado: normas, metodologías y prácticas consolidadas y

evidencia de consecuencias.

Nivel Básico

SNP y

Planes

Agenda de

Evaluación

Elementos clave PND

• Proyección Macroeconómica y

Marco Fiscal de Mediano Plazo

• Estrategia de Reducción de

Pobreza

• Priorización de Objetivos

• Vínculo a Presupuesto

• Consenso / Consulta

• Metas e indicadores (IPS, IOH,

PM, IDH, MDG etc.)

• Difusión y eventos públicos

Agenda Nacional de Evaluación

• Prioridades del PND y metas

presidenciales

• Definición de unidades de

evaluación (qué de va a evaluar):

Programas, Proyectos,

Instituciones, Funcionarios

• Definición de Mecanismos de

Evaluación (cómo?) y evaluadores

(quienes?)

• Definición de Fuentes de

Financiamiento de evaluaciones

• Uso de los resultados

Nivel Básico

SNP y

Planes

Agenda de

Evaluación

Consolidación

Producción

institucional

Consolidación Producción

Institucional

• El monitoreo se concentra en

actividades, productos (B/S)

entregados a usuarios y

beneficiarios.

• Se requieren herramientas para

estandarizar la definición de

productos, unidades medida,

indicadores y metas

• Importante rol de los POAs

• Marcos de Gasto de Mediano

Plazo (Sectorial) / Sistematización

de la Evaluación de Programas

Reporte Regulares de Produccion de

Bienes y Servicios

• Usualmente solo se mide Eficacia, es

decir cumplimiento de entrega B/S

• Eficiencia menos frecuente (costos

indicativos)

• Calidad poco realizada (mayor

demanda Clase Media y clave 20%

mas pobre), estándardes / satisfacción

• Productividad en producción y entrega

B/S (poco explorado)

Reportes

Regulares B/S

EECPF

Nivel Básico

SNP y

Planes

Agenda de

Evaluación

Consolidación

Producción

institucional

Marco Normativo

Reformas legales:

• Planeación; Hacendaria y Fiscal;

• Acceso a la Información Pública,

• Control Interno; Sistema Estadístico,

• Transparencia y Acceso a Información Pública, etc.

Relevancia de la adecuada Reglamentación

Lineamientos concretos de aplicación a entidades y

dependencias de la Administración pública

Normas y estándares sobre un resultado esperado, mas

que sobre metodologìas especificas.

Reportes

Regulares B/S

EECP

Marco normativo

Lineamientos

Nivel Intermedio

Conexión Presupuestal

• Integrar Planificación y Prespuesto

• PND puede leerse en la Estrutura

Presupuestal

• Unificar Catálogos de Productos

Planeación / Programación y

Presupuestacion

• Alineación estructura Programas

Presupuestales vs Programa

Gerenciales (Ep Central y Sectorial)

• Capacidad de reportar gasto,

productos entregados y beneficiarios

Conexión a Inversión Pública

• Es el antecedente mas

importante de los SNM&E

• Experiencia acumulada en

evaluación (ex ante/ seguimiento)

• Integrar inversión de gasto de K

con gasto corriente NK

• Opción para potenciar acciones

de Monitoreo desde proyectos

(por sector, y agregación)

• Programa como artculador de

proyectos.

Conexión a

Proceso

Presupuestal

Conexión a

Sistema Inversión

Pública

Nivel Intermedio

Conexión Función Pública

• Evaluación del desempeño institucional:

Programas de Mejora de la Gestión Pública.

• Evaluación del desempeño de los

funcionarios públicos (agenda por consolidar,

sin sistematizacion y consecuencias por

desempeño),

• Articular los mecanismos de control interno al

sistema de monitoreo (seguimiento de las

recomendaciones de gestión,

retroalimentación). CI como aliado de

gestion. Evitar superponer funciones.

Conexión a

Proceso

Presupuestal

Conexión a

Sistema

Inversión

Publica

Conexión a

Función Pública

y Control Interno

Problemas Frecuentes

Problema Descripción

Clasificadores Uso no regular de clasificadores, por ejemplo municipios, entidades federativas, etc. Estaban como variables alfanuméricas y no utilizaban la codificación numérica de los INEs. Otras variables que eran sujetas de codificación no se encontraban codificadas, lo que impedía hacer análisis de frecuencia.

Escaso potencial de aprovechamiento estadístico de los archivos

Los archivos de varios programas tenía todas, o casi todas las variables de tipo alfanumérico (texto) lo que es inútil para su trabajo estadístico. Algunas de éstas fácilmente pudieron ser convertidas durante el taller en variables numéricas.

Casos perdidos Algunas variables en varios archivos se identificaron con un alto porcentaje de casos perdidos. En algunos casos de más del 50%, y sin existir información sobre si son blancos o saltos de pregunta.

Ausencia de metadatos

Archivos de datos sin metadatos básicos a nivel general y de variables

Identificadores Sin identificación de variables clave en los archivos.

Ausencia de microdatos

En varios casos los archivos no tienen microdatos sino datos agregados que provienen de municipios, estados o delegaciones regionales del programa, pero no se constituyen como archivos de microdatos. Esto sucede ya que los programas son más consolidadores de información que productores

Nivel Intermedio

Conexión al Sistema Estadístico Nacional

Conexión fundamental….

• Calidad de las estadísticas básicas: Encuestas

y Censos para la construcción de indicadores

Especial atención a la mejora de los registros

administrativos.

• Necesidad de capacitación para fortalecer los

RRAA; Evaluar la Calidad de los RRAA y de

INTEGRARLOS. Conexión a microdatos

• Rol protagónico de INEGI, Sedes regionales y

estatales y Unidades Estadísticas de Entidades

públicas..

Conexión a

Proceso

Presupuestal

Conexión a

Sistema

Inversión

Publica

Conexión a

Función Publica

Conexión al

Sistema

Estadístico

Nacional

Evaluación de Calidad de Indicadores en los

Sistemas de Monitoreo

• En relación a la Calidad de los Indicadores, diversas iniciativas

aplican el criterio CREAM para valorar la CALIDAD al definir los

indicadores y SMART para evaluar la CALIDAD de las metas

asociadas.

• Iniciativas de M&E como CONEVAL México o MEPYD en

República Dominicana, han desarrollado guías específicas para

la aplicación de dichos criterios.

CLARO

RELEVANTE

ECONÓMICO

MONITOREABLE

ADECUADO

S Específico

M Medible

A Acordado

R Realistas

T Limitado en el

tiempo

La evaluación de las fuentes de

información

• CREAM/SMART son herramientas Necesarias pero no

Suficientes para valorar la Calidad de un Indicador.

• La experiencia al evaluar indicadores en varios países es:

Indicadores y metas cada vez mejor definidos pero

basadas en archivos de datos inconsistentes,

incompletos y poco confiables. En especial en RRAA

Evaluación de fuentes de información

• El indicador tiene Verde en CREAM y SMART.

• Indicador y metas están bien definidas.

¿Es suficiente?

Var 1

Var 2Indicador A =

Descripción: Mide el grado de

desnutrición de los niños de 6 a 14 años

matriculados en los Colegios del Estado de

Nayarit. Año 2013

SMARTCREAM

Importancia de Evaluación de fuentes de

información

Var 1

Var 2Indicador A =

Descripción: Mide el grado de

desnutrición de los niños de 6 a 14 años

matriculados en los Colegios del Estado de

Nayarit. Año 2013

SMARTCREAM

ARCHIVOS DE DATOS

(Excel; SPSS;Stata,

DBF, etc.)

FUENTES DE

INFORMACIÓNv1 v2 v3 v4

Hombre 2 3 5

Hombre 22 22 21

Mujer 2 4 2

v1 v2 v3 v4

Calvillo 2 3 5

San Fco 22 22 21

Calvillo 2 4 2

Agostadero 56 43 23

Nivel Avanzado

Sistema Único de Identificación de

Beneficiarios / Sistema Integrado de

Padrones de Beneficiarios

• Base de datos de hogares pobres en el

país y Padròn de Hogares Elegibles.

• Sistema integrado de Beneficiarios de

los diversos programas públicos

• Responder con el Monitoreo que se

produce (B/S), que se entrega y a quién.

• Reportar gasto por tipo de beneficiario

(Gasto anual en tercera edad, menores

de 5 años, etc.) y focalizacion (exclusión

y exclusión)

Sistemas Único

de Identificación

de Beneficiarios

Nivel Avanzado

Expansión a Nivel Territorial

Sistemas Federales / Sistemas Uniatarios

• Coordinacion / inducción a nivel territorial

del modelo nacional de Monitoreo.

• Alineación planes territoriales, a

sectoriales y nacionales.

• Consolidación de información nacional y

territorial.

• Desarrollo de capacidades locales de

Monitoreo.

• Aprovechamiento de registros

administrativos de nivel local.

Sistemas Único

de Identificación

de Beneficiarios

Expansión a

nivel territorial

Nivel Avanzado

Triangulación de Resultados

• Valorar toda la información del

desempeño sobre las prioridades del

Gobierno: Por ejemplo Mejoras en la

educación inicial

• Establecer conclusiones y definir

estrategias que atiendan a las diversas

dimensiones del desempeño

• Medir las consecuencias de la

intervenciòn..!!!

Sistemas Único

de Identificación

de Beneficiarios

Expansión a

nivel territorial

Triangulación

Resultados

(reporte

ejecutivo)

Educación

Evaluacion de Programas

Educativos

Evalu

ació

n d

eF

uncio

nario

sE

ducativ

os

Evalu

ació

n M

inisterio

de E

duca

ción

Evaluación de proyectos

de inversión educativa

Nivel Avanzado

Consecuencias

• Debe contarse con Estrategias para el Uso de la Evidencia. Foco

en Recomendaciones: Pertinencia, complejidad, costos, etc.

• Asignación presupuestal informada.

• Mejora en la gestión de programas, proyectos e instituciones.

• Mejora en la difusión del información y rendición de cuentas,

• Si el sistema de Monitoreo NO LOGRA nada de esto… no

agrega valor a la modernizacion de la gestión pública ni al

bienestar.

Sistemas Único

de Identificación

de Beneficiarios

Expansión a

nivel territorial

Consecuencias

Triangulación

Resultados

Todos los Niveles

SNP y

Planes

Agenda de

Evaluación

Consolidación

Producción

institucional

Reportes

Regulares B/S

EECP

Marco normativo

Lineamientos

Conexión a

Proceso

Presupuestal

Conexión a

Sistema

Inversión

Publica

Conexión a

Función Publica

Conexión al

Sistema

Estadístico

Nacional

Sistemas Único

de Identificación

de Beneficiarios

Expansión a

nivel territorial

Consecuencias

Triangulación

Resultados

Posible usos del enfoque

• Realizar diagnósticos de sistemas nacionales de monitoreo (12 Piezas).

• Identificar Planes de Acción para el fortalecimiento de Sistemas Nacionales.

• Sistematizar prácticas y herramientas por componentes o piezas.

• Los más relevante:

• Evaluar y tener evidencia de las Consecuencias del uso del sistema nacional de monitoreo.

Diagnóstico rápido

SNP y

Planes

Agenda de

Evaluación

Consolidación

Producción

institucional

Reportes

Regulares B/S

EECP

Marco normativo

Lineamientos

Conexión a

Proceso

Presupuestal

Conexión a

Sistema

Inversión

Publica

Conexión a

Función Publica

Conexión al

Sistema

Estadístico

Nacional

Sistemas Único

de Identificación

de Beneficiarios

Expansión a

nivel territorial

Consecuencias

Triangulación

Resultados

Muchas gracias

amedinagiopp@worldbank.org