E. Informes de M&E

El monitoreo y evaluación del proceso ENDE son componentes importantes del ciclo ENDE. Aún si algunas de estas tareas son llevadas a cabo en un período específico de tiempo, son consideradas como una herramienta continua que proporciona información importante para poder habilitar plenamente la etapa de gestión durante todo el proceso de la ENDE, y son por lo tanto clasificadas como tareas permanentes. El monitoreo en particular requiere de una constante organización de actividades dirigidas a seguir o alertar a la gerencia sobre problemas potenciales. Los informes son una tarea que tiene que tomarse en cuenta seriamente. 

 
Sin importar el cuidado que se tome en su diseño, la estrategia tendrá éxito solamente si su planificación está llevada a cabo rigurosamente. El Monitoreo y Evaluación de la implementación constituyen un proceso esencial y continuo. Es importante poder saber en cualquier momento, si se está desviando o no del camino deseado y, si así fuera, tomar medidas correctivas apropiadas. Así mismo, la planificación de la implementación se apoya en mecanismos de informes regulares y diversos.

Ya que la creación de una ENDE deberá siempre comenzar con lo que ya existe, las actividades a ser completadas en el primer año de implementación son, en gran medida, “pre-determinadas”. Generalmente consisten ya sea en la continuidad de actividades encaminadas (regulares o no), buscando mejorar la cantidad o calidad de estadísticas para cumplir con requisitos todavía no cumplidos, o en el comienzo de nuevas actividades para las cuales existe financiamiento disponible de fuentes nacionales y/o externas. Por lo tanto, el monitoreo de la ejecución del plan de acción de primer año de una ENDE tiene su propio carácter específico, aunque fuese solamente porque los recursos necesarios están teóricamente disponibles.

 

1. CADENA DE RESULTADOS
Para dar una visión general de la ENDE, se prepara un marco lógico, resaltando las relaciones entre los diferentes elementos (visión, metas, resultados esperados, actividades y medios), y las presunciones subyacentes para la exitosa implementación de la estrategia.

Los medios describen los recursos necesarios para la implementación de actividades. Estos incluyen recursos materiales, recursos humanos, recursos financieros, el marco legal e institucional, etc. Las actividades pueden tomar varias formas: la preparación de guías metodológicas para mejorar la calidad y difusión de datos, evaluación del marco organizativo del SEN, la organización de talleres de capacitación, encuestas y censos, etc. Los productos / resultados (“outputs”) podrán ser publicaciones estadísticas disponibles, mejores series estadísticas, número de estadísticos capacitados, etc. Los resultados (“outcomes”) corresponden a cambios tales como capacidad de producir estadísticas incrementada, mejor diálogo entre usuarios y productores, demanda incrementada de estadísticas, etc. Un ejemplo de resultados de una ENDE está disponible en el siguiente cuadro:

Cadena de resultados ENDE – ejemplos

Metas típicas de ENDE
1.  Aumentar la relevancia de las estadísticas oficiale 2.    Mejorar la gestión basada en evidencia
3.  Mejorar la confianza pública en las estadísticas oficiales 4.    Incrementar financiamiento
Resultados típicos de ENDE
5.    Capacidad nacional estadística incrementad  6.  Satisfacción incrementada del usuario en estadísticas oficiales
7.    Accesibilidad incrementada de estadísticas oficiales  8.  Oportunidad incrementadade estadísticas oficiales
9.   Demanda incrementada de estadísticas oficiales
del sistema estadístico nacional
10. Capacidad institucional mejorada
 11. Diálogo usuarios-productores mejorado 12.  Disponibilidad de estadísticas
 Productos/Resultados típicos de la ENDE
13.   Estadísticas producidas
 
14.   Número de juegos de datos que han seguido protocolos de calidad
15.   Estadísticas producidas incluyendo desgloseporgénero 16.   Adopción de licencia de datos abiertos
17.   Estadísticas producidas bajo estándares internacionale 18. Ética, p.ej.,código de conducta
19.   Mecanismos de coordinación mejorados  
   
Actividades/componentes típicas de una ENDE
20.    Capacitación de personal de SEN 21.    Metodologías desarrolladas
22.    Capacitación de usuarios de datos 23.    Desarrollo de reglamentos y directrices estadísticas
24.    Instalación o desarrollode equipamiento y software TI 25.    Logrando financiamiento para desarrollo estadístico
26.    Desarrollo de un código de conducta  

 

Las Filipinas han puesto en efecto una versión “aerodinámica” que vale la pena mencionar:

 

 

2. MONITOREO Y EVALUACIÓN
Uno puede definir “monitoreo” como un proceso continuo de recolección y análisis de información para juzgar la calidad de implementación de una ENDE. Este proceso informa regularmente a los gerentes y diferentes partes interesadas sobre el progreso y las dificultades en lograr resultados; compara logros con aquellos esperados el inicio, y permite que las partes tomen cualquier medida correctiva necesaria. Un fuerte monitoreo requiere el diseño de un plan desplegado como sigue: luego de haber definido las metas principales a ser logradas, uno debe especificar los indicadores que serán utilizados para monitorear progreso, y recolectar información básica sobre cada indicador para establecer una línea base. Los medios, frecuencia y personas responsables para compilar cada indicador deberán estar claramente definidos. Los indicadores compilados deberán entonces ser evaluado se informes preparados para esbozar tendencias y llegar a un consenso sobre los cambios necesarios a ser implementados con respecto a insumos y actividades, así como resultados y metas. La experiencia muestra que en el proceso de identificación de indicadores, no se presta suficiente atención a la factibilidad y disponibilidad regular de los indicadores. Otra limitación está vinculada a la falta de identificación precisa y sensibilización adecuada de las personas a cargo de compilar los datos.

La evaluación juzgará la relevancia, desempeño y éxito de la ENDE. Revela en qué medida logró sus metas la ENDE. El monitoreo y evaluación constituyen dos procesos inextricablemente unidos. EL monitoreo se enfoca en la implementación de actividades y entrega de productos/resultados. La evaluación tiene que ver con el logro de resultados, los efectos e impactos de una meta global sobre la ENDE; ayuda a extraer lecciones aprendidas y capitalizar sobre la experiencia para una ENDE futura.

EL sistema de evaluación debe incorporar la flexibilidad necesaria para tomar en cuenta los cambios inevitables que ocurrirán durante el período de implementación de la estrategia. Estos cambios podrían resultar en ajustes más o menos significativos a las metas estratégicas seleccionadas y/o el resultado obtenido, lo cual requerirá cambios en el cronograma de actividades y en las actividades en sí. La evaluación deberá identificar cuales resultados esperados no se han logrado y las razones para ello, para poder redirigir la estrategia. La evaluación generalmente incluye dos reuniones claves: una evaluación de medio término, y la evaluación final. La evaluación de medio término permite un análisis de las diferencias entre los resultados registrados y los resultados esperados para poder habilitar los cambios que se deben hacer, incluyendo al cronograma de actividades para la segunda parte del período de estrategia. La evaluación final permite que las lecciones sean aprendidas y que se progrese hacía la construcción de una ENDE futura.

 

En práctica

Quién y Cuándo
El monitoreo y evaluación de la implementación de una ENDE son la responsabilidad de gerentes en los diferentes niveles del sistema estadístico nacional, comenzando con aquellos responsables de llevar a cabo las diversas actividades y aquellos que manejan recursos (humanos, naturales, financieros). La frecuencia del monitoreo dependerá de la preferencia del país. Como regla general la frecuencia es anual o semestral. En forma menos común puede ser llevado a cabo trimestralmente o mensualmente. 

La evaluación se hace durante la fase de diseño (evaluación del SEN) y luego durante la implementación (a medio término final de la ENDE).

El monitoreo está necesariamente vinculado con la preparación de programas de trabajo anuales para cada unidad y para todo el SEN.

Cómo
Un buen marco de monitoreo y evaluación deberá basarse en estándares y prácticas reconocidos internacionalmente. Los indicadores seleccionados deberán ser mensurables. Cada indicador tiene una línea base, una unidad de medición y una meta.

El Cuadro a continuación proporciona una lista de ejemplos de indicadores utilizados en el monitoreo y evaluación de una ENDE:

 Indicador  Unidad de medición
1.    Tiempo entre recolección de datos y difusión deresultados  Tiempo
2.    Proporción de conjuntos de datos (datasets) microdatos  Porcentaje
3.    Número de conjuntos de datos (datasets) que han tenido control de calidad y están designados como Estadísticas Oficiales  Número
Añadir una línea base              
1.    Rezago entre la producción de encuestas y difusión de resultados  6 meses
2.    Proporción de conjuntos de datos ( datasets) microdatosdocumentadosde acuerdoal estándar DDI  40 percent
3.    Número de conjuntos de datos (datasets) que han sido sometidas a control de calidad y están designados como Estadísticas Oficiales  100
Añadir una meta y datos esperados para su finalización
1.    Rezago entre producción de encuestas y difusión de resultados  4 meses (hasta marzo 2014)
2.    Proporción de conjuntos de datos (datasets) microdatosdocumentados de acuerdo al estándar DDI  80 porciento(hasta junio 2014)
3.    Número de conjuntos de datos (datasets) que han sido sometidas a control de calidad y están designados como Estadísticas Oficiales  500 (hasta marzo 2017)

 

PARIS21 ha producido indicadores que pueden ser utilizados para medir la capacidad estadística. Estos incluyen indicadores cualitativos y cuantitativos que permiten que los países lleven a cabo una auto-evaluación o una revisión de semejantes del nivel de desarrollo de su sistema estadístico. Estos comprenden:

  • Indicadores sistémicos que describen las estadísticas que el país publica, su año de referencia y fuente
  • Indicadores cuantitativos relacionados a agencias estadísticas. Para facilitar la referencia cruzada, se recomienda incluir por lo menos las agencias responsables del cálculo del Producto Interno Bruto (PIB), las cifras de población e ingresos/gastos de hogares;
  • Los indicadores cualitativos con relación a series estadísticas. Aquí, nuevamente se recomienda incluir PIB, cifras de población, e ingresos/gastos de hogares para permitir una referencia cruzada internacional.

El Banco Mundial y la Comisión Económica para África de la ONU también han desarrollado indicadores de capacidad estadística.

Normalmente las ENDEs son evaluadas en el medio término y al final de la implementación. Con frecuencia se contrata a consultores independientes para que lleven a cabo esta evaluación con términos de referencia bien definidos. Los términos de referencia pueden ser considerados como una herramienta de evaluación de gestión en el sentido de que:

- describen las metas de evaluación que pueden diferir dependiendo si es una evaluación del medio término, o final;
- son útiles en determinar hasta qué punto la evaluación fue llevada a acabo exitosamente;
- legitiman las tareas asignadas al consultor de evaluación.

Dado su rol como una herramienta de evaluación de gestión, los términos de referencia generalmente se discuten y aprueban por un grupo de trabajo o comité de dirección. Estos son anexados al contrato del consultor.

 

3. REVISIÓN DE SEMEJANTES
Las revisiones de semejantes se usan con mayor frecuencia para evaluar el sistema estadístico de una nación, un cuerpo estadístico oficial o una ENDE. Son unos ejercicios amigables que se realizan mayormente en confianza mutua entre países y con una confianza común en el proceso. Son conducidos por “semejantes”, en otras palabras por gerentes de SENs que colaboran con sus contrapartes en otro país. El marco metodológico puede ser los Principios Fundamentales de Estadísticas Oficiales de la ONU o su equivalente en un nivel regional o continental: el Código Europeo de Prácticas Estadísticas; Constitución Africana sobre Estadísticas, etc.

La revisión de semejantes evalúa el funcionamiento de todos los aspectos de un SEN (institucionales, organizativos, producción estadística, mecanismos, etc.), identifica fortalezas y debilidades, hace recomendaciones sobre mejoramiento de desempeño y ayuda a compartir buenas prácticas. Las evaluaciones de semejantes se hacen públicas, en principio.

La revisión de semejantes sugiere que los evaluadores sean gerentes de SENs lo que significa que generalmente son estadísticos. Sin embargo, el punto de vista de otros actoreses un elemento muy necesario en una evaluación y los usuarios deberían estar involucrados en el proceso para diversificar los puntos de vista, incluyendo usuarios de fuera del SEN. 

 

En práctica

Quién y Cuándo
En contraste a la evaluación de una ENDE o, en términos más generales, de un sistema estadístico nacional u organización de estadísticas pública-la cual puede ser definida dentro de la legislación apropiada-, la revisión de semejantes ocurre por la iniciativa de las personas responsables directamente afectadas (p.ej., el Director(a) de la oficina estadística central). Por lo tanto, la revisión de semejantes de una ENDE puede llevarse a cabo durante el proceso de su preparación, preferiblemente para coincidir con una evaluación del SEN para dar acceso a las observaciones, análisis y recomendaciones de un equipo, y así permitir la preparación de estrategias para el mejoramiento de capacidades sobre la base más objetiva posible.

Cómo
Además de los semejantes en el verdadero sentido de la palabra (es decir, gerentes sénior en otras estructuras nacionales) el equipo responsable de la revisión de semejantes puede buscar consultores independientes (ase gurándose de que los usuarios sean debidamente representados), quienes, a diferencia de los revisores semejantes, serán pagados. Este fue el caso de las revisiones de semejantes conducidas en África con el apoyo del Secretariado de PARIS21. Como parte de la estructura adoptada, se preparó una guía para los revisores semejantes, para describir los principales factores a ser tomados en consideración. El marco metodológico de referencia consiste en los Principios Fundamentales de Estadísticas Oficiales de la ONU y la Constitución Estadística Africana que representa su implementación en África.

La revisión de semejantes se conduce como una serie de entrevistas con la gerencia superior del cuerpo estadístico central y con otras personas escogidas en un muestreo de otros servicios que producen estadísticas públicas, usuarios de estadísticas nacionales, y socios técnicos y financieros. En base a la guía, estas entrevistas cubren: el marco legal y regulatorio que gobierna las actividades estadísticas; la estructura de producción de estadísticas (incluyendo recursos humanos, materiales y financieros); y el análisis, distribución, almacenamiento y archivo de datos estadísticos. Se presta particular atención a la independencia profesional de los estadísticos (independencia en escoger conceptos, definiciones, nomenclaturas y métodos; integridad, e imparcialidad de los servicios públicos de estadísticas), la calidad de los datos, la satisfacción de los usuarios y los procesos de preparación, implementación, monitoreo y evaluación de la ENDE en marcha, donde fuese apropiado. En base a sus observaciones, el equipo examinador analiza las fuerzas y debilidades, oportunidades y amenazas, y elabora sus recomendaciones. Un informe de la revisión de semejantes–que cubre todos estos elementos- será publicado al final del proceso. 

 

4. SISTEMA DE INFORMES
Informar es una parte integral de cualquier marco de monitoreo y evaluación. Su meta principal es proporcionar y publicar información amplia y regular sobre la implementación de la ENDE o cualquier otro programa. De hecho, durante los diversos años de implementación de la ENDE (generalmente de tres a seis años), pueden surgir cambios más o menos considerables que requieran modificaciones en las metas, resultados esperados o actividades. Estas modificaciones son decididas por los gerentes del SEN, o aún por autoridades políticas. Las últimas deberán recibir información oportuna y análisis para tomar una decisión inteligente. El rol del sistema de informes es proporcionar dicha información.

 

 En la práctica

Quién y Cuándo
Los diferentes países tendrán diferentes niveles de sofisticación en sus sistemas de informes. En todos los sistemas, sin embargo, el cuerpo estadístico central debería producir (o supervisar/coordinar la producción de) informes anuales a nivel nacional para proporcionar una actualización sobre el progreso de la implementación de la ENDE, un resumen de las dificultades encontradas y soluciones propuestas. En un sistema sofisticado de informes, esto puede incluir informes semestrales, trimestrales y hasta mensuales. Estos informes son producidos generalmente por las diversas agencias involucradas directamente en la implementación de la ENDE.

Cómo
Se generan informes anuales en base a los informes producidos por los diversos servicios y agencias que producen estadísticas oficiales en un modelo estándar para facilitar su combinación. Estos son examinados por el cuerpo coordinador oficial del SEN (el consejo estadístico nacional o su equivalente). En algunos países las conclusiones y recomendaciones resultantes de esta evaluación serán presentadas al gobierno.  

Los informes emitidos semestralmente, trimestralmente o hasta mensualmente, son examinados a un nivel cercano a los servicios y agencias que producen estadísticas Esto podría significar comisiones ministeriales o sectoriales, compuestas de técnicos directamente involucrados en la producción de estadísticas.

 

5. DIFICULTADES ENCONTRADAS POR LOS PAÍSES EN DESARROLLO

De lo anterior se deduce que la calidad de los sistemas de monitoreo y evaluación (incluyendo informes) depende en gran manera de los arreglos institucionales existentes para el diseño de la ENDE y el monitoreo de su implementación. Es en este nivel que los países en desarrollo se enfrentan a una de las principales dificultades. De hecho, los sistemas institucionales existentes en dichos países tienen muchas falencias:

  • reúnen regularmente y se reportan a la autoridad que los nombra, otros cuerpos de coordinación y consulta, p. ej. comisiones usuario-productor, tienden a reunirse con poca frecuencia por varias razones, incluyendo las siguientes: generalmente la composición de estas comisiones es inapropiada; las agendas para las reuniones no son muy interesantes; especialmente con relación a los usuarios de datos, las invitaciones a las reuniones no se mandan a tiempo; hay falta de interés de algunos gerentes del SEN, y (a veces) por falta de recursos financieros
  • En algunos casos, las leyes estadísticas sí establecen un cuerpo para coordinación oficial, como un Consejo Estadístico Nacional, pero las reglamentaciones de implementación no siempre están adecuadas a su eficiente funcionamiento. Un Consejo Estadístico Nacional encabezado por el Primer Ministro y compuesto de ministros, con frecuencia tiene dificultades para reunirse según calendario. De la misma manera, el Consejo Estadístico Nacional encabezado por el ministro responsable de estadísticas y compuesto de otros ministros luchará para funcionar óptimamente sin la mayoría de los miembros presentes.

Otra gran dificultad se encuentra sencillamente en la ausencia de un sistema relevante de monitoreo y evaluación. Cuando se menciona tal sistema en la ENDE, con frecuencia está apenas descrito. En particular uno no encuentra toda la batería de indicadores relativos a metas, resultados, productos / resultados y actividades, lo cual hace que cualquier monitoreo y evaluación confiables sean imposibles.

Para vencer las grandes dificultades mencionadas, es importante asignar suficientes recursos a los cuerpos de coordinación y consulta, ya sea al financiarlos a través de un ítem presupuestario específico, o a través de recursos del Fondo Nacional de Desarrollo Estadístico en aquellos países donde existe tal fondo, o donde se esté creando. Finalmente es importante, en los países en cuestión, revisar y/o completar las determinaciones legislativas o regulatorias en efecto.