E. Monitoreo, evaluación, informes

El monitoreo y evaluación del proceso ENDE son componentes importantes del ciclo. Aún si algunas de estas tareas son realizadas en un período específico de tiempo, son consideradas como una herramienta que alimenta continuamente la etapa de gestión a lo largo del proceso ENDE con información importante, y son por lo tanto clasificadas como tareas esenciales. El monitoreo en particular requiere de una constante organización de actividades dirigidas a seguir o alertar a la gerencia sobre problemas potenciales. Los informes son una tarea que tiene que tomarse seriamente. 

 
Sin importar el cuidado que se tome en su diseño, la estrategia tendrá éxito solamente si su ejecución se planifica rigurosamente. El Monitoreo y Evaluación de la implementación constituyen un proceso esencial y continuo. Es importante poder saber en todo momento, si se está desviando o no del camino deseado y, si así fuera, tomar medidas correctivas. Siguiendo esta línea, la planificación de la implementación se sostiene en mecanismos de informes regulares y diversos.

Ya que la creación de una ENDE deberá siempre comenzar con ya lo existente, las actividades a ser completadas en el primer año de implementación son, en gran medida, “pre-determinadas”. Generalmente consisten ya sea en la continuidad de actividades encaminadas (regulares o no), apuntando a mejorar la cantidad o calidad de estadísticas para cumplir con requisitos aún incumplidos, o en el comienzo de nuevas actividades para las cuales ya se dispone de financiamiento nacional y/o externo. Por lo tanto, el monitoreo de la ejecución del plan de acción de primer año de una ENDE tiene su propio carácter específico, aunque fuese solamente porque los recursos necesarios están teóricamente disponibles.

 

1. CADENA DE RESULTADOS
Para dar una visión general de la ENDE, se prepara un marco lógico, resaltando las relaciones entre los diferentes elementos (visión, objetivos, resultados esperados, actividades y medios), y las presunciones subyacentes para la exitosa implementación de la estrategia.

Los medios describen los recursos necesarios para la implementación de actividades. Estos incluyen recursos materiales, humanos, financieros, el marco legal e institucional, etc. Las actividades pueden tomar varias formas: la preparación de guías metodológicas para mejorar la calidad y difusión de datos, evaluación del marco organizativo del SEN, la organización de talleres de capacitación, encuestas y censos, etc. Los productos (“outputs”) podrán ser publicaciones estadísticas disponibles, mejores series estadísticas, número de estadísticos capacitados, etc. Los resultados (“outcomes”) corresponden a cambios tales como mayor capacidad de producir estadísticas, mejor diálogo entre usuarios y productores, demanda incrementada de estadísticas, etc. Un ejemplo de resultados de una ENDE está disponible en el siguiente cuadro:

Cadena de resultados ENDE – ejemplos

Metas típicas de ENDE
1.  Aumentar la relevancia de las estadísticas oficiale 2.    Mejorar la gestión basada en evidencia
3.  Mejorar la confianza pública en las estadísticas oficiales 4.    Incrementar financiamiento
Resultados típicos de ENDE
5.    Mayor capacidad nacional estadística  6.  Mayor satisfacción del usuario de estadísticas oficiales
7.    Accesibilidad incrementada de estadísticas oficiales  8.  Mayor puntualidad de las estadísticas oficiales
9.   Incremento en la Demanda de estadísticas oficiales del sistema nacional 10. Capacidad institucional mejorada
 11. Mejor diálogo usuarios-productores 12.  Disponibilidad de estadísticas
 Productos/Resultados típicos de la ENDE
13.   Estadísticas producidas
 
14.   Número de conjuntos de datos que han seguido protocolos de calidad
15.   Estadísticas producidas incluyendo desglose en género 16.   Adopción de licencia de datos de libre acceso
17.   Estadísticas producidas bajo estándares internacionale 18. Ética, p.ej.,código de conducta
19.   Mecanismos de coordinación mejorados  
   
Actividades/componentes típicas de una ENDE
20.    Capacitación de personal de SEN 21.    Metodologías desarrolladas
22.    Capacitación de usuarios de datos 23.    Desarrollo de reglamentos y directrices estadísticas
24.    Instalación o desarrollode equipamiento y software informático 25.    Recaudación para el desarrollo estadístico
26.    Desarrollo de un código de conducta  

 

Las Filipinas han creado una versión “aerodinámica” que vale mencionar:

 

 

2. MONITOREO Y EVALUACIÓN
Se puede definir “monitoreo” como un proceso continuo de recolección y análisis de información para juzgar la calidad de implementación de una ENDE. Este proceso informa regularmente a los gerentes y diferentes partes interesadas sobre el progreso y las dificultades de alcanzar resultados; compara los logros con aquellos proyectados al inicio, y permite que las partes tomen medidas correctivas. Un riguroso seguimiento requiere del diseño de un plan diseñado del siguiente modo: luego definir las metas principales, se deberá especificar qué indicadores se utilizarán para monitorear el progreso, y recolectar información básica sobre cada uno para establecer una línea de base. Los medios, frecuencia y personas responsables para compilarlos deberán estar claramente definidos. Los indicadores deberán ser evaluados, y se deben preparar reportes para esbozar tendencias y llegar a un consenso sobre los cambios necesarios respecto de insumos y actividades, así como resultados y metas. La experiencia muestra que en el proceso de identificar indicadores, no se presta suficiente atención a su viabilidad y regularidad. Otra limitación está vinculada a la falta de identificación precisa y sensibilización adecuada de las personas a cargo de compilar los datos.

La evaluación juzgará la relevancia, desempeño y éxito de la ENDE. Revelará en qué medida las metas han sido logradas. Esta etapa se encuentra unida indisolublemente a la de monitoreo. La última se enfoca en la implementación de actividades y entrega de productos. La evaluación tiene que ver con el logro de resultados, los efectos e impactos de una meta global sobre la ENDE; ayuda a extraer lecciones aprendidas y capitalizar sobre la experiencia para una futura.

El sistema de evaluación debe incorporar la flexibilidad necesaria para tomar en cuenta los cambios inevitables que ocurrirán durante el período de implementación de la estrategia. Estos podrán resultar en ajustes más o menos significativos a las metas estratégicas seleccionadas y/o el resultado obtenido, lo cual requerirá cambios en el cronograma y en las actividades en sí. La evaluación deberá identificar qué expectativas no han sido cumplidas y por qué, para poder redirigir la estrategia. Se incluyen generalmente dos reuniones clave en este proceso: una de medio término, y una final. La evaluación de medio término permite analizar las diferencias entre los resultados registrados y los esperados, permitiendo realizar cambios, incluyendo al cronograma de actividades para la segunda parte del período de la estrategia. La final permite fijar las lecciones aprendidas y progresar hacía la elaboración de una futura ENDE.

 

En práctica

Quién y Cuándo
El monitoreo y evaluación de la implementación de una ENDE son la responsabilidad de gerentes en los diferentes niveles del sistema estadístico nacional, comenzando con aquellos responsables de llevar a cabo las diversas actividades y aquellos que manejan recursos (humanos, naturales, financieros). La frecuencia del monitoreo dependerá de la preferencia del país. Generalmente se realiza anual o semestralmente. Ocasionalmente, en forma trimestral o mensual. 

La evaluación se hace durante la fase de diseño (evaluación del SEN) y luego durante la implementación (a medio término final de la ENDE).

El monitoreo está necesariamente vinculado con la preparación de programas de trabajo anuales para cada unidad y para todo el SEN.

Cómo
Un buen marco de monitoreo y evaluación deberá basarse en estándares y prácticas reconocidos internacionalmente. Los indicadores seleccionados deberán ser medibles. Cada indicador tiene una línea de base, una unidad de medición y una meta.

El Cuadro a continuación proporciona una lista de ejemplos de indicadores utilizados en el monitoreo y evaluación de una ENDE:

 Indicador  Unidad de medición
1.    Tiempo entre recolección de datos y difusión deresultados  Tiempo
2.    Proporción de conjuntos de datos (datasets) microdatos  Porcentaje
3.    Número de conjuntos de datos (datasets) que han tenido control de calidad y están designados como Estadísticas Oficiales  Número
Añadir una línea base              
1.    Rezago entre la producción de encuestas y difusión de resultados  6 meses
2.    Proporción de conjuntos de datos ( datasets) microdatosdocumentados de acuerdo al estándar DDI  40 percent
3.    Número de conjuntos de datos (datasets) que han sido sometidos a control de calidad y están designados como Estadísticas Oficiales  100
Añadir una meta y datos esperados para su finalización
1.    Rezago entre producción de encuestas y difusión de resultados  4 meses (hasta marzo 2014)
2.    Proporción de conjuntos de datos (datasets) microdatos documentados de acuerdo al estándar DDI  80 porciento(hasta junio 2014)
3.    Número de conjuntos de datos (datasets) que han sido sometidos a control de calidad y están designados como Estadísticas Oficiales  500 (hasta marzo 2017)

 

PARIS21 ha producido indicadores que pueden ser utilizados para medir la capacidad estadística. Entre ellos hay tanto cualitativos como cuantitativos, que permiten a los países llevar a cabo una auto-evaluación o una revisión por pares respecto del nivel de desarrollo de su sistema estadístico. Estos comprenden:

  • Indicadores sistémicos que describen las estadísticas publicadas por el país, su año de referencia y fuente
  • Indicadores cuantitativos relacionados a agencias estadísticas. Para facilitar la referencia cruzada, se recomienda incluir por al menos: qué agencias son responsables del cálculo del Producto Interno Bruto (PIB), las cifras de población e ingresos/gastos de hogares;
  • Los indicadores cualitativos de series estadísticas. Aquí, nuevamente se recomienda incluir PIB, cifras de población, e ingresos/gastos de hogares para permitir una referencia cruzada internacional.

El Banco Mundial y la Comisión Económica para África de la ONU también han desarrollado indicadores de capacidad estadística.

Normalmente las ENDEs son evaluadas en el medio término y al final de la implementación. Con frecuencia se contrata a consultores independientes con términos de referencia bien definidos. Estos pueden ser considerados como una herramienta de evaluación de gestión en el sentido de que:

- describen las metas, que pueden diferir dependiendo si es una evaluación de medio término, o final;
- son útiles en determinar hasta qué punto fue llevada a acabo exitosamente;
- legitiman las tareas asignadas al consultor.

Debido a esta función, los términos de referencia generalmente se discuten y aprueban por un grupo de trabajo o comité de dirección. Estos son anexados al contrato del consultor.

 

3. REVISIÓN POR PARES
Las revisiones por pares se usan con mayor frecuencia para evaluar el sistema estadístico de una nación, un cuerpo estadístico oficial o una ENDE. Son unos ejercicios cordiales que se realizan en confianza tanto mutua entre países como en el proceso. Son conducidos por “semejantes”, en otras palabras por gerentes de SEN que colaboran con sus contrapartes en otro país. El marco metodológico puede ser los Principios Fundamentales de Estadísticas Oficiales de la ONU o su equivalente en un nivel regional o continental: el Código Europeo de Prácticas Estadísticas; Constitución Africana sobre Estadísticas, etc.

Esta revisión evalúa el funcionamiento de todos los aspectos de un SEN (institucionales, organizativos, producción estadística, mecanismos, etc.), identifica fortalezas y debilidades, elabora recomendaciones para mejorar el desempeño y ayuda a compartir buenas prácticas. Las evaluaciones se hacen públicas, en principio.

La revisión de semejantes sugiere que los evaluadores sean gerentes de SEN lo que significa que generalmente son estadísticos. Sin embargo, el punto de vista de otros actores es un elemento necesario en una evaluación y los usuarios deberían estar involucrados en el proceso para diversificar los puntos de vista, incluyendo usuarios de fuera del SEN. 

 

En práctica

Quién y Cuándo
En contraste a la evaluación de una ENDE o, en términos más generales, de un sistema estadístico nacional u organización de estadísticas pública-la cual puede ser definida dentro de la legislación apropiada-, la revisión de semejantes ocurre por la iniciativa de las personas responsables directamente afectadas (p.ej., el Director(a) de la oficina estadística central). Por lo tanto, la revisión de semejantes de una ENDE puede llevarse a cabo durante el proceso de su preparación, preferiblemente para coincidir con una evaluación del SEN para dar acceso a las observaciones, análisis y recomendaciones de un equipo, y así permitir la preparación de estrategias para el mejoramiento de capacidades sobre la base más objetiva posible.

Cómo
Además de los semejantes en el verdadero sentido de la palabra (es decir, gerentes sénior en otras estructuras nacionales) el equipo responsable de la revisión de semejantes puede buscar consultores independientes (ase gurándose de que los usuarios sean debidamente representados), quienes, a diferencia de los revisores semejantes, serán pagados. Este fue el caso de las revisiones de semejantes conducidas en África con el apoyo del Secretariado de PARIS21. Como parte de la estructura adoptada, se preparó una guía para los revisores semejantes, para describir los principales factores a ser tomados en consideración. El marco metodológico de referencia consiste en los Principios Fundamentales de Estadísticas Oficiales de la ONU y la Constitución Estadística Africana que representa su implementación en África.

La revisión de semejantes se conduce como una serie de entrevistas con la gerencia superior del cuerpo estadístico central y con otras personas escogidas en un muestreo de otros servicios que producen estadísticas públicas, usuarios de estadísticas nacionales, y socios técnicos y financieros. En base a la guía, estas entrevistas cubren: el marco legal y regulatorio que gobierna las actividades estadísticas; la estructura de producción de estadísticas (incluyendo recursos humanos, materiales y financieros); y el análisis, distribución, almacenamiento y archivo de datos estadísticos. Se presta particular atención a la independencia profesional de los estadísticos (independencia en escoger conceptos, definiciones, nomenclaturas y métodos; integridad, e imparcialidad de los servicios públicos de estadísticas), la calidad de los datos, la satisfacción de los usuarios y los procesos de preparación, implementación, monitoreo y evaluación de la ENDE en marcha, donde fuese apropiado. En base a sus observaciones, el equipo examinador analiza las fuerzas y debilidades, oportunidades y amenazas, y elabora sus recomendaciones. Un informe de la revisión de semejantes–que cubre todos estos elementos- será publicado al final del proceso. 

 

4. SISTEMA DE INFORMES
Informar es una parte integral de cualquier marco de monitoreo y evaluación. Su meta principal es proporcionar y publicar información amplia y regular sobre la implementación de la ENDE o cualquier otro programa. De hecho, durante los diversos años de implementación de la ENDE (generalmente de tres a seis años), pueden surgir cambios más o menos considerables que requieran modificaciones en las metas, resultados esperados o actividades. Estas modificaciones son decididas por los gerentes del SEN, o aún por autoridades políticas. Las últimas deberán recibir información oportuna y análisis para tomar una decisión inteligente. El rol del sistema de informes es proporcionar dicha información.

 

 En la práctica

Quién y Cuándo
Los diferentes países tendrán diferentes niveles de sofisticación en sus sistemas de informes. En todos los sistemas, sin embargo, el cuerpo estadístico central debería producir (o supervisar/coordinar la producción de) informes anuales a nivel nacional para proporcionar una actualización sobre el progreso de la implementación de la ENDE, un resumen de las dificultades encontradas y soluciones propuestas. En un sistema sofisticado de informes, esto puede incluir informes semestrales, trimestrales y hasta mensuales. Estos informes son producidos generalmente por las diversas agencias involucradas directamente en la implementación de la ENDE.

Cómo
Se generan informes anuales en base a los informes producidos por los diversos servicios y agencias que producen estadísticas oficiales en un modelo estándar para facilitar su combinación. Estos son examinados por el cuerpo coordinador oficial del SEN (el consejo estadístico nacional o su equivalente). En algunos países las conclusiones y recomendaciones resultantes de esta evaluación serán presentadas al gobierno.  

Los informes emitidos semestralmente, trimestralmente o hasta mensualmente, son examinados a un nivel cercano a los servicios y agencias que producen estadísticas. Esto podría significar comisiones ministeriales o sectoriales, compuestas de técnicos directamente involucrados en la producción de estadísticas.

 

5. DIFICULTADES ENCONTRADAS POR LOS PAÍSES EN DESARROLLO

De lo anterior se deduce que la calidad de los sistemas de monitoreo y evaluación (incluyendo informes) depende en gran manera de los arreglos institucionales existentes para el diseño de la ENDE y el monitoreo de su implementación. Es en este nivel que los países en desarrollo se enfrentan a una de las principales dificultades. De hecho, los sistemas institucionales existentes en dichos países tienen muchas falencias:

  • Mientras que las juntas de directores y concejos establecidos en la legislación estadística se reúnen regularmente y reportan a la autoridad que los nombra, otros cuerpos de coordinación y consulta, p. ej. comisiones usuario-productor, tienden a reunirse con poca frecuencia por varias razones, incluyendo las siguientes: generalmente la composición de estas comisiones es inapropiada; los temarios no resultan muy interesantes, especialmente para los usuarios de datos; las invitaciones no se envían con tiempo; hay falta de interés por parte de algunos gerentes del SEN, y (a veces) por falta de recursos financieros
  • En algunos casos, las leyes estadísticas sí establecen un cuerpo para coordinación oficial, como un Consejo Estadístico Nacional, pero las reglamentaciones de implementación no siempre responden a un funcionamiento eficiente. Aquellos encabezados por el Primer Ministro y compuestos de ministros, con frecuencia tienen dificultades para reunirse siguiendo las fechas estipuladas. Igualmente, el Consejo Estadístico Nacional encabezado por el ministro responsable de estadísticas y compuesto de otros bregará para funcionar correctamente en ausencia de la mayoría de los miembros.

Otra gran dificultad se encuentra sencillamente en la ausencia de un sistema relevante de monitoreo y evaluación. Cuando se menciona en la ENDE, frecuentemente se trata de una somera descripción. En particular se encuentra el compendio de indicadores relativos a objetivos, resultados, productos y actividades, lo cual imposibilita cualquier monitoreo y evaluación confiables.

Para vencer las grandes dificultades mencionadas, es importante asignar suficientes recursos a los cuerpos de coordinación y consulta, ya sea al financiarlos a través de un ítem presupuestario específico, o a través de recursos del Fondo Nacional de Desarrollo Estadístico en aquellos países donde exista, o donde se esté creando. Finalmente es importante, en los países en cuestión, revisar y/o completar las determinaciones legislativas o regulatorias en efecto.