4 Evaluando

 ¿EVALUANDO QUÉ?

 Es deseable, como paso crucial en el desarrollo de una estrategia, llevar a cabo una evaluación en profundidad del estado actual del sistema estadístico. La evaluación busca responder la pregunta “¿Dónde estamos?” a través de una completa descripción del Sistema Estadístico Nacional (SEN). Debería llevar a una comprensión de la suficiencia/adecuación de los productos/resultados (“outputs”) estadísticos y de la organización y gestión del SEN en su totalidad.
  
La calidad de esta evaluación tendrá consecuencias directas sobre la calidad de las decisiones estratégicas a ser tomadas. Sus resultados proporcionarán la evidencia para el desarrollo de estrategias apropiadas para lograr el cambio necesario. Esta evaluación debería ser, por lo tanto, realista, objetiva, imparcial y crítica. Debería utilizar las mejores prácticas y medirse contra hitos (“benchmarks”)de estándares y marcos internacionales según sean apropiados. 
  
La evaluación identificará brechas que necesitan ser resueltas. La mayoría de estas brechas son resultado de una incompatibilidad entre la demanda de datos y su provisión, o entre productos y resultados (la efectividad del sistema desde el punto de vista del usuario), p.ej. brechas en términos de cuáles datos deseados están más allá de lo disponible en términos de la calidad de datos disponibles y el servicio proporcionado. La evaluación también resaltará el desempeño del sistema estadístico (eficiencia–capacidad/productos), y presentará las principales fortalezas internas del sistema y sus debilidades, así como amenazas externas que podrían afectar la forma en la cual evoluciona y las oportunidades que deberán ser aprovechadas. El éxito será evaluado en comparación a la situación de inicio. De hecho, para los países que ya tienen una ENDE, la fase de evaluación es equivalente a la etapa de evaluación de la ENDE previa.
  
Específicamente, debería llevar a una comprensión de tres dimensiones principales:
  • Evaluación del producto estadístico
  • Evaluación de las necesidades y satisfacción del usuario
  • Evaluación de la capacidad estadística delSEN (gobernabilidad y arreglos institucionales, infraestructura, tecnología de información, ...)
 
En la práctica
La preparación para la evaluación general requiere un completo análisis de la documentación existente y una revisión de los hallazgos de cualquier evaluación anterior. Muy pocos países iniciarán la planificación estratégica de la nada (algunos países están diseñando su segunda ENDE) y el propósito será normalmente mejorar un sistema nacional estadístico existente.

La evaluación comenzará con una revisión de los documentos de políticas para identificar áreas importantes e indicadores necesarios. Estos documentos con probabilidad incluirán marcos de políticas nacionales de desarrollo y sus revisiones (tales como reducción de pobreza y estrategias sectoriales), así como documentos de políticas sub-regionales e internacionales (tales como la Declaración del Milenio y los informes MDM de País). Podría ser también apropiado, en esta etapa, leer los documentos de políticas de país de los donantes potenciales.

El análisis de todos los documentos relevantes, incluyendo informes existentes sobre la situación estadística, proporcionará una primera imagen general del desarrollo estadístico del país. Cualquier análisis fructífero del SEN deberá ser llevado a cabo y ser apropiado por el país en sí.  
 
 
 
1. EVALUANDO LOS PRODUCTOS/RESULTADOS ESTADÍSTICOS
  
Los productos/resultados existentes y ya planificados del SEN serán evaluados. Cada producto clave será medido contra criterios acordados, por ejemplo utilizando marcos existentes tales como MECAD (Marcos de Evaluación de la Calidad de los Datos). 
 
El Sistema General de Difusión de Datos (SGDD) jugará un rol central en el corazón de las ENDE en la mayoría de los países. Un gran número de países en todas las regiones están actualmente participando en el SGDD y por lo tanto ya han llevado a cabo muchos de los pasos que se requieren para desarrollar un enfoque estratégico para desarrollar estadísticas. De hecho, para aquellos ya comprometidos con el SGDD, este es un marco impuesto. Los países que todavía no están participando encontrarán en el SGDD un paso inicial importante. 
 
 
Para poder evaluar los productos/resultados/resultados estadísticos, deben considerarse las siguientes preguntas:
  •  Qué estadísticas están disponibles (inventario), sus fuentes, y cuán rápidamente se ponen a la disposición de los usuarios (publicación y difusión de políticas y procesos);
  • La calidad de las estadísticas y cómo son producidas (procesos de producción, métodos y procedimientos, uso de estándares internacionales, constreñimientos y problemas), y cómo son procesados, analizados y archivados (políticas TI y bases de datos);
  • La posible mejora del sistema de gestión de datos para facilitar la producción eficiente de datos, es decir, reducir duplicación de esfuerzos y llenar brechas en el sistema;
  • ¿Hay definiciones claras de todos los datos producidos? ¿Están archivados de modo que son accesibles por todos los usuarios y productores relevantes a través del SEN y otros? El sistema, ¿produce el juego apropiado de indicadores para evaluar el desempeño del sector?
  • ¿Las políticas existentes de difusión ¿son adecuadas para la producción estadística?
 
En la práctica
El equipo de diseño de la ENDE, en coordinación íntima con todas las otras unidades (Ver: PREPARACIÓN), y con posible apoyo –idóneamente- de consultores nacionales, llevará a cabo la Evaluación. Un análisis previo de la información existente, clasificación de productos/resultados estadísticos, e inventario de todas las unidades del SEN facilitará el ejercicio mencionado.
  
 
2. EVALUANDO LA SATISFACCIÓN Y NECESIDADES DEL USUARIO
  
Los usuarios necesitan estadísticas distintas para propósitos diversos, y sus capacidades, conocimientos y sofisticación en el uso de estadísticas serán muy variadas. Algunas necesidades podrían haber sido suprimidas por la falta de estadísticas disponibles, y la demanda potencial deberá ser considerada tanto como la demanda actual. La necesidades del usuario no pueden ser cumplidas adecuadamente salvo que hubieran sido debidamente identificadas, sintetizadas, comprendidas y priorizadas, y salvo que los usuarios estén completamente enterados de la producción estadística existente. Es importante enfatizar que los usuarios invariablemente tienen una lista de necesidades estadísticas (“lista de compras”) y deberá hacerse todo lo posible para guiarlos en la identificación de sus prioridades. El vínculo con las necesidades de los usuarios a los planes nacionales de desarrollo y/o programas nacionales específicos será obviamente crucial cuando se tomen las decisiones finales con relación a cuáles productos/resultados estadísticos serán priorizados. Más aún, las necesidades y prioridades de los usuarios están siempre cambiando, y seguirle el paso a estos cambios requiere que la consulta y diálogo con el usuario sea una actividad permanente. 
 
 
Las consultas y discusiones con los usuarios deberían buscar responder a las siguientes preguntas principales:
  • ¿Cómo usan las estadísticas en sus propias operaciones?
  • ¿Hasta dónde están disponibles las estadísticas requeridas y cómo han sido constreñidos los usuarios por la falta de estadísticas; el sistema existente ¿contribuye a producir el juego apropiado de indicadores para monitorear las metas nacionales de desarrollo y cumplir con requisitos internacionales (por ejemplo las MDM) y compromisos regionales?
  • ¿Cómo evalúan la pertinencia de las estadísticas existentes los usuarios gubernamentales y no-gubernamentales en términos de relevancia, precisión consistencia, integralidad, oportunidad, nivel de desglose (geográfico, género, etc.), presentación o legibilidad de publicaciones, y prácticas con respecto a la revisión de datos preliminares y accesibilidad a meta-datos y micro datos?
  • ¿Cuáles son sus relaciones con los principales productores de estadísticas y cómo perciben su propio rol en el desarrollo del SEN?
  • Las actuales estrategias de promulgación/defensa, ¿son suficientes como para incrementar la consciencia pública sobre la importancia de los datos producidos? El sistema, ¿proporciona capacitación adecuada para apoyar a los usuarios en la interpretación de datos, desarrollo de indicadores y hacer el mejor uso de datos? El sistema ¿ofrece estudios a medida o a pedido?
  • ¿Cuáles son las necesidades y prioridades actuales y futuras percibidas? ¿Están sus necesidades vinculadas a programas nacionales específicos o planes de desarrollo?
  • ¿Cómo piensan que sus necesidades pueden ser mejor satisfechas en el contexto de la ENDE?
  • Los usuarios, ¿están realmente conscientes de los constreñimientos enfrentados por los productores, y de la importancia de metodología sólida en la producción de estadísticas?
 
 
En la práctica
La evaluación de necesidades del usuario se puede hacer a través de varios enfoques. Al igual que con la evaluación en forma general, es probable que el equipo de diseño pueda ser capaz de construir sobre los procesos existentes, sin embargo para la ENDE se recomienda una evaluación de estándares/hitos (“benchmarks”) de necesidades del usuario (principios de calidad relacionados a las estadísticas oficiales). 

Un enfoque es identificar aquellos que están interesados en conjuntos de datos particulares de acuerdo a sus áreas preferidas y hacer contacto con dichos usuarios. La lista preparada a través del proceso de PREPARACIÓN(Ver: PREPARACIÓN - Identificación de actores) es un buen punto de partida en la identificación de los principales usuarios de datos. Instituciones seleccionadas de cada uno de los principales grupos de usuarios deberían estar incluidas en las consultas y discusiones sostenidas con ellos, ya sea individualmente o en grupos pequeños, mientras que podría invitarse a otros a contribuir por escrito. El proceso debería asegurar que los formuladores de políticas y tomadores de decisiones, así como personal técnico de las instituciones usuarias, sean consultados. 

Un segundo enfoque al involucramiento de usuarios que ha tenido éxito en varios países es de organizar un taller de país juntando a los compiladores de daros, usuarios de datos y agencias donantes. Estos talleres tienen que ver con temas estadísticos definidos de interés de los participantes y además alentar el diálogo entre grupos de compiladores y usuarios. Los talleres han demostrado ser útiles en sensibilizar a los participantes sobre la importancia de las estadísticas, proporcionar informes de avance sobre el mejoramiento de datos, y promover la discusión de nuevos temas. 

Las visiones de los diferentes usuarios serán tomadas en cuenta y comparadas con el inventario de estadísticas oficiales. También se puede obtener información a través de un cuestionario, o por las visitas en-situ y entrevistas con los actores. El último enfoque es preferido generalmente para evitar una tasa baja de respuestas al administrar cuestionarios.
 
Durante el proceso de preparación de la ENDE, los comités sectoriales a ser creados constituirán un marco adecuado para la participación de usuarios y la identificación de sus necesidades. 


 3. EVALUANDO LA CAPACIDAD DEL SEN
 
Esta parte de la evaluación tiene que ver con el marco institucional y organizativo del SEN. Los principales temas a ser revisados son:
  • Gobernabilidad:
    o Legislación estadística (pertinencia de la legislación estadística nacional; posición y status de la agencia estadística incluyendo la definición de niveles apropiados de autonomías e independencia…).
    o coordinación entre ministerios de línea y la OEN, y entre las diferentes unidades del SEN
    o Cómo se definen las prioridades transversalmente en el SEN
    o Aspectos organizativos, incluyendo cómo se administra el SEN
    o Adherencia a éticas profesionales y están dares internacionales / compromisos existentes 
    o Mecanismos de consulta entre productores y usuarios de estadísticas y cómo funcionan, p. ej. comisiones y otros formatos para la colaboración usuario-productor y productor-productor, y consistencia entre fuentes, reconociendo que diferentes modelos se acomodan a las situaciones particulares de los países.
  • Infraestructura y equipamiento: espacios de oficinas, vehículos, insumos de oficina, etc. 
  • Tecnología Informática (TI): software disponible, difusión, herramientas de archivo, etc.
  • Recursos humanos: políticas adecuadas (números, experiencia, habilidades, calificaciones) y su gestión (reclutamiento y retención, estructuras de incentivos, existencia de un “cuadro” estadístico); desarrollo del personal, (tanto capacitación inicial estadística como desarrollo profesional continuo),y gestión del conocimiento;
  • Recursos financieros: El presupuesto asignado al sistema, ¿es adecuado para cumplir con las necesidades actuales y proyectadas? ¿Cuál es el porcentaje de los recursos técnicos y financieros externos comparados al presupuesto nacional?

 

 
En la práctica
La corrección de deficiencias amplias en estadísticas publicadas requiere una comprensión de sus causas, directas o indirectas. Mientras que las comparaciones entre productos y resultados ayudan a identificar deficiencias desde el punto de vista del usuario, las comparaciones entre productos y capacidad ayudaría a identificar los esfuerzos que deberán nacerse para incrementar la eficiencia y efectividad del proceso de producción. 
En forma adicional al MECAD, un análisis FODA puede ayudar a comprender el ambiente general y resaltar fortalezas y debilidades (internas), oportunidades y amenazas (externas). Esto llevará a le evolución deseada y ayudará a dar forma a la visión (Ver: VISUALIZANDO). 
 

 

Herramientas: 
Siguiente: