4 Evaluación

 ¿EVALUANDO QUÉ?

 Es deseable, como paso crucial en el desarrollo de una estrategia, llevar a cabo una evaluación en profundidad del estado actual del sistema estadístico. La evaluación busca responder la pregunta “¿Dónde estamos?” a través de una completa descripción del Sistema Estadístico Nacional (SEN). Debería llevar a una comprensión de la suficiencia/adecuación de los productos/resultados (“outputs”) estadísticos y de la organización y gestión del SEN en su totalidad.
 
Los resultados tienen que ser ejecutables, en aras de asistir en el proceso de establecimiento de objetivos estratégicos. Por ello, la valoración debería ser realista, objetiva y crítica. Existen dos áreas que se deben tener en cuenta para poder comprender cómo rinde el Servicio estadístico nacional, a saber: a) el alcance al que sus productos satisfacen las necesidades de los usuarios y b) su capacidad estadística.  Si se han llevado a cabo valoraciones previas, es importante poder contar con una comparación de los resultados para medir cualquier mejora conseguida.

En cuanto a la primera, se debería realizar un análisis de las necesidades de los usuarios para establecer la disponibilidad de datos, con el objetivo de producir los indicadores estadísticos exigidos e identificar brechas en los datos. La mayoría de estas brechas ocurren por una falta de concordancia entre la demanda y la oferta de datos o entre los productos y los resultados (la eficacia del sistema desde el punto de vista del usuario), es decir, brechas en cuanto a qué datos se desean y cuáles están disponibles/brechas en cuanto a la calidad de los datos disponibles y el servicio proporcionado.

La valoración también pondrá de manifiesto el rendimiento del sistema estadístico (eficiencia - capacidad/productos), y presentará las principales fortalezas y debilidades internas, así como las amenazas externas que pueden afectar a la manera en que este evoluciona y las oportunidades que pueden aprovecharse. El éxito se evaluará comparándose los resultados con la situación de partida. De hecho, en los países que ya disponen de ENDE, la fase de valoración equivale a la fase de evaluación de las ENDE previas. Cabe destacar que es fundamental realizar un análisis minucioso de la capacidad estadística para diseñar estrategias que pretendan reducir brechas de datos y mejorar el rendimiento del sistema estadístico.

Una valoración útil usa como es conveniente las mejores prácticas y análisis comparados frente a las normas y los marcos internacionales. En la actualidad, existen varias herramientas disponibles para que los países puedan valorar sus Servicios estadísticos nacionales. En 2017, PARIS21 llevó a cabo una revisión de las valoraciones internacionales y su uso, que se mencionará en mayor detalle en las próximas secciones.

De manera más concreta, la valoración debería llevar a una mejor comprensión de los siguientes aspectos:

·       

Valoración de la demanda/necesidad de datos y satisfacción de los usuarios

·       

Valoración de los Servicios estadísticos nacionales

- Capacidad

- Productos estadísticos

 
En la práctica
 
 
 
Antes de llevar a cabo una valoración, es de vital importancia decidir quién será el evaluador (por ejemplo expertos nacionales, internacionales, comisión nacional...), quién será el coordinador, quién participará en el proceso y la herramienta de evaluación que se usará. La lista de los que participarán en la valoración podrá incluir a encargados de elaborar datos (a qué nivel y en qué departamentos), autoridades responsables de la gestión de los Servicios estadísticos nacionales, incluyendo ministros, miembros de juntas estadísticas o funcionarios senior de los ministerios de los que dependan, usuarios de datos actuales, proveedores de datos, socios en materia de desarrollo, organizaciones de investigación o académicas y organismos regionales.

La preparación para la valoración general exige una revisión minuciosa de la documentación existente con los resultados de cualquier valoración previa. Muy pocos países empezarán su planificación estratégica desde cero (algunos países ya están diseñando sus segundas ENDE) y la finalidad, por lo general, será la mejora del servicio estadístico nacional existente.

La valoración debería, por tanto, comenzar con una revisión de los documentos de políticas relevantes, para identificar los ámbitos prioritarios y los indicadores necesarios. Estos documentos probablemente incluyan marcos de desarrollo de políticas nacionales con sus revisiones (por ejemplo: desarrollo sostenible, lucha contra la pobreza y estrategias sectoriales y subnacionales), así como documentos de políticas de desarrollo subregionales e internacionales (a saber, la Agenda 2030 sobre desarrollo sostenible, acuerdos internacionales y los informes de país sobre los ODS). Puede que sea adecuado leer en esta fase los documentos de programas/políticas del país de los donantes potenciales.

Un análisis de todos los documentos pertinentes, incluidos los informes existentes sobre la situación estadística proporcionarán una primera imagen general del desarrollo estadístico del país. Cualquier análisis del Servicio estadístico nacional de un país que quiera dar frutos deberá llevarlo acabo y poseerlo el propio país.  Hay varias herramientas internacionales que pueden ofrecer asistencia en este proceso; este documento orientará sobre cómo seleccionarlas:

PARIS21 (2017: 15) ha elaborado directrices sobre cómo escoger la mejor herramienta de valoración. El equipo de preparación de las ENDE podría usar las preguntas siguientes para identificar las que sean más adecuadas a las necesidades nacionales:

  • ¿Quién tiene que convencerse con la valoración? ¿Quién va a recibir y actuará sobre los resultados?
  • ¿Quién debería llevar a cabo la valoración? ¿Será una autoevaluación con el apoyo de un experto internacional o una valoración independiente por parte de un socio en materia de desarrollo?
  • ¿Valorarán y confiarán en los resultados los que tengan que verse influidos por ellos para lograr las mejoras en la capacidad necesarias?
  • ¿Existe algún asunto o sector que necesite una atención especial?
  • ¿Cuán urgente es la valoración? (algunas pueden ser rápidas, pero otras pueden llevar meses)
  • ¿Hay algún socio en materia de desarrollo interesado?
  • ¿A quién debería consultarse durante la valoración?
  • ¿Cómo debería uno aproximarse a los diferentes informantes?

 
 
 1. EVALUAR LA DEMANDA/NECESIDAD DE DATOS Y LA SATISFACCIÓN DE LOS USUARIOS
  
 

La demanda de estadísticas por parte de los usuarios varía enormemente en función de su finalidad y de su capacidad, así como de la alfabetización y la sofisticación en el uso de estadísticas. Por ello, debería llevarse a cabo una revisión tanto de la demanda de datos actual como de la potencial. Las necesidades de los usuarios no podrán satisfacerse adecuadamente si no se identifican, sintetizan, comprenden y priorizan y si estos usuarios no son plenamente conscientes de las prácticas de producción y gestión estadísticas existentes. Es importante recalcar que los usuarios tienen constantemente una amplia lista de necesidades estadísticas y que debería realizarse lo máximo posible para orientarlos y que puedan identificar sus prioridades. Establecer, por tanto, el vínculo entre las necesidades de los usuarios y los planes nacionales de desarrollo y/o programas nacionales específicos será fundamental en el momento de la toma de decisiones, en relación a los productos estadísticos que habrá que priorizar. Asimismo, las necesidades y prioridades de los usuarios están en constante cambio y mantener un seguimiento de dichos cambios exige que haya consultas y diálogos permanentes con los usuarios. 

Las consultas y los debates con los usuarios deberían tener por objetivo responder a las siguientes cuestiones principales:

  • ¿Quiénes son los principales usuarios de las estadísticas? ¿Cómo usan las estadísticas en sus propias operaciones?
  • ¿Qué extensión tienen las estadísticas necesarias que están disponibles y cómo se han visto limitados los usuarios por la falta de estadísticas? ¿Contribuye el sistema actual a la producción de un conjunto de indicadores adecuado para supervisar los objetivos de desarrollo nacionales y satisfacer las exigencias internacionales (ODS, por ejemplo), así como los compromisos regionales?
  • ¿Contribuyen las estadísticas producidas a que haya una mayor rendición de cuentas y transparencia por parte del gobierno?
  • ¿Cómo los gobiernos y usuarios no gubernamentales usan la adecuación de las estadísticas existentes en cuanto a su pertinencia, exactitud, consistencia, integralidad, puntualidad, nivel de desagregación (geográfica, por género, etc.), presentación o legibilidad de las publicaciones, prácticas sobre la revisión de los datos preliminares y accesibilidad a los datos (metadatos y microdatos)?
  • ¿Cómo son sus relaciones con los principales productores de datos y cómo perciben su propio papel en el fomento de los Servicios estadísticos nacionales?
  • ¿Son suficientes las actuales estrategias de promoción para sensibilizar al público sobre la importancia de los datos producidos? ¿Proporciona el sistema una formación adecuada a los usuarios para que puedan interpretar los datos, desarrollar indicadores y usar de manera óptima las estadísticas? ¿Ofrece el sistema estudios a medida o por encargo?
  • ¿Cuáles son las necesidades y prioridades estadísticas actuales y percibidas en el futuro? ¿Están las necesidades vinculadas a programas nacionales o planes de desarrollo específicos?
  • ¿Cuál creen que es la mejor manera de  satisfacer sus necesidades en el contexto de las ENDE?
  • ¿Conocen realmente los usuarios las restricciones que enfrentan los productores y la importancia de contar con una metodología robusta en la producción estadística?

 

 
2. VALORAR EL SERVICIO ESTADÍSTICO NACIONAL
  
Capacidad estadística

PARIS21 ha desarrollado el Maco de fomento de las capacidades 4.0 (marco 4.0) para analizar la capacidad de los sistemas estadísticos con un enfoque nuevo. En este contexto, la capacidad estadística se refiere a la competencia del servicio estadístico nacional de un país, sus organizaciones e individuos encargados de recopilar, producir, analizar y diseminar datos de calidad y fiables que satisfagan las necesidades de los usuarios (Eurostat, 2014; Banco Mundial, 2017).  El marco fue creado por un grupo de tarea establecido en 2017, con el fin de analizar la capacidad estadística en el contexto del nuevo ecosistema de datos. El grupo de tarea incluyó a un gran abanico de actores, incluyéndose oficinas nacionales estadísticas, socios en materia de desarrollo, organizaciones multilaterales y bilaterales y proveedores del sector privado.

 

El Marco 4.0 identifica tres niveles principales en la valoración de la capacidad, tal y como se usa con carácter general en múltiples marcos existentes (por ejemplo: Denney y Mallet, 2017). El Servicio estadístico nacional genera las estadísticas oficiales. Dicho Servicio está compuesto por diferentes instituciones o agencias que interactúan entre ellas y que, a su vez, están compuestas por personas que interactúan entre sí. Por este motivo, la capacidad estadística debe evaluarse en tres niveles, a saber: a) el individual (por ejemplo: empleados de estadísticas, incluidos los futuros); b) el organizativo (ONE); y c) el sistema en su conjunto, que se compone de individuos y organizaciones; así como el vínculo existente entre ellos.

Existen cinco metas que se han de tener en cuenta en este marco: los recursos, las habilidades y los conocimientos, la gestión, la política y el poder (es decir, la gobernanza) y los incentivos. Las habilidades son necesarias para manejar los recursos, mientras que la gestión permite darles el mejor uso para que se alcancen objetivos y metas específicos. Establecer objetivos es una cuestión de interacciones políticas, que, a su vez, se ven guiadas por incentivos. Todas estas metas deben alinearse para tener un Servicio estadístico nacional que funcione adecuadamente.

 

 

 

El Marco de fomento de las capacidades 4.0

Meta/Nivel

Individual

Organizativo

Sistema

Recursos

Antecedentes profesionales

Recursos humanos

Legislación, principios y entorno institucional

Presupuesto

Infraestructura de los fondos

Infraestructura

Planes (ENDE, sectorial...)

Datos existentes

Habilidades y conocimientos

Competencias técnicas

Procesos de producción estadística

Alfabetización en el uso de datos

"Saber hacer" en el trabajo

Garantía de calidad y códigos de conducta

Capacidad de resolución de problemas y pensamiento creativo

Innovación

Intercambio de conocimientos

Comunicación

Gestión

Gestión del tiempo y establecimiento de prioridades

Planificación estratégica y supervisión y evaluación

Mecanismos de coordinación del Servicio estadístico nacional

Diseño organizativo

Coordinación del ecosistema de datos

Liderazgo

Gestión de recursos humanos

Gestión de cambios

Estrategia de promoción

Estrategia de recaudación de fondos

Política y poder

Trabajo en equipo y colaboración

Transparencia

Relación entre productores

Habilidades comunicativas y de negociación

Relación con los usuarios

Política en el centro de trabajo

Relación con las autoridades gubernamentales

Redes de contactos estratégicas

Relación con proveedores de datos

 

Rendición de cuentas

Incentivos

Perspectivas de avance profesional

Compensaciones y ventajas

Intereses de los actores involucrados

Ingresos y estatus social

Cultura organizativa

Apoyo político

Ética profesional y automotivación

Reputación

Legitimidad

 
Hasta la fecha, la disponibilidad de indicadores de rendimiento para medir las dimensiones del Marco 4.0 es limitada. Con la creciente complejidad en el ecosistema de datos las valoraciones de los Servicios estadísticos nacionales tendrán que integrar gradualmente otros indicadores de rendimiento de la capacidad, que incluirán competencias individuales más allá de las técnicas, nuevas prácticas organizativas y actores emergentes (por ejemplo: proveedores privados, iniciativas de datos creadas por los ciudadanos, etc.).  Esto permitirá que la valoración ofrezca un enfoque prospectivo e identifique las áreas que hay que desarrollar más dentro de los Servicios estadísticos nacionales. 

 
Productos estadísticos

Se evaluarán los productos existentes y planificados de los Servicios estadísticos nacionales. Esto debería ir acompañado de una valoración de nuevos productos potenciales que se producirán como respuesta a las prioridades identificadas. Cada producto clave deberá medirse con los criterios acordados, como las normas y los marcos internacionales y las metodologías recomendadas, entre otros. 

Los marcos de garantía de calidad de los datos y las normas para su divulgación, como el Marco del FMI para evaluar la calidad de los datos (MECAD) y el Sistema general de divulgación de datos (SGDD) aún están considerados como la regla de oro para evaluar los productos estadísticos y, por ello, se tienen en cuenta en las ENDE de la mayoría de los países. Un gran número de países suscribe el SGDD en la actualidad y, por tanto, ha dado muchos de los pasos necesarios para desarrollar un enfoque estratégico en torno a la creación de estadísticas. Los países que aún no participan es posible que vean el SGDD como un primer paso importante. 

 Para poder evaluar un producto estadístico es necesario plantearse las siguientes cuestiones:

  • Qué estadísticas hay disponibles (inventario de suministros), sus fuentes y con qué rapidez se ponen a disposición de los usuarios (publicación, divulgación y políticas y procesos de comunicación);
  • La calidad de las estadísticas y cómo se producen (procesos de producción, métodos y procedimientos, uso de normas internacionales, restricciones y problemas) y procesan, analizan y archivan (políticas de TIC, bases de datos, confidencialidad, etc.);
  • La mejora en los sistemas y procesos de gestión de datos para facilitar una producción de datos eficaz, a saber, reducir la duplicidad del esfuerzo y colmar las brechas en el sistema;
  • ¿Existen definiciones claras de todos los datos generados?  ¿Se archivan para que todos los usuarios y productores relevantes puedan acceder a ellos en todo el Servicio estadístico nacional y fuera de él? ¿Produce el sistema un conjunto adecuado de indicadores para evaluar el rendimiento del sector?
  • ¿Son adecuados los planes y políticas de divulgación existentes para la producción estadística? 

 
 
En la práctica
 
 
El equipo de preparación de las ENDE, en estrecha coordinación con todos los demás departamentos (véase PREPARACIÓN) y con la posible asistencia de consultores, llevará a cabo la Valoración. Un análisis previo de la información existente, así como la clasificación del producto estadístico y el inventario de todas las oficinas del Servicio estadístico nacional facilitará el ejercicio mencionado.

La evaluación de las necesidades de los usuarios se puede realizar por medio de diversos enfoques. Como ocurre con la valoración en general, es probable que el equipo de preparación quiera basarse en procesos existentes o en un análisis comparado de las necesidades de los usuarios (principios de calidad relacionados con las estadísticas oficiales) que ya se hayan llevado a cabo en el pasado. 

Un posible enfoque consistiría en identificar a los interesados en conjuntos de datos específicos en función de sus ámbitos de preferencia y conseguir entrar en contacto con esos usuarios. La lista preparada mediante el proceso de PREPARACIÓN (véase PREPARACIÓN - Identificación de los actores involucrados) es un buen punto de partida para identificar a los principales usuarios de datos. Las instituciones seleccionadas de cada grupo de usuarios principal (véase PROMOCIÓN) deberían incluirse en las consultas y debates celebrados con ellos, ya sea de manera individual o en pequeños grupos, mientras que otros puede que quieran contribuir por escrito. Este proceso debería garantizar que los legisladores y responsables de las decisiones, así como el personal técnico en las instituciones de usuarios sean consultados. 

Un segundo enfoque en torno a la participación de los usuarios que ha tenido éxito en un gran número de países consiste en organizar un taller en el país, para reunir a recopiladores de datos, usuarios de los mismos y agencias donantes. Los talleres abordan asuntos de interés específicos sobre estadística para los participantes y alienta a que se establezca un diálogo entre grupos de recopiladores y usuarios de datos. Los talleres han demostrado ser muy útiles para sensibilizar a los participantes sobre la importancia de las estadísticas, ofreciendo informes de progreso en cuanto a mejoras de datos y debatiendo sobre nuevos asuntos. 

Se tendrán en cuenta los puntos de vista de los diferentes usuarios y se compararán con el inventario de estadísticas oficiales. También se puede obtener información mediante cuestionarios o visitando a los actores involucrados y entrevistándolos. Este último enfoque es, por lo general, el preferido, si se quiere evitar un bajo índice de respuesta en la administración de cuestionarios.

Durante el proceso de preparación de las ENDE, se crearán comités sectoriales que constituirán un marco adecuado para la participación de usuarios y la identificación de sus necesidades. 

Existen multitud de herramientas para evaluar la capacidad y los productos estadísticos. Un estudio realizado por PARIS21 (2018), en el que se clasificaron catorce preguntas e indicadores de los más populares en las evaluaciones internacionales, usando la clasificación mencionada en el Marco 4.0 de fomento de las capacidades, demostró que el 40 % de todas las preguntas se centran en las habilidades y los conocimientos a nivel organizativo, principalmente en procesos de producción estadística y marcos de garantía de calidad.

 

Hay cuatro tipos de herramientas internacionales, a saber: A) las que usan las autoridades nacionales para crear la planificación estadística y los programas estratégicos nacionales, B) herramientas para socios que quieran "invertir" en estadísticas para crear un diseño y una supervisión de proyecto, C) herramientas para la supervisión internacional del rendimiento estadístico y D) evaluaciones de calidad de datos/cumplimiento con los códigos de prácticas. (PARIS21, 2017: 7-8)

 

Las herramientas del grupo A "a menudo se ponen en práctica bajo los auspicios de las autoridades nacionales de planificación o estadísticas, pero, por lo general, las utilizan expertos internacionales de renombre u homólogos que trabajan junto a las autoridades nacionales (...) [Estas] normalmente se usan durante un período de semanas o meses y conllevan un gran número de consultas con actores clave nacionales, regionales e internacionales"

Las herramientas del grupo B normalmente "son usadas por expertos o contratadas por las propias organizaciones de los socios en materia de desarrollo (...) La fase de diagnóstico se extiende por un período de varias semanas y conlleva consultas con actores clave" (PARIS21, 2017: 7).

Estas valoraciones pretenden identificar las fortalezas y debilidades del sistema estadístico y las restricciones de calidad.

Las herramientas del grupo C "no implican una visita al país pero dependen de la información disponible públicamente en los sitios web estadísticos nacionales" (PARIS21, 2017: 8). Finalmente, las herramientas del grupo D se implementan para cumplir con las normas de las organizaciones internacionales; estas "normalmente son obligatorias y están diseñadas para comprobar el grado de cumplimiento con los códigos de prácticas y las normas del propio organismo".

Asimismo, un análisis FODA puede ayudar a comprender mejor el entorno general y destacar las fuerzas, debilidades (internas), oportunidades y amenazas (externas). Esto conducirá a la evolución deseada y dará forma a la visión (véase VISUALIZACIÓN) 

 
Herramientas: 
Siguiente: