E. Suivi, évaluation et reporting

Le suivi et l'évaluation du processus SNDS sont des composantes importantes de son cycle. Bien que certaines de ces tâches sont exécutées à des périodes précises, elles sont considérées comme un instrument informant en permanence le management de l'ensemble du processus SNDS ; ainsi doivent-elles être considérées comme constituant des tâches permanentes. Particulièrement, le suivi nécessite une organisation permanente d'activités visant à surveiller et alerter le management de problèmes potentiels. Le reporting est aussi une tâche à prendre très au sérieux.

 

Quel que soit le soin apporté à son élaboration, une SNDS ne sera couronnée de succès que si sa mise en œuvre a fait l’objet d’une planification rigoureuse. A cet égard, le suivi et l’évaluation de la mise en œuvre constituent des activités essentielles s’inscrivant dans un processus continu. Il est en effet important de savoir à tout moment, si on s’écarte ou non de la trajectoire souhaitée et si oui, de pouvoir prendre les mesures de redressement appropriées. De même, la programmation de la mise en œuvre doit s’appuyer sur un dispositif de reporting régulier et diversifié.

Comme la conception d’une SNDS doit toujours partir de l’existant, les activités à réaliser la première année de sa mise en œuvre sont dans une large mesure « prédéterminées ». Elles consistent généralement, soit en la poursuite d’activités en cours (régulières ou non) visant par exemple à accroître la quantité ou la qualité des statistiques pour répondre à des besoins non encore satisfaits, soit au démarrage d’activités nouvelles pour lesquelles des financements sont déjà disponibles sur ressources nationales et /ou extérieures. Le suivi de l’exécution de la première année du Plan d’action d’une SNDS revêt donc un caractère particulier, ne serait-ce qu’en raison du fait que les moyens nécessaires sont théoriquement disponibles.

 

1. LA CHAÎNE DES RÉSULTATS
Pour donner une vue synoptique de la SNDS, un cadre logique est préparé, qui met en évidence les interrelations entre les différents éléments (vision, objectifs, résultats attendus, activités, moyens) et les hypothèses qui conditionnent une bonne mise en œuvre de celle-ci.

La chaîne des résultats décrit la séquence suivante : moyens-activités-produits-résultats-objectifs, et leurs interrelations.
Les moyens désignent les ressources nécessaires à la mise en œuvre des activités. Ils comprennent les ressources matérielles, les ressources humaines, les ressources financières, le cadre légal et institutionnel, etc. Les activités peuvent revêtir diverses formes : préparation de guides méthodologiques pour améliorer la qualité et la diffusion des données, évaluation du cadre organisationnel du SSN, organisation d’ateliers de formation, réalisation d’enquêtes et de recensements, etc. Les produits peuvent être les publications statistiques disponibles, les séries statistiques améliorées, le nombre de statisticiens formés ou perfectionnés, etc. Les résultats correspondent aux changements obtenus comme : la capacité de production statistiques est améliorée, le dialogue producteurs-utilisateurs est amélioré ; la demande de statistiques a augmenté, etc. Un exemple de chaînes de résultats d’une SNDS figure ci-après :

Chaîne de résultats d’une SNDS : exemples

Objectifs standard d’une SNDS
1.    Améliorer la pertinence des statistiques officielles 2.    Améliorer la gestion basée sur les faits
3.    Augmenter la confiance du public dans les statistiques officielles 4.    Accroître les ressources financières
Résultats standard d’une SNDS
5.    Capacité statistique nationale augmentée  6.   Satisfaction des utilisateurs des statistiques officielles augmentée
7.    Accès aux statistiques publiques amélioré  8.   La fraîcheur des statistiques publiques améliorée
9.    Demande pour la statistique en augmentation 10.  Capacité du dispositif institutionnel du SSN accrue
 11. Dialogue producteurs-utilisateurs amélioré 12.  Disponibilité accrue des statistiques
Produits standard d’une SNDS
13.   Ensemble de données produites
 
14.   Ensemble de données ayant respecté un protocole de qualité
15.   Statistiques produites avec une ventilation par sexe 16.   Adoption de licences "open data"
17.   Ensemble de données produites en conformité avec les standards internationaux 18.   Amélioration de l'éthique professionnelle (code de conduite)
 19.  Amélioration des mécanismes de coordination  
   
Activités/composantes standard d’une SNDS
20.    Former du personnel du SSN 21.    Développer des méthodologies
22.    Former des utilisateurs de données 23.    Développer des règles et des guides statistiques
24.    Installer des équipements informatiques (NTIC) et installer ou développer des logiciels 25.    Mobiliser des financements pour le développement de la statistique
26.    Développer un code de bonne conduite  

 

Les Philippines utilisent une version opérationnelle, qu'il est utile de mentionner ici.

 

 

2. LE SUIVI ET L’ÉVALUATION
On peut définir le « suivi » comme un processus continu de collecte et d’analyse d’informations permettant de juger la qualité de la mise en œuvre d’une SNDS. Il doit permettre d’informer régulièrement les gestionnaires et les différentes parties prenantes sur les progrès réalisés ou les difficultés rencontrées en vue d'atteindre des résultats attendus, de comparer les performances obtenues à celles qui étaient prévues au départ et de prendre à temps les mesures correctrices nécessaires. Un bon suivi nécessite l’élaboration d’un plan conçu comme suit : après avoir défini les principaux objectifs à atteindre, il s’agit de spécifier les indicateurs qui seront utilisés pour suivre les progrès réalisés, de collecter des informations de base sur chaque indicateur afin de disposer d’une situation de référence. Le mode, la fréquence et le responsable de la compilation de chaque indicateur doivent être clairement définis. Il s’agira ensuite d’évaluer les indicateurs renseignés, de préparer des rapports décrivant leur évolution afin de permettre de procéder de manière consensuelle aux changements rendus nécessaires en ce qui concerne les moyens (inputs), les activités, voire les résultats et les objectifs. L'expérience montre que lors de l'identification des indicateurs, il n'est pas porté une attention suffisante à leur faisabilité et à leur actualisation régulière.

L’évaluation peut être définie comme un processus qui vise à juger de la pertinence, de la performance et du succès de la SNDS. Elle permet de savoir dans quelle mesure la SNDS a atteint ses objectifs. Le suivi et l’évaluation constituent deux processus intimement liés. Le suivi porte sur la mise en œuvre des activités et l’obtention des produits (outputs). L’évaluation concerne l’atteinte des résultats, les effets et les impacts sur l’objectif global de la SNDS.

Le système d’évaluation doit prévoir la flexibilité nécessaire pour tenir compte des changements inévitables qui se produisent pendant la période de mise en œuvre de la stratégie. Ces changements peuvent conduire à des révisions plus ou moins importantes des objectifs stratégiques retenus et /ou des résultats obtenus, ce qui implique des modifications touchant au chronogramme des activités et aux activités elles-mêmes. L’évaluation doit permettre de savoir quels résultats attendus n’ont pas été atteints et pour quelles raisons afin de réorienter la stratégie. Elle est marqué habituellement par deux rendez-vous décisifs : l’évaluation à mi-parcours et l’évaluation finale. L’évaluation à mi-parcours permet d’analyser les écarts entre les résultats enregistrés et ceux attendus et de procéder aux révisions nécessaires, y inclus celle du calendrier des activités de la deuxième moitié de la période couverte par la stratégie, tandis que l’évaluation finale permet de tirer des leçons et de capitaliser les acquis pour une future SNDS.

 

En pratique

Qui et quand
Le suivi et l’évaluation de la mise en œuvre d’une SNDS incombent en premier lieu aux gestionnaires à différents niveaux du Système Statistique National, à commencer par les responsables de l’exécution des différentes activités et ceux chargés de la gestion des ressources (humaines, matérielles et financières). Selon les pays, le suivi peut se faire de manière plus ou moins fréquente. En général, la fréquence est annuelle, voir semestrielle. Plus rarement elle peut être trimestrielle ou mensuelle.

Outre lors de la phase d’élaboration de la SNDS, l’évaluation intervient au cours de la mise en œuvre (à mi-parcours par exemple) ou à la fin de la mise en œuvre de la SNDS.

Le suivi est nécessairement lié à la préparation du programme annuel de travail de chaque unité et du système statistique dans son ensemble.

Comment
Un bon cadre de suivi et d’évaluation doit reposer sur des pratiques standardisées reconnues au niveau international. Les indicateurs retenus doivent être mesurables. A chaque indicateur sont associés une situation de référence, une unité de mesure et une cible à atteindre.

Des exemples d’indicateurs utilisés dans le suivi et l’évaluation des SNDS figurent dans le tableau ci-après :

Indicateur Unité de mesure
1.   Temps écoulé entre la collecte des données et la diffusion des résultats
2.     Proportion d’ensembles de micro-données documentées selon la norme DDI  Pourcentage
3.   Nombre d’ensembles de données qui ont fait l’objet d’un contrôle de qualité et sont considérés comme des statistiques officielles  Nombre
Ajouter une situation de référence
1.     Temps écoulé entre la production des donnés d’une enquête et la diffusion des résultats  6 mois
2.     Proportion d’ensembles de micro-données documentées selon la norme DDI  40 pour cent
3.     Nombre d’ensembles de données qui ont fait l’objet d’un contrôle de qualité et sont considérés comme des statistiques officielles  100
Ajouter une cible et une date prévue pour son atteinte
1.     Temps écoulé entre la collecte des données d'enquête et la diffusion des résultats  4 mois (en mars 2014)
2.   Proportion d’ensembles de micro-données documentées selon la norme DDI 80 pour cent (en juin 2014)
3. Nombre d’ensembles de données qui ont fait l’objet d’un contrôle de qualité et sont considérés comme des statistiques officielles  500 (en mars 2017)

 

PARIS21 a proposé des indicateurs pouvant être utilisés pour mesurer les capacités statistiques. Ils comprennent des indicateurs quantitatifs et des indicateurs qualitatifs afin de permettre aux pays de procéder à une auto-évaluation ou à un examen par les pairs du niveau de développement de leur système statistique.

On distingue :

  • Des indicateurs de niveau systèmes qui donnent la liste des statistiques que diffuse un pays, leur année de référence et leur source ;
  • Des indicateurs quantitatifs qui concernent les services statistiques. A des fins de comparaison, il est recommandé d’y faire figurer au minimum les services responsables du calcul du Produit Intérieur Brut (PIB), de la population et des revenus des ménages ;
  • Des indicateurs qualitatifs qui eux concernent les séries statistiques. Ici encore, il est recommandé, pour des besoins de comparaison internationale d’y faire figurer le PIB, les statistiques de population, les revenus et les dépenses des ménages.

La Banque mondiale et la Commission Économique des Nations Unies pour l’Afrique ont également mis au point des indicateurs de capacités statistiques.

Habituellement, les SNDS font l’objet d’une évaluation à mi-parcours et d’une évaluation finale. Ces évaluations sont souvent confiées à des consultants indépendants sur la base de termes de référence précis. Les termes de référence peuvent être considérés comme un outil de gestion d’une évaluation en ce sens que :
- ils décrivent les objectifs de l’évaluation, ces derniers pouvant différer selon qu’il s’agisse d’une évaluation à mi-parcours ou de l’évaluation finale ;
- ils constituent la référence pour savoir dans quelle mesure l’évaluation a bien été réalisée ;
- ils constituent l’élément qui rend légitime la mission confiée au consultant chargé de l’évaluation.

Étant donné leur rôle d’outil de gestion d’une évaluation, les termes de référence font généralement l’objet de discussions et de validation par un groupe de travail ou un comité de pilotage. Ils sont annexés au contrat du consultant dont ils font partie intégrante.

 

3. EXAMEN PAR LES PAIRS
L’examen par les pairs constitue un moyen de plus en plus répandu pour évaluer un Système Statistique National, un organisme statistique public ou une SNDS. Il s’agit d’un exercice amiable qui repose largement sur la confiance mutuelle des pays qui y participent et sur leur confiance commune dans le processus. Il est réalisé par des « pairs », c’est-à dire par des responsables de SSN d’un pays qui se rendent auprès de leurs homologues d’un autre pays. Le cadre méthodologique de référence peut être les Principes fondamentaux de la statistique officielle des Nations Unies ou leur équivalent au niveau continental ou régional : le code européen de bonnes pratiques statistiques ou la Charte africaine de la statistique.

L’examen par les pairs permet d’évaluer le fonctionnement d’un SSN dans tous ses aspects (institutionnel, organisationnel, appareil de production statistique), d’identifier les points forts et les points faibles et de faire des recommandations en vue d’améliorer les performances et de procéder à un échange de bonnes pratiques. Les rapports d’évaluation par les pairs sont en principe rendus publics.

Examen par les pairs semble indiquer que les évaluateurs sont des managers de SSN, ce qui signifie qu'ils seront généralement des statisticiens. Cependant, au cours d'une évaluation, le point de vue d'autres parties prenantes est extrêmement souhaitable, et les utilisateurs doivent être aussi associés au processus afin de diversifier les points de vue, y compris des utilisateurs extérieurs au SSN.

 

En pratique

Qui et quand
Contrairement aux évaluations d’une SNDS, ou de manière plus générale, d’un Système Statistique National ou d’un organisme statistique public qui peuvent être prévus par les textes en vigueur, l’examen par les pairs ressort de l’initiative des responsables directement concernés (directeur de l’organisme statistique central par exemple). Dans ce cadre, l’examen par les pairs d’une SNDS peut intervenir lors du processus d’élaboration de celle-ci, de préférence au moment du diagnostic du SSN pour disposer de constats, d’analyses et de recommandations d’une équipe expérimentée de personnalités indépendantes, afin de permettre d’élaborer les stratégies de renforcement des capacités sur les bases les plus objectives possibles.

Comment
Outre les pairs proprement dits (à savoir les homologues des responsables nationaux), l’équipe chargée d’un examen par les pairs peut s’appuyer sur des consultants indépendants (en s'assurant que les utilisateurs sont dûment représentés) rémunérés, les pairs ne l’étant pas. C’est le cas des examens par les pairs réalisés en Afrique avec l’appui du Secrétariat de PARIS21. Dans le cadre du dispositif mis en place, un guide à l’attention des examinateurs a été préparé pour décrire les principaux éléments à prendre en considération. Le cadre méthodologique de référence est constitué par les Principes fondamentaux de la statistique officielle des Nations Unies et la Charte africaine de la statistique qui en constitue leur adaptation au niveau de l’Afrique. 

L’examen par les pairs repose sur une série d’entretiens avec les responsables de l’organisme statistique central et avec ceux d’un échantillon d’autres services producteurs de statistiques publiques, d’utilisateurs nationaux et de partenaires techniques et financiers. Sur la base du guide, les entretiens portent sur : le cadre législatif et réglementaire qui régit les activités statistiques, l’appareil de production statistique (y compris les ressources humaines, matérielles et financières) ; l’analyse, la diffusion, l’archivage et l’utilisation des données statistiques. Une attention particulière est accordée au respect de l’indépendance professionnelle des statisticiens (indépendance dans le choix des concepts, des définitions, des nomenclatures et des méthodes ; intégrité et impartialité des services statistiques publics), à la qualité des données, à la satisfaction des utilisateurs ainsi qu’au processus d’élaboration, de mise en œuvre et de suivi et d'évaluation de la SNDS en cours, le cas échéant. Sur la base des constats effectués, l’équipe d’examinateurs procède à une analyse des forces, des faiblesses, des opportunités et des menaces et formule des recommandations. Un rapport de l’examen par les pairs reprenant tous ces éléments est rendu public à la fin du processus.

 

4. LE SYSTÈME DE REPORTING
Le reporting fait partie intégrante de tout cadre adapté de suivi et évaluation. Son objectif principal est de fournir et de diffuser une information complète et régulière sur la mise en œuvre d’une SNDS ou de tout autre programme. En effet, lors de la mise en œuvre d’une SNDS qui s’étale sur plusieurs années (de trois à six ans en général), des changements plus ou moins importants peuvent survenir qui obligent à apporter des modifications aux objectifs, aux résultats attendus et aux activités. Ces modifications sont décidées par les responsables du SSN, voire par l’autorité politique. Ces derniers doivent donc disposer à temps des informations et des analyses qui leur permettent de décider à bon escient. C’est le rôle du reporting de les fournir.

 

En pratique

Qui et quand
Selon les pays, le système de reporting mis en place est plus ou moins sophistiqué. Dans tous les cas, des rapports annuels doivent être produits au niveau national par l’organisme statistique central (ou sous sa supervision et/ou coordination) pour faire le point sur l’état d’avancement de la mise en œuvre de la SNDS, sur les difficultés rencontrées et les solutions proposées afin de les surmonter. Lorsque le système de reporting est sophistiqué, il peut comprendre des rapports à une fréquence semestrielle, trimestrielle, voire mensuelle. Ces rapports sont généralement produits par les différents services directement impliqués dans la mise en œuvre de la SNDS.

Comment
Les rapports annuels sont élaborés par l’organisme statistique central à partir des rapports rédigés par les différents services et agences qui produisent les statistiques officielles et ce, à partir d’un modèle standard pour faciliter leur synthèse. Ils sont ensuite examinés par l’instance officielle de coordination du SSN (le Conseil national de la statistique ou son équivalent). Dans certains pays, les conclusions et recommandations issues de cet examen sont soumises au gouvernement. 

Les rapports à une fréquence semestrielle, trimestrielle, voire mensuelle sont examinés à un niveau proche des services et agences producteurs de statistiques publiques. Il peut s’agir de comités au niveau ministériel ou sectoriels qui regroupent les techniciens directement impliqués dans la production des statistiques.

 

5. LES DIFFICULTÉS RENCONTRÉES PAR LES PAYS EN DÉVELOPPEMENT
Il ressort de ce qui précède que la qualité des systèmes de suivi et d’évaluation (y inclus le reporting) dépend largement du dispositif institutionnel mis en place pour l’élaboration et le suivi de la mise en œuvre d’une SNDS. C’est à ce niveau que se situe l’une des principales difficultés auxquelles se heurtent les pays en développement. En effet, les dispositifs institutionnels en place dans ces pays présentent beaucoup de lacunes :

  • Alors que les Comités de direction ou les Conseils prévus par la réglementation statistique se réunissent régulièrement et font rapport à leurs autorités de tutelle, d'autres instances de coordination ou de consultation comme par exemple les comités utilisateurs-producteurs ont tendance à se réunir moins fréquemment pour des raisons telles que : la composition de ces comités souvent inadaptée, les ordres du jour intéressant peu les utilisateurs, des invitations pas toujours adressées au bon moment, un manque d'intérêt des responsables au sein du SSN et parfois le manque de ressources (financières).
  • Dans certains cas, les lois statistiques en vigueur créent une instance de coordination officielle du genre Conseil national de la statistique mais les textes d’application ne sont pas toujours adaptés à leur fonctionnement efficace : un Conseil national de la statistique présidé par le Premier Ministre et composé de ministres a souvent du mal à se réunir à la bonne date. De même un Conseil national de la statistique présidé par le ministre en charge de la statistique et comprenant d’autres ministres aura du mal à fonctionner de manière optimale faute de pouvoir réunir la majeure partie de ses membres.

Une autre difficulté majeure réside tout simplement dans l’absence d’un système de suivi et d’évaluation pertinent. Lorsqu’un tel système est mentionné dans la SNDS, c’est souvent une description très sommaire qui en est faite. En particulier on n’y trouve pas de manière systématique une batterie complète d’indicateurs relatifs aux objectifs, aux résultats, aux produits et aux activités, ce qui rend tout suivi régulier et toute évaluation fiable impossibles.

Pour surmonter les difficultés majeures mentionnées précédemment, il convient de doter les instances de coordination et de concertation de moyens de fonctionnement satisfaisants, soit en assurant leur financement par une ligne budgétaire spécifique, soit sur les ressources du Fonds national de développement statistique dans les pays où ils existent ou sont en cours de mise en place. Enfin, il conviendrait, dans les pays concernés de réviser et /ou compléter les dispositions législatives et réglementaires en vigueur.