4 État des lieux/diagnostic

L'ÉTAT DES LIEUX/DIAGNOSTIC DE QUOI ?

La préparation du diagnostic global passe par une analyse rigoureuse de la documentation existante et par un examen des résultats d’éventuelles évaluations antérieures. Très peu de pays partent de zéro pour la formulation d’un plan stratégique (certains en sont à l’élaboration de leur deuxième SNDS). Normalement, ce processus vise à améliorer un système statistique national existant.

Le diagnostic commence par un examen des documents politiques, afin d’identifier les priorités et les indicateurs nécessaires. En principe, ces documents comprennent les grands axes politiques du développement national et leur évaluation (développement durable, réduction de la pauvreté, stratégies sectorielles et infranationales, etc.), ainsi que les cadres infrarégionaux et internationaux correspondants (Programme de développement durable à l’horizon 2030, accords internationaux et rapports sur les OMD du pays, par exemple). À ce stade, il peut également être indiqué de prendre connaissance des documents relatifs aux politiques / programmes des donateurs potentiels.

L’analyse de l’ensemble des documents pertinents, y compris des rapports existants sur la situation statistique, donnera un premier tableau général du niveau de développement statistique du pays. Le pays lui-même doit mener et s’approprier toute analyse pertinente du SSN.  Il existe plusieurs outils internationaux pouvant contribuer à ce processus. Le présent document servira de guide pour les sélectionner.

PARIS21 (2017 : 15) a élaboré des directives sur la méthode de sélection d’un outil d’évaluation. L’équipe chargée de l’élaboration de la SNDS peut reprendre les questions suivantes pour identifier les besoins nationaux les plus pertinents :

• Qui doit être convaincu par l’évaluation ? Qui doit recevoir les résultats et engager les mesures qui en découleront ?
• Qui doit réaliser l’évaluation ? S’agit-il d’une auto-évaluation bénéficiant de l’appui d’un expert international, ou d’une évaluation indépendante réalisée par un partenaire de développement ?
•   
  

  Les destinataires des résultats, dont il convient d’influencer l’action pour obtenir les améliorations nécessaires des capacités, les considèreront-ils comme fiables et utiles ? Convient-il d’accorder une attention spéciale à une problématique précise ou à un domaine particulier ?

• Quel est le degré d’urgence de l’évaluation ; certaines sont rapides et d’autres peuvent s’étaler sur plusieurs mois ?
• Y a-t-il un partenaire de développement intéressé ?
• Qui doit être consulté dans le cadre de l’évaluation ?

La consultation et les discussions avec les utilisateurs doivent être axées sur les questions suivantes :

• Qui sont les principaux utilisateurs des statistiques ? Comment utilisent-ils les statistiques dans le cadre de leurs activités ?
• Dans quelle mesure les statistiques requises sont-elles disponibles et les carences en statistiques ont-elles imposé des contraintes aux utilisateurs ? Le système existant contribue-t-il à la production d’une série d’indicateurs pertinente pour assurer le suivi de la réalisation des objectifs nationaux en matière de développement, de la conformité aux exigences internationales (OMD, par exemple) et le respect des engagements pris au niveau régional ?
• Les statistiques produites contribuent-elles à une meilleure reddition des comptes et une plus grande transparence de la gestion ?
• Les utilisateurs, qu’ils appartiennent ou non à l’administration publique nationale, estiment-ils que les statistiques existantes sont adéquates en termes de pertinence, de précision, de cohérence, d’exhaustivité, d’actualité, de niveau de ventilation (géographique, par genre, etc.), de présentation ou de lisibilité des publications, de pratiques en matière de révision des données préliminaires et d’accessibilité aux données, métadonnées et micro-données ?
• Quelles sont leurs relations avec les principaux producteurs de statistiques et comment perçoivent-ils leur rôle dans le développement du SSN ?
• Les stratégies de promotion actuelles sensibilisent-elle suffisamment le public à l’importance des données produites ? Le système fournit-il une formation adéquate pour assister les utilisateurs dans l’interprétation des données, le développement d’indicateurs et une utilisation optimale des statistiques ; le système permet-il de réaliser des études sur mesure ou à la demande ?
• Quels sont leurs besoins et priorités statistiques actuels et futurs ?  Leurs besoins sont-ils liés à des programmes nationaux ou des plans de développement spécifiques ?
• Comment envisagent-ils une satisfaction optimale de leurs besoins dans le contexte de la SNDS ?

L’objet du cadre de développement des capacités CD 4.0 (Capacity Development 4.0) élaboré par PARIS21 est d’analyser les capacités des systèmes statistiques sous un angle nouveau. Dans ce contexte, il s’agit de la capacité du système statistique national (SSN) d’un pays, de ses organisations et de ses personnels à collecter, produire, analyser et diffuser des données fiables et de haute qualité répondant aux besoins des utilisateurs (Eurostat, 2014; Banque mondiale, 2017).  Ce cadre a été établi par un Task Team mis en place en 2017 pour analyser la capacité statistique dans le contexte du nouvel écosystème de données. Le Task Team a rassemblé un large groupe d’acteurs, notamment des offices nationaux de statistique, des partenaires de développement, des organismes multilatéraux et bilatéraux, ainsi que des fournisseurs du secteur privé.

À l’instar des divers cadres existants, le CD 4.0 identifie trois principaux niveaux d’évaluation des capacités (par ex. Denney and Mallet, 2017). Les statistiques officielles sont produites par le SSN, composé de plusieurs institutions ou services en interaction, eux-mêmes composés d’individus en interaction avec d’autres personnes. La capacité statistique doit donc être évaluée sur trois niveaux : a) l’individu (par ex. les employés en charge des statistiques, prospects inclus) ; b) les organisations (par ex. l’ONS) ; et c) le système global, qui comprend les individus et les organisations, avec les liens et interactions correspondants.

Produits statistiques

Il s’agit d’évaluer les produits statistiques existants et planifiés du SSN. Il convient de compléter ce travail par un examen d’éventuels nouveaux produits qui permettraient potentiellement de répondre aux priorités identifiées. Chacun des produits clés attendus devra être apprécié en fonction de critères convenus au préalable (normes et cadres internationaux, méthodologies recommandées, entre autres). 

Les cadres d’assurance de la qualité et les normes de diffusion comme le cadre d’évaluation de la qualité des données (CEQD) du FMI et le Système général de diffusion des données (SGDD), restent considérés comme des référencés pour l’évaluation des produits statistiques. Ils sont donc au cœur de la SNDS dans la plupart des pays. De nombreux pays ont adopté le SGDD et ont, par conséquent, déjà accompli une grande partie des étapes conduisant à l’élaboration d’une approche stratégique du développement des statistiques. Pour les pays qui n’adhèrent pas encore au SGDD, il peut s’agir d’une première étape importante. 

 L’évaluation de la production statistique doit permettre de répondre aux questions suivantes :

• Quelles sont les statistiques disponibles (stocks) et leurs sources ? À quelle vitesse les utilisateurs y ont-ils accès (publication, diffusion, politiques et processus de communication) ?
• Quelle est la qualité des statistiques et comment sont-elles produites (processus de production, méthodes et procédures, application des normes internationales, contraintes et problèmes) traitées, analysées et archivées (politiques informatiques, bases de données, anonymisation, etc) ?
• Les systèmes et processus de gestion des données peuvent-ils être améliorés pour optimiser l’efficacité de la production de données, en réduisant les doublons et en comblant les lacunes ?
• Existe-t-il des définitions claires de l’ensemble des données produites ?   Les données sont-elles archivées de façon à permettre à l’ensemble des utilisateurs et producteurs concernés d’y accéder, que ce soit au sein du SSN ou ailleurs ? Le système produit-il les indicateurs appropriés pour évaluer les performances sectorielles ?
• Les politiques et plans de diffusion existants pour la production statistique sont-ils adéquats ? 

Diverses approches peuvent être retenues pour l’évaluation des besoins des utilisateurs. L’équipe désignée devrait pouvoir s’appuyer sur des processus existants ou une évaluation de référence des besoins des utilisateurs (principes de qualité relatifs aux statistiques officielles) effectuée par le passé.

L’une des méthodes consiste à identifier les utilisateurs intéressés par un type particulier de données en fonction de leurs domaines de prédilection, et d’organiser une rencontre avec eux. La liste établie lors du processus de PRÉPARATION (cf. PRÉPARATION - Identification des parties prenantes) constitue un bon point de départ pour identifier les principaux utilisateurs de données. Il convient que des institutions représentant chacune des principales catégories d’utilisateurs (cf. PROMOTION) participent aux consultations et aux discussions menées avec celles-ci, individuellement ou par petits groupes, d’autres pouvant être invitées à donner leur avis par écrit.  Ce processus vise à garantir que les responsables politiques et les décideurs, ainsi que les spécialistes techniques des associations d’utilisateurs, sont bien consultés.

Il existe une autre méthode pour impliquer les utilisateurs, qui a donné de bons résultats dans un certain nombre de pays. Elle consiste à organiser un atelier de travail à l’échelle du pays, réunissant les producteurs et les utilisateurs de données, ainsi que les bailleurs de fonds. Ces ateliers abordent des questions spécifiques liées à la statistique, qui revêtent un intérêt particulier pour les participants, tout en encouragent le dialogue entre les groupes de producteurs et d’utilisateurs. Ils se sont révélés utiles pour sensibiliser les participants à l’importance des statistiques, pour dresser des bilans intermédiaires de l’amélioration des données et pour aborder des nouvelles questions.

Les points de vue des différents utilisateurs sont ainsi pris en compte et comparés aux statistiques officielles disponibles. La collecte d’informations peut également passer par un questionnaire ou l’organisation de rencontres et d’entretiens avec les parties prenantes. Cette dernière approche est généralement privilégiée, car elle permet d’éviter le problème des faibles taux de réponse aux questionnaires.

Au cours du processus d’élaboration de la SNDS, les comités sectoriels à créer constitueront 
un cadre adéquat pour la participation des utilisateurs et l’identification de leurs besoins. 

Il existe de nombreux outils internationaux d’évaluation des capacités et des produits statistiques. Dans le cadre d’une étude menée par PARIS21 (2018), quatorze des questions et indicateurs d’évaluation internationaux les plus utilisés ont été classés par catégorie, conformément à la clé de classification du CD 4.0. Il en ressort que 40 % des questions sont axées sur les compétences et les connaissances au niveau des organisations, principalement sur les processus de production statistique et les cadres d’assurance de la qualité.

On distingue quatre types d’outils internationaux : A) les outils mis en œuvre par les autorités nationales pour documenter la planification et les processus stratégiques de la statistique nationale ; B) les outils des partenaires qui veulent « investir » dans la statistique pour appuyer la conception et le suivi de projets ; C) les outils servant au suivi international des performances statistiques ; et D) l’évaluation/la conformité de la qualité des données aux codes de conduite.

Les outils de type A sont « habituellement mis en œuvre sous l’égide des autorités responsables de la planification nationale ou de la statistique. Cette tâche est généralement confiée à des experts ou des pairs internationaux de renom, qui collaborent avec les autorités nationales (…) [Ces outils] sont généralement déployés sur plusieurs semaines, voire plusieurs mois, et passent par un grand nombre de consultations des parties prenantes à l’échelle nationale, régionale et internationale. »

Les outils de type B sont sont le plus souvent « utilisés par des experts, délégués ou employés par l’organisation des partenaires de développement (…) La phase de diagnostic s’étend sur plusieurs semaines et inclut des consultations avec les parties prenantes » (PARIS21, 2017: 7). Ces évaluations visent à identifier les forces et les faiblesses du système statistique, ainsi que les contraintes en matière de qualité.

Les outils de type C « n’impliquent pas un déplacement dans le pays, mais s’appuient sur les informations publiées sur les sites Internet dédiés aux statistiques nationales » (PARIS21, 2017 : 8).

Enfin, les outils de type D sont mis en place pour observer les normes des organisations internationales. Ils sont « normalement obligatoires et conçus pour vérifier la conformité des normes et codes de conduite des différentes instances. »