4 État des lieux/diagnostic

L'ÉTAT DES LIEUX/DIAGNOSTIC DE QUOI ?

 
Avant d’élaborer une SNDS, il est souhaitable d’effectuer un diagnostic approfondi de l’état actuel du système statistique afin de fixer les priorités en matière de développement de la statistique. Ce diagnostic vise à répondre à la question suivante : « Où en sommes-nous ? » Cela passe par une description complète du Système statistique national (SSN). Cette description doit permettre d’identifier les demandes de données, ainsi que de déterminer l’adéquation et la qualité des produits statistiques, mais aussi les points forts et les défis à relever. Il s’agit de comprendre l’organisation et la gestion du SSN dans son ensemble.

Les résultats obtenus doivent être concrets, afin de soutenir le processus de définition des objectifs stratégiques. L’état des lieux dressé doit donc être réaliste, objectif et critique. Deux aspects doivent être analysés pour comprendre le fonctionnement du SSN : a) le degré d’adéquation de ses produits avec les besoins des utilisateurs et b) ses capacités statistiques.  Si un diagnostic antérieur existe, une comparaison des résultats s’impose pour pouvoir évaluer les améliorations éventuelles.

Dans un premier temps, il convient d’analyser les besoins des utilisateurs pour déterminer la disponibilité des données requise pour produire les indicateurs statistiques demandés et identifier les lacunes à combler. Le plus souvent, ces lacunes résultent d’une inadéquation entre la demande et l’offre, ou entre les produits et les résultats (l’efficacité du système du point de vue de l’utilisateur), c’est-à-dire d’un décalage entre les données recherchées et les données disponibles / entre la qualité des données disponibles et le service fourni.

Le diagnostic mettra également en évidence les performances du système statistique (efficacité – capacité / produits), et présentera les principaux atouts internes du système et ses faiblesses, sans oublier les menaces externes susceptibles d’affecter son évolution et les opportunités à saisir. La réussite sera évaluée au regard de la situation initiale. En fait, pour les pays qui disposent déjà d’une SNDS, la phase de diagnostic équivaut à l’évaluation de la précédente SNDS. Il convient de noter qu’une analyse approfondie des capacités statistiques est indispensable à l’établissement de stratégies pouvant contribuer à combler les lacunes de données et améliorer les performances du système statistique.

Un état des lieux utile s’appuie sur les meilleures pratiques ; le cas échéant, il est évalué au regard des normes et cadres internationaux. Les pays disposent actuellement de plusieurs outils pour procéder au diagnostic de la SSN. PARIS21 a procédé en 2017 à un état des lieux des évaluations internationales et de leur utilisation. Ce point sera examiné dans les sections suivantes.

Plus spécifiquement, ce travail doit permettre d’analyser les dimensions suivantes :

·        

Satisfaction et besoins des utilisateurs ;

·        

Capacités du

-         

SSN ;

-         

Produits statistiques.

 
Dans la pratique

Avant toute évaluation, il est primordial de trancher les questions suivantes : Qui va s’en charger (experts nationaux ou internationaux, commission nationale, par ex.) ? Qui sera l’interlocuteur central ? Qui participera au processus ? Quel outil d’évaluation utiliser ? La liste des parties prenantes peut inclure des producteurs de données (à  quels niveaux et au sein de quels services ?), des autorités supérieures responsables du SSN (ministères, membres du conseil de la statistique, hauts fonctionnaires d’un ministère apparenté), des utilisateurs de données existants et potentiels, des fournisseurs de données, des partenaires de développement, des organismes scientifiques, des universités et des instances régionales.

La préparation du diagnostic global passe par une analyse rigoureuse de la documentation existante et par un examen des résultats d’éventuelles évaluations antérieures. Très peu de pays partent de zéro pour la formulation d’un plan stratégique (certains en sont à l’élaboration de leur deuxième SNDS). Normalement, ce processus vise à améliorer un système statistique national existant.

Le diagnostic commence par un examen des documents politiques, afin d’identifier les priorités et les indicateurs nécessaires. En principe, ces documents comprennent les grands axes politiques du développement national et leur évaluation (développement durable, réduction de la pauvreté, stratégies sectorielles et infranationales, etc.), ainsi que les cadres infrarégionaux et internationaux correspondants (Programme de développement durable à l’horizon 2030, accords internationaux et rapports sur les OMD du pays, par exemple). À ce stade, il peut également être indiqué de prendre connaissance des documents relatifs aux politiques / programmes des donateurs potentiels.

L’analyse de l’ensemble des documents pertinents, y compris des rapports existants sur la situation statistique, donnera un premier tableau général du niveau de développement statistique du pays. Le pays lui-même doit mener et s’approprier toute analyse pertinente du SSN.  Il existe plusieurs outils internationaux pouvant contribuer à ce processus. Le présent document servira de guide pour les sélectionner.

PARIS21 (2017 : 15) a élaboré des directives sur la méthode de sélection d’un outil d’évaluation. L’équipe chargée de l’élaboration de la SNDS peut reprendre les questions suivantes pour identifier les besoins nationaux les plus pertinents :

  • Qui doit être convaincu par l’évaluation ? Qui doit recevoir les résultats et engager les mesures qui en découleront ?
  • Qui doit réaliser l’évaluation ? S’agit-il d’une auto-évaluation bénéficiant de l’appui d’un expert international, ou d’une évaluation indépendante réalisée par un partenaire de développement ?
  •   

    Les destinataires des résultats, dont il convient d’influencer l’action pour obtenir les améliorations nécessaires des capacités, les considèreront-ils comme fiables et utiles ? Convient-il d’accorder une attention spéciale à une problématique précise ou à un domaine particulier ?

  • Quel est le degré d’urgence de l’évaluation ; certaines sont rapides et d’autres peuvent s’étaler sur plusieurs mois ?
  • Y a-t-il un partenaire de développement intéressé ?
  • Qui doit être consulté dans le cadre de l’évaluation ?
 
 
1. État des lieux/diagnostic des produits statistiques
  
Les demandes des utilisateurs varient considérablement en fonction du but recherché, des capacités disponibles, ainsi que de leur degré de maîtrise de ces statistiques et de la technicité de leur utilisation. Un examen des demandes de données, à la fois existantes et potentielles, doit donc être mené. Les besoins des utilisateurs ne peuvent être pleinement satisfaits s’ils n’ont pas été correctement identifiés, synthétisés, compris et hiérarchisés et tant que les utilisateurs ne connaissent pas toute la production statistique existante ni les pratiques de gestion. Il est important de souligner que les utilisateurs ont invariablement une longue liste de besoins en statistiques. Aucun effort ne doit être ménagé pour les aider à identifier leurs priorités. Le choix final des produits statistiques prioritaires dépendra essentiellement du lien entre les besoins des utilisateurs et les plans de développement nationaux et/ou des programmes nationaux particuliers. De plus, les besoins et les priorités des utilisateurs évoluent constamment. Une consultation et un dialogue permanents avec eux sont nécessaires pour pouvoir suivre cette évolution. 

  

La consultation et les discussions avec les utilisateurs doivent être axées sur les questions suivantes :

  • Qui sont les principaux utilisateurs des statistiques ? Comment utilisent-ils les statistiques dans le cadre de leurs activités ?
  • Dans quelle mesure les statistiques requises sont-elles disponibles et les carences en statistiques ont-elles imposé des contraintes aux utilisateurs ? Le système existant contribue-t-il à la production d’une série d’indicateurs pertinente pour assurer le suivi de la réalisation des objectifs nationaux en matière de développement, de la conformité aux exigences internationales (OMD, par exemple) et le respect des engagements pris au niveau régional ?
  • Les statistiques produites contribuent-elles à une meilleure reddition des comptes et une plus grande transparence de la gestion ?
  • Les utilisateurs, qu’ils appartiennent ou non à l’administration publique nationale, estiment-ils que les statistiques existantes sont adéquates en termes de pertinence, de précision, de cohérence, d’exhaustivité, d’actualité, de niveau de ventilation (géographique, par genre, etc.), de présentation ou de lisibilité des publications, de pratiques en matière de révision des données préliminaires et d’accessibilité aux données, métadonnées et micro-données ?
  • Quelles sont leurs relations avec les principaux producteurs de statistiques et comment perçoivent-ils leur rôle dans le développement du SSN ?
  • Les stratégies de promotion actuelles sensibilisent-elle suffisamment le public à l’importance des données produites ? Le système fournit-il une formation adéquate pour assister les utilisateurs dans l’interprétation des données, le développement d’indicateurs et une utilisation optimale des statistiques ; le système permet-il de réaliser des études sur mesure ou à la demande ?
  • Quels sont leurs besoins et priorités statistiques actuels et futurs ?  Leurs besoins sont-ils liés à des programmes nationaux ou des plans de développement spécifiques ?
  • Comment envisagent-ils une satisfaction optimale de leurs besoins dans le contexte de la SNDS ?
 
2. État des lieux/diagnostic de la satisfaction et des besoins des utilisateurs
  
Capacités statistiques

L’objet du cadre de développement des capacités CD 4.0 (Capacity Development 4.0) élaboré par PARIS21 est d’analyser les capacités des systèmes statistiques sous un angle nouveau. Dans ce contexte, il s’agit de la capacité du système statistique national (SSN) d’un pays, de ses organisations et de ses personnels à collecter, produire, analyser et diffuser des données fiables et de haute qualité répondant aux besoins des utilisateurs (Eurostat, 2014; Banque mondiale, 2017).  Ce cadre a été établi par un Task Team mis en place en 2017 pour analyser la capacité statistique dans le contexte du nouvel écosystème de données. Le Task Team a rassemblé un large groupe d’acteurs, notamment des offices nationaux de statistique, des partenaires de développement, des organismes multilatéraux et bilatéraux, ainsi que des fournisseurs du secteur privé.

À l’instar des divers cadres existants, le CD 4.0 identifie trois principaux niveaux d’évaluation des capacités (par ex. Denney and Mallet, 2017). Les statistiques officielles sont produites par le SSN, composé de plusieurs institutions ou services en interaction, eux-mêmes composés d’individus en interaction avec d’autres personnes. La capacité statistique doit donc être évaluée sur trois niveaux : a) l’individu (par ex. les employés en charge des statistiques, prospects inclus) ; b) les organisations (par ex. l’ONS) ; et c) le système global, qui comprend les individus et les organisations, avec les liens et interactions correspondants.

Ce cadre définit cinq objectifs à prendre en compte : les ressources, les compétences et connaissances, le management, les milieux politiques et le pouvoir (gouvernance) et les incitations. Les compétences sont nécessaires à la manipulation des ressources, tandis que le management permet de les exploiter au mieux dans la réalisation de buts et d’objectifs spécifiques. La formulation d’objectifs relève des interactions politiques, elles-mêmes guidées par des incitations. Tous ces aspects doivent être alignés pour assurer le bon fonctionnement du SSN.
 
 

Le cadre de développement des capacités CD 4.0

Objectif / Niveau

Individuel

Organisationnel

Système

Ressources

Contexte professionnel

Ressources humaines

Législation, principes et cadre institutionnel

Budget

Infrastructure du financement

Infrastructure

Plans (SNDS, plans sectoriels…)

Données existantes

Compétences et savoir-faire

Compétences techniques

Processus de production statistique

Maîtrise des données

Savoir-faire

Assurance de la qualité et codes de conduite

Résolution des problèmes et esprit créatif

Innovation

Partage de connaissances

Communication

Gestion

Gestion du temps et définition des priorités

Planification stratégique, surveillance et évaluation

Mécanismes de coordination du SSN

Organisation

Coordination au sein de l’écosystème de données

Leadership

Gestion des RH

Gestion des changements

Stratégie de plaidoyer

Stratégies de levée de fonds

Politique et pouvoir

Travail en équipe et collaboration

Transparence

Relations entre les producteurs

Communication et compétences de négociation

Relations avec les utilisateurs

Politique sur le lieu de travail

Relations avec les milieux politiques

Réseautage stratégique

Relations avec les fournisseurs de données

 

Reddition des comptes

Incitations

Perspectives de carrière

Compensations et avantages

Intérêts des parties prenantes

Revenus et statut social

Culture organisationnelle

Soutiens politiques

Éthique et motivation

Réputation

Légitimité

 

 
À ce jour, le nombre d’indicateurs de performance permettant de mesurer les dimensions du CD 4.0 reste limité. Avec l’accroissement de la complexité des écosystèmes de données, l’évaluation des SSN devra progressivement intégrer d’autres indicateurs de performance de la capacité, qui tiennent compte des compétences individuelles hors aptitudes techniques, des nouvelles pratiques au sein des organisations et des acteurs émergents (fournisseurs privés, initiatives civiles en matière de données, par ex.). L’évaluation permettra ainsi d’élaborer une approche visionnaire et d’identifier des axes de développement futurs au sein du SSN.

 

Produits statistiques

Il s’agit d’évaluer les produits statistiques existants et planifiés du SSN. Il convient de compléter ce travail par un examen d’éventuels nouveaux produits qui permettraient potentiellement de répondre aux priorités identifiées. Chacun des produits clés attendus devra être apprécié en fonction de critères convenus au préalable (normes et cadres internationaux, méthodologies recommandées, entre autres). 

Les cadres d’assurance de la qualité et les normes de diffusion comme le cadre d’évaluation de la qualité des données (CEQD) du FMI et le Système général de diffusion des données (SGDD), restent considérés comme des référencés pour l’évaluation des produits statistiques. Ils sont donc au cœur de la SNDS dans la plupart des pays. De nombreux pays ont adopté le SGDD et ont, par conséquent, déjà accompli une grande partie des étapes conduisant à l’élaboration d’une approche stratégique du développement des statistiques. Pour les pays qui n’adhèrent pas encore au SGDD, il peut s’agir d’une première étape importante. 

 L’évaluation de la production statistique doit permettre de répondre aux questions suivantes :

  • Quelles sont les statistiques disponibles (stocks) et leurs sources ? À quelle vitesse les utilisateurs y ont-ils accès (publication, diffusion, politiques et processus de communication) ?
  • Quelle est la qualité des statistiques et comment sont-elles produites (processus de production, méthodes et procédures, application des normes internationales, contraintes et problèmes) traitées, analysées et archivées (politiques informatiques, bases de données, anonymisation, etc) ?
  • Les systèmes et processus de gestion des données peuvent-ils être améliorés pour optimiser l’efficacité de la production de données, en réduisant les doublons et en comblant les lacunes ?
  • Existe-t-il des définitions claires de l’ensemble des données produites ?   Les données sont-elles archivées de façon à permettre à l’ensemble des utilisateurs et producteurs concernés d’y accéder, que ce soit au sein du SSN ou ailleurs ? Le système produit-il les indicateurs appropriés pour évaluer les performances sectorielles ?
  • Les politiques et plans de diffusion existants pour la production statistique sont-ils adéquats ? 

 
 
 
Dans la pratique
L’état des lieux sera dressé par l’équipe chargée de l’élaboration de la SNDS, en étroite coordination avec l’ensemble des autres services (cf. ÉLABORATION) et avec le soutien éventuel de consultants. Une classification des produits statistiques et l’inventaire de l’ensemble des services du SSN en amont de l’analyse des informations existantes faciliteront cet exercice.

Diverses approches peuvent être retenues pour l’évaluation des besoins des utilisateurs. L’équipe désignée devrait pouvoir s’appuyer sur des processus existants ou une évaluation de référence des besoins des utilisateurs (principes de qualité relatifs aux statistiques officielles) effectuée par le passé.

L’une des méthodes consiste à identifier les utilisateurs intéressés par un type particulier de données en fonction de leurs domaines de prédilection, et d’organiser une rencontre avec eux. La liste établie lors du processus de PRÉPARATION (cf. PRÉPARATION - Identification des parties prenantes) constitue un bon point de départ pour identifier les principaux utilisateurs de données. Il convient que des institutions représentant chacune des principales catégories d’utilisateurs (cf. PROMOTION) participent aux consultations et aux discussions menées avec celles-ci, individuellement ou par petits groupes, d’autres pouvant être invitées à donner leur avis par écrit.  Ce processus vise à garantir que les responsables politiques et les décideurs, ainsi que les spécialistes techniques des associations d’utilisateurs, sont bien consultés.

Il existe une autre méthode pour impliquer les utilisateurs, qui a donné de bons résultats dans un certain nombre de pays. Elle consiste à organiser un atelier de travail à l’échelle du pays, réunissant les producteurs et les utilisateurs de données, ainsi que les bailleurs de fonds. Ces ateliers abordent des questions spécifiques liées à la statistique, qui revêtent un intérêt particulier pour les participants, tout en encouragent le dialogue entre les groupes de producteurs et d’utilisateurs. Ils se sont révélés utiles pour sensibiliser les participants à l’importance des statistiques, pour dresser des bilans intermédiaires de l’amélioration des données et pour aborder des nouvelles questions.

Les points de vue des différents utilisateurs sont ainsi pris en compte et comparés aux statistiques officielles disponibles. La collecte d’informations peut également passer par un questionnaire ou l’organisation de rencontres et d’entretiens avec les parties prenantes. Cette dernière approche est généralement privilégiée, car elle permet d’éviter le problème des faibles taux de réponse aux questionnaires.

Au cours du processus d’élaboration de la SNDS, les comités sectoriels à créer constitueront 
un cadre adéquat pour la participation des utilisateurs et l’identification de leurs besoins. 

Il existe de nombreux outils internationaux d’évaluation des capacités et des produits statistiques. Dans le cadre d’une étude menée par PARIS21 (2018), quatorze des questions et indicateurs d’évaluation internationaux les plus utilisés ont été classés par catégorie, conformément à la clé de classification du CD 4.0. Il en ressort que 40 % des questions sont axées sur les compétences et les connaissances au niveau des organisations, principalement sur les processus de production statistique et les cadres d’assurance de la qualité.

On distingue quatre types d’outils internationaux : A) les outils mis en œuvre par les autorités nationales pour documenter la planification et les processus stratégiques de la statistique nationale ; B) les outils des partenaires qui veulent « investir » dans la statistique pour appuyer la conception et le suivi de projets ; C) les outils servant au suivi international des performances statistiques ; et D) l’évaluation/la conformité de la qualité des données aux codes de conduite.

Les outils de type A sont « habituellement mis en œuvre sous l’égide des autorités responsables de la planification nationale ou de la statistique. Cette tâche est généralement confiée à des experts ou des pairs internationaux de renom, qui collaborent avec les autorités nationales (…) [Ces outils] sont généralement déployés sur plusieurs semaines, voire plusieurs mois, et passent par un grand nombre de consultations des parties prenantes à l’échelle nationale, régionale et internationale. »

Les outils de type B sont sont le plus souvent « utilisés par des experts, délégués ou employés par l’organisation des partenaires de développement (…) La phase de diagnostic s’étend sur plusieurs semaines et inclut des consultations avec les parties prenantes » (PARIS21, 2017: 7). Ces évaluations visent à identifier les forces et les faiblesses du système statistique, ainsi que les contraintes en matière de qualité.

Les outils de type C « n’impliquent pas un déplacement dans le pays, mais s’appuient sur les informations publiées sur les sites Internet dédiés aux statistiques nationales » (PARIS21, 2017 : 8).

Enfin, les outils de type D sont mis en place pour observer les normes des organisations internationales. Ils sont « normalement obligatoires et conçus pour vérifier la conformité des normes et codes de conduite des différentes instances. »

Outils: