4 Avaliando

 O QUE AVALIAR?

Relativamente à primeira, seria uma análise das necessidades dos utilizadores para definir a disponibilidade de dados para produzir os indicadores estatísticos solicitados e identificar lacunas ao nível dos dados. A maioria das lacunas é provocada por uma falta de correspondência entre a procura e a oferta de dados ou entre produtos e resultados (a eficácia do sistema do ponto de vista do utilizador), isto é, lacunas em termos dos dados pretendidos e aquilo que está disponível/lacunas em termos de qualidade de dados disponíveis e do serviço prestado.

A avaliação também irá sublinhar os desempenhos do sistema de estatística (eficiência - capacidade/produtos) e apresentar os principais pontos fortes e fracos internos, assim como as ameaças externas que podem afectar o modo como o mesmo evolui e as oportunidades que devem ser aproveitadas. O sucesso será avaliado relativamente à situação de partida. Na verdade, para os países que já têm uma ENDE, a fase de apreciação equivale à fase de avaliação da anterior ENDE. Note-se que uma análise aprofundada da capacidade em matéria de estatística é crucial para a concepção de estratégias que ajudarão a reduzir as lacunas em dados e melhorar os resultados do sistema de estatística.

Uma avaliação útil utiliza as boas práticas e os valores de referência em comparação com as normas e quadros internacionais, consoante os casos. Há actualmente várias ferramentas disponíveis para os países avaliarem o seu SNE. Em 2017, a Parceria PARIS21 fez uma análise das avaliações internacionais e sobre a utilização das mesmas, que vai ser discutida nas secções adiante.

Especificamente, a avaliação deve conduzir a uma compreensão das seguintes dimensões:

·       

Avaliação das exigências/necessidades em matéria de dados e da satisfação dos utilizadores

·       

Avaliação do SNE

-        

Capacidade

A preparação para a avaliação global obriga a uma análise aprofundada da documentação existente e das conclusões de outras avaliações anteriores. Haverá muito poucos países a iniciarem o planeamento estratégico a partir do zero (alguns países estão a projectar a sua segunda ENDE), e o objectivo será normalmente melhorar o sistema nacional de estatística que existir.

A avaliação deverá começar por uma avaliação dos documentos estratégicos relevantes para identificar os domínios prioritários e os indicadores necessários. Estes documentos irão provavelmente incluir quadros de política de desenvolvimento nacional e as suas avaliações (p. ex., desenvolvimento sustentável, redução da pobreza, estratégias sectoriais e sub-nacionais), assim como documentos de política de desenvolvimento sub-regional e internacional (p. ex., Agenda 2030 para o Desenvolvimento Sustentável, acordos internacionais e relatórios de país sobre os ODS. Poderá também ser conveniente nesta fase consultar os documentos sobre políticas/programas dos doadores potenciais para o país.

A análise de todos os documentos relevantes, incluindo os relatórios existentes sobre a situação da estatística, dará uma primeira imagem geral do desenvolvimento da estatística no país. Qualquer análise eficaz do SNE deve ser realizada e apropriada pelo próprio país.  Existem várias ferramentas internacionais para ajudar neste processo; este documento proporcionará orientações sobre a forma de as seleccionar.

A Parceria PARIS21 (2017: 15) elaborou directrizes sobre a forma de escolher a ferramenta de avaliação. A equipa responsável pela concepção da ENDE poderá utilizar as seguinte perguntas de orientação para identificar as ferramentas mais adequadas às necessidades do país:

• Quem precisa de ser convencido através da avaliação? Quem irá receber os resultados e actuar relativamente aos mesmos?
• Quem deve realizar a avaliação? Auto-avaliação com apoio de um perito internacional, ou avaliação independente por um parceiro de desenvolvimento?
• As pessoas que precisam de ser influenciadas pelos resultados (para que sejam conseguidas as melhorias necessárias em matéria de capacidade) confiam e valorizam os resultados?
• Há alguma questão ou algum sector que exija atenção especial?
• Qual é a urgência da avaliação – algumas avaliações são rápidas, outras demoram vários meses?
• Há algum parceiro de desenvolvimento interessado?
• Quem deve ser consultado para a avaliação?

As consultas e discussões com os utilizadores devem procurar responder às seguintes perguntas principais:

• Quem são os principais utilizadores de estatísticas? De que forma utilizam as estatísticas nas suas próprias operações?
• Em que medida estão disponíveis as estatísticas necessárias e de que modo foram os utilizadores condicionados pela falta de estatísticas; o sistema existente contribui para a produção do conjunto de indicadores adequado para monitorizar os objectivos de desenvolvimento nacionais e cumprir os requisitos internacionais (ODS, por exemplo) e compromissos regionais?
• As estatísticas produzidas contribuem para uma melhor prestação de contas e transparência do governo?
• Como avaliam os utilizadores, quer pertençam a entidades governamentais ou não, a adequação das estatísticas existentes em termos de relevância, rigor, consistência, exaustividade, oportunidade, nível de desagregação (geográfica, de género, etc.), apresentação ou legibilidade das publicações, práticas em matéria de revisão dos dados preliminares e acessibilidade a dados, meta-dados e micro-dados?
• Qual é a sua relação com os principais produtores de estatística, e de que forma vêem o seu próprio papel no desenvolvimento do SNE?
• As estratégias de argumentação em prol da importância das estatísticas actuais são suficientes para sensibilizar o público para a importância dos dados produzidos; o sistema dá formação adequada para ajudar os utilizadores a interpretar os dados, cria indicadores e utiliza da melhor forma as estatísticas; o sistema disponibiliza estudos personalizados ou a pedido?
• Quais são as suas necessidades e prioridades actuais ou futuras percepcionadas? As suas necessidades estão ligadas a programas nacionais ou planos de desenvolvimento específicos?
• Na opinião dos utilizadores, qual a melhor forma de as suas necessidades serem satisfeitas no contexto da ENDE?

A Parceria PARIS21 criou o Quadro Capacity Development 4.0 (CD 4.0) para analisar a capacidade dos sistemas de estatística através de um prisma novo. Neste contexto, a capacidade estatística refere-se à capacidade de o sistema nacional de estatística de um país, das suas organizações e das pessoas para recolher, produzir, analisar e divulgar dados de elevada qualidade e fiáveis para satisfazer as necessidades dos utilizadores (Eurostat 2014; Banco Mundial, 2017).  O quadro foi criado por uma Equipa de Trabalho constituída em 2017 para analisar a capacidade estatística no contexto do novo ecossistema de dados. A Equipa de Trabalho envolveu um grupo alargado de intervenientes, incluindo institutos nacionais de estatística, parceiros de desenvolvimento, organizações multilaterais e bilaterais, e fornecedores do sector privado.

O Quadro CD 4.0 identifica três níveis principais na avaliação da capacidade, e é geralmente utilizado em vários quadros existentes (p. ex., Denney and Mallet, 2017) As estatísticas oficiais são produzidas pelo SNE, que é constituído por várias instituições ou agências que interagem entre si, e que são por sua vez constituídas por pessoas que interagem com outras. Por este motivo, a capacidade estatística tem de ser avaliada a três níveis: a) individual (p. ex., trabalhadores em estatística, incluindo potenciais); b) organizacional (p. ex., o INE); e c) o sistema no seu conjunto, que é constituído por indivíduos e organizações, acrescido das ligações e interacções entre os mesmos.

São cinco os objectivos a considerar neste quadro: recursos, competências e conhecimento, gestão, política e poder (isto é, governação) e incentivos. As competências são necessárias para manejar recursos, enquanto a gestão permite dar-lhes a melhor utilização tendo em vista a concretização de metas e objectivos específicos. A definição de objectivos é uma questão de interacções políticas, que são orientadas por incentivos. Todos os objectivos têm de estar alinhados para assegurar um SNE que funcione.

Nesta data, a disponibilidade de indicadores de desempenho para medir as dimensões do CD 4.0 são limitadas. À medida que os ecossistemas de dados se tornam mais complexos, as avaliações do SNE terão gradualmente necessidade de integrar outros indicadores de capacidade, que incluem competências individuais para além das competências técnicas, novas práticas organizacionais e os intervenientes emergentes (p. ex, fornecedores privados, iniciativas em matéria de dados criadas pelos cidadãos).  Isso permitirá à avaliação criar uma abordagem virada para o futuro e identificar domínios a desenvolver no âmbito do SNE.

Resultados em termos de estatística

Os resultados existentes e já planeados do SNE serão avaliados. Tal será complementado por uma avaliação de novos resultados potenciais a produzir em resposta às prioridades que tiverem sido identificadas. Cada um dos resultados principais deve ser comparado com os critérios acordados como, por exemplo, normas e quadros internacionais, metodologias recomendadas, entre outros. 

Os quadros de garantia da qualidade dos dados e as normas de divulgação como o Quadro de Avaliação da Qualidade dos Dados (Quality Assessment Framework (DQAF), e o Sistema Geral de Divulgação de Dados (General Data Dissemination System (GDDS)) do Banco Mundial são considerados como padrões de excelência na avaliação dos resultados estatísticos, sendo assim considerados na ENDE na maioria dos países. São muitos os países que subscrevem actualmente o GDDS e, consequentemente, já levaram a cabo muitas das etapas exigidas para a criação de uma abordagem estratégica relativamente ao desenvolvimento da estatística. Os países que ainda não o adoptaram considerá-lo-iam como uma etapa preliminar importante. 

Para avaliar os resultados em matéria de estatística, há que considerar as seguintes questões:

• Quais as estatísticas que estão disponíveis (inventário da oferta), as suas fontes e rapidez com que são disponibilizadas aos utilizadores (políticas e processos de publicação, divulgação e comunicação);
• A qualidade das estatísticas e a forma como são produzidas (produção, processos, métodos e procedimentos, utilização de normas internacionais, constrangimentos e problemas) e tratadas, analisadas e arquivadas (políticas em matéria de TI, bases de dados, anonimização, etc.);
• Melhorias nos sistemas e processos de gestão de dados para facilitar uma produção de dados eficiente, isto é, reduzir a duplicação de esforços, preencher lacunas no sistema;
•  
  

  Existem definições claras de todos os dados produzidos?  São arquivados de forma a poderem ser acedidos por todos os utilizadores e produtores relevantes ao nível do SNE e fora dele? O sistema produz o conjunto correcto de indicadores para avaliar o desempenho do sector?

A avaliação das necessidades dos utilizadores pode ser feita através de várias abordagens. Como sucede geralmente com a avaliação, é provável que a equipa de concepção consiga tirar partido de processos existentes ou de uma avaliação de referência sobre as necessidades dos utilizadores (princípios de qualidade relacionados com as estatísticas oficiais) já realizada no passado. 

Uma das abordagens consiste em identificar quais os utilizadores interessados em conjuntos de dados específicos de acordo com os seus domínios preferidos e organizar o contacto com estes utilizadores. A lista elaborada através do processo de PREPARAÇÃO (ver PREPARAÇÃO - Identificação das partes interessadas) é um bom ponto de partida para a identificação dos principais utilizadores dos dados. As instituições seleccionadas de cada um dos principais grupos de utilizadores (ver DEFESA DA IMPORTÂNCIA) devem ser incluídas na consulta e nas discussões havidas com as mesmas, quer individualmente, quer em pequenos grupos, enquanto outras podem ser convidadas a contribuir por escrito. O processo deve assegurar que os responsáveis pelas políticas e os decisores, assim como o pessoal técnico das instituições que utilizam dados, são consultados. 

Uma segunda abordagem relativamente ao envolvimento dos utilizadores que teve sucesso em vários países consiste em organizar um "workshop" no país que reúna compiladores de dados, utilizadores de dados e agências doadoras. Os "workshops" tratam de tópicos específicos sobre estatísticas que são do interesse dos participantes, para além de incentivarem o diálogo entre grupos de compiladores e utilizadores. Os "workshops" têm-se revelado úteis na sensibilização dos participantes para a importância das estatísticas, disponibilizando relatórios de progresso sobre melhorias ao nível dos dados, e discutindo novas questões. 

As opiniões dos vários utilizadores serão tidas em conta e comparadas com o inventário de estatísticas oficiais. Podem igualmente ser obtidas informações através de um questionário ou mediante uma visita concreta e entrevistas às partes interessadas. Esta última abordagem é geralmente a preferida para evitar taxas de resposta reduzidas na realização dos questionários.

Durante o processo de preparação da ENDE, os comités sectoriais que vão ser criados elaborarão um quadro adequado para a participação dos utilizadores e a identificação das necessidades destes. 

Para avaliar a capacidade e os resultados em matéria de estatística, existem inúmeras ferramentas internacionais. Um estudo realizado pela Parceria PARIS21 (2018), em que catorze das perguntas e indicadores mais conhecidos de avaliações internacionais foram categorizados utilizando a classificação referida no Quadro Capacity Development 4.0, constatou que 40% de todas as perguntas incidem nas competências e conhecimento ao nível organizacional, sobretudo nos processos de produção de estatísticas e quadros de garantia de qualidade.

Existem quatro tipos de ferramentas internacionais: A) as que são utilizadas pelas autoridades nacionais para informar os processos nacionais de planeamento estatístico e estratégico, B) ferramentas para parceiros que queiram 'investir' em estatística para informar a concepção e monitorização dos projectos, C) ferramentas de monitorização internacional do desempenho das estatísticas e D) avaliações da qualidade dos dados / cumprimento dos códigos de prática. (PARIS21, 2017: 7-8)

As ferramentas de tipo A são "geralmente aplicadas sob os auspícios das autoridades nacionais de planeamento ou estatística, mas são geralmente levadas a cabo por peritos internacionais conhecidos ou pares trabalhando em conjunto com as autoridades nacionais (...) São normalmente aplicadas ao longo de um período de várias semanas ou meses e envolvem um número elevado de consultas a partes interessadas nacionais, regionais e internacionais".

As ferramentas de tipo B "são geralmente aplicadas por peritos dos parceiros de desenvolvimento ou contratados pela própria organização dos parceiros de desenvolvimento (...) O período de diagnóstico prolonga-se por várias semanas e implica consultas às partes interessadas" (PARIS21, 2017: 7)

Essas avaliações destinam-se a identificar os pontos fortes e fracos do sistema de estatística e os constrangimentos em termos de qualidade.

As ferramentas de tipo C não implicam uma visita ao país, mas baseiam-se em informações disponíveis ao público em sítios Web de estatística nacionais" (PARIS21, 2017: 8). Por último, as ferramentas do tipo D são implementadas para observar as normas das organizações internacionais, são "normalmente obrigatórias e concebidas para verificar o cumprimento dos códigos de prática e as normas da própria organização".

Além disso, uma análise SWOT (pontos fortes e fracos, oportunidades e ameaças) pode ajudar a compreender a conjuntura geral e sublinhar os pontos fortes e fracos (internos), bem como as oportunidades e ameaças (externas). Tal conduzirá à evolução desejada e ajudará a formar a visão (ver DEFINIÇÃO DE UMA PERSPECTIVA).