4 Avaliando

 O QUE AVALIAR?

 Como um passo crucial na elaboração da estratégia, é desejável que se leve a cabo uma avaliação de fundo da situação actual do sistema nacional de estatísticas.A avaliação tem como objectivo responder a questão “Aonde é que estamos?” através de uma ccaracterização completa do Sistema Nacional de Estatísticas (SNE). Deve conduzir a uma percepção da adequação dos resultados e estatísticos e a organização e gestão do SNE como um todo.
  
A qualidade desta avaliação terá consequências directas na qualidade das escolhas estratégicas a serem feitas. Os seus resultados irão providenciar a evidência para a elaboração de estratégias adequadas para trazer a mudança necessária. Deste modo esta avaliação deve ser realística, objectiva, isenta e crítica. Deve usar as boas práticas e basear-se em padrões e quadros internacionais adequadamente. 
  
A avaliação identificará as lacunas que precisam de ser abordadas. A maioria destas lacunas são criadas por falta de ligação entre a procura e a oferta de dados ou entre produtos e resultados (a eficiência do sistema do ponto de vista do usuário), isto é; lacunas em termos de para quê que os dados são procurados para além do disonível/lacunas em termos de qualidade dos dados disponíveis e serviços postos a disposição. A avaliação irá igualmente destacar o desempenho dos sistemas estatísticos (eficiência – capacidade/produtos), e apresentar os principais pontos fortes e fracos do sistema, bem como as ameaças externas que possam afectar a forma como evolui e as oportunidades que terão de ser aproveitadas. O sucesso será avaliado em função do ponto de situação inicial. Na verdade, para os países que já têm a ENDE, a fase de apreciação é equivalente à fase de avaliação da ENDE anterior.
  
Deve, sobretudo, conduzir à percepção de três dimensões principais:
  • Avaliação de resultadosestatísticos
  • Avaliação da satisfação e necessidades dos usuários
  • Avaliação da capacidade estatística dos SNE (governação e acordos institucionais, infraestruturas, tecnologia de informação, ...)
 
Em prática
A preparação para a avaliação global requer uma análise exaustiva da documentação existente e revisão das constatações das avaliações anteriores. Muito poucos são os países que estarão a começara planificação estratégica do zero (alguns países estão a elaborar a ENDE pela segunda vez) e o objectivo será o de melhorar o sistema nacional de estatística existente.

A avaliação começará com a revisãodos documentos das políticas para identificar áreas importantes e indicadores necessários. Estes documentos provavelmente incluirão quadro de políticas de desenvolvimento nacional e as suas revisões (tais como redução da pobreza e estratégias sectoriais), bem como documentos de políticas de desenvolvimento sub-regionais e internacionais (tais como Declaração do Milénio e relatórios dos ODMs). Pode também ser adequado nesta fase ler documentos de políticas nacionais de potenciais doadores.

A análise de todos os documentos relevantes, incluindo relatórios existentes sobre a situação estatística, providenciará uma imagem geral do desenvolvimento estatístico do país. Quaisquer análises proveitosas da ENDE devem ser levadas em consideração e assumidas pelo país.  
 
 
 
1. Avaliando resultados estatísticos
  
Os resultados existentes e os já planificados do SNE serão avaliados. Cada resultado principal deverá ser avaliado de acordo com os critérios acordados, por exemplo, usando quadros existentes tais como DQAF (Quadro de Avaliação da Qualidade de Dados). 
 
O Sistema Geral de Divulgação de Dados (GDDS) jogará um papel importante no centro da ENDE na maioria dos países. Um grande número de países em todas as regiões estão actualmente a participar no GDDS sendo que já passaram por muitos passos que são necessários para desenvolver uma abordagem estratégica para desenvolver estatísticas. Na verdade, para aqueles que já estão comprometidos com o GDDS, este quadro é uma imposição. Os países que ainda não são parte do sistema o GDDS seria um importante passo inicial. 
 
 
De modo a avaliar o resultado estatístico, teria de se considerar as seguintes questões:
  • que estatísticas estão disponíveis (inventário), as suas fontes e com que rapidez as mesmas são postas a dispozição dos usuários (publicação e políticas e processos de divulgação);
  • A qualidade de estatísticas e como elas são produzidas (processos de produção, métodos e procedimentos, uso de padrões internacionais, constrangimentos e problemas) e processadas, analisadas e arquivadas (políticas das TI, base de dados);
  • A possível melhoria da gestão do sistema de dados para facilitar a produção de dados eficientes; isto é, reduzir a duplicação de esforços e preencher as lacunas no sistema;
  • Será que existem definições claras de todos os dados produzidos? Estão eles arquivados de modo que possam ser acessados por todos os usuários relevantes em todo SNE e fora do mesmo? Será que o sistema produz um conjunto de indicadores adequados para avaliar o desempenho do sector?
  • Será que as políticas de divulgação e planos para a produção de estatísticas existentes são adequadas?
 
Em prática
A equipa de elaboração da ENDE, em estreita colaboração com todas as outras unidades (veja-se PREPARAÇÃO) e com o possível apoio, idealmente de consultores nacionais, fará a Avaliação. A análise prévia da informação existente, classificação dos resultados estatísticos e inventário de todas as unidades do SNE facilitará o exercício acima mencionado.
  
 
2. AVALIANDO A SATISFAÇÃO E NECESSIDADES DO USUÁRIO
  
Os usuários precisam de diferentes tipos de estatísticas para vários propósitos e as suas capacidades, literacia e a sofisticação de uso de estatísticas varia bastante. Algumas necessidades poderão ter sido supridas pela falta de estatísticas disponíveis, e a procura provável deve ser levada em consideração assim como a procura actual. As necessidades dos usuários não podem ser satisfeitas a não ser que as mesmas tenham sido devidamente identificadas, sintetizadas, percebidas e priorizadas e a não ser que os usuários estejam totalmente conscientes da produção estatística em curso.É importante sublinhar que os usuários invariavelmente têmuma lista longa de necessidades estatísticas (as tais listas de compras ou shopping list), e tem de se fazer todos os esforços para ajuda-los a identificar as suas prioridades. A ligação das necessidades dos usuários aos planos naiconais de desenvolvimento e/ou programas nacionais específicos serão obviamente cruciais quando for para tomar as decisões finais sobre quais os resultados estatísticos que serão priorizados. Ademais, as necessidades dos usuários estão em constantes mudanças e de modo a seguir estas mudanças é preciso que haja uma actividade constante de consulta e diálogocom os usuários. 
 
 
As consultas e discussões com os usuários devem ter como objectivo responder às seguintes questões:
  • Como é que eles usam estatísticas nas suas próprias operações?
  • Até que ponto as estatísticas necessárias estão disponíveis e que constrangimentos os usuários enfrentam devido a falta de estatísticas; será que o sistema existente contribui para a produção do conjunto de indicadores adequado para monitorar os objectivos nacionais de desenvolvimento e se satisfaz os requisitos internacionais (por exemplo, os ODM) e os compromissos regionais?
  • Como é que os usuários governamentais e não-governamentais avaliam a adequabilidade das estatísticas existentes em termos de relevância, correcção, consistência, plenitude, oportunidade, nível de desagregação (geográfica, gênero, etc), apresentação ou legibilidade das publicações, práticas com relação a avaliação dos dados preliminares e acessibilidade a meta dados e micro dados?
  • Quais são as suas relações com os principais produtores de estatísticas e como é que eles percebem os seus papeis no desenvolvimento do SNE?
  • Será que as actuaisestratégias de advocacia são suficientes para fazer a consciencilização pública da importância dos dados produzidos; será que o sistema dá uma formação adequada de modo a ajudar os usuários a interpreter os dados, desenvolver indicadores e fazer o melhor uso de estatísticas; será que o sistema oferece estudos dirigidos ou por encomenda?
  • Quais são as suas necessidades e prioridades estatísticas actuais e futuras? Será que as suas necessidades estão ligadas aos programas nacionais específicos ou planos de desenvolvimento?
  • Como é que eles acham que as suas necessidades podem ser melhor atendidas no context da ENDE?
  • Será que os usuários estão de facto conscientes dos constrangimentos que os produtores enfrentam e da importância de metodologias adequadas na produção de estatísticas?
 
 
Em prática
A avaliação das necessidades dos usuários pode ser feita através de várias abordagens. Tal como com a avaliação em geral, é provável que a equipa de elaboração baseie-se nos processos existentes mas uma avaliação referencial das necessidades do usuário (princípios de qualidade relacionados às estatísticas oficiais) é recomendada para a ENDE. 

Uma forma de abordagem é identificar aqueles que estejam interessados em conjuntos específicos de dados de acordo com as suas áreas preferidas e fazer contactos com estes usuários. A listaelaboradaatravés do processo de PREPARAÇÃO (veja-se PREPARAÇÃO)
- A identificação de intervenientes) é um bom ponto de partida na identificação dos principais usuários de dados. Instituições seleccionadas de cada um dos usuários principais (veja-se ADVOCACIA) deverá ser incluido na consulta e discussoes feitas com eles, seja individualmente ou em grupos, enquanto os outros podem ser solicitados a fazerem a contribuição por escrito. O processo tem de garantir que os decisores a fazedores de políticas bem como o pessoal técnico nas instituições usuárias sejam consultados. 

Uma segunda abordagem para o envolvimento do usuário que foi um sucesso em certos países é organizar um workshop nacional que junte compiladores de dados, usuários de dados, e agências doadoras. Os workshops versam sobre temas estatísticos específicos de interesse dos participantes e para além disso encorajam o diálogo entre entre grupos de compiladores e usuários. Os workshops provaram ser úteis na sensibilização dos participantes sobre a importância de estatísticas, dando relatórios de progresso sobre a melhoria de dados, e discutindo novas questões 

As visões dos vários usuários serão tomados em consideração e comparados com o inventário das estatísticas oficiais. Informação pode igualmente ser obtida em forma de questionário ou visitando de facto os intervenientes e entrevista-los. A últimaabordagem é normalmente preferida de modo a evitar baixa taxa de resposta na administração de questionários.
 
Durante o processo de preparação da ENDE, os comités sectoriais a serem criados serão um quadro adequado para a participação dos usuários e para a identificação das suas necessidades. 


 3. AVALIANDO A CAPACIDADE DO SNE 
 
Esta parte da avaliação tem a ver com o quadro institucional e organizacioanal do SNE. Osprincipaistemas a seranalisadosserão:
  • Governação:
    o Legislaçã o estatística (adequabilidade da legislaçãoestatísticanacional; posição e estado do instituto de estatísticas, incluindo a definição de níveisapropriados de autonomia e independência…)
    o Coordenação entre osministériosdelegados e o SNE, entre as unidades do SNE
    o Como é que as prioridades são estabelecidas em todo SNE
    o Aspectos organisacionais, incluindocomo o SNE é gerido
    o Respeito a ética professional e padrõesinternacionais/ compromissosexistentes 
    o Mecanismos de consultas entre os produtores e usuários de estatísticas e como é que eles funcionam, por exemplo, comités e outros acordos de colaboração entre usuários – produtores e produtor – produtor e a consistência entre as fonts, reconhecendo que diferentes modelos são adequados para a situação particular de cada país.
  • Infraestruturas e equipamento: edifícios para escritórios, meios circulantes materiais, material de escritório, etc.
  • Tecnologias de Informação: os softwares disponíveis, divulgação, ferramentas de arquivo, etc
  • Recursos Humanos: políticas em termos de adequabilidade (quantidade, experiência, habilidades, qualificações) e sua gestão ( recrutamento e retenção, políticas de incentivos, existência de estatísticas “cadre”); desenvolvimento do pessoal (tanto na formação inicial assim com no desenvolvimento profissional contínuo) e gestão do conhecimento;
  • Recursos financeiros: será que o orçamento alocado ao sistema de estatisticas é adequado para satisfazer as necessidades actuais e as projectadas? Qual é a percentagem de recursos técnicos e financeiros externos em comparação com o orçamento nacional?

 

 
Em prática
Corrigir deficiências generalizadas em estatísticas publicadas requer uma percepção das suas causas, sejam elas directas ou indirectas. Enquanto comparações entre produtos e resultados ajuda a identificar deficiências do ponto de vista dos usuários, as comparações entre produtos e capacidade ajudará a identificar os esforços que têm de ser feitos para aumentar a eficiência e eficácia do processo de produção. 
Para além do DQAF, uma análise SWOT pode ajudar a perceber o ambiente geral e destacar os pontos fortes, fraquezas (internas), oportunidades e ameaças (externas). Isto levará à almejada evolução e ajudar a formar a visão (veja-se PREVISÃO). 
 

 

Ferramentas: