Como planejar a avaliação de um projeto social ?



Baixar 18.46 Kb.
Encontro19.07.2016
Tamanho18.46 Kb.
Como planejar a avaliação de um projeto social ?

Dalberto Adulis 

Na maior parte das organizações do terceiro setor a avaliação ainda é vista como uma atividade isolada, realizada geralmente ao término de um projeto, com o propósito de controle ou fiscalização. Em alguns casos, o desprestígio das atividades de avaliação é tão grande a ponto de muitas organizações deixarem de realizá-las ou fazê-las apenas para cumprir as exigências de um financiador. Os resultados de uma avaliação realizada nessas condições tendem, realmente, a serem pobres e pouco úteis para os gestores da organização, o que os leva a desprestigiarem ainda mais as atividades de avaliação.  

No Brasil, a avaliação formal de projetos sociais ainda é incipiente, mas é possível identificar “ONGs, algumas contando com apoio de financiadores, que têm aumentado significativamente seus conhecimentos na área nos últimos anos, utilizando a avaliação como ferramenta para melhorar sua atuação direta sobre o público-alvo e sobre o processo de gestão interna, além de ser utilizada como estratégia para captação de recursos e divulgação de seu trabalho” (Cianca, 2001: 19). 

Apesar de ter nascido sob a égide do controle, a avaliação pode ser uma grande aliada das organizações do terceiro setor, que podem integrá-la às demais atividades de gestão da entidade. A principal finalidade de uma avaliação deveria ser gerar informações e conhecimentos para que os gestores possam tomar decisões que aumentem a eficácia, a qualidade e a eficiência da organização. Conforme afirma Reis, “(...) o melhor sentido da avaliação é que seja utilizada como meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuição aos objetivos institucionais. Neste sentido, é um exercício permanente e, acima de tudo, comprometido com as repercussões de um projeto ao longo de sua realização” (Reis, 1999). 

A avaliação de um programa social consiste, basicamente, em formular perguntas precisas a respeito de um ou vários aspectos do programa, que podem estar associadas ao planejamento, execução ou resultados do mesmo. Empregando processos de avaliação, os gestores podem obter informações importantes para conhecer melhor as necessidades e a percepção dos usuários/beneficiários, testar a viabilidade de seus projetos, certificar-se de que as ações desenvolvidas levarão ao alcance dos resultados previstos, ou ainda, conhecer e mensurar o impacto de suas ações.  

Os processos de avaliação de projetos sociais envolvem, geralmente, as seguintes atividades: 


  1. Planejamento/desenho do processo de avaliação

  2. Levantamento dos dados/trabalho de campo

  3. Sistematização e processamento dos dados

  4. Análise das informações

  5. Elaboração de relatório(s) com os resultados encontrados e recomendações

  6. Disseminação e uso das conclusões junto a diferentes públicos, como funcionários, usuário, financiadores e parceiros

 

Dentre todas as etapas, a de planejamento é a mais complexa de todo o processo, não apenas porque envolve questões metodológicas e decisões estratégicas, que demandam tempo e energia dos gestores, mas também porque, se realizada de forma inadequada, pode comprometer as demais etapas do processo.  

O planejamento de um processo de avaliação inicia-se com a definição dos objetivos e das questões centrais que a avaliação se proporá a responder. Em seguida, é necessário decidir em que momento avaliar o projeto (início, durante ou ao término), qual o objeto da avaliação (o que será avaliado) e, finalmente, quais serão as variáveis e os indicadores utilizados1. Com estas questões definidas, o grupo responsável pela avaliação pode dar continuidade à etapa de planejamento, decidindo quais os tipos de avaliação que pretendem desenvolver e escolhendo as abordagens metodológicas que serão empregadas.

Tipos de avaliação

Existem diferentes formas de classificar os tipos de avaliação que uma organização pode desenvolver, entre as quais a apresentada a seguir.

1 - Avaliação ex-ante
É uma avaliação realizada antes da implementação do programa, também chamada de avaliação de viabilidade. Esta avaliação possibilita avaliar a viabilidade e sustentabilidade financeira, política e institucional do programa. As informações produzidas podem subsidiar processos de tomada de decisão sobre implementar ou não um programa ou ainda a seleção e priorização de alternativas de ação visando maximizar o retorno do investimento social.

2 – Monitoramento
É realizado durante a implementação do programa. Indaga e analisa em que medida as atividades realizadas e os resultados obtidos correspondem ao planejado. Possibilita identificar pontos fortes e  deficiências do projeto, oportunidades e necessidades de ajustes.

3 - Avaliação de resultados
É realizada ao final da etapa de execução do projeto. Avalia se o projeto alcançou as metas previstas para cada um de seus objetivos. Oferece elementos importantes para conhecer a efetividade, eficácia e eficiência do projeto ou programa

4 - Avaliação de impacto

 É realizada após a conclusão do projeto. Analisa mudanças nos indicadores identificados inicialmente com o propósito de verificar se o projeto ou programa produziu impactos/alterações em determinadas condições de vida da população.



5 - Avaliação participativa

 Pode ser utilizada em qualquer etapa do projeto. Incorpora a perspectiva das populações beneficiadas na análise de aspectos e problemas relacionados ao planejamento, execução e resultados do projeto. As avaliações participativas procuram superar algumas deficiências das abordagens tradicionais, abrindo canais de participação entre usuários e gestores.  

Após definir que tipos de avaliação serão realizados, os gestores podem continuar o planejamento da avaliação, selecionando as abordagens e metodologias que serão empregadas.

Diferentes abordagens: Qualitativa ou Qualitativa ?

O debate entre defensores de abordagens qualitativas e quantitativas, que é histórico nas ciências sociais, se reproduz nas discussões sobre avaliação de projetos sociais.  

Os defensores das abordagens qualitativas destacam a necessidade de conhecimento profundo sobre os fatos analisados, ao passo que os avaliadores voltados à abordagem quantitativa valorizam a possibilidade de mensuração, comparação e generalização dos resultados obtidos através de suas abordagens.

As abordagens qualitativas permitem o estudo de questões, casos ou eventos em maior profundidade, permitindo que o pesquisador conheça com maior riqueza as experiências estudadas. As desvantagens dessas abordagens seriam a impossibilidade de generalizar os resultados encontrados ou poder aplicá-los em outros casos, além do custo mais alto em relação às abordagens quantitativas. As pesquisas e avaliações qualitativas geralmente empregam métodos como estudos em profundidade, entrevistas abertas, oficinas, focus groups, observação direta, estudo de casos, pesquisa-ação e análise de documentos.  

Já as abordagens quantitativas possibilitam a realização de levantamento de informações junto a um maior número de respondentes a um menor custo, a realização de  análises estatísticas e, usualmente, a comparação e generalização de resultados. A desvantagem é que os levantamentos quantitativos não oferecem a mesma profundidade que os qualitativos. As pesquisas e avaliações quantitativas geralmente empregam métodos como aplicação de questionários e coleta e processamento de informações quantitativas.  

Em meio ao debate entre abordagens quanti ou qualitativas, é importante lembrar que a escolha de uma ou outra abordagem depende dos objetivos e das questões que se pretende responder com o processo de avaliação. Estes são os elementos-chave para que os gestores ou pesquisadores escolham as abordagens e os métodos de levantamento de dados mais adequados para o seu caso.  

Além disso, as avaliações podem ser mistas e se valer da chamada “triangulação”, empregando diferentes abordagens e métodos de pesquisa. Para muitos, este é o tipo ideal de avaliação por combinar as vantagens de cada uma das abordagens, porém tende a ser mais caro e demorado.

Próximos passos

 Ao ter clareza sobre os objetivos, o tipo de avaliação e a abordagem que se pretende utilizar, os responsáveis podem avançar no processo de planejamento da avaliação tomando outras decisões metodológicas importantes, como: 



  • Determinar as fontes de informação que serão utilizadas (dados secundários e primários)

  • Identificar o universo de estudo e os informantes

  • Definir a população, a amostra e os procedimentos de amostragem que serão empregados

  • Escolher os métodos e desenhar os instrumentos para a coleta de dados (entrevistas, estudos de caso, observação, oficinas ou experimentos)

  • Elaborar um plano para a realização do trabalho de campo (coleta de dados)

  • Elaborar um plano de análise das informações que serão levantados.

 Ao término desta etapa, os responsáveis passam a contar com um plano que deve nortear todas as demais atividades do processo de avaliação.

Referências Bibliográficas

Chianca, Thomaz (2001). Avaliando Programas Sociais: Conceitos, Princípios e Práticas. In Thomaz, Chianca:. Desenvolvendo a Cultura de Avaliação em Organizações da Sociedade Civil. Global: São Paulo. Fondo de Cultura Económica de Argentina S.A.: Buenos Aires.  

Reis, Liliane da Costa (1999) Avaliação de projetos como instrumento de gestão In: Apoio à gestão . Rio de Janeiro; site da Rits; 1999; Artigo. 

SIEMPRO/UNESCO (1999). Gestión Integral de Programas Sociales Orientada a Resultados: Manual Metodológico para la Planificación y Evaluación de Programas Sociales.   

Tashereau (1998). Evaluating the Impact of Training and Institutional Development: A Collaborative Approach. Economic Developmente Institute of the World Bank: Washington.

Valarelli, Leandro (1999) Indicadores de resultados de projetos sociais. In: Apoio à gestão . Rio de Janeiro; site da Rits; 1999; Artigo. 


 


©principo.org 2016
enviar mensagem

    Página principal