FundaçÃo banco do brasil base conceitual para o sistema de monitoramento e avaliaçÃo comissão de transiçÃO 2006 fundaçÃo banco do brasil



Baixar 137.63 Kb.
Página1/2
Encontro23.07.2016
Tamanho137.63 Kb.
  1   2
FUNDAÇÃO BANCO DO BRASIL


BASE CONCEITUAL PARA O SISTEMA DE MONITORAMENTO E AVALIAÇÃO
COMISSÃO DE TRANSIÇÃO - 2006
FUNDAÇÃO BANCO DO BRASIL

SCN Qd. 1 – Bl. A – Ed. Number One – 9º e 10º andares

70711-900 – Brasília, DF
Presidente

Jacques de Oliveira Pena


Diretoria de Desenvolvimento Social – DIDES

Diretor Executivo

Francisco de Assis Machado dos Santos


Diretoria de Finanças e Administração – DIFIN

Diretor Executivo

Elenelson Honorato Marques



Ficha Técnica

Equipe de Transição

Mário Pereira Teixeira

Tatiana Rubatino Lima de Ornelas
Organização
Fernando da Nóbrega Junior

João Bezerra Rodrigues Junior

Ricardo Braune Sólon de Pontes

SUMÁRIO




Prefácio

04

Introdução

05

1. A importância da avaliação

06

1.1. Fundação Banco do Brasil e os processos de monitoramento e avaliação

07

2. Avaliação

09

2.1. Avaliação no sentido estrito

12

2.2. Alguns tipos de avaliação

16

2.3. Conceitos básicos no processo de avaliação

20

3. Monitoramento

23

4. Eficácia, eficiência, efetividade e economicidade

26

5. Indicadores

31

5.1. Tipos de Indicadores

32

5.2. Construção dos Indicadores

33

6. Conclusão

35

Bibliografia

37


PREFÁCIO
O presente trabalho visa constituir base conceitual que subsidie a sistematização de um modelo de monitoramento e de avaliação de programas/projetos sociais para a Fundação Banco do Brasil.

Essa necessidade surge para atender recomendações de órgãos fiscalizadores, que sinalizavam a necessidade de parâmetros de efetividade das ações empreendidas pelos projetos e programas da Fundação.

A BMT Consulting realizou consultoria nesta Fundação, objetivando desenvolver proposta de adequação de sua estrutura organizacional. Foi sugerido, nesse estudo, a constituição de uma Equipe de Transição que se responsabilizasse pela implementação das sugestões e recomendações oriundas das análises realizadas. O modelo de Gestão de Processos recomendado requererá um período de transição, tendo em vista a necessidade de segregação de atividades, como também a criação e modelagem de novos processos.

A reestruturação organizacional prevê três pilares de sustentação à estratégia: prospecção, operações e avaliação. Em relação à dimensão “avaliação” estão previstos dois núcleos de monitoramento e um de avaliação. Os primeiros ligados às áreas operacionais – EDUCA e RENDA, e o último ficará ligado à área de Governança.

A Equipe de Transição apresenta nas páginas seguintes uma abordagem sobre algumas temáticas envolvidas com as dimensões de monitoramento e de avaliação de projetos e programas sociais. Pretende-se, ao final do documento, propor um mapa conceitual a ser validado pelo Comitê Estratégico, para utilização em âmbito interno desta Fundação.
INTRODUÇÃO
O terceiro setor brasileiro tem experimentado um crescimento sem paralelos. Tal fenômeno pode ser facilmente identificado pelo crescimento do número de entidades sem fins lucrativos em funcionamento no País - que saltou de 107 mil, em 1996, para 276 mil, em 2002, registrando um aumento de 157%1 - ou, ainda, pela significativa participação que o setor possui atualmente na vida econômica do país. O terceiro setor representa 5% do Produto Interno Bruto (PIB) nacional e assegura, dessa forma, empregos diretos a três milhões de trabalhadores2.

O conceito de responsabilidade social corporativa começou a surgir no Brasil durante a década de 90 e tem como principal fonte de financiamento recursos oriundos do patrocínio de empresas ou de suas Fundações/Institutos. Por isso, observa-se uma sensibilização do mundo empresarial para as questões de responsabilidade socioambiental. Segundo Oded Grajew, presidente do Instituto Ethos de Responsabilidade Sócio Empresarial, o cenário atual se apresenta assim:


Os empresários brasileiros têm investido cada vez mais em causas sociais. Um levantamento do Instituto de Pesquisas Econômicas Aplicadas (Ipea) demonstra que as despesas com projetos desse tipo crescem substancialmente. Nos últimos tempos, as empresas têm aplicado, além do que é exigido por lei, aproximadamente R$ 4,5 bilhões por ano em investimentos sociais – soma comparável ao total das verbas que o governo federal destina anualmente à assistência e ao serviço social (GRAYSON; HODGES, 2002:09).
Zezé Weis, representante do Banco Mundial, no 4o congresso GIFE, realizado em Curitiba - maio 2006, explicitou o seguinte raciocínio: “Toda ação filantrópica começa sempre com alguém que acredita em uma causa. Todo alguém que tem uma causa tenta sempre transformar sua causa em projeto. Toda causa que vira projeto requer investimento”. A linearidade dessa cadeia, provavelmente, justifica o porquê de um aumento tão vertiginoso nos investimentos sociais por parte das empresas. No entanto, recursos finitos requerem mecanismos de controle e avaliação para que sejam aplicados com eficiência, eficácia e efetividade.

Muitas empresas têm desenvolvido práticas de gestão socioambientalmente responsáveis junto aos seus públicos de interesses (funcionários, clientes, consumidores, meio ambiente, fornecedores, governos, sociedade e comunidades), também conhecidos como stakeholders. Mas o principal desafio enfrentado por elas continua sendo o de encontrar uma forma balanceada de gerenciar lucrativamente seus negócios norteados pelos princípios da sustentabilidade, gerenciando equilibradamente as dimensões econômica, social e ambiental.

Ao mesmo tempo em que se observa o crescimento da prática social entre as empresas brasileiras, observa-se também a preocupação com os resultados alcançados, principalmente com respostas positivas aos seus acionistas.

Quando essa demanda sobre os resultados torna-se uma voz mais presente, vincula-se essa temática automaticamente à dimensão avaliativa. Sobre isso se pode afirmar que a avaliação do trabalho social sempre foi uma questão bastante debatida e uma atividade pouco praticada. Segundo Viviane Senna, isso acontece porque, muitas vezes, ela acaba sendo utilizada para controlar apoios e financiamentos ou, até mesmo, como mero suporte de preciosismo, não tendo a eficiência necessária no dia-a-dia das ações sociais.




  1. A importância da avaliação

As entidades dos setores público, empresarial e sem fins lucrativos deparam-se atualmente com questões complexas e emergenciais. À medida que aumenta a preocupação da sociedade com problemas generalizados e desconcertantes, aumentam também os esforços para resolvê-los.

Sobre essas questões Worthen et al. comenta:
Órgãos coletivos, locais regionais e nacionais lançaram uma verdadeira frota de programas com o objetivo de identificar e eliminar as causas ocultas desses problemas.

(...) Nos últimos anos, a escassez de recursos e os déficits orçamentários aumentaram ainda mais os desafios, pois os funcionários dos órgãos públicos e dos setores sem fins lucrativos tiveram de lutar para manter seus programas mais promissores à tona de água. Cada vez mais os legisladores e os administradores de programas têm de fazer opções difíceis, sendo obrigados a cancelar alguns programas ou partes deles para dispor de fundos suficientes para lançar ou dar continuidade a outros.

Para fazer essas opções com inteligência, os legisladores precisam de informações pertinentes a respeito da eficácia relativa de cada programa. Que programas estão dando certo? Quais deles não estão? Quais os custos e benefícios relativos de cada um deles? Da mesma forma, o administrador de cada programa precisa saber o grau de eficiência de cada parte de seu programa. (...) Que adaptações aumentariam a eficiência do programa?

Responder a essas perguntas é a principal tarefa da avaliação de programas (WORTHEN, SANDERS & FITZPATRICK, 2004:34).


Sem dúvida, os problemas e as políticas sociais recomendam e justificam avaliações permanentes, e de espectro amplo, não se limitando, naturalmente, a questões de natureza econômica.
1.1. Fundação Banco do Brasil e processos de monitoramento e avaliação
A Fundação Banco do Brasil, pessoa jurídica de direito privado, de fins não lucrativos, com autonomia administrativa e financeira, instituída e patrocinada pelo Banco do Brasil S.A., tem por objetivo promover, apoiar, incentivar e patrocinar ações nos campos da educação, cultura, saúde, assistência social, recreação e desporto, ciência e tecnologia e assistência a comunidades urbano-rurais.

A Fundação atua junto à sociedade brasileira em dois eixos: Educação e Trabalho e Renda. Para assegurar o cumprimento dos seus objetivos estratégicos foram desenvolvidos e implementados uma série de Projetos e Programas Sociais.

A Fundação Banco do Brasil, ao longo da sua história, promove esporadicamente algumas avaliações sobre suas ações, buscando aferir seus resultados. No entanto, a demanda atual por parte dos seus diversos stakeholders induziu a criação de um sistema de monitoramento e avaliação. Esse trabalho está sendo desenvolvido por uma equipe de técnicos da Fundação, denominada Equipe de Transição, objetivando sua futura implementação.

O trabalho atenderá às constantes recomendações da Secretaria Federal de Controle Interno - SFCI e do Tribunal de Contas da União - TCU, entre elas, de se obter parâmetros de eficácia, eficiência e da efetividade das ações empreendidas. Será norteado também por uma proposta de adequação de estrutura organizacional sugerida pela BMT Consulting, que visa: otimização de processos; melhoria da gestão de suas competências e aferição dos resultados.

Um dos principais objetivos da Equipe de Transição é desenvolver um sistema de monitoramento e avaliação para os projetos/programas da Fundação. Para isso, faz-se necessária a prospecção de termos e metodologias junto às áreas de execução.

A seguir, será apresentada uma pesquisa de fundamentação teórica de conceitos e constructos, com vistas à validação dos termos a serem usados no âmbito da Fundação. Neste trabalho será discutido o conceito de monitoramento, avaliação, eficiência, eficácia, efetividade e seus indicadores.



2. AVALIAÇÃO
Segundo Minayo, Assis & Souza (2005), o hábito de avaliar programas e projetos sociais com métodos e técnicas científicas tornou-se freqüente após a Segunda Guerra Mundial nos países centrais do capitalismo, acompanhando os maciços investimentos em políticas públicas de bem-estar social. A avaliação, nos últimos 60 anos, tem sido adotada ora como uma ação externa isolada, ora como etapa do planejamento e da gestão de programas e projetos e no seu sentido mais nobre, acompanhando as ações sociais desde o seu primeiro desenho.

Esses autores entendem que a avaliação de políticas e programas sociais passou a ser intensamente valorizada devido a mudanças profundas no paradigma das relações sociais de produção, cujas características são o acelerado crescimento do fluxo de informações, de economia de escala e de focalização de ações.

No Brasil, o processo de institucionalização das tecnologias de avaliação de intervenções sociais, além de recente, é tímido, o que se deve principalmente à cultura autoritária e clientelista que costuma orientar a práxis política do País, independente dos governos vigentes.

No entanto, para fazer opções inteligentes os gestores de programas precisam mensurar quanto os programas estão dando certo e, por isso, necessitam avaliar.

Tomando por base Aguilar & Ander-Egg (1994), Worthen, Sanders & Fitzpatrick (2004), avaliar é a determinação do valor ou mérito de um objeto de avaliação (seja o que for que estiver sendo avaliado).

Contudo, antes de aprofundarmos o conceito de avaliação, faremos sua diferenciação em relação a outros conceitos, segundo Aguilar e Ander-Egg (1994):


a) Avaliação x Medição
A medição é o ato ou processo de “determinar a extensão e/ou quantificação de alguma coisa”; a avaliação, ao contrário, faz referência ao “ato ou processo de determinar o valor dessa coisa”. A medição facilita certo tipo de informação, enquanto a avaliação implica em valorar a informação, a fim de emitir um juízo sobre o objeto avaliado. Não podemos negar, no entanto, que a medição ajuda na tarefa de avaliar.
b) Avaliação x Estimação
Enquanto a avaliação pretende a maior objetividade e precisão possível, a estimação tem um caráter aproximado (apreço e valor se atribuem a uma coisa) que, com freqüência, está carregado de subjetividade.
c) Avaliação x Monitoramento (Monitoração ou Seguimento)
O monitoramento é um processo analítico que, mediante um conjunto de atividades, permite registrar, compilar, medir, processar e analisar uma série de informações que revelam os cursos ou desenvolvimento de uma atividade programada. É uma forma de exame contínuo e periódico, requerido por uma unidade administrativa com o propósito de assegurar o cumprimento do calendário de trabalho e a entrega de insumos no momento oportuno. Tudo isto orientado para alcançar os objetivos no programa.

Enquanto o monitoramento tem como objetivo alcançar as metas de um programa, a avaliação pretende julgar essas conquistas e seu nível de obtenção, assim como os resultados obtidos como conseqüência de um determinado programa. O monitoramento pode contribuir e ajudar na tarefa de avaliar, pois oferece um sistema de informação acerca do objeto avaliado.

Roche (2002) faz a seguinte distinção entre avaliação (análise), monitoramento e avaliação de impacto, quanto às três dimensões abaixo:


  • Determinação do tempo: O monitoramento ocorre freqüentemente, e a avaliação, periodicamente. A avaliação de impacto, todavia, ocorre de modo não freqüente, usualmente próximo ou após o término de uma intervenção.




  • Nível analítico: O monitoramento é primordialmente descritivo, registrando insumos, resultados e atividades. A avaliação é mais analítica e examina os processos, enquanto a avaliação de impacto é primordialmente analítica e se preocupa mais com resultados em longo prazo.




  • Especificidade: O monitoramento é muito específico e compara um determinado plano e seus resultados. A avaliação faz o mesmo, mas também contempla os processos, enquanto a avaliação de impacto é menos específica e, além do mais, leva em consideração as influências e ocorrências externas (ROCHE, 2002:35).

Segundo Cohen & Franco (1993), a avaliação deve ser diferenciada do monitoramento ou acompanhamento. Este, segundo a ONU (1984), “é o exame contínuo ou periódico efetuado pela administração, em todos os seus níveis hierárquicos, do modo como se está executando uma atividade. Com isso se procura assegurar que a entrega de insumos, os calendários de trabalho, os produtos esperados se consubstanciem nas metas estabelecidas e que outras ações que são necessárias progridam de acordo com o plano traçado”.

Cohen & Franco (1993), alinhados com essa concepção da ONU, entendem que o monitoramento é uma atividade gerencial interna que se realiza durante o período de execução e operação, a avaliação pode ser realizada tanto antes, durante como algum tempo depois da implementação.
d) Avaliação x Controle
O controle é uma verificação de resultados, enquanto a avaliação é uma ponderação ou julgamento desses resultados. Uma coisa é constatar o que acontece (controle) e outra julgar por que acontece (avaliação), que se trate de atividades, recursos ou resultados (James, 1969). O controle é uma verificação de algo, e a avaliação é um juízo acerca desse algo.
e) Programação x Avaliação
Programar é introduzir organização e racionalidade na ação, para alcançar determinadas metas e objetivos, enquanto avaliar é uma forma de verificar e julgar essa racionalidade, medindo a consecução dos objetivos e metas previamente estabelecidos e a capacidade de alcançá-los.
2.1. Avaliação no sentido estrito
Entre avaliação em sentido lato (informal) e a avaliação em sentido estrito (sistemática), não há uma diferença de propósitos, mas de métodos.

Quando se fala de avaliação em sentido estrito, sempre se faz referência à pesquisa avaliativa. A pesquisa avaliativa não possui métodos e técnicas próprios, ela utiliza os mesmos métodos e técnicas da pesquisa social.

Uma precondição de qualquer estudo avaliativo é a presença de alguma atividade cujos objetivos tenham algum tipo de valor.

Segundo Rodrigues (2005), avaliar é a arte de comparar resultados, entre o planejado e o efetivamente alcançado. Essa percepção está presente em alguns conceitos existentes na literatura que corroboram com essa posição, inclusive, desde precursores com o Tyler, considerado o pai da pesquisa avaliativa:


O processo que tem por objetivo determinar até que ponto foram alcançados os objetivos previamente estabelecidos (Tyler, 1942).

Mais fundamentalmente, a pesquisa de avaliação é apropriada sempre que uma intervenção social ocorre ou é planejada. Uma intervenção social é uma ação considerada em um contexto social como propósito de produzir algum resultado desejado. No seu sentido mais simples, a pesquisa de avaliação é um processo para determinar se os resultados almejados foram alcançados (Babai, 1995).

A avaliação consiste em analisar as discrepâncias entre o que é e o que deve ser; ou, em outras palavras, a disparidade entre uma situação desejada ou esperada e outra existente e real (Kaufman; English, 1979).

(...) a constante (referindo-se a avaliação3) é, por um lado, a pretensão de comparar um padrão almejado (imagem-objetivo em direção à qual se orienta a ação) com a realidade (a medida potencial na qual esta vai ser modificada, ou o que realmente ocorreu como conseqüência da atividade empreendida) e, por outro lado a preocupação em alcançar eficazmente os objetivos propostos (Cohen & Franco, 1993:73).

Aguilar & Ander-Egg (1994), apesar de assumirem que a idéia de avaliação entendida como comprovação dos objetivos propostos é bastante difundida no meio educativo, entendem esse enfoque como insuficiente para o campo da ação social.

No âmbito do trabalho social, ocorrem definições de avaliação com um apelo mais pragmático. Aguilar & Ander-Egg (1994), citam algumas dessas definições:


A avaliação só será útil se for utilizada como meio para melhorar um programa. É necessário conhecer as qualidades e as fraquezas de um programa para poder modificá-lo à medida que for preciso (Natarajan, 1983).

A avaliação é um estudo sistemático, dirigido e realizado com o fim de ajudar a um grupo de clientes a julgar e/ou aperfeiçoar o valor e/ou o mérito de algum objeto (Stufflebeam & Shinkfield, 1987).

Processo sistemático de coleta e valoração de informação útil para uma eventual tomada de decisões (Cronbach, 1983).
Na visão dos autores Aguilar & Ander-Egg (1994), existem contribuições conceituais que não poderiam deixar de ser citadas, por sua precisão e abrangência:
A avaliação é um processo de identificar, obter e proporcionar informação útil e descritiva acerca do valor e do mérito das metas, do planejamento, da realização e do impacto de um objeto determinado, com o fim de servir de guia para tomar decisões, solucionar os problemas de responsabilidade e promover a compreensão dos fenômenos implicados (Stufflebeam, et al., 1971. IN: Aguillar & Ander-Egg, 1994:30).

A avaliação é um processo que consiste em determinar e em implicar critérios e normas com o fim de fazer um juízo sobre os diferentes componentes do programa, tanto no estágio de sua concepção, como de sua execução, assim como sobre as etapas do processo de planejamento que são prévias à programação (Pineault & Daveluy, 1987. IN: Aguillar & Ander-Egg, 1994:31).

A pesquisa em avaliação é uma empresa racional que examina os efeitos das políticas e dos programas de suas populações-objeto (indivíduos, grupos, instituições, comunidades) em termos dos fins que pretendem alcançar. Por métodos objetivos e sistemáticos, a avaliação mede a extensão na quais os referidos fins são alcançados e observa os fatores associados ao êxito ou ao fracasso de seus resultados. Supõe-se que apresentando “fatos”, a avaliação auxilia a tomada de decisões para a escolha inteligente entre cursos de ação. Os dados precisos e não torcidos sobre as conseqüências dos programas melhorarão esta tomada de decisões. (Weiss, 1980. IN: Aguillar & Ander-Egg, 1994:31)
Uma definição mais generalizada sobre avaliação vem da UNESCO: “a avaliação é um processo que se destina a determinar sistemática e objetivamente a pertinência, eficiência, eficácia e impacto de todas as atividades à luz de seus objetivos. Trata-se de um processo organizacional para melhorar as atividades que estão em andamento e auxiliar a administração no planejamento, programação e decisões futuras” (ONU, 1984).

Por fim, apresentamos um conceito de ordem mais geral, englobando diversas dimensões e, de certa forma contemplando as definições anteriores:


A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação ou execução), ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos; comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados (Aguillar & Ander-Egg, 1994:31-32).
O conceito que busca pautar as ações da Fundação Banco do Brasil, referenciado no panorama conceitual acima descrito surge a seguir:

Avaliação é um conjunto de atividades que visa à comparação de resultados entre o planejado e o alcançado. Fundamenta um juízo de valor sobre diferentes componentes de um projeto ou programa. Subsidia uma base para tomada de decisões racionais com o objetivo de solucionar problemas ou entender fatores de sucessos/fracassos relativos aos resultados, considerando às dimensões de eficácia, eficiência e efetividade.
2.1.1. conjunto de atividades
Conjunto de atividades baseadas em exigência do método científico, que buscam estudar de forma organizada um aspecto da realidade para melhorar as formas de agir sobre a mesma.
2.1.2. visa à comparação de resultados entre o planejado e o alcançado
Visa comparar as atividades específicas que foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos, em comparação com o inicialmente planejado. A produção de efeitos concretos pode ser visto sobre duas dimensões:


  • Valorar a conquista dos objetivos propostos num programa, serviço ou atividade;

  • Valorar também até que ponto foram satisfeitas as necessidades dos usuários ou destinatários do programa ou serviço.


2.1.3. fundamenta um juízo de valor sobre diferentes componentes de um projeto ou programa
Avaliar é um processo de julgar algo, e para isso é necessário conhecer o projeto ou programa a avaliar. Os componentes têm de ser bem compreendidos e apreendidos, isso porque avaliar é sempre assinalar o valor de uma coisa, ou emitir um juízo de valor.
2.1.4. subsidia uma base para tomada de decisões racionais
A avaliação só tem sentido se subsidiar a tomada de decisões. A necessidade de avaliação se justifica porque permite uma retroalimentação sobre o que se está acontecendo e os erros que se cometem ou foram cometidos num projeto ou programa social, para uma intervenção no sentido de melhorá-lo. Fornece informações objetivas que embasam as decisões dos responsáveis pelo seu gerenciamento.

2.1.5. com o objetivo de solucionar problemas ou entender fatores de sucessos/fracassos relativos aos resultados
As decisões que se tomam como resultado de uma avaliação devem ser orientadas à melhor solução possível dos problemas e das necessidades. A avaliação deve prestar contas dos fatores que contribuíram para o êxito ou o fracasso de uma ação. Assim será possível corrigir erros, aprender de outras experiências e, em última análise, melhorar a ação social.
2.1.6. considerando às dimensões de eficácia, eficiência e efetividade
Uma avaliação de projetos ou programas sociais deve se preocupar com o grau em que se atingem os objetivos e metas do objeto de uma ação (eficácia), a relação dos produtos com os custos dos insumos (eficiência) e os benefícios e mudanças geradas num determinado período de tempo (efetividade). Dessa forma, pode-se ter uma percepção se um determinado projeto é exitoso ou se tem indícios de fracasso.
2.2. Alguns tipos de avaliação
2.2.1. Segundo o momento em que se avalia


  1. Avaliação antes (ou ex ante) - É feita antes de tomar a decisão de empreender um programa ou projeto, ou de aprovar sua realização. Comporta três aspectos principais: pertinência com a realidade, coerência e congruência internas; e, rentabilidade econômica das diferentes ações para o alcance dos objetivos.




  1. Avaliação durante a execução - É feita durante a fase de execução, fornecendo informação sobre o andamento do programa com uma ponderação dos resultados.




  1. Avaliação ex post - É a realizada uma vez que o programa ou projeto chegou ao fim. Tem duplo objetivo: 1) avaliar os graus de eficiência e eficácia com que o programa está atendendo a seus objetivos; 2) avaliar a efetividade do programa, ou seja, seus resultados, impactos e efeitos.


2.2.2. Segundo as funções em que a avaliação deve cumprir


  1. Avaliação Somativa – Refere-se ao estudo dos resultados ou efeitos de um projeto ou programa.




  1. Avaliação Formativa – Refere-se ao monitoramento que se realiza durante o processo de execução de um projeto ou programa. Fornece informação acerca do modo de desenvolver-se o referido processo e serve basicamente para ajudar a pôr em andamento um programa ou para melhorar o que está sendo posto em prática ou seu funcionamento.


2.2.3. Segundo a Procedência dos Avaliadores


  1. Avaliação externa: É aquela que recorre a avaliadores que não pertencem nem são vinculados (direta ou indiretamente) à instituição executora do programa ou projeto em avaliação.




  1. Avaliação interna: É feita com a participação (como avaliadores) de pessoas que pertencem à instituição promotora ou gestora do programa ou projeto a avaliar, mas que não são diretamente responsáveis pela execução.




  1. Avaliação mista: É uma combinação das anteriores.




  1. Auto-avaliação: As próprias pessoas implicadas na execução ou realização do projeto ou programa são encarregadas das atividades avaliativas.


2.2.4. Segundo os aspectos do programa que são objetos de avaliação
Segundo Draibe (2001), ocorre certa confusão sobre o termo “resultado”. Buscando melhor conceituá-lo a autora utiliza as seguintes noções ou categorias:


  1. Avaliação de resultados – Busca identificar o quanto e com que qualidade os objetivos do programa foram cumpridos.


Resultados – Pode-se dizer que os resultados (no sentido estrito) são os “produtos” do programa, previstos em suas metas e derivados do seu processo particular de “produção”.
Impactos - Referem-se às alterações ou mudanças efetivas na realidade sobre a qual o programa intervém e por ele são provocados.
Efeitos – Referem-se a outros impactos do programa, esperados ou não, que afetam o meio social e institucional no qual se realizou.

DISCRIMINAÇÃO DOS TIPOS DE RESULTADOS DE PROGRAMAS: EXEMPLOS





Tipos de Resultados (sentido amplo)

Programas

Desempenho ou Resultados (Sentido estrito)

Impactos

Efeitos

Vacinação antipólio

  • % de cumprimento das metas

  • Número de vacinas aplicadas

  • Cobertura (%da população-alvo vacinada)

Variação da taxa de incidência de poliomielite

  • Melhora do nível de informação em saúde da população

  • Graus de satisfação dos pais

Leite para crianças desnutridas

  • Quantidade de litros de leite distribuída / mês

  • Cobertura (% crianças que receberam o leite)

Variação da taxa de desnutrição infantil

  • Variação da taxa de mortalidade infantil

  • Melhora da capacidade institucional em tecnologia de distribuição de alimentos

Merenda escolar

  • Cobertura (% de alunos que recebem a merenda)

  • Valores calóricos e protéicos ingeridos por aluno

  • Quantidade de refeições/dia distribuídas

Melhora do perfil nutricional dos alunos

  • Melhora do desempenho escolar dos alunos

Fonte: Draibe, 2001.
Draibe (2001) assevera que avaliações de impacto tratam de aferir as “mudanças” pretendidas ou, caso se queira, os resultados mais duradouros, verificados no grupo-objetivo.

Para melhor clarificar o que entenderemos neste trabalho por avaliação de impacto, no campo social, recorreremos à seguinte conceituação:


Avaliação de impacto é a análise das mudanças duradouras ou significativas, previstas ou não, na vida dos indivíduos, grupos familiares ou comunidades, ocasionadas por determinada ação ou série de ações, decorrente de uma política, projeto ou programa social.


  1. Avaliação de processos – A avaliação de processo aborda diferentes componentes relacionados com o funcionamento do programa e com os serviços prestados. Compreende vários aspectos e dimensões: em primeiro lugar, a cobertura do programa (até que ponto alcança a população-objeto), os aspectos técnicos da implementação (como se operacionaliza o programa), os aspectos estruturais e funcionais do organismo responsável pelo programa ou pela prestação de serviços e, por último, o rendimento responsável para levar a bom termo o programa.

Alguns autores trabalham avaliação de resultados como avaliação de eficácia e eficiência. Outros já vêm avaliação de eficácia mais ligada à avaliação de processos.
2.3. Conceitos básicos no processo de avaliação4


  1. Projeto – É um empreendimento planejado que consiste num conjunto de atividades inter-relacionadas e coordenadas para alcançar objetivos específicos dentro dos limites de um orçamento e de um período de tempo dados (ONU, 1984).




  1. Programa – Conjunto de projetos que perseguem os mesmo objetivos.




  1. Objetivo – É a situação que se deseja obter ao final do período de duração do projeto, mediante a aplicação dos recursos e da realização das ações previstas.




  1. Meta – É um objetivo temporal, espacial e quantitativamente dimensionado, ou seja, um alvo quantitativa e qualitativamente estabelecido; um resultado esperado e pelo qual se despende esforços. Por meta entende-se o passo ou etapa perfeitamente quantificada, com prazo e responsáveis definidos para alcançar os desafios e os objetivos de um projeto ou programa. O conceito de meta está vinculado ao sentido da eficácia.




  1. População – A abrangência da avaliação ocorre sobre indivíduos ou grupos que possuem em comum algum atributo, carência ou potencialidade que o projeto pretende suprir ou desenvolver.




  1. Recursos – É o stock que foi previsto para a realização de uma atividade com a qual se espera obter determinados produtos e atingir os objetivos de um projeto.




  1. Produtos – São os resultados concretos das atividades desenvolvidas a partir dos insumos disponíveis.




  1. Impacto – É a conseqüência dos efeitos de um projeto. O impacto pode ser medido em distintas unidades de análise: a do indivíduo ou grupo familiar, ou em distintos conglomerados societários (comunitário, regional, nacional).




  1. Cobertura – É a proporção existente entre a população que forma o grupo de necessidade e recebe os serviços, dividida pela população total do grupo que tem a necessidade que o projeto pretende atender.




  1. Utilização – É o uso efetivo que se faz de um recurso que se encontra disponível e, neste sentido, poderia ser definido um coeficiente de utilização como a relação existente entre os recursos efetivamente utilizados e os recursos disponíveis para uma atividade do programa em certa unidade de tempo.

Se U é coeficiente de utilização:
U = URU/URD X UT, onde:

URU = unidade de recurso utilizado

URD = unidade recurso disponível

UT = Unidade de tempo




  1. Produtividade – É derivada da relação existente entre um produto e um insumo. Depende, portanto, da tecnologia, da organização, do comportamento dos atores envolvidos etc.

3. MONITORAMENTO
No conceito de Gosling e Edwards (1995, in Oakley e Clayton), monitoramento é uma avaliação sistemática e contínua do processo de um tipo de trabalho em um período de tempo determinado. O acompanhamento e a avaliação têm por objetivo assegurar que o projeto cumpra, de forma mais próxima possível, os objetivos definidos, dentro dos prazos e orçamento pactuados, por isso deve permitir a verificação dos seguintes itens:


  • Fidelidade dos objetivos do projeto;

  • Adequação da metodologia e das estratégias;

  • Alcance parcial das metas;

  • Adequação dos recursos financeiros originalmente projetados versus a realização efetiva;

  • Monitoramento de mudanças conjunturais que podem comprometer ou recomendar a revisão de práticas ou estratégias adotadas, tanto no que se refere às metas, quanto ao objetivo e a concepção original (Raposo; 2001, p. 97).

Para cumprir o primeiro item é necessário definir parâmetros que indiquem como estão evoluindo as ações para atingir as metas e objetivos. Esses parâmetros, chamados “indicadores”, devem constar no projeto. Caso contrário, podem ser elaborados no processo e até de forma participativa, os quais não devem ser ambíguos, mas sim consistentes, específicos, sensíveis e fáceis de coletar.

De acordo com a ONU-FRP (2006), o monitoramento é classificado como atividade contínua que permite o registro passo a passo do progresso de um projeto ou Programa, permitindo que os gestores fiquem a par de todos os problemas que possam retardar as ações para o atingimento dos objetivos, fornecendo, também, informações para correção.

Outras definições de monitoramento são observadas a seguir e nortearam o conceito a ser utilizado na Fundação Banco do Brasil.


Processo de avaliação contínuo e permanente que abarca o projeto na sua concepção, implementação e resultados. (www.sigs.ms.gov.br)

Estudo e o acompanhamento – contínuo e sistemático – do comportamento de fenômenos, eventos e situações específicas, cujas condições desejamos identificar, avaliar e comparar. (BRASIL, 2000 Disponível em <http://www.ibama.gov.br/siucweb/ guiadechefe/guia/t-1corpo.htm> Acessado em 11.06.2006).


A seguir, observa-se o conceito que pretende nortear as ações da Fundação em relação ao processo de monitoramento:
Processo de acompanhamento contínuo e permanente que permite registrar, compilar, medir e analisar o andamento de um projeto ou programa, observados os critérios, parâmetros, procedimentos regulamentares e planos de ação previamente estabelecidos, visando assegurar o cumprimento dos objetivos, dentro dos prazos e orçamentos pactuados.
3.1. processo de acompanhamento contínuo e permanente
O monitoramento é um acompanhamento sistemático das ações planejadas para execução de um projeto ou programa social. Deve ser realizado de forma contínua e permanente durante o desenvolvimento do projeto.
3.2. permite registrar, compilar, medir e analisar o andamento de um projeto ou programa
O monitoramento permite o levantamento de informações que subsidiarão a gestão de processos de um projeto ou programa social, sinalizando as disfunções para o atingimento de seus objetivos.
3.3 observado os critérios, parâmetros, procedimentos regulamentares e planos de ação previamente estabelecidos
O monitoramento tem que se pautar nos aspectos pré-definidos (critérios, parâmetros, planos de ação), amparados em procedimentos regulamentares, propiciando minimização de riscos e gerando uma base para obtenção de resultados positivos e exitosos.
3.4 visando assegurar o cumprimento dos objetivos, dentro dos prazos e orçamentos pactuados

A principal atribuição do monitoramento de um projeto ou programa social é a observação do cumprimento de suas metas e o conseqüente atingimento de seus objetivos. Possibilita-se, dessa forma, uma maior probabilidade de ganhos para os participantes do projeto.


O monitoramento pode ser realizado em longo prazo ou em curto prazo. O monitoramento de longo prazo estuda variações no decorrer do tempo e acompanha de forma contínua os fatores a avaliar, fornecendo resultados orientados por estudos de tendências. O monitoramento de curto prazo estuda variações em tempos menores. Independente da duração dessa atividade, um dos principais produtos do monitoramento é uma avaliação que permita compreender os resultados quantitativos e qualitativos e a aplicação dos mesmos para vários usos e usuários (www.ibama.gov.br/siucweb/guiadechefe/).

4. EFICÁCIA, EFICIÊNCIA, EFETIVIDADE E ECONOMICIDADE



Compartilhe com seus amigos:
  1   2


©principo.org 2019
enviar mensagem

    Página principal