Madalena Estêvão 26 de Outubro, 2006



Baixar 118.35 Kb.
Encontro06.08.2016
Tamanho118.35 Kb.




BALANÇO DE COMPETÊNCIAS


APRECIAÇÃO DOS BALANÇOS DE COMPETÊNCIAS de CHEGADA

NOS PROJECTOS EQUAL (ACÇÃO 2)
Relatório Final


Madalena Estêvão

26 de Outubro, 2006


Índice


  1. Enquadramento

  2. Metodologia de avaliação aplicada aos Balanços de Competências de Chegada (BCc)




  1. Resultados e Principais Conclusões

  2. Impacto dos projectos EQUAL nas competências

  3. Auto-avaliação e Recomendações


Anexo I – Ficha de avaliação dos BC
I - Enquadramento
A segunda fase da IC EQUAL foi marcada pela introdução de várias medidas que, com a aprendizagem proporcionada pela fase anterior, visaram a melhoria da qualidade dos projectos, dos seus produtos (resultados) e da capacidade de demonstração dos seus impactos.
Considerou-se suficientemente demonstrado, quer pela experiência da 1ª fase, quer pela observação de outros contextos, que uma das áreas em que mais se reflecte o impacto de projectos com a dimensão daqueles que são apoiados pela IC EQUAL é a das competências, quer dos indivíduos que neles participam quer das organizações envolvidas.
A introdução da prática de Balanço de Competências (BC), foi, pois, uma orientação dada às Parcerias de Desenvolvimento (PD) nesta 2ª fase, tendo como objectivos, entre outros:


  • melhorar o funcionamento e coesão das equipas e das PD;

  • contribuir para o alcance dos objectivos nucleares do projecto;

  • contribuir para a promoção dos princípios EQUAL;

  • contribuir para a monitorização e avaliação dos projectos.

Faz-se, de seguida, a actualização das iniciativas que o Gabinete de Gestão da IC EQUAL promoveu para incentivar a realização dos Balanços de Competências, no quadro dos projectos:




  1. publicação do Guia de Balanço de Competências (edição revista) – 2005;

  2. workshops sobre o BC, envolvendo todas as PD - 2005;

  3. avaliação dos exercícios de BC de partida - 2006;

  4. ….retorno e divulgação de resultados - 2006;

  5. sessão colectiva sobre BC (incluindo apresentação de duas experiências concretas)

  6. avaliação dos exercícios de BC Intermédio – 2007;

  7. …retorno e divulgação de resultados – 2007;

  8. sessão colectiva para apresentação e reflexão sobre os resultados do BC Intermédio (incluindo apresentação de três práticas) – 2007;

  9. avaliação dos exercícios de BC Chegada – 2008 (da qual este relatório constitui evidência).

O modelo preconizado para o exercício de BC estruturava-se em três momentos, cada um deles com objectivos bem definidos, correspondendo à utilidade que o dispositivo deveria ter no âmbito do projecto:




BC Partida

A 3ª e última etapa prevista para o BC, a desenvolver no final das actividades da Acção 2, teria como objectivo demonstrar o impacto do projecto nas competências dos grupos envolvidos (agentes, entidades e destinatários das actividades), identificando-as, e, ainda, produzir recomendações para futuros projectos/acções no sentido da intensificação do desenvolvimento dessas competências.
Neste documento far-se-á a caracterização e apreciação do 3º momento de BC, tal como foi aplicado pelas PD que apresentaram o respectivo relatório ao Gabinete de Gestão da IC EQUAL.
Mais do que o valor dos “conteúdos” dos relatórios BC dos projectos, a análise centra-se na questão da “apropriação” e da “qualidade” do processo de BC, enquanto conceito e metodologia ainda insuficientemente apropriados/dominados pelas organizações e suas equipas, quer ao nível do seu valor potencial prático, quer da capacidade de a operacionalizar.
A amostra:
A nossa análise incidiu sobre 60 relatórios de Balanços de Competências de Chegada (BCc), apresentados até ao mês de Junho/2008.
II – Metodologia de avaliação aplicada aos BC de Chegada
Para garantir a comparabilidade de resultados, manteve-se a mesma abordagem metodológica (ver caixa) aplicada nas duas avaliações anteriores (BC de Partida e BC Intermédio).
De assinalar apenas uma alteração do significado do elemento “contributo para os objectivos nucleares do projecto” que passou a considerar também o “contributo para os objectivos de projectos e/ou acções futuros ou para a gestão das organizações envolvidas”.
Para cada relatório de BCc apresentado, foi preenchida uma ficha de avaliação, incluindo a aplicação da metodologia acima descrita e um campo de recomendações.
No que diz respeito às recomendações, tendo em conta o momento em que ocorre esta análise e em que poderá ocorrer uma eventual divulgação junto das PD, são essencialmente dirigidas às organizações, para aplicação em actividades ou projectos que venham a ser desenvolvidos no futuro ou à sua própria gestão interna.

Metodologia de avaliação aplicada aos BC apresentados ao Gabinete de Gestão EQUAL (2006,2007,2008)
Cada exercício foi avaliado em duas perspectivas e estas desdobradas em elementos de avaliação:


  1. meios (elementos: metodologia, aplicação e respectivo âmbito) – peso de 40%;

  2. resultados (elementos: contributo para o funcionamento da parceria, contributo para os objectivos do projecto, contributo para os princípios EQUAL e contributo para os mecanismos de gestão e monitorização) – peso de 60%.

A cada elemento de avaliação acima referido foram associados atributos, ou seja, as características que deveriam assumir num BC aplicado a um projecto EQUAL.


Procedeu-se posteriormente à atribuição de uma pontuação – de 0 a 100 – de acordo com as evidências fornecidas no relatório analisado, comparando-as com os atributos de cada elemento. Assim, se para um determinado elemento eram fornecidas/referidas evidências mais do que suficientes para confirmar a sua verificação no projecto, era atribuída a pontuação máxima, seguindo idêntico raciocínio para as restantes quatro pontuações possíveis: 0, 25, 50 e 75. Para objectivar e orientar este trabalho, foram definidos critérios orientadores da pontuação de cada um dos elementos que formam uma espécie de escala de “níveis de maturidade”.
Os resultados globais obtidos com a aplicação desta metodologia são alvo de uma análise detalhada no capítulo seguinte.
Note-se que os elementos de avaliação considerados assentam no pressuposto de que o BC constitui um serviço e um produto, dentro do projecto, cujos clientes são os grupos-alvo da sua aplicação mas também, e principalmente, a própria PD. Ou seja, a sua validade depende dos contributos que for capaz de trazer ao trabalho da PD. Assim, na apreciação efectuada, o enfoque é colocado no contributo do BC para o Projecto, tendo um peso de 60% na classificação global obtida.
A metodologia adoptada e respectiva cobertura, são também elementos que contribuem, por um lado, e indirectamente, para os efeitos benéficos do BC no projecto, por outro, para conferir sustentabilidade aos resultados obtidos. Por esse motivo, foram ambos considerados, com uma ponderação conjunta de 40%.
Limitações da metodologia

Porque as evidências são baseadas num relatório, as classificações e conclusões da análise nem sempre corresponderão ao rigor da realidade. Ou por má interpretação do que é apresentado ou por falta de clareza da informação, podem tecer-se considerações que não se adaptam à situação real. Todavia, em traços gerais, considera-se que as conclusões deste trabalho representam a realidade dos BC nos projectos EQUAL.






III – Resultados e Principais Conclusões
a. Conclusões – sumário
A adesão ao BC elevou-se neste 3º momento, tendo atingido 70% do total de projectos aprovados. No entanto, cerca de 13% dos 86 projectos EQUAL continuaram sem apresentar qualquer relatório que se referisse ao dispositivo BC.
De um modo geral, pode afirmar-se que os BC de Chegada mantiveram-se aproximados, em qualidade, aos dois anteriores exercícios (com um ligeiro decréscimo face ao BC Intermédio – escala 0 a 100).

No entanto, uma análise mais detalhada, revela que houve uma maior concentração de classificações no intervalo 25-50, reduzindo-se o número de “razoáveis/bons exercícios” ( >50).

Estes resultados derivam de três situações:


  • um claro desinvestimento na metodologia (quer do BCi para o BCc quer nos novos exercícios apresentados);

  • um menor aproveitamento do exercício quer para o funcionamento da PD quer para o alcance de objectivos do projecto - ou de futuros projectos - quer para a promoção dos princípios EQUAL;

  • uma menor utilização do exercício enquanto instrumento de gestão/monitorização do projecto.

Por outro lado, houve um aumento acentuado do âmbito do BC, sendo que quase metade envolveu já os três grupos-alvo previstos (agentes, entidades, destinatários). Esta proporção era inferior a ¼ no BC de Partida.


Concluída a apreciação deste ciclo completo de aplicação do BC, sintetizam-se os principais benefícios/ganhos e custos/prejuízos detectados (e que se acentuaram no 3º exercício)1:

Ganhos/benefícios:
Os que ficam…

  • mais conhecimento e maior experiência no tratamento de competências (desde a concepção de referenciais, à monitorização e avaliação);

  • capacidade para objectivar resultados numa dimensão (competências) habitualmente não quantificável;

  • alargamento do conceito de competências à dimensão organizacional;

Os que se limitaram ao contexto do projecto…



  • melhor conhecimento do projecto, funcionamento e coesão das PD, facilidade de integração dos destinatários nas actividades;

  • promoção da auto-reflexão e auto-avaliação dos participantes no BC.


Custos/prejuízos:


  • por vezes, contribuiu para a desfocalização dos objectivos nucleares do projecto;

  • custos de tempo e financeiros, associados às sessões individuais e colectivas.

No que diz respeito à qualidade dos próprios exercícios (que influenciou os ganhos/benefícios), mantiveram-se as fragilidades já anteriormente assinaladas:




  • fraca orientação para resultados (o BC continuou a não ser encarado como um instrumento de gestão gerador de informação indispensável à tomada de decisão);

  • reduzida proactividade/raro aproveitamento dos resultados para formulação de propostas de actuação, recomendações, etc. (a maioria, fica-se pela leitura/constatação dos dados apurados) – o reduzido contributo do BC para os objectivos do projecto é o aspecto que mais penaliza a avaliação dos exercícios;

  • resultados pouco suportados (derivado das opções metodológicas, centradas numa única técnica de recolha de informação, demasiado sujeita à subjectividade);

  • realização do exercício em “circuito fechado” que se reflecte, para além do que foi acima mencionado, na não integração com outros dispositivos de avaliação, nomeadamente, o de avaliação da formação no caso dos BC dos destinatários (origina várias actividades com o mesmo objectivo/redundância);

(ver, pf, análise detalhada no Quadro-síntese de Pontos Fortes e Áreas de Melhoria em baixo apresentado).


Manteve-se a constatação anterior de que os relatórios enviados continuam a ser mais relatórios das equipas de BC e menos das PD, como seria desejável. Raramente existe uma tomada de posição da PD quanto às conclusões dos referidos documentos. Ignora-se, na esmagadora maioria dos casos, se as recomendações efectuadas pelas equipas de BC foram ou não acatadas.
Síntese de Pontos Fortes e Áreas de Melhoria

(a itálico: actualização 2008)

Perspectiva

Pontos Fortes

Áreas de Melhoria

Meios



Organização e gestão do processo (pela aplicação sistemática e organizada).
Aplicação (quase todos os exercícios envolvem pelo menos 2 grupos-alvo).
Referenciais de competências equilibrados (incluindo competências transversais e relacionadas com o projecto).
Tratamento quase generalizado da dimensão organizacional associada ao BC (embora decrescente em qualidade).

Validade da informação recolhida, através de:

  • instrumentos (com maior potencial para induzir a reflexão através da fundamentação);

  • aplicação de técnicas alternativas (combinar questionário com entrevista, por ex.)

Participação dos grupos-alvo (embora tenha aumentado no BC Chegada, apenas 50% envolvia os três grupos).


Participação diferenciada das Organizações (maior envolvimento/maior isenção).
Devolução dos resultados aos participantes do BC (tornou-se ainda mais rara no BCc).
Integração com outros dispositivos de avaliação (do projecto, das actividades, nomeadamente, formativas, etc.)

Resultados



Esforço de contributo para os princípios EQUAL (influenciado pelo desenho dos referenciais de competências, muito focalizados nestes princípios).



Orientação do BC para detecção de lacunas e identificação de necessidades de formação/preparação de indivíduos ou equipas face aos produtos e serviços do projecto.


Utilizar o BC para identificar evoluções nas competências e evidencia-las de forma objectiva.
Aproveitamento dos resultados para formulação de orientações à gestão do projecto ou destinadas a intervenções futuras ou, ainda, à melhoria da gestão das próprias organizações.
Aplicação do dispositivo, tratamento da informação e apresentação dos resultados: considerar como clientes do BC os participantes mas também, principalmente, a Gestão do Projecto e respectivas partes interessadas (stakeholders).
Contributo para a monitorização do projecto (pela significativa melhoria em relação ao BCp), através da interpretação de resultados em associação com as actividades.

Considerando que o valor deste exercício para as organizações depende do seu próprio reconhecimento da utilidade que ele possa ter, os avanços não foram muito significativos. Com efeito, na maior parte dos casos, os projectos (e as organizações) não percepcionam a necessidade real dos BC e não produziram exercícios com a qualidade e ligação aos projectos que demonstre de forma clara a sua utilidade.


Aliás, o próprio conceito de “competências” está ainda pouco apropriado pelas organizações e é ainda um elemento pouco valorizado, o que necessariamente se reflectiria na valorização de um exercício centrado nessa dimensão.
Em suma, não é possível afirmar que o BC foi/é essencial ao desenvolvimento do tipo de projectos apoiado pela IC EQUAL (apreciação “média”, que exclui as naturais excepções). No entanto, ainda que a sua necessidade não seja reconhecida, ainda que a qualidade dos exercícios comprometa o seu impacto na qualidade dos resultados finais, não pode ser ignorado que as competências dos indivíduos e das organizações são um elemento essencial ao desenvolvimento económico e social e que, por isso mesmo, deve ser alvo de valorização, monitorização e consciencialização. Neste sentido, o contributo da IC EQUAL afigura-se indiscutível. Para várias centenas de pessoas e para várias dezenas de organizações, terá sido este o primeiro desafio, contacto, trabalho …envolvendo esta dimensão de desenvolvimento que são as competências.

Por último, no nosso entendimento, o BC revelou ainda uma fragilidade importante associada aos projectos EQUAL na sua globalidade: o fraco envolvimento das entidades parceiras, enquanto organizações, como um todo. Com efeito, nota-se um “afastamento” do projecto do “centro nevrálgico” da organização, o envolvimento de alguns dos seus colaboradores e dirigentes nem sempre se reflecte em acções eficazes de disseminação, “contaminação” e envolvimento com reflexos internos.


Seguidamente, far-se-á uma análise detalhada dos resultados da avaliação efectuada aos 60 BC de Chegada disponibilizados e que sustentou a selecção de pontos fortes e áreas de melhoria apresentada.
b. Análise de Resultados


  1. Apreciação da adesão ao BC/ cumprimento da determinação EQUAL

A orientação do Gabinete EQUAL foi cumprida, com rigor, por 27% das PD que apresentaram relatórios para os três momentos de BC. Do lado oposto, sem nenhum relatório apresentado2, contam-se 10 projectos, no entanto, a situação melhorou significativamente entre o BCi (28%) e o BCc (12%).





Analisando a adesão das PD ao BC por Prioridade EQUAL, verificamos um comportamento equilibrado entre as Prioridades Empregabilidade (com assinalável recuperação em relação ao BCi), Espírito Empresarial e Igualdade de Oportunidades, sendo os projectos com objectivos ligados à Adaptabilidade os que registam maior adesão ao BC.


  1. Apreciação da qualidade dos BC

Como anteriormente explicado, a avaliação dos exercícios de BC, tal como apresentados nos relatórios que as PD fizeram chegar à EQUAL, focalizou-se em duas perspectivas: meios e resultados, subdivididos em elementos de avaliação (metodologia; aplicação; contributo para a coesão e funcionamento da parceria; contributo para o alcance dos objectivos do projecto; contributo para a gestão do projecto; contributo para a observação dos princípios EQUAL) e estes em atributos ou indicadores.


No Gráfico e Quadro seguintes podemos ver a comparação de resultados alcançados nos três momentos de avaliação.


O Gráfico revela uma melhoria do BCp para o BCi e um recuo do BCc para níveis aproximados aos do exercício inicial, à excepção do âmbito de aplicação que aumentou significativamente e de forma contínua. O retrocesso do último exercício foi derivado do “desinvestimento” metodológico e do menor aproveitamento dos resultados obtidos, tal como já foi mencionado.




Ainda assim, houve exercícios que melhoraram do BCi para o BCc (quase metade) mas outros tantos tiveram uma evolução negativa mais acentuada.




2.1. Apreciação na perspectiva dos meios
Nesta perspectiva – meios mobilizados – consideraram-se dois elementos, alvo de pontuação:
1a – metodologia (solidez técnica e instrumental, integração no Projecto, participação)…

1b – … e respectiva aplicação aos grupos-alvo (abrangência)


      1. Apreciação da metodologia/abordagem (1a)

Resultado obtido pelo BC Chegada “médio”: 34
Como já anteriormente referido, foi neste ponto que os exercícios mais regrediram, tendo havido uma aplicação quase automática em grande parte das situações. Com efeito, os referenciais anteriormente construídos foram aplicados na maioria das vezes através de um questionário simples, sem outros meios complementares ou alternativos para validar/objectivar os dados resultantes do preenchimento individual.

Reduziram-se, significativamente, as sessões colectivas para discussão de resultados ou posicionamento conjunto nos referenciais (com particular incidência no grupo dos agentes).


Foi no BCc aplicado aos destinatários que se registou uma maior qualidade da metodologia, com maior recurso a técnicas alternativas ao questionário: entrevistas, observação directa, focus group, etc.
No que diz respeito às organizações, é de realçar a dificuldade de separação entre BC Individuais e BC Organizacionais dado que, na maioria das vezes, eram os próprios agentes do projecto que respondiam a um e a outro questionário. Não foi, pois, observada a orientação da EQUAL segundo a qual o exercício, nas organizações, deveria ser aplicado a interlocutores não directamente envolvidos no projecto.
Por outro lado, houve uma melhoria na composição das competências alvo de monitorização, com inclusão de competências específicas, directamente relacionadas com o projecto, ainda assim, representadas sempre em clara minoria.
Algumas PD introduziram melhorias nas abordagens metodológicas, mas não constituem a maioria das situações. Assim, mantém-se actuais as observações feitas quanto a:


  • utilização do conceito de competência (troca com áreas de competências);

  • confusão entre competências técnicas/individuais e organizacionais (referenciais semelhantes);

  • processo de devolução e discussão de resultados (não concretizado).

Por último, continuaram a observar-se situações em que a opção metodológica revela o entendimento de que os clientes do BC são apenas os seus participantes, deixando totalmente “de fora” a Gestão do projecto.





      1. Apreciação do grau de aplicação da metodologia (1b)

Resultado obtido pelo BC Chegada “médio”: 57
A abrangência do BC foi crescendo, sustentadamente, ao longo dos três momentos de aplicação do exercício.

O Gráfico revela que quase metade dos BCc envolveram os três grupos-alvo previstos.
Todos os grupos registaram um envolvimento crescente, com destaque para os destinatários e entidades da PD (embora, neste caso, haja que ter em conta as observações feitas quanto à validade metodológica dos BC Organizacionais).

O grupo “dominante”, presente em maior número de exercícios (praticamente todos) continuou a ser o dos agentes.



2.2. Apreciação na perspectiva dos resultados alcançados pelos BC
Nesta perspectiva – resultados – consideraram-se quatro elementos, alvo de pontuação consoante as evidências detectadas nos relatórios:
2a – contributo para a coesão e funcionamento da PD;

2b – contributo para o alcance dos objectivos nucleares do Projecto;

2c – contributo para a gestão e monitorização do Projecto;

2d - contributo para a aplicação dos Princípios EQUAL.
2.2.1. Contributo para a coesão e funcionamento da PD (2a)

Resultado obtido pelo BC Chegada “médio”: 29
Acentuou-se o recurso a técnicas de recolha de informação a distância, individual, tal como referido a propósito da abordagem metodológica, situação que limita os benefícios do exercício para o funcionamento e coesão da PD.

A aplicação do BCc terá sido “neutra” no que diz respeito à PD.


2.2.2. Contributo para o alcance dos objectivos nucleares do Projecto (2b)

Resultado obtido pelo BC Intermédio “médio”: 27
Recorda-se o ciclo “virtuoso” que traduz o aproveitamento dos resultados do BC e a sua integração plena no Projecto.

No BCc foi possível confirmar o papel que o BCi teve no quadro dos projectos, tendo sido razoável o seu contributo para o alcance dos objectivos nucleares. Com efeito, nalguns relatórios refere-se a utilização das recomendações formuladas aquando daquele exercício, tendo como resultados melhorias para o projecto (por exemplo, introdução ou intensificação de acções de formação não previstas).


No entanto, no BCc, houve um assinalável retrocesso na capacidade de gerar propostas/recomendações a considerar, se não no projecto em causa, noutras acções ou projectos futuros.

Os relatórios ficaram-se, na maior parte das vezes, pelo tratamento estatístico e leitura dos dados recolhidos.


Se voltarmos a considerar os “4 níveis de maturidade” quanto à orientação para resultados dos BC, situaremos o BCc um pouco mais abaixo do BCp, entre o 1º e o 2º nível.




…+ as sugestões são implementadas



obtém resultados, interpreta-os e sugere actuações à Gestão…



obtém resultados e interpreta-os



não obtém resultados



2.2.2.1. Contributo para o planeamento e execução da Acção 3
Foram raríssimas as situações em que se estabeleceu uma ligação – ainda assim, ténue - entre as conclusões do BCc e o planeamento da Acção 3.

Teria sido pertinente realçar as competências mais necessárias à disseminação e, a partir daí, propor acções concretas para o seu desenvolvimento prioritário, contribuindo para o sucesso dessa derradeira etapa do projecto. No entanto, tal não aconteceu na quase totalidade dos relatórios apresentados.


2.2.3. Contributo para a gestão e monitorização do Projecto (2c)

Resultado obtido pelo BC Chegada “médio”: 31
Os relatórios apresentados revelaram um exercício de BCc muito fechado sobre si próprio, sem integração noutros mecanismos de avaliação e sem ligação às actividades do projecto ou de projectos futuros. Não, foi, globalmente, encarado como um instrumento de apoio à gestão (aparentemente, esta não lhe reconheceu utilidade).
Não obstante, na generalidade dos casos, apesar de não serem aproveitados os resultados, o dispositivo permitiu ler os progressos (e os retrocessos) registados nas competências dos grupos aos quais foi aplicado.

2.2.4. Contributo para a aplicação dos Princípios EQUAL (2d)

Resultado obtido pelo BC Chegada “médio”: 30
Não tendo havido alterações significativas nos referenciais de competências construídos aquando do BCp, muito influenciados pelos princípios da IC EQUAL, manteve-se praticamente inalterada a conclusão de que a aplicação deste exercício contribui para a difusão destes princípios, através da familiarização dos grupos-alvo com as competências que lhes estão associadas e reflexão em torno das mesmas. O contributo é, de facto, mais de sensibilização e de informação do que de cumprimento ou observação dos mesmos princípios.

3. Apreciação comparada dos BC por Prioridade
A heterogeneidade acentuada dos BC, inseridos nas várias Prioridades, verificada no 1º momento de aplicação, não voltou a observar-se nos momentos seguintes.
A Prioridade em que o projecto está inserido não influencia, significativamente, a qualidade do seu BC.

Houve um nivelamento significativo dos vários exercícios, independentemente da vocação dos Projectos e das características da PD.

.
Avaliação comparada dos BC por Prioridade EQUAL







4. Avaliação do exercício: resultados mais frequentes
O Guia de BC publicado pela IC EQUAL sugeria que fosse incluída no exercício de BC a avaliação de satisfação dos seus participantes. No BCi foram 12 as PD que resolveram efectuar essa avaliação, no BCc registaram-se 13 casos.
O tipo de resposta manteve-se relativamente inalterada, a maioria declara que:


  1. compreendeu razoavelmente para que serve o exercício de BC;

  2. teve muito ou algum interesse pessoal;

  3. sentiu algumas dificuldades;

  4. o apoio da equipa de BC foi suficiente.

Confirma-se, mais uma vez, a tendência para a familiarização com o BC, principalmente junto dos agentes e entidades das PD.


É interessante a análise dos motivos que levam a considerar favorável a relação custo/benefício do BC. Na maior parte dos casos, os pontos positivos referem-se à vertente processual e individual do exercício: ajudou à auto-reflexão, à consciencialização,…sendo menos frequentes as justificações ligadas ao impacto no projecto, ao contributo dado para o ajustamento das actividades, para o alcance dos objectivos.

5. Qualidade dos Relatórios
Os relatórios de BC apresentados, embora significativamente melhores do que os iniciais, sobretudo, na apresentação e interpretação dos resultados, continuam a revelar um entendimento enviesado do que pode ser e para que pode servir o exercício em causa.
Acentuou-se a desvalorização do cliente “Gestão do Projecto” ou mesmo “PD”. Na maior parte das situações, não se foi além do tratamento estatístico e da leitura/constatação dos resultados obtidos, sem que daí surgissem conclusões, recomendações ou propostas, demonstrativas da utilidade deste dispositivo.
No que diz respeito à “presença das PD” nos Relatórios, mantém-se a observação feita anteriormente: ausência generalizada de evidências capazes de demonstrar a apreciação feita ao exercício e a utilização dos seus resultados em prol do projecto.

IV – Impacto dos projectos EQUAL nas competências dos envolvidos

Apreciados os BC na sua qualidade, torna-se pertinente apresentar uma súmula dos resultados a que os mesmos chegaram, no que diz respeito ao impacto dos Projectos nas competências de agentes, entidades e destinatários.


A grande maioria dos dispositivos foram concebidos ou aperfeiçoados de forma a tornar possível apurar resultados e objectivá-los neste 3º BC.

No entanto, esta síntese global não pode ser alimentada por todos os BC ou por toda a informação que estes geraram, dado que alguns, nos relatórios apresentados, revelam dificuldades em evidenciar, de forma clara, as evoluções ocorridas.
Deparamo-nos depois com um segundo obstáculo: a validade dos resultados. Frequentemente, as opções metodológicas comprometem a validade dos resultados apresentados, que devem ser lidos à luz dessa séria limitação.

Por último, um terceiro obstáculo diz respeito à concepção dos referenciais de competências, demasiado centrados nas competências transversais e menos nas que mais directamente dizem respeito ao Projecto (onde os impactos seriam mais visíveis).

Neste contexto, as conclusões aqui apresentadas carecem de rigor científico e visam apenas dar uma ideia geral das potencialidades dos Projectos EQUAL em matéria de desenvolvimento de competências.

A quantificação das situações também não deve ser valorizada, sendo resultado, até, de alguma subjectividade da avaliadora (que considerou uns resultados e não considerou outros, face à maior ou menor credibilidade atribuída aos mesmos). No entanto, torna-se indispensável para diferenciar os diferentes casos e evidenciar tendências.

Conclusão nº 1 – os Projectos contribuem efectivamente para o desenvolvimento de competências dos que neles participam.
Conclusão nº 2 – são mais acentuados os ganhos ao nível individual do que ao nível organizacional (embora de longa duração, parece haver dificuldade em “penetrar” nas organizações e ter impacto no seu modelo de gestão, nas suas práticas).
Conclusão nº 3 – os agentes envolvidos ou responsáveis pelas actividades dos projectos beneficiam sobretudo ao nível do desenvolvimento de competências transversais.
Conclusão nº 4 – as competências específicas, directamente relacionadas com a temática do projecto, são as que, tendencialmente, registam os “saldos de desenvolvimento” mais significativos (intensidade do impacto).
Conclusão nº 5 – as competências específicas foram, aliás, aquelas onde mais frequentemente se detecta uma evolução positiva (frequência do impacto).
Conclusão nº 6 – as competências transversais, directamente relacionadas com os princípios EQUAL, são a segunda categoria mais beneficiada pelos Projectos, com destaque para as do grupo “inovação e qualidade”, “promoção do empowerment”, “trabalho em parceria”, “igualdade de oportunidades” e “transferibilidade de práticas inovadoras”.
Conclusão nº 7 – há áreas de competências que são mais frequentemente mencionadas do lado negativo, sem impacto ou com regressão deste: “cooperação transnacional”, “igualdade de oportunidades”, “auto-sustentabilidade”…;
Conclusão nº 8 – há áreas de competências sobre as quais, aparentemente, os Projectos não têm impacto (ou este não é medido), apesar de se poder esperar o contrário: “Gestão de Projectos”, “Qualidade”, “Competitividade”, “Formação”, …

Em suma, os resultados apurados, designadamente, em matéria de impactos positivos dos projectos nas competências, são pouco significativos (e, de qualquer forma, pouco seguros, dada a “fragilidade” global dos exercícios”), quer para os destinatários, quer para as entidades ou mesmo para os agentes (embora estes apresentem valores superiores aos restantes).


Seria ainda importante relacionar estes dados com o universo de participantes envolvidos nos projectos apreciados. Todavia, não é possível retirar essa informação dos relatórios, dado que nem todos indicam a dimensão dos grupos alvo sobre os quais recaiu a aplicação do BC (uma desvantagem da opção de não normalização dos relatórios…). No entanto, de uma forma pouco rigorosa, é possível concluir que:

  • as entidades envolvidas nos projectos EQUAL que registaram, de forma objectiva, melhorias nas suas competências, terão sido em número inferior a 1/3 do universo;

  • esta proporção descerá para 20% (?) no que diz respeito aos agentes;

  • e para uma proporção ainda inferior, residual, no que se refere aos destinatários.


V – Auto-avaliação e Recomendações

Depois de concluído este ciclo de BC, é possível identificar áreas de melhoria para a própria actuação da EQUAL (ou o que, hoje, poderia ter sido feito de maneira diferente):




  • A designação: “Balanço de Competências” teve, na nossa perspectiva, dois grandes impactos negativos:




    1. tornou mais difícil a compreensão do que se pretendia com este dispositivo nos projectos, nomeadamente com a sua aplicação às organizações já que é um termo muito conotado com os indivíduos, e, em particular, com os que têm maiores dificuldades de integração socioprofissional;

    2. por ser conotado com a dimensão individual, constituiu um obstáculo para a afirmação do dispositivo como instrumento de apoio à gestão/tomada de decisão.

Utilizar outra designação seria a primeira das alterações a introduzir.




  • O timing: a avaliação esteve sempre um ano “atrás” dos exercícios, por ter sido feita de uma vez só, em bloco, após reunida uma grande quantidade de relatórios; esta situação pode ter diminuído seriamente o interesse nas recomendações que eram produzidas e até a sua oportunidade.

Uma avaliação em dois momentos seria outra alteração a introduzir: (1º momento) até 1 mês após a apresentação do relatório, dando feedback à PD; (2º momento) análise global e comparativa de todos os relatórios.




  • As orientações metodológicas I: poderiam ter sido mais realçadas as formas integradas de recolha da informação, por exemplo, demonstrando a integração possível e desejável com a avaliação da formação e atribuindo maior papel à observação directa;




  • As orientações metodológicas II: deveria ter sido dado maior enfoque à divulgação interna dos projectos por parte das organizações, os projectos EQUAL continuam a ser geridos apenas por “alguns”, sem que as entidades que representam se apercebam disso no seu todo ou beneficiem globalmente.




  • As orientações metodológicas III: aquando da avaliação dos BCi, poderiam ter sido feitas recomendações no sentido da ligação do BCc à Acção 3.



Recomendações
A actuação do Gabinete focaliza-se actualmente na disseminação dos produtos. Neste âmbito, no que a competências diz respeito, ainda será pertinente, por exemplo, ter em conta o capital de competências das equipas e a sua adequação aos desafios dos vários projectos. Todavia, a esta altura, poucas acções específicas poderão ser empreendidas atempadamente.
Em suma, qualquer recomendação para o futuro que ultrapasse o âmbito da disseminação pode não ter o enquadramento necessário à sua consideração.
Partimos então do pressuposto que um novo programa de apoio a projectos de inovação social poderá vir a ser implementado.
Nesse caso, resultantes da experiência de acompanhamento e avaliação da forma como foi feito o balanço de competências nos projectos, surgem as seguintes recomendações (que ultrapassam o âmbito do BC):


  • Incentivar e prever mecanismos a priori que garantam um envolvimento mais intenso das organizações enquanto tal (por oposição ao envolvimento de alguns dos seus colaboradores que não disseminam adequadamente o projecto, tornando-o uma actividade à margem da organização, que não a contamina/influencia).




  • Orientar, formar os promotores dos projectos para uma avaliação e demonstração de resultados mais objectiva, suportada e organizada (“ser capaz de demonstrar valor aos stakeholders dos projectos” – é uma competência muito pouco desenvolvida no contexto observado dos projectos EQ);




  • Fazer depender os apoios (a partir de um montante mínimo) da demonstração de resultados (diferenciar, premiar, incentivar, direccionar investimento);




  • Incluir o diagnóstico de competências como requisito prévio ao projecto e incluir a sua avaliação no âmbito da demonstração de resultados que for exigida;




  • Estabelecer critérios de qualidade associados à gestão dos projectos e aos seus produtos e resultados, abrangendo promotores e prestadores de serviços;




  • Promover/valorizar/apoiar iniciativas que desenvolvam o conceito de “competências organizacionais”. Afigura-se como um sério obstáculo o fraco domínio e compreensão da organização enquanto “ser vivo”, dotado das suas próprias competências e não o resultado de um mero somatório de competências individuais.

Contributo do Gabinete para as recomendações…:


Ao equacionar-se um novo ciclo de BC num futuro programa, dever-se-ia:

  • Reflectir e apurar, com um conjunto (amostra) de operadores, o real interesse e oportunidade de desenvolver a metodologia, e, se necessário, re-construir em conjunto (validar, melhorar) alguns aspectos da mesma;




  • Integrar os BC de forma mais óbvia não só no sistema/quadro conceptual e instrumental da avaliação/monitorização/gestão do projecto (clarificando a associação à avaliação e auto-avaliação e ao re-planeamento), mas, sobretudo (na linha do que se aponta no relatório) no quadro da demonstração de resultados perante os parceiros e stakeholders (em linha com a demonstração das soluções/produtos; com a mudança da cultura e práticas organizacionais; com os benefícios para os utentes, etc.).

Outubro/2008



ANEXO I
FICHA DE AVALIAÇÃO DOS BALANÇOS DE COMPETÊNCIAS
I – Avaliação quantitativa
Dimensões a avaliar


  1. Validade e sustentação dos resultados (40%)




    1. Metodologia (50%)

Atributos considerados:

Os referenciais de competências relacionam-se com as funções dos indivíduos e organizações no projecto; a metodologia é sólida e diversificada, sustentada em métodos participativos e objectivos; os instrumentos são adequadamente construídos.


Critérios de pontuação consoante as evidências fornecidas nos relatórios:

25 - só questionários ou referencial de competências sem ligação ao projecto ou não discutido ou os instrumentos são lineares sem induzir reflexão

50 - para além dos questionários é utilizada outra técnica como, pelo menos, 2 sessões colectivas (uma para validação da met, referencial e instrumentos outra para validação de resultados)

75 - para além do anterior, houve aplicação de entrevistas, acompanhamento próximo na realização dos BC's, BC organizacional que envolve outros elementos da organização que não os directamente envolvidos no projecto;...

100 - para além do anterior, houve inovação na metodologia aplicada


    1. Aplicação e abrangência/Cobertura (50%)

Atributos considerados:

BC aplicado a todos os agentes, participantes e organizações com funções relevantes no projecto.

Critérios de pontuação consoante as evidências fornecidas nos relatórios:

0- nenhum

Com resultados:

25 - só agentes

50 - agentes e participantes ou agentes e PD

75 - agentes, participantes e entidades da PD

100 - todos + org. beneficiárias


  1. Impacto esperado do BC no projecto (60%)




    1. Contributo para a coesão e funcionamento da PD (25%)

Atributos considerados:

As entidades da PD estão envolvidas no exercício e existe uma participação e repartição de funções equilibrada.


Critérios de pontuação consoante as evidências fornecidas nos relatórios:

0 a 25- não há informação suficiente no relatório para caracterizar o tipo de envolvimento que ocorreu ou o trabalho é dominado por uma entidade externa ou por um único elemento cuja intervenção vai além da dinamização, inclui construção unilateral de instrumentos, referenciais, interpretações de resultados...

50 - há um envolvimento dos parceiros em várias fases como concepção dos instrumentos, do referencial...

75 - para além do anterior, há envolvimento dos parceiros na análise e interpretação de resultados e há feedback positivo dessa participação

100 - para além do anterior, há envolvimento na concepção de um plano de acções


    1. Contributo para o alcance dos objectivos nucleares do projecto (25%)

Atributos considerados:

Existe uma relação entre o BC e a revisão/reorientação de actividades do projecto; existe ligação entre conclusões do BC e actividades do projecto, por ex. formativas…; existe uma ligação entre as conclusões do BC e a proposta de acções para projectos/actividades futuras ou para o funcionamento das próprias organizações.


Critérios de pontuação consoante as evidências fornecidas nos relatórios:

25 - apenas o envolvimento dos parceiros se identifica como contributo

50 - para além do envolvimento dos parceiros houve apuramento de conclusões/interpretação crítica de resultados

75 - para além do anterior, houve propostas de actuação que se relacionam com os objectivos do projecto ou orientadas para projectos/actividades futuras ou, ainda, para a melhoria do funcionamento das organizações

100 - para além do anterior, as propostas foram aplicadas ou existe evidência do seu planeamento


    1. contributo para a gestão e monitorização do projecto (25%)

Atributos considerados:

Capacidade do dispositivo para detectar e evidenciar evoluções ao nível das competências

Integração do BC com outros mecanismos de avaliação

Utilidade enquanto instrumento de gestão de competências ( consegue identificar gaps e saltos evolutivos e fornecer orientações à acção) e de monitorização das actividades.


Critérios de pontuação consoante as evidências fornecidas nos relatórios:

0 - a metodologia não permite identificar lacunas, monitorizar evoluções, ou não é feita qualquer utilização nesse sentido, não existe integração com outros mecanismos de avaliação

25 - a metodologia permite identificar lacunas e/ou evoluções de competências mas a credibilidade dos resultados não garante a necessária sustentação às conclusões;

50 - a metodologia permite e são identificados e destacados lacunas e evoluções de competências relevantes para o sucesso do projecto;

75 - para além do anterior, são sugeridas acções de formação/ou outras, para compensar as lacunas detectadas, associando-as aos grupos em que estes se verificam;

100 - para além do anteiror, foram desenvolvidas as acções ou são fornecidas evidências claras do seu planeamento e há integração completa com o dispositivo de avaliação.





    1. contributo para a observação dos princípios da EQUAL (25%)

Atributos considerados:

O envolvimento da PD contribui para melhorar o trabalho em parceria; existem preocupações com a igualdade de oportunidades garantindo envolvimento equilibrado de todos os participantes independentemente do género ou condição; os destinatários do BC participam na construção da própria metodologia e instrumentos; o envolvimento dos participantes promove o seu empowerment no projecto.


Critérios de pontuação consoante as evidências fornecidas nos relatórios:

25 - se, pelo menos, os princípios EQUAL estão presentes no referencial de competências

50 - se os resultados, relativamente aos princípios, são interpretados

75 -se os resultados são interpretados e são sugeridas acções concretas que promovem o desenvolvimento de competências associadas aos princípios EQ

100 - se as acções propostas foram realizadas ou existem evidências do seu planeamento

II – Avaliação qualitativa global


III - Recomendações
IV – Tipo de competências sinalizadas
V – Equipa do BC


1 Para esta síntese contribuíram igualmente as auto-avaliações e auto-críticas feitas nos relatórios, algumas resultantes de inquérito de satisfação aplicado aos participantes do BC.

2 Relatórios apresentados em tempo útil, incluídos na avaliação global.



Compartilhe com seus amigos:


©principo.org 2019
enviar mensagem

    Página principal