AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE...

25
Centro de Convenções Ulysses Guimarães Brasília/DF 25, 26 e 27 de março de 2014 AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE PESSOAL NA ADMINISTRAÇÃO PÚBLICA FEDERAL VANIA VIANNA HUDSON NOGUEIRA SANTOS SONIA GOULART

Transcript of AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE...

Page 1: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

Centro de Convenções Ulysses Guimarães Brasília/DF – 25, 26 e 27 de março de 2014

AVALIAÇÃO DE IMPACTO DE AÇÕES DE

DESENVOLVIMENTO DE PESSOAL NA

ADMINISTRAÇÃO PÚBLICA FEDERAL

VANIA VIANNA HUDSON NOGUEIRA SANTOS

SONIA GOULART

Page 2: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

2

Painel 42/127 Avaliando os processos de capacitação

AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE

PESSOAL NA ADMINISTRAÇÃO PÚBLICA FEDERAL

Vania Vianna Hudson Nogueira Santos

Sonia Goulart

RESUMO Os instrumentos de monitoramento e avaliação das ações de Treinamento, Desenvolvimento e Educação - TD&E nas organizações tornam-se indispensáveis, pois estão relacionados a investimentos de extrema relevância, que objetivam a capacitação e o aperfeiçoamento de pessoal, por meio do desenvolvimento de competências individuais, visando o alcance dos objetivos organizacionais. A política e as diretrizes para o desenvolvimento de pessoal da administração púbica federal foi instituída pelo Decreto nº 5.707/2006, que estabelece, no Artigo 3º, item X, a necessidade de avaliar permanentemente os resultados das ações de capacitação. A Funasa, instituição pública federal vinculada ao Ministério da Saúde, que desenvolve ações em todo o território nacional, contando com um quadro de pessoal de aproximadamente 3.300 servidores ativos, institucionalizou, em 2013, a Avaliação de Impacto das Ações Educacionais como um instrumento de mensuração dos conhecimentos e habilidades adquiridos, que são colocados em prática quando do retorno do colaborador ao contexto de trabalho. Esse trabalho apresenta o instrumento aplicado e os resultados encontrados, constituindo-se em referencial para organizações públicas em busca de instrumento similar.

Page 3: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

3

1 INTRODUÇÃO

Para garantir a efetividade das ações de Treinamento, Desenvolvimento e

Educação - TD&E, torna-se indispensável a avaliação dos eventos instrucionais. Os

eventos instrucionais, em geral, previstos nas ações dos planos de desenvolvimento

das organizações, caracterizam-se como um investimento organizacional de extrema

relevância e têm como objetivo a capacitação e o aperfeiçoamento de pessoal, por

meio do desenvolvimento de competências individuais, visando o alcance dos

objetivos organizacionais.

O presente trabalho investiga variáveis de impacto no trabalho, de

servidores da Fundação Nacional de Saúde – Funasa, participantes em ações de

capacitação, previstas no Plano Anual de Capacitação - PAC, no período de janeiro

a dezembro de 2012. A investigação foi conduzida pela CODER – Coordenação de

Seleção e Desenvolvimento de Recursos Humanos, vinculada à CGERH –

Coordenação Geral de Recursos Humanos, do DEADM – Departamento de

Administração

A Funasa é instituição pública federal, vinculada ao Ministério da Saúde, e

desenvolve ações em todo o território nacional.Conta com um quadro de pessoal de

3.146 servidores ativos,sua estrutura organizacional é composta da Presidência, em

Brasília e de 26 Superintendências Estaduais, uma em cada Estado da Federaçãoe

tem como missão promover a saúde pública e a inclusão social por meio de ações

de saneamento e saúde ambiental.A disposição de servidores por unidades segue a

seguinte ordem:

Tabela 1. Quantitativo de servidores efetivos por local de lotação

Lotação Número de

servidores efetivos

Brasília (Sede - Presidência) 364

Superintendências Estaduais (SUEST) 2.782

Total 3.146

Fonte: CODER/Funasa (Fev/2014)

Page 4: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

4

A Funasa realiza eventos de capacitação nas diversas modalidades:

internos, externos, turmas abertas, exclusivas (“in company”), a distância, presencial,

aprendizagem em serviço, etc., em conformidade com o Plano Anual de

Capacitação, previsto no Artigo 5º, item I, do Decreto 5.707/2006.

Os eventos de capacitação podem ser de curta, média ou longa duração.

Essas ações são planejadas pela área de Desenvolvimento de Recursos Humanos,

com a participação de todas as Unidades da Funasa, tanto da Presidência como das

Superintendências Estaduais.

O quadro a seguir demonstra a evolução do número de capacitações

realizadas pela organização nos últimos 3 anos:

Quadro 1. Evolução no número de capacitações 2011-2013

Ano Número de servidores

participantes em capacitações

2011 2193

2012 1929

2013 1977

Total 6099

Fonte: CODER/Funasa (Fev/2014)

O processo de levantamento de necessidades de capacitação ocorre por

meio do diagnóstico das competências requeridas para cada área da instituição.

Após essa identificação, é realizado, por parte dos dirigentes da instituição, o

processo de validação dessas necessidades, de forma a garantir o vínculo com as

estratégias da organização. Após esses procedimentos o Plano Anual de

Capacitação é aprovado pelo dirigente máximo da instituição.

O planejamento das ações de capacitação ocorre em conformidade com o

Decreto nº 5.707, de 23 de fevereiro de 2006, que instituiu a Política e as Diretrizes

para o Desenvolvimento de Pessoal - PNDP da administração pública federal direta,

autárquica e fundacional, e tem entre suas finalidades a melhoria da eficiência,

Page 5: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

5

eficácia e qualidade dos serviços públicos, o desenvolvimento permanente do

servidor; a adequação das competências requeridas dos servidores aos objetivos

das instituições, tendo como referência o plano plurianual; a divulgação das ações

de capacitação; e a racionalização e efetividade com os gastos com capacitação.

Especificamente no Artigo 3º, Item X, o Decreto define como diretriz a

“avaliação permanente dos resultados das ações de capacitação”.

Para implementação da PNDP, o Plano Anual de Capacitação - PAC,

instrumento estabelecido pela Portaria do Ministério do Planejamento nº 208, de 25

de julho de 2006, tem como objetivo identificar a necessidade de refinamento e

diferenciação das competências dos servidores para que possam atuar com

eficiência necessária e tempestividade na resposta e incorporar novas competências

à instituição.

O conteúdo do Plano Anual de Capacitação deve alinhar as competências

individuais às competências organizacionais necessárias ao aprimoramento do

servidor, ao aperfeiçoamento organizacional contínuo e ao aprimoramento das

competências institucionais novas e existentes.

2 OBJETIVOS

Os objetivos da pesquisa realizada foram:

a) Levantar, juntos aos participantes das ações de capacitação, se a

aprendizagem foi colocada em prática, quando de seu retorno ao

contexto de trabalho, onde as habilidades e os conhecimentos são

utilizados.

b) Averiguar se o participante foi capaz de transferir (partilhar) o

conhecimento adquirido para outra pessoa, na organização.

c) Identificar se houve mudança observada no desempenho das

atividades do participante.

d) Identificar se o participante está consciente de sua mudança de

desempenho e de nível de conhecimento/habilidade.

e) Identificar o suporte encontrado pelo participante, em seu ambiente de

trabalho, para utilizar o que foi aprendido.

Page 6: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

6

3 METODOLOGIA

No processo de pesquisa adotou-se como princípio estratégico o

levantamento de dados por amostragem, das capacitações realizadas nas 26

superintendências estaduais da Funasa, no exercício de 2012.

O levantamento dos dados se deu por grupos focais, com a participação

dos servidores efetivos, lotados nas superintendências da instituição. A partir dos

dados obtidos procedeu-se a uma análise estrutural dos mesmos a fim de realizar o

controle e predição sobre as atividades de capacitação.

Feito o delineamento, os dados desta pesquisa foram construídos por

meio de textos, no caso utilizou-se como instrumento, um questionário elaborado

especificamente para tal pesquisa. Segundo Bauer e Gaskell (2013) os dados de

uma pesquisa representam a realidade social e esta por sua vez pode ser

representada de maneiras informais ou formais. Uma vez que o questionário se

configura como uma entrevista orientada, a qual não permite que as pessoas se

manifestem de forma espontânea, tem-se aqui uma maneira formal de comunicação

e representação dos dados.

Adotou-se aqui a pesquisa de caráter quantitativo, o que implica dados

numéricos e análises estatísticas. Todavia é necessário destacar que não há

quantificação sem qualificação, bem como não há análise estatística sem

interpretação.

Assumindo que a interpretação é uma estratégia de análise de pesquisas

qualitativas (BAUER; GASKELL, 2013), em um segundo momento, foi realizada

entrevista com parte dos participantes, por ocasião da realização de um encontro

nacional interno, em que estavam presentes todas as Superintendências. No

encontro foram apresentados pela CODER os dados quantitativos e os resultados

do questionário, a fim de que os participantes pudessem se manifestar de forma

espontânea a respeito dos mesmos, com a finalidade de colaborar para a

interpretação desses dados.

Para a elaboração dos questionários (Anexo 1 e Anexo 2), foram

adotados critérios que envolveram questões de âmbito pessoal dos participantes,

como iniciativa, capacidade para aplicar e compartilhar o aprendido, resolução de

Page 7: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

7

problemas e melhora no desempenho; bem como questões de âmbito institucional,

como oportunidade de aplicar o aprendido, planejamento, existência de recursos

materiais ou equipamentos apropriados e apoio de equipe.

Foram elaborados critérios de avaliação tanto para os servidores – tais

critérios são autoavaliativos –, como para as chefias imediatas – estes avaliam as

ações dos servidores. Com isso, buscaram-se as percepções avaliativas no âmbito

laboral (servidores) e no âmbito gerencial (chefias).

No formulário foram considerados nove critérios de avaliação, tanto para

servidores, quanto para as chefias imediatas. Tais critérios foram graduados em 5

níveis, a saber: discordo totalmente, discordo em parte, indiferente, concordo

parcialmente e concordo totalmente. No contexto do formulário, os dois primeiros

níveis compreendem significado negativo de avaliação, ao passo que os dois últimos

compreendem significado positivo.

Tendo em vista que a eficiência nos serviços públicos é um princípio da

administração pública, expresso pela Constituição Federal, julgou-se relevante

analisar os resultados que envolveram as capacitações cujos critérios foram

graduados na escala de avaliação como “discordo totalmente, discordo em parte e

indiferente”. Sem perder de vista os resultados considerados positivos, pois entende-

se aqui que estes devem ser mantidos e potencializados, ressaltamos que a

administração pública deve dar especial atenção às suas ações e planos que possa

direta ou indiretamente afetar negativamente a eficiência de seus serviços.

4 REFERENCIAIS TEÓRICOS

Segundo Borges-Andrade et al. (2006) o TD&E é um sistema integrado

por três subsistemas:

a) Avaliação de necessidades

b) Planejamento e sua execução

c) Avaliação de TD&E

Page 8: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

8

O autor afirma ainda que tais subsistemas mantém entre si um constante

fluxo de informações e produtos, sendo que o subsistema de avaliação seria o

principal responsável pelo provimento de informação que garante a retroalimentação,

e, portanto, o aperfeiçoamento constante do sistema como um todo.

Segundo Hamblim (1978), o ato de avaliar o treinamento (ou qualquer

outra coisa) é simplesmente o ato de julgar se valeu ou não a pena em termos de

algum critério de valor, à luz da informação disponível.

Para tanto, existem diversos modelos de avaliação, tanto na literatura

nacional como internacional. No modelo de Kirkpatrick (1998), bastante utilizado nas

organizações, são definidos quatro níveis de avaliação da aprendizagem: Reação,

que avalia como os participantes sentem-se sobre a formação ou experiência;

Aprendizagem que é a medida do aumento do conhecimento, antes e depois da

atividade de desenvolvimento; Comportamento/Impacto, que se refere ao grau de

aprendizagem aplicada, quando do retorno ao trabalho – implementação; e Resultado

na organização a qual mede o efeito prático do treinamento no negócio.

Para Abbad et al. (2012), os programas de Treinamento Desenvolvimento

e Educação - TD&E em organizações visam produzir resultados expressos sob a

forma de novas competências no trabalho no nível do desempenho do egresso. Tais

competências, se aplicadas eficazmente, podem vir a provocar impactos na

organização, em seus processos de trabalho e em seus resultados.

Quanto ao suporte à transferência de conhecimento, Abbad (1999),

aponta que exprime a opinião do participante do treinamento a respeito do suporte

ambiental ao uso eficaz, no trabalho, das novas habilidades adquiridas no

treinamento e que enfoca algumas condições consideradas necessárias à

transferência positiva e o quanto estão presentes no ambiente de trabalho.

Foram adotados na pesquisa os conceitos indicados por Borges-Andrade

et al.(2006) relacionados a suporte em avaliação de TD&E:

Suporte à transferência – percepção do indivíduo sobre o apoio que recebe de colegas e chefias para aplicar, no trabalho, novas habilidades adquiridas em treinamentos. Além do suporte psicossocial, esse conceito enfoca o apoio material à transferências de treinamento.

Suporte à aprendizagem contínua – percepção do indivíduo sobre a presença de condições favoráveis à aprendizagem no grupo de trabalho.

Page 9: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

9

Clima para transferência – percepção do indivíduo sobre o apoio que recebe do ambiente organizacional para transferir novas aprendizagens para o trabalho.

Dessa forma, identificar o impacto de uma ação de capacitação

representa olhar as pessoas como parceiros da organização, que, no dizer de

Chiavenato (1999), são:

...capazes de conduzi-la à excelência e aosucesso. Como parceiros, as pessoas fazem investimentos na organização – comoesforço, dedicação, responsabilidade, comprometimento, riscos etc. – na expectativade colher retornos desses investimentos – como salários, incentivos financeiros,crescimento profissional, carreira etc. Qualquer investimento somente se justificaquando traz um retorno razoável. Na medida em que o retorno é bom e sustentado, atendência certamente será a manutenção ou aumento do investimento. Daí o caráterde reciprocidade na interação entre pessoas e organizações. E também o caráter deatividade e autonomia e não mais de passividade e inércia das pessoas. Pessoas comoparceiros ativos da organização e não como meros sujeitos passivos.

As pessoas são consideradas como o capital intelectual da organização,

sua fonte de conhecimentos, habilidades, capacidade de tomar decisões e alcançar

objetivos definidos. Identificar o nível de aprendizagem alcançado em uma ação de

capacitação e a qualidade/efetividade da aplicação dessa aprendizagem nas

atividades desempenhadas é contribuir para o desenvolvimento e potencialização

desse capital intelectual.

Chiavenato (1999) afirma ainda que:

Desenvolver pessoas não é apenas dar-lhes informação para que eles aprendam novos conhecimentos, habilidades e destrezas, e se tornem mais eficientes naquilo que fazem. É, sobretudo, dar-lhes a formação básica para que elas aprendam novas atitudes, soluções ideias, conceitos e que modifiquem seus hábitos e comportamentos e se tornem mais eficazes naquilo que fazem.

A avaliação de impacto das ações de capacitação da Funasa

pretenderam investigar a efetividade do investimento realizado pela organização no

desenvolvimento das competências necessárias à sua sobrevivência e ao alcance

dos seus objetivos estratégicos.

Page 10: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

10

5 RESULTADOS OBTIDOS

Das ações planejadas e realizadas no exercício de 2012 foram

capacitados 1929 servidores, destes 1746 são lotados nas Superintendências

Estaduais. Para a pesquisa de avaliação de impacto, optou-se em realizar o

levantamento de dados apenas junto às 26 Superintendências Estaduais.

As avaliações ocorreram no período mínimo de noventa dias após a

realização das atividades de capacitação dos servidores. Constituem como corpus

os formulários respondidos por 14 das 26 superintendências estaduais. Totalizou-se

o número de 369 ações de capacitação avaliadas (Anexo 3).

Deste total, as capacitações podem ser divididas em:

a) Quanto ao público-alvo:

Cursos Gerenciais: 47

Cursos Técnicos/Administrativos: 322

b) Quanto à modalidade:

Presenciais: 368

A distância: 01

c) Quanto à Instrutoria:

Interna: 107

Externa: 262

d) Quanto à formação de turmas:

Turmas abertas: 230

Turmas fechadas: 139

Responderam aos questionários de avaliação de impacto as

Superintendências Estaduais dos seguintes estados: Amazonas, Bahia, Espírito

Santo, Goiás, Minas Gerais, Pará, Paraíba, Pernambuco, Piauí, Paraná, Rio Grande

do Norte, Roraima, Santa Catarina e Sergipe.

Dos 369 eventos de capacitação avaliados, 282 foram avaliados

positivamente, em uma escala de concordância que variou entre 3 e 4; a avaliação

negativa foi para 87 eventos, em uma escala de concordância que variou entre 0 e 2.

Page 11: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

11

Ressalte-se que todos os critérios adotados se constituem de orações

afirmativas acerca dos resultados esperados após uma atividade de capacitação

profissional. Sendo assim, os avaliadores – servidores e chefias – graduaram suas

percepções acerca das orações afirmativas, podendo inclusive negá-las, conforme a

seguinte escala de gradação:

ESCALA DE CONCORDÂNCIA UTILIZADA

0 1 2 3 4 NA

Discordo totalmente

Discordo em parte

Indiferente Concordo em parte

Concordo totalmente

Não se aplica

O gráfico a seguir apresenta os eventos avaliados e as percepções, dos

servidores, que participaram das ações de desenvolvimento, e das percepções de

suas respectivas chefias imediatas. Em azul estão apresentadas as ações de

desenvolvimento realizadas, em verde as ações consideradas positivas e em

vermelho as ações consideradas negativas.

Gráfico 1. Resultados da avaliação de impacto - SUEST

Fonte: CODER/Funasa (Fev/2014)

49

39

2429

12

34

2427 29

13

3135

18

569 8 8

38

37

1

10 10 9

2 3

43

30

1621

9

2621 20

28

3

2126

16

2

0

10

20

30

40

50

60

AM BA ES GO MG PA PB PE PI PR RN RR SC SE

CURSOS REALIZADOS AVALIAÇÃO 0 - 1 - 2 AVALIAÇÃO 3-4-NA

Page 12: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

12

Os resultados da aplicação do instrumento avaliativo registraram

avaliações positivas quanto ao aprendizado, ao compartilhamento do conhecimento,

à mudança no desempenho e no ambiente de trabalho, referentes a76% das

capacitações realizadas. A percepção apontada nos questionários revela que os

eventos de capacitação produziram efeito no desempenho do trabalho e que as

pessoas estão aplicando as novas aprendizagens. Indica que as ações de

desenvolvimento atingiram objetivo desejado.

A Tabela 2, a seguir apresenta os resultados das avaliações das ações de

capacitação, por SUEST e por graduação da escala.

Tabela 2. Avaliação dos Cursos Realizados - SUEST

SUEST CURSOS

REALIZADOS

AVALIAÇÃO

0 - 1 - 2

AVALIAÇÃO

3-4-NA

AM 49 6 43

BA 39 9 30

ES 24 8 16

GO 29 8 21

MG 12 3 9

PA 34 8 26

PB 24 3 21

PE 27 7 20

PI 29 1 28

PR 13 10 3

RN 31 10 21

RR 35 9 26

SC 18 2 16

SE 5 3 2

TOTAL 369 87 282

Fonte: CODER/Funasa (Fev/2014)

Salienta-se que 23% das ações de capacitação realizadas foram

avaliadas com concentração na escala de 0 a 2: Discordo totalmente, discordo em

parte e indiferente. Conforme já mencionado, interessam aqui não somente os

critérios avaliados positivamente, uma vez que a eficácia nos serviços públicos é um

princípio administrativo. Sendo assim, a administração pública deve voltar sua

Page 13: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

13

atenção aos dados e fatores que estão em descompasso com tal princípio, tendo em

vista os bens e serviços prestados à sociedade, financiados por impostos.

Os critérios avaliados não positivamente, permitem uma intervenção

pontual nos fatores que podem gerar baixa eficácia. No caso analisado, os fatores

em questão estão associados a questões de foro pessoal dos servidores como

sentir-se capaz e motivado, bem como, mudanças de comportamento nos cargos.

No resultado das avaliações de impacto acerca das atividades de

capacitação pesquisada, avaliadas negativamente, destacaram-se os seguintes

critérios:

A. Critérios – Servidores:

a. Aplico o que apreendi na capacitação;

b. Compartilho os conhecimentos adquiridos;

c. Sinto-me capaz de propor mudanças com base no que apreendi;

d. A capacitação melhorou meu desempenho no trabalho;

e. Resolvo problemas utilizando os conhecimentos adquiridos.

B. Critérios – Chefias:

a. Aplica o apreendido na capacitação;

b. Compartilha os conhecimentos adquiridos;

c. Teve melhor desempenho no trabalho;

d. Resolve problemas utilizando os conhecimentos adquiridos.

Hamblin (1978) supõe a existência de uma corrente de causa e efeito

entre os níveis de efeitos de treinamento propostos por Kirkpatrick (1967). Para

Hamblin, a atividade de capacitação provoca reações, que por sua vez provocam o

aprendizado, o qual provoca mudanças de comportamento no cargo, o qual gera

mudanças na organização que por final provoca mudanças na consecução dos

objetivos finais.

Os dados obtidos pelo instrumento utilizado para a avaliação de impacto

na Funasa ativeram-se aos três primeiros níveis de efeito de treinamento: reações,

aprendizado e mudanças de comportamento no cargo. Todavia, como se trata de

uma corrente de causa e efeito, os resultados nos dois níveis seguintes, de certa

forma, poderão comprometer a eficiência do objetivo a ser alcançado.

Page 14: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

14

O fato de haver servidoresque em 23% das atividades de capacitação,

não se sentem capazes de aplicar o aprendizado e nem de propor mudanças, deve

ser entendido dentro do contexto laboral, que envolve o modelo de gestão de

pessoas vigente e as práticas de relacionamento humano adotadas na organização.

Juntamente a esse “não sentir-se capaz”, também foi constatado pelos

próprios servidores que os mesmos não compartilham os conhecimentos adquiridos.

Ora, poder-se-ia pensar que se um servidor não se sente capaz de aplicar o

aprendizado ou de propor mudanças a partir da capacitação recebida, é porque não

aprendeu, ou não tem nada para compartilhar. Todavia tal raciocínio pode conduzir a

um erro de dedução.

Segundo Hamblin (1978), um treinando pode reagir corretamente, mas

sem aprender nada; ou poderá aprender sem aplicar o que aprendeu; pode mudar

seu comportamento no trabalho, sem que isso afete o status da organização. Trata-

se, pois, de uma corrente – os cinco níveis de treinamento – a qual pode romper em

qualquer um de seus elos. Assim a avaliação de impacto consiste em descobrir se

os elos mantiveram-se intactos ou em que ponto houve o rompimento.

Para tal descoberta se faz necessária uma abordagem direta ao contexto

social e institucional do servidor. Apenas os números puros, dados percentuais e

amostragens, não fornecerão a percepção das causas e efeitos dessa corrente.

Assim, após a análise dos dados obtidos pelo instrumento de avaliação

de impacto, os mesmo foram apresentados em um encontro nacional, com

servidores e chefias das 26 superintendências estaduais. Dessa forma foi possível

constatar que os critérios destacados estavam associados, como reflexos, à

desmotivação profissional dos indivíduos e em relação à instituição.

Questões como “Porque aprender a essa altura de minha carreira

profissional?”, “Que retorno eu terei da instituição?”, foram levantadas pelos

servidores acerca dos critérios não afirmativos.

Pode-se observar também que os pontos avaliados negativamente, isto é,

que tiveram avaliação na escala de 0 a 2, tanto por servidores, como pelas chefias,

estão de certa forma interligados, conforme a Figura 1a seguir.

Page 15: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

15

Figura 1. Critérios de avaliação interligados

Servidores Chefias

Aplico o que apreendi na

capacitação

Aplica o apreendido na

capacitação

Compartilho os

conhecimentos

adquiridos

Compartilha os

conhecimentos

adquiridos Sinto-me capaz de

propor mudanças com

base no que apreendi

A capacitação melhorou

meu desempenho no

trabalho

Teve melhor

desempenho no trabalho

Resolvo problemas

utilizando os

conhecimentos

adquiridos

Resolve problemas

utilizando os

conhecimentos

adquiridos

Fonte: CODER/Funasa (Fev/2014)

Tal interligação, obtida por meio do instrumento de avaliação de impacto

e, constatada e compreendida na abordagem direta com os servidores e chefias,

quando do encontro nacional, constitui um indicativo pontual de ação. Em outras

palavras, indica o “elo da corrente” onde pode haver ou há a quebra.

É possível realizar uma triangulação a partir desses critérios interligados,

que nos indicam três relações visíveis: a relação pessoal, institucional e

interpessoal. A Figura 2 expressa essa triangulação.

Page 16: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

16

Figura 2. Triangulação das relações na Avaliação de Impacto

Fonte: CODER/Funasa (Fev/2014)

Sobre a influência do ambiente no contexto organizacional, Abbad (1999),

afirma que o treinamento sozinho não é capaz de garantir um impacto positivo e

duradouro no desempenho da pessoa treinada, sendo por essa razão, necessária a

adoção de estratégias de gestão pós-treinamento que tornem o ambiente de

trabalho propício à transferência de habilidades.

6 CONCLUSÕES

A identificação e análise dos resultados que as ações educacionais

desenvolvidas trazem à organização possibilitam que se possa planejar ações

futuras que tragam maior eficácia aos investimentos da instituição no

desenvolvimento e aquisição de competências que a levem a alcançar seus

objetivos estratégicos.

O resultado da avaliação de impacto realizada foi aplicado na elaboração

do Plano Anual de Capacitação de 2013, de forma a redirecionar ações, usando

como parâmetros a análise da pesquisa, possibilitando a utilização ou exclusão dos

aspectos relacionados ao sistema instrucional como um todo, visando minimizar ou

eliminar as falhas identificadas em 23% dos eventos de desenvolvimento realizados

em 2012, objeto da presente pesquisa.

Em reunião com os chefes dos Setores de Capacitação das

Superintendências Estaduais, para apresentação dos resultados da pesquisa, foi

dedicado um momento para investigar e compreender o porquê de 23% dos eventos

não terem atingido os objetivos esperados.

Relação Pessoal

Relação Interpessoal

Relação Institucional

Page 17: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

17

Os dados dessa pesquisa evidenciaram que ações e estados de nível

pessoal geram impactos consideráveis na aplicação e implementação de novos

conhecimentos e habilidades nas atividades laborais, no contexto de desempenho

da Funasa.

As observações feitas pelos respondentes apontaram algumas questões

relevantes para a CODER, tais como a falta de preparo do facilitador (no caso de

curso ministrado com facilitador interno). Tal constatação deu base a um evento de

capacitação para os técnicos, o curso de Métodos e Técnicas de Ensino e

Aprendizagem, que foi institucionalizado como pré-requisito para se atuar como

facilitador de aprendizagem na Funasa.

Outro aspecto apontado foi a falta de nivelamento de conhecimento entre

os participantes indicados para a composição das turmas, ocasionando

aprendizagens em ritmos muito diferentes, gerando desconforto geral e impacto

negativo no aprendizado.

A avaliação de impacto realizada obteve sucesso ao alcançar seus

objetivos propostos, a saber (mensuração das graduações 3 e 4 da escala):

a) Levantar, juntos aos participantes das ações de capacitação, se a

aprendizagem foi colocada em prática, quando de seu retorno ao

contexto de trabalho, onde as habilidades e os conhecimentos são

utilizados.

82% dos participantes afirmaram ter aplicado os conhecimentos e

habilidades adquiridas nas capacitações, o que foi confirmado por 75%

das chefias, indicando que a Funasa, representada pelas chefias e

equipes, fornece o necessário suporte à transferência da

aprendizagem.

b) Averiguar se o participante foi capaz de transferir (partilhar) o

conhecimento adquirido para outra pessoa, na organização.

78% dos participantes afirmaram ter sido capazes de compartilhar o

conhecimento adquirido para pessoa/equipe, indicando que a Funasa

fornece apoio para a transferência de aprendizagens no ambiente de

trabalho. Este indicador foi confirmado por 75% das chefias

respondentes.

Page 18: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

18

c) Identificar se houve mudança observada no desempenho das

atividades do participante.

81% dos participantes afirmaram que se sentem capazes de propor

mudanças com base no que aprenderam e 79% que são capazes de

resolver problemas utilizando os conhecimentos adquiridos,

indicadores confirmados por 76% e 78% das chefias, respectivamente.

d) Identificar se o participante está consciente de sua mudança de

desempenho e de nível de conhecimento/habilidade.

77% dos participantes afirmaram perceber que a capacitação

melhorou seu desempenho no trabalho, em grau 3 ou 4 na escala,

indicando a clara percepção da mudança no desempenho, atestada

por 81% das chefias respondentes.

e) Identificar o suporte encontrado pelo participante, em seu ambiente de

trabalho, para utilizar o que foi aprendido.

82% dos participantes afirmaram que há oportunidades para a

utilização do que foi aprendido, indicando o suporte da organização à

aprendizagem contínua, o que foi confirmado por 90% das chefias

respondentes.

A pesquisa realizada constatou que os suportes adotados

metodologicamente foram todos confirmados pelos participantes e pelas chefias,

indicando que o impacto das capacitações (amostragem) da Funasa é positivo, em

sua maior parte (76%), mas a organização não deve perder a oportunidade de

aprender com as avaliações negativas (23%), no sentido de aperfeiçoar suas ações

de capacitação e obter a parceria efetiva com seus servidores.

Page 19: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

19

REFERÊNCIAS

ABBAD, Gardênia da Silva, etal. Medidas de Avaliação em Treinamento, Desenvolvimento e Educação. Porto Alegre: Artmed, 2012. ABBAD, Gardênia de Oliveira Castro. Um Modelo Integrado de Avaliação do Impacto do Treinamento noTrabalho – IMPACT. Tese de Doutorado. Universidade de Brasília, 1999. BAUER, Martin W.; GASKELL, G. (orgs). Pesquisa qualitativa com texto, imagem e som. 11 ed. Petrópolis: Vozes, 2013. BORGES-ANDRADE, Jairo et al. Medidas de Suporte em Avaliação de TD&E. In: Treinamento, Desenvolvimento e Educação em Organizações do Trabalho. Editora Artmed, RS, 2006 (PP.395-421). BRASIL, Decreto nº 5.707 de 23 de fevereiro de 2006. Institui a Política e as Diretrizes para o Desenvolvimento de Pessoal da administração pública federal direta, autárquica e fundacional, e regulamenta dispositivos da Lei nº 8.112, de 11 de dezembro de 1990. Diário Oficial [da] República Federativa do Brasil, Poder Executivo, Brasília, DF, 24 fev. 2006. CHIAVENATO, Idalberto. Gestão de Pessoas: o novo papel dos recursos humanos nas organizações. Rio de Janeiro: Campos, 1999. HAMBLIN, Anthony Crandell. Avaliação e Controle do Treinameneto. São Paulo: McGraw-Hill do Brasil, 1978. KIRKPATRICK, Donald L e KIRKPATRICK. Evaluating Training Programs: The Four Levels (3rd Edition). Hardcover, 1998. KIRKPATRICK, Donald L. Evaluation of training. In: CRAIG R.L e BITEL L.R (org).Training and Development Handbook. Nova York: McGraw-Hill, 1967.

Page 20: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

20

ANEXO 1 – Avaliação de Impacto - Participante

Modelo NoC nº 7 - Avaliação de Longo Prazo (Impacto) - Ótica do Participante Coordenação-Geral de Recursos Humanos

Coordenação de Seleção e Desenvolvimento de RH

Evento:

Nome:

Setor: Data:

Caro (a) Servidor (a), para expressar o seu grau de concordância em relação à aplicabilidade do conteúdo da capacitação no desenvolvimento das atividades em seu local de trabalho, utilize a escala abaixo e insira na coluna "Nível de Satisfação" o valor escolhido (0 = discordo totalmente a 4 = concordo totalmente e caso não consiga avaliar o item, escolha a opção NA = não se aplica).

Escala de Concordância

0 1 2 3 4 NA

discordo totalmente

discordo em parte

indiferente concordo em

parte concordo

totalmente não se aplica

No meu setor: Nível de

Satisfação

Aplico o que apreendi na capacitação.

Compartilho os conhecimentos adquiridos.

Sinto-me capaz de propor mudanças com base no que apreendi.

Há oportunidades para a utilização do que foi apreendido.

Planejamos a utilização do conteúdo trabalhado.

Há recursos materiais ou equipamentos apropriados para a aplicação do que apreendi.

Tenho apoio da equipe na execução das atividades.

A capacitação melhorou meu desempenho no trabalho.

Resolvo problemas utilizando os conhecimentos adquiridos.

Sinto necessidade de outra capacitação no assunto para melhor aplicação do conteúdo no desenvolvimento das minhas atividades? ( ) Não ( ) Sim.

Por quê?__________________________________________________

__________________________________________________

Utilize o espaço abaixo para sugestões e comentários:

Page 21: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

21

ANEXO 2 – Avaliação de Impacto – Chefia

Modelo NoC nº 7 B - Avaliação de Longo Prazo (Impacto) - Ótica da Chefia Coordenação-Geral de Recursos Humanos

Coordenação de Seleção e Desenvolvimento de RH

Evento:

Chefia:

Servidor Avaliado:

Setor: Data:

Senhor (a) Chefe, para expressar o seu grau de concordância em relação à aplicabilidade do conteúdo da capacitação no desenvolvimento das atividades do servidor em seu local de trabalho, utilize a escala abaixo e insira na coluna "Nível de Satisfação" o valor escolhido (0 = discordo totalmente a 4 = concordo totalmente e caso não consiga avaliar o item, escolha a opção NA = não se aplica).

Escala de Concordância

0 1 2 3 4 NA

discordo totalmente

discordo em parte

indiferente concordo em

parte concordo

totalmente não se aplica

No setor, o servidor (a): Nível de

Satisfação

Aplica o apreendido na capacitação.

Compartilha os conhecimentos adquiridos.

Propõe ideias/mudanças com base no que apreendeu.

Tem oportunidades para a utilização do que foi apreendido.

Planeja a utilização do conteúdo trabalhado.

Dispõe de recursos materiais ou equipamentos apropriados para a aplicação do que apreendeu.

Tem apoio da equipe na execução das atividades.

Teve melhor desempenho no trabalho.

Resolve problemas utilizando os conhecimentos adquiridos.

Há necessidade de outra capacitação no assunto para melhorar o desenvolvimento do servidor (a) nas suas atividades? ( ) Não ( ) Sim. Por

quê?_____________________________________________ _____________________________________________

Utilize o espaço abaixo para sugestões e comentários:

Page 22: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

22

ANEXO 3 – Relação de Cursos Avaliados com Graus 0 a 2

Evento Tipo de Evento Quantitativo de Participações

Contabilidade Pública e os Principais Reflexos das Normas e Regulamentos Recentes na Gestão Orçamentária.

Técnico/administrativo 1

Curso Básico e Práticas de GPS Técnico/administrativo 1

Novo Siape via Web Técnico/administrativo 1

Procedimento em Sindicância e Processo Disciplinar - PAD

Técnico/administrativo 6

I Simpósio e I Feira de Tecnologia em Engenharia de Saúde Pública

Técnico 5

II Conferência Latino Americana em Saneamento

Técnico 1

IV Seminário Nacional de Saneamento Rural

Técnico 1

SIAPE – FOLHA Técnico/administrativo 2

EPANET Técnico/administrativo 1

Estruturação e Implementação de Consórcios Públicos de Saneamento

Técnico 2

Gestão Integrada de Resíduos Sólidos Urbanos

Técnico 1

Concessão de diárias e Passagens - SCDP

Técnico/administrativo 1

Saneamento Básico – Projeto de Sistema de Esgoto Sanitário

Técnico 2

EXCEL Básico Técnico/administrativo 5

EXCEL Avançado 4

Elaboração de Plano Municipal de Saneamento Básico

Técnico 1

Informática Básica Técnico/administrativo 2

Seminário de Convênios e Instrumentos Congêneres.

Técnico/administrativo 5

Ações de Controle da Qualidade da água

Técnico 3

Avaliação de Projetos de Estações de Tratamento de Águas

Técnico 1

Page 23: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

23

AUTOCAD Técnico/administrativo 1

Avaliação de Tratamento em Soluções Alternativas e em Sistemas de Abastecimento de Águas

Técnico 3

Georreferenciamento e Operação de GPS

Técnico/administrativo 1

Noções Básicas de Gerenciamento de Projetos – MS Project

Gerencial 3

Avaliação de Procedimentos de Pedidos de Bens e Serviços - PBS

Técnico/administrativo 1

Programa de Desenvolvimento de Gerentes Operacionais e Supervisores - DGOS

Gerencial 1

Elaboração de PDTI - Módulos I,II,III E IV

Técnico/administrativo 1

Encontro de Desenvolvimento de Pessoas da Região Norte.

Técnico/administrativo 1

Encontro de RH e Administração Técnico/administrativo 2

Novo CPR Técnico/administrativo 1

Sistema de Gestão de Convênios de Contratos de Repasse do Governo Federal (SINCOV).

Técnico/administrativo 1

VII Simpósio Internacional de Qualidade Ambiental

Técnico 1

Oficina de Desenvolvimento de Equipes Gerencial 1

ACESS Básico Técnico/administrativo 1

AUTOCAD 2D Técnico/administrativo 1

42ª Assembleia Nacional da ASSEMAE Técnico 2

Simpósio Internacional de Reuso da Água

Técnico 1

GFIP/CFIP para Órgãos Públicos Técnico/administrativo 1

Gestão e Fiscalização de Contratos e Serviços Terceirizados

Técnico/administrativo 1

SIAF Básico Técnico/administrativo 1

Treinamento em Serviço na área de Convênios SICONV

Técnico/administrativo 2

Page 24: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

24

Licitações: Teoria e Prática Técnico/administrativo 1

Instrução Processual SIGOB Técnico/administrativo 1

WORD Técnico/administrativo 1

I Seminário de Preparação para a Aposentadoria

Técnico/administrativo 1

Gestão de Contrato de Tecnologia da Informação

Técnico/administrativo 1

Gestão por Competência Técnico/administrativo 1

Implantação de Controle de Qualidade em Laboratório de Microbiologia de Água

Técnico 1

Seleção de Fornecedores de Tecnologia da Informação

Técnico/administrativo 1

XVIII TCE –Teoria e Prática Técnico/administrativo 1

XXXIII AIDIS Técnico/administrativo 1

Oficina das Unidades SIASS Técnico/administrativo 1

Fiscalização e Gerenciamento de Contratos

Técnico/administrativo 1

III Encontro Servidores Suest/SE: Cuidando do Corpo e da Mente

Técnico/administrativo 1

Page 25: AVALIAÇÃO DE IMPACTO DE AÇÕES DE DESENVOLVIMENTO DE ...banco.consad.org.br/bitstream/123456789/1064/1/C7_PP_AVALIAÇÃO DE... · graduados na escala de avaliação como “discordo

25

___________________________________________________________________

AUTORIA

Vania Vianna – Funasa.

Endereço eletrônico: [email protected] Hudson Nogueira Santos – Funasa.

Endereço eletrônico: [email protected] Sonia Goulart – SG Educação Empresarial.

Endereço eletrônico: [email protected]