1

Avaliação, com base em modelo lógico, de efeitos de um treinamento estratégico

no desempenho de egressos e da organização

Dissertação de MestradoStella Cristina Moraes Pereira

Orientadora: Profa. Dra. Gardênia Abbad

UNIVERSIDADE DE UNIVERSIDADE CORPORATIVA BRASÍLIA – UnB BANCO DO BRASIL - UniBB

2

Avaliar o impacto de um treinamento estratégico no desempenho individual (transferência de treinamento), identificando variáveis preditoras e a relação com resultados organizacionais.

Objetivo geral da pesquisa C

onsi

dera

ções

Est

udo

Est

udo

Est

udo

Refe

renc

ial

Obj

etiv

o

Fin

ais

3 2

1

T

eóri

co

G

eral

Obj

etiv

oG

eral

3

Modelos teóricos de avaliação de TD&E

Modelos Tradicionais

Hamblin (1978)

Modelos Integrados

MAIS (1982)IMPACT (1999)

Propõem níveis de avaliação (reação, aprendizado, comportamento no cargo, mudança organizacional e valor final)

Incluem categorias de variáveis (insumo, processo e ambiente) que influenciam a efetividade de ações TD&E e possibilitam realizar ajustes no programa ou no contexto.

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Refe

renc

ial

Teór

ico

4

Modelo teórico de avaliação de programas

Modelo Lógico

Ferramenta da área de Avaliação de Programas Sociais que explicita a “teoria” de um programa, a partir da descrição de recursos, atividades e resultados esperados (McLaughlin & Jordan, 2004)

Ferramenta metodológica que pode auxiliar a:

- identificar resultados esperados em longo prazo

- estabelecer supostas relações entre eles

- identificar variáveis contextuais capazes de afetá-los

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Refe

renc

ial

Teór

ico

5

Etapas da pesquisa

Estudo 1Revisão do modelo

lógico

Estudo 2Elaboração

de medidas

Estudo 3Análise da relação entre

variáveis

Pesquisa com técnicas diversificadas de coleta de dados primários e secundários, com abordagem qualitativa e quantitativa.

6

Estudo 1 - MétodoTreinamento Avaliado: Curso presencial “Estratégia Negocial de Desenvolvimento Regional Sustentável” desenvolvido pelo Banco do Brasil.

Objetivo específico: Revisar o modelo lógico do treinamento DRS elaborado por Meneses (2007)

Amostra:10 gestores de agências 01 gerente da área estratégia 01 gerente regional

Procedimentos: -Análise documental (material didático, relatórios, normativos e informativos)-Entrevistas individuais e grupos focais-Análise de conteúdo

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do1

8

Estudo 1 – Resultados C

onsi

dera

ções

Est

udo

Est

udo

Est

udo

Refe

renc

ial

Obj

etiv

o

Fin

ais

3 2

1

T

eóri

co

G

eral

Estu

do1

9

Estudo 1 – ResultadosSeta Variáveis Interferentes A Transferência

de treinamento para o trabalho

-Interesse e engajamento dos gestores-Experiência adquirida antes do curso-Pessoas treinadas que efetivamente ajudam-Disponibilidade de tempo, quadro de pessoal, atividades e metas concorrentes-Orientação técnica de Órgãos de Apoio internos-Troca de experiências com outros gestores-Disponibilidade de equipamentos e materiais-Apoio de parceiros-Incentivo de superiores-Fatores externos

B Quantidade de planos de negócios DRS e em suas estimativas de beneficiários e crédito

-Características das agências bancárias -Características demográficas dos municípios (e.g. área rural, população)-Tempo transcorrido após o treinamento-Outras metas de trabalho concorrentes e prioritárias-Recursos financeiros

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do1

10

A utilização de diferentes stakeholders possibilitou ajustes: seqüência de resultados semelhante, com novos indicadores de resultados e variáveis interferentes

O modelo lógico atualizado embasou a elaboração de medidas e a definição de modelos empíricos para investigar relacionamentos entre variáveis

Estudo 1 – Discussão C

onsi

dera

ções

Est

udo

Est

udo

Est

udo

Refe

renc

ial

Obj

etiv

o

Fin

ais

3 2

1

T

eóri

co

G

eral

Estu

do1

11

Estudo 2 - MétodoObjetivo específico: Elaborar e validar medidas de avaliação

Escala Conceito Nr. itens

Motivação para

transferir

grau de interesse do gestor em aplicar, no trabalho, os conteúdos aprendidos no treinamento (Lacerda, 2002)

5

Transferência do

treinamento

aplicação, no trabalho, dos CHAs aprendidos no curso pelo participante (Freitas, Borges-Andrade, Abbad & Pilati, 2006)

12

Suporte -percepção sobre práticas organizacionais de gestão de desempenho (Abbad, 1999) -percepção sobre nível de apoio fornecido pelo ambiente pós-treinamento para aplicação de novos CHAs (suporte à transferência de treinamento)

37

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do2

12

Amostra: Retorno de 2213 respondentes (63,8%) de 3466 gestores de agência capacitados entre agosto/2004 e fevereiro/2008.

Instrumento: Questionário impresso com três escalas

Estudo 2 - Método

Procedimentos de coleta e análise:

- Questionário encaminhado via malote em maio de 2008

- Validação estatística das escalas: Análise de componentes principais (PC) Análises de eixos principais (PAF) Análise de confiabilidade (Alfa de Cronbach)

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do2

13

Estudo 2 - ResultadosEscala KMO %

vari-ância

Fatores Nr. itens

Alfa Cargas

Motivação para transferir

0,90 83,35 Fator geral 5 0,95 0,94 a 0,79

Suporte à transferência e Suporte Organizacional

0,96 58,94

Suporte social e técnico

14 0,94 0,95 a 0,43

Suporte externo

9 0,90 0,98 a 0,42

Gestão desem-penho

8 0,88 0,98 a 0,32

Suporte material

5 0,83 0,85 a 0,39

Transferência de treinamento

0,94 70,19 Fator Geral 12 0,96 0,88 a 0,69

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do2

14

Estudo 2 - Discussão

Escalas consideradas válidas e confiáveis, pois apresentaram bons índices psicométricos e respaldo teórico

Dimensões de suporte à transferência: (a) social e técnico; (b) externo e (c) material.

- coerência com as dimensões da literatura

- novas dimensões: suporte externo à organização e apoio técnico prestado por colegas e outros intervenientes

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do2

16

Estudo 3 – Modelo A

Características do indivíduo

-Motivação para transferir-Tempo de Banco-Experiência na função de gestor

Características do contexto-Suporte social e técnico -Suporte externo-Suporte material-Gestão de desempenho-Nr. de funcionários capacitados

Variável critérioTransferência

de treinamento para o trabalho

Objetivo específico:Avaliar a relação de “motivação para transferir” e “suporte” com “transferência de treinamento para o trabalho”

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

17

Estudo 3 – Modelo B Objetivo específico:

Investigar o relacionamento entre transferência de treinamento e mudança organizacional, após a eliminação do efeito de outras variáveis antecedentes.

Características do contexto

-Nível da agência-Região Geográfica-Tempo de habilitação da agência-Percentual de população urbana

Variável critério- Elaboração de planos de negócios DRS

Resultado individual do treinamento

-Transferência de treinamento para o trabalho

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

18

AmostraModelo A: amostra do Estudo 2Modelo B: sub-amostra com gestores lotados na atual agência há mais de 18 meses

Procedimentos de coleta de dados:1) Maio de 2008 2) 6 meses depois

Estudo 3 - Método

Dados primários: questio-nário do estudo 2

Dados secundários: base de dados da Empresa (características dos gestores e da agência)

Dados secundários: base de dados da Empresa e do IPEA (desempenho das agências e variáveis de contexto)

Procedimentos de análise de dados:Modelo A: Regressão múltipla padrãoModelo B: Regressão múltipla hierárquica

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

19

Estudo 3 – Resultados

Variável critério

Variáveis Explicativas

Sr R2

Transferência de treinamento para o trabalho

Motivação para transferir

0,316 0,380

0,62Suporte social e técnico

0,166 0,148

Suporte externo 0,403 0,409Gestão de desempenho

0,049 0,057

Modelo A

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

20

Estudo 3 – Discussão

Hipó-tese

Descrição Interpretação

H1 Tempo de Banco e experiência como gestor contribui para explicar a transferência do treinamento para o trabalho

Resultados similares na literaturaA pouca variabilidade pode ter contribuído para esse resultado

H2 A motivação do indivíduo para transferir está positivamente relacionada com a transferência do treinamento

Gestores que se sentiram mais motivados para aplicar os novos CHAs foram os que mais relataram expressar as competências na situação real de trabalho

Modelo A

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

21

Hipó-tese

Descrição Interpretação

H3 Percepção de suporte à transferência explica a variabilidade da transferência do treinamento

- Dimensões relevantes: suporte externo e suporte social e técnico

- Reforça a importância do suporte social e aponta novas dimensões

- Suporte material não contribuiu para explicar o resultado.

H4 Percepção de suporte organizacional explica a transferência do treinamento

- Prática de gestão de desempenho mostrou-se relevante, embora com menor poder preditivo.

- Corrobora resultado de Abbad(1999), mas difere de outros autores.

Estudo 3 – Discussão C

onsi

dera

ções

Est

udo

Est

udo

Est

udo

Refe

renc

ial

Obj

etiv

o

Fin

ais

3 2

1

T

eóri

co

G

eral

Estu

do3

22

Estudo 3 – Resultados

Variável critério

Variáveis Explicativas

Sr R2

Quantidade de planos de negócios DRS

Tempo de habilitação

0,213 0,146 Modelo 1:

0,27

Modelo 2: 0,28

Região geográfica -0,345 -0,238

Transferência de treinamento

0,090 0,102

Modelo B

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

23

Hipó-tese

Descrição Interpretação

H1 Características internas e externas às agências contribuem para explicar o número de planos de negócios elaborados por unidade organizacional

Agências com mais tempo de habilitação e localizadas na região Norte e Nordeste possuem mais PN DRS implementados.Nível da agência e percentual de população urbana não foram relevantes.

H2 Transferência de treinamento contribui para explicar o número de PN DRS implementados, após desconsiderada a influência de variáveis externas ao treinamento

A transferência do treinamento contribuiu para predizer o número de PN DRS, apesar de ser pequena a contribuição. A aplicação do treinamento é necessária, mas não suficiente para produzir resultados mais abrangentes.

Estudo 3 – DiscussãoModelo B

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Estu

do3

24

Limitações

Dados obtidos por meio de auto-relato, que constituem indicadores subjetivos, que podem conter imprecisões

Não adoção de hetero-avaliação de transferência de treinamento

Estudo correlacional, ao invés de desenho experimental ou quase-experimental

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Cons

ider

açõe

sFi

nais

25

ContribuiçõesUtilização de modelos lógicos para direcionar o processo de avaliação de treinamento

Validação estatística de uma escala de impacto de treinamento em profundidade

Estabelecimento do caráter preditivo exercido pela variável motivação para transferir sobre indicador de efetividade de treinamento no nível individual (i.e. transferência de treinamento)

Detecção de outras dimensões de suporte à transferência

Incremento na explicação da transferência de treinamento com a utilização de medidas de suporte específicas ao contexto pesquisado

Teste do poder preditivo entre transferência de treinamento e um indicador de efetividade de treinamento referente ao nível de mudança organizacional

Con

side

raçõ

es

E

stud

o

E

stud

o

E

stud

o

Re

fere

ncia

l

O

bjet

ivo

F

inai

s3

2

1

Teó

rico

Ger

al

Cons

ider

açõe

sFi

nais

28

RecomendaçõesAprofundar investigação sobre motivação para transferir e identificar variáveis individuais e contextuais que interferem na relação entre a variável e o resultado do treinamento

Aprimorar conceito e medida de suporte à transferência

Adotar modelos lógicos para investigar efeitos de TD&E na organização

Propor modelos empíricos com delineamento experimental ou quase-experimental

Testar efeitos mediadores e moderadores entre variáveis

Testar novamente o relacionamento entre resultados individuais e efeitos em níveis mais abrangentes

Utilizar modelo lógico revisado para dar continuidade à avaliação do treinamento DRS C

onsi

dera

ções

Est

udo

Est

udo

Est

udo

Refe

renc

ial

Obj

etiv

o

Fin

ais

3 2

1

T

eóri

co

G

eral

Cons

ider

açõe

sFi

nais

29

Obrigada!

Contato: Stella Cristina Moraes Pereirae-mail: stellacristina@bb.com.brTel.: (61) 3310-9492

UNIVERSIDADE DE UNIVERSIDADE CORPORATIVA BRASÍLIA – UnB BANCO DO BRASIL - UniBB