1

Construção de Itens de Avaliação de Construção de Itens de Avaliação de Impacto em Profundidade e Impacto em Profundidade e

Amplitude e Análise de DadosAmplitude e Análise de Dados

COZINHA BRASIL

SESI – UNIVERSIDADE DE BRASÍLIA – PUC

05/09/2007

2

Impacto, Transferência e Desempenho

Análise das Expressões

• Comportamento ou Impacto do treinamento no trabalho compreende os conceitos de retenção a longo prazo, generalização, transferência de aprendizagem e desempenho.

• Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades ou atitudes adquiridas em situações de treinamento.

• O participante transfere para o trabalho uma nova forma de desempenhar antigas tarefas e/ou leva para o ambiente de trabalho as competências, habilidades, atitudes e/ou conhecimentos necessários à execução de uma nova tarefa.

3

Impacto no TrabalhoTransferência de

Aprendizagem

Generalização

Retenção Retenção

4

• Certas competências, conhecimentos, habilidades, e/ou atitudes aprendidos em treinamentos podem afetar o desempenho em muitas outras atividades não diretamente ligadas ao curso.

Impacto do Treinamento no Trabalho

Análise das Expressões

• Treinamento pode afetar motivação, comprometimento e auto-eficácia.

5

Impacto em largura ou amplitude: refere-se aos efeitos globais do treinamento no desempenho e atitudes do participante, medido em termos de indicadores genéricos de desempenho.

Impacto em Profundidade: refere-se aos efeitos específicos do treinamento em atividades diretamente relacionadas às habilidades adquiridas no curso.

Tipos de Impacto do Treinamentono Trabalho

6

Construção dos Itens – Cozinha Brasil

• As medidas de avaliação de impacto em profundidade envolvem indicadores de desempenho exemplar - descrições de competências (habilidades, atitudes, conhecimentos) que se espera que o participante apresente ao final e após o evento educacional.

• Essas competências podem ser classificadas de acordo com taxonomias de resultados de aprendizagem, cujos princípios organizadores são: complexidade para as capacidades cognitivas e metacognitivas, grau de internalização para atitudes e de automatização para habilidades psicomotoras.

7Conhecimento

Compreensão

Aplicação

Análise

Síntese

Avaliação

Exemplo de Taxonomia do Domínio Cognitivo: Bloom

Construção dos Itens – Cozinha Brasil

8

Receptividade

Resposta

Valorização

Organização

Caracterização

Exemplo de Taxonomia do Domínio Atitudinal ou Afetivo: Bloom

Construção dos Itens – Cozinha Brasil

9

Construção dos Itens – Cozinha Brasil

• Objetivos instrucionais ou de aprendizagem são descrições de CHAs, seqüenciadas de acordo com hierarquias de aprendizagem.

• Ao construirmos objetivos de desempenho ou descrições de efeitos do treinamento no trabalho, devemos excluir os comportamentos intermediários e extrairmos dos objetivos de aprendizagem apenas aqueles que emergirão no ambiente pós o evento instrucional.

• Muitas vezes, esses objetivos de desempenho ou itens de impacto não estão descritos no material do curso.

10

Construção dos Itens – Cozinha Brasil

Objetivos de DesempenhoX

Objetivos Instrucionais

CONDIÇÃO + VERBO + OBJETO DA AÇÃO +CONDIÇÃO + VERBO + OBJETO DA AÇÃO + CRITÉRIOCRITÉRIO

DesempenhoDesempenho

Omitido quando é “óbvio”

EssenciaisOmitido em

tarefas (desempenhos) complexas

Em que se assemelham e em que diferem?Em que se assemelham e em que diferem?

Assemelham-se quanto à estrutura eàs regras de construção:

11

Objetivos de Desempenho ouItens de Avaliação de Impacto em

Profundidade

Explicitam comportamentos que se espera observar nos Explicitam comportamentos que se espera observar nos egressos em atividades por eles realizadas após o curso.egressos em atividades por eles realizadas após o curso.

São os São os resultadosresultados diretos do treinamento. diretos do treinamento.

Eles devem estar relacionados aos CHAs Eles devem estar relacionados aos CHAs desenvolvidos especificamente pelo curso.desenvolvidos especificamente pelo curso.

Devem derivar (somente) do que foi Devem derivar (somente) do que foi trabalhado durante um treinamento.trabalhado durante um treinamento.

Construção dos Itens – Cozinha Brasil

12

Construção dos Itens – Cozinha Brasil

Objetivos de DesempenhoA mensuração destes comportamentos pode nos A mensuração destes comportamentos pode nos

fornecer informações acerca:fornecer informações acerca:

1.1.Da adequação do curso Da adequação do curso às necessidades da às necessidades da clientela (voltados para a clientela (voltados para a realização de atividades realização de atividades profissionais, por exemplo).profissionais, por exemplo).

Ou seja, nosso curso está Ou seja, nosso curso está voltado para as atividades voltado para as atividades que o alunado deverá que o alunado deverá desempenhar?desempenhar?

““Qualidade” do Curso para Qualidade” do Curso para a clientelaa clientela

Ou seja, quais habilidades Ou seja, quais habilidades ensinadas durante o curso ensinadas durante o curso estão sendo efetivamente estão sendo efetivamente aplicadas?aplicadas?

Complementar à Av. de Complementar à Av. de Impacto em Amplitude.Impacto em Amplitude.

2.2.Do nível de Do nível de aproveitamento do que foi aproveitamento do que foi trabalhado durante o curso.trabalhado durante o curso.

Esse tipo de informação compõe o que denominamos Avaliação de Impacto do Treinamento em

Profundidade.

13

Construção dos Itens – Cozinha Brasil

Etapas da Construção de Itens de Impacto em Profundidade

1. Leitura do material do curso (apostilas, exercícios, objetivos..) ou realização do curso;

2. Identificação e, em alguns casos, aprimoramento dos objetivos de aprendizagem;

3. Listagem dos objetivos de aprendizagem, hierarquizando-os de acordo com as taxonomias correspondentes;

4. Identificação dos objetivos de desempenho ou indicadores de feitos diretos do treinamento no desempenho posterior do participante em seu ambiente de trabalho;

14

Construção dos Itens – Cozinha Brasil

Etapas da Construção de Itens de Impacto em Profundidade

5. Redação dos objetivos de desempenho ou itens de impacto;

6. Escolha da escala de avaliação;

7. Validação por juízes (planejadores, instrutores, especialistas em conteúdo, etc) e validação piloto (ex-participantes);

8. Digitalização e formatação final para aplicação.

15

Construção dos Itens – Cozinha Brasil

Itens de Avaliação de Impacto em Amplitude

• Fala-se em impacto em amplitude ou largura quando se deseja especificar os efeitos da ação ou evento educacional em dimensões mais gerais do comportamento, além daqueles previstos em detalhe pelos planejadores durante a concepção do evento.

• O foco da avaliação, portanto, está em efeitos que extrapolam os objetivos da ação, ou seja, efeitos globais no desempenho e atitudes do participante, medidos em termos de indicadores genéricos de desempenho.

16

Construção dos Itens – Cozinha Brasil

Levantamento de Informações

• Grupos Focais:

• Instrutoras do COZINHA BRASIL

•Entrevistas:

• Instrutoras e participantes da ação educacional.

• Grupo Focal 2 (17/08/07)

• Filtragem de todos os indicadores levantados na análise dos materiais didáticos e no primeiro grupo focal

•Considerações individuais e discussão em grupo de cada um dos indicadores levantados nas etapas anteriores.

• Grupo Focal 1 (13/08/07)

• Respostas individuais e discussão em grupo a cinco questões referentes aos efeitos e mudanças esperadas e inesperadas na vida dos alunos do Cozinha Brasil, as especificidades de cada região do Brasil e as diferenças nos efeitos dos cursos de multiplicadores e da comunidade.

17

Construção dos Itens – Cozinha Brasil

Formatação Final do Questionário

Após validação por juízes (planejadores, instrutores,

especialistas em conteúdo, etc) e validação piloto (ex-

participantes).

• Digitalização e formatação final para aplicação.

18

Aproveito todas as partes do alimento (talos, folhas, cascas).

Lavo a carne (de boi, de frango, de porco, de peixe) em água.

Reutilizo a água em que cozinho legumes para preparar outros alimentos (arroz, soja, sopa).

Consumo sucos e saladas de frutas logo após o preparo.

Cozinho os legumes somente o suficiente para que fiquem macios.

Identifico alimentos construtores, energéticos e reguladores.

Preparo o cardápio do dia-a-dia com todos os grupos de alimentos.

Identifico alimentos que possuem fibras.

Utilizo ingredientes típicos da minha região.

Monto os pratos com cores diferentes.

Ao fazer compras, escolho os alimentos de melhor aparência.

Descongelo carnes, peixes e aves dentro da geladeira.

Antes de ir ao supermercado, faço uma lista de compras.

Planejo a compra do supermercado de acordo com a necessidade.

Compro legumes, frutas e verduras da época.

Impacto em Profundidade

19

Lavo as verduras, frutas e legumes consumidos crus com água limpa e tratada.

Jogo fora latas de alimentos que estejam estufadas, enferrujadas, com vazamento ou amassadas.

Antes de consumir, deixo as verduras, frutas e legumes em solução clorada por 20 minutos.

Deixo alimentos crus junto com alimentos cozidos.

Lavo bem as mãos com água e sabão antes de preparar os alimentos.

Lavo muito bem com água e sabão os utensílios (tábuas de corte, panelas e pias).

Utilizo utensílios de madeira (tábuas de corte, colheres, potes).

Utilizo somente água tratada ou fervida.

Mantenho os alimentos em ambientes livres de microorganismos.

Deixo o lixo aberto na cozinha.

Mantenho os alimentos longe de insetos e animais domésticos.

Na geladeira, guardo alimentos prontos para o consumo nas prateleiras superiores.

Impacto em Profundidade

20

Na geladeira, guardo os produtos crus nas prateleiras de baixo.

Jogo fora alimentos que ultrapassaram o prazo de validade.

Jogo fora alimentos com cor e cheiro alterados ou com presença de mofo ou bolor.

Deixo alimentos prontos em temperatura ambiente (em cima do fogão, no forno, sobre a pia) por mais de 30 minutos.

Faço lanches leves (frutas, sucos) nos intervalos das refeições.

Ao iniciar a preparação de alimentos, utilizo gorro, boné ou touca para prender os cabelos.

Impacto em Profundidade

21

Impacto em Amplitude

Diminuí o consumo de sal e açúcar.

Diminuí o consumo de gorduras e óleos.

Passei a controlar os gastos com alimentação. ( ) Já controlava

Passei a utilizar ingredientes que não utilizava antes do curso.

Iniciei uma atividade física. ( ) Já fazia

A saúde da minha família melhorou.

O desperdício de água na minha casa diminuiu.

Passei a realizar coleta seletiva de lixo. ( ) Já fazia

Passei a cultivar alimentos no quintal da minha casa. ( ) Já fazia

Passei a vender os pratos que aprendi a fazer no Cozinha Brasil.

Consegui um emprego. ( ) Já tinha

Criei receitas a partir das que aprendi.

Passei a observar se os locais onde compro alimentos apresentam cuidados de limpeza.

Ensino para amigos, parentes ou vizinhos técnicas que aprendi no curso.

22

Análise dos Dados

• Análises estatísticas exploratórias e descritivas

• Análises dos componentes principais e fatoração dos eixos principais

• Análise de Consistência interna das escalas

• Análises de regressão múltipla

• Análises de regressão logística

23

GRUPO IMPACTOPESQUISA APLICADA – AVALIAÇÃO DE EVENTOS

EDUCACIONAISGardênia Abbad:

gardenia.abbad@gmail.com

Lidia Parachin:

lidinha.sp@gmail.com

Rafaella Andrade:

faella.andrade@gmail.com

Vanessa Brixi:

vanessa.brixi@gmail.com

FIM