Ambientes e Programasde Aprendizagem

a Distância

Avaliação

Miriam StruchinerLaboratório de Tecnologias Cognitivas

Núcleo de Tecnologia Educacional para a Saúde -NUTES/UFRJ

• abertura e flexibilidade (seqüência, relação espaço-tempo, ritmo, requisitos x abertura)• mediatização (baseia-se no uso de meios, materiais educativos e estratégias de comunicação)• finalidades da iniciativa educativa • abordagem e estratégias pedagógicas• perfil do grupo participante (aprendiz adulto, situado em seu contexto, autonomia e responsabilidade) • relação educação-trabalho (teoria-prática) - conhecimento científico, escolar e da prática• logística complexa (gerência, distribuição etc.)

Características Gerais da EAD

Processo pelo qual se emite um julgamento de valor àqualidade de características dos alunos, grupo, ambienteeducativo, objetivos educacionais, materiais educativos,programas de ensino-aprendizado, com o objetivo deintervir sobre uma dada realidade e modificá-la.

Paradigmas de Avaliação: enfoca o produto e suas formas de manifestação

(resultados); métodos quantitativos e estatística; preocupado não apenas com o produto final mas com o

processo (métodos qualitativos e quantitativos).

Definindo Avaliação de Programas Educativos

Momentos e Finalidades em Avaliação de EAD

Avaliação relativa ao processo de produção: avaliação formativa

Avaliação relativa ao processo de implementação do programa: avaliação somativa

Momentos

Avaliação relativa ao impacto do programa: avaliação a longo prazo

Analisar a qualidade do material produzido; analisar estratégias de implementação

Analisar a qualidade do programa, de suas atividades, elementos e dos resultados obtidos

Analisar as mudanças no processo de trabalho e na formação profissional; cobertura, qualidade da atenção e no contexto envolvido.

Finalidades

Avaliação relativa ao processo de produção

Baseia-se emobservação, análisee julgamento para oplanejamento eprodução, e/ouseleção de materiais

Questiona os materiais,combinando metodologiasde coleta e análise de dados

Não define ordem para asdiferentes etapas. Algunselementos de avaliação sãocomuns e outros específicosde cada avaliador

Estudo Piloto com a População Alvo do Sistema- Observação- Registro das Atividades (portfolio, “navegação”,

forum)- Avaliação do Programa/material e da Experiênciapelos Orientadores e Coordenação (entrevistas equestionários)

- Avaliação do Programa/material e da Experiênciapelos Alunos (entrevistas e questionários)

- Avaliação da Aprendizagem (problemas, casos,monografias, mapas conceituais – pós e préteste)

Painel de Especialistas - Profissionais experientes em diferentes aspectos

do sistema (conteúdo, funcionamento,apresentação, enfoque pedagógico/linguagem).

Modelo de Apreciação Analítica

Painel de Especialistas: considerações

Especialistas, naposição de usuários,interagem, analisam ejulgam a qualidade evalidade

Um método de baixocusto, porém, eficiente

Necessita cautela naseleção de seusmembros e atenção noperfil dos profissionaisparticipantes

Realiza-se em estágio avançado dedesenvolvimento do material/ambiente educativo.

Permite a interação dos diferentes conhecimentosenvolvidos no processo de produção e deutilização.

Acomoda pequeno número de especialistas podedetectar problemas relevantes. (3-10 membrosparticipam).

Podem ser feitos tantos painéis quantonecessários para dar conta de todas as questões.

Perfil de especialistas: experiência em produçãode materiais educativos, conhecimento sobreEAD, experiência prática na área de aplicação doconteúdo, conhecimento do conteúdo e/ou ensinodo conteúdo e outros perfis necessários.

Avaliação do Alunoavaliação da aprendizagem: depende das finalidades do programa educativo

avaliação do desempenho /processual (qualitativa: portfolios, registros de atividades, foruns) - uso de pré e pós-teste???

- avaliar conhecimentos (mapas conceituais, discussão e análise de problemas) habilidades (práticas), atitudes desenvolvidas (prática e abordagens diante de problemas no processo por meio da observação, do diálogo etc.) - aprendizagem baseada em competências (avaliação integrada)

autoavaliação (parte do processo de “aprender a aprender” e de auto-responsabilização sobre o processo - rever metas etc)

avaliação para fins de certificação (segue as normas oficiais)

Avaliação relativa ao Processo de Implementação• avaliação do aluno

• avaliação do programa

e de seus elementos e dinâmica

• avaliação gerencial (logística, compromisso institucional)

• avaliação do aluno

• avaliação do programa

e de seus elementos e dinâmica

• avaliação gerencial (logística, compromisso institucional)

Avaliação do Curso (Dinâmica, Elementos e Resultados)avaliação pelos alunos (a), pelos orientadores (o), coordenação (c) e pela equipe (e)avaliação do material educativo - em contexto - o material se concretiza com seu uso (facilidade de uso e manipulação do material; linguagem adequada; estratégia educativa, validade do conteúdo etc.) (c) (a) (o) (e) avaliação do processo de tutoria (competências para motivar, interagir no prazo e com qualidade, estimular a cooperação, orientar, compartilhar e investigar)- (c) (a) (o) avaliação da dinâmica (interação no grupo, cooperação, construção da autonomia, autoavaliação do aluno, uso e troca de informações e materiais) (c) (a) (o) (e) avaliação dos resultados obtidos (interação dos resultados de todas as avaliações (dos alunos, do processo do curso e, se possível, do impacto) - (e) e consultores ad hoc.

Avaliação relativa ao Processo de Implementação 2

• avaliação do aluno

• avaliação do programa

e de seus elementos e dinâmica

• avaliação gerencial (logística e apoio institucional)

Avaliação gerencial (logística e apoio institucional)

• processo de divulgação• processo de seleção• distribuição e acesso ao material e atividades• funcionamento e suporte (fluxo de informação;

comunicação entre sujeitos; manejo com orientadores)

• suporte e orientação no uso dos meios/materiais e na comunicação

• produção de titulação`término e evasão• custo benefício• estudos prospectivos• avaliação da institucionalização do programa• análise das contribuições do programa para a

instituição

Avaliação relativa ao Processo de Implementação 3

Uma experiência piloto com um curso de EAD

Gestão Descentralizada de Recursos Humanos em Saúde / PADHRUS

Avaliar as potencialidades e limitações do modelo pedagógico desenvolvido no Curso de Gestão Descentralizada de Recursos Humanos

Analisar a percepção dos alunos, dos orientadores e dos coordenadores sobre a ação educativa mediada por ferramentas pedagógicas disponibilizadas no ambiente construtivista a distância.

Avaliar como se processa, em ambiente virtual, o desenvolvimento da interatividade, da cooperação e da autonomia, como dimensões prioritárias para a aprendizagem siginficativa.

Investigar como os alunos, alunos e coordenadores percebem a construção dessas dimensões no processo de aprendizagem a distância.

Analisar o processo do estudo piloto do Curso de Gestão Descentralizada de Recursos Humanos em Saúde, como uma estratégia de avaliação formativa, que visa acompanhar o desenvolvimento e o aprimoramento do programa.

Finalidades do Estudo Piloto

Características do Curso

Etapas do Estudo Piloto

(1) Oficina de apresentação do curso e capacitação dos orientadores e do coordenador. Duração: 3 diasPressupostos teóricos do construtivismo; Fundamentos principais da EAD: Ambiente pedagógico, aluno, orientador e ferramentas; Estudo de caso como estratégia de aprendizagem; Ambientação do Programa PADRHUS e avaliação construtivista; tomada de decisões sobre o desenho do curso piloto.

(2) Desenvolvimento da Etapa Piloto60 dias (2000); 20 profissionais de RH (serviço e ensino); dois orientadores; Avaliação final dos alunos: uma situação problema em grupo e duas individuais, realizaram avaliação formativa que consistiu de um questionário qualitativo contendo a reflexão sobre o conteúdo teórico do curso;participação no forum coletivo.

(3)Atividades de Avaliaçãoentrevistas com o coordenador e orientadores e uma entrevista coletiva com a equipe a fim de colher um maior número de informações e aspectos para a análise. Os questionários foram disponibilizados no próprio programa por meio eletrônico e foram destinados aos alunos participantes do curso.

Análise e Resultados

Fonte de dados: foram considerados os questionários distribuídos aos alunos, as transcrições das entrevistas realizadas com os dois orientadores e a coordenadora do curso e a entrevista coletiva, realizada com a equipe docente.

Dos 20 alunos que ingressaram no curso, 16 concluíram todas as atividades, 14 todas as avaliações e 10 responderam os questionários - motivos: (1) falta de tempo para realizar (família e chefia); (2) problema com computador pessoal; problemas com Internet.

Avaliação dos aspectos positivos e negativos

Aspectos positivos Aspectos negativos RecomendaçõesEstratégias pedagógicas bemelaboradas e disponibilizadas

de forma clara naapresentação

Problemas na apropriaçãodas informações contidas na

apresentação

Entrega de um manualexplicativo impresso, antes

do início do curso.

Conteúdo rico e adequado àrealidade dos RHs em saúdedisponibilizado por meio da

Internet.

Dificuldades com o acesso asferramentas e ao uso dosistema tecnológico e ao

computador

Os orientadores ecoordenador devem conhecer

detalhadamente asferramentas do programa e

seu conteúdo teóricoMetodologia de

problematização da realidadeem saúde.

Critérios de seleção (ou pré-requisitos) pouco definidos.

Uma apresentação doprograma deve preceder ao

início do curso, quandopossível.

Possibilita melhor adequaçãodo tempo, segundo osinteresses do aluno.

Acesso ao programa, deforma particular (em casa),

normalmente a noite econferindo custo elevado e

acessado

O tempo de dedicação dosintegrantes do programa

deve ser redimensionado comas suas instituições de

trabalho

Análise e Resultados

•O programa e o modelo pedagógico foram bem aceitos pelo conjunto de participantes, indicando que o modelo construtivista tem potencial para a educação continuada de profissionais de saúde.

• Fatores que potencializaram ou dificultaram o desenvolvimento da interatividade, cooperação e autonomia no ambiente foram:

• fatores sócio-culturais (dificuldades com o computador e/ou Internet; forma de expressão escrita; necessidade de direção docente)

• fatores pedagógicos (abordagem facilitou a atividade, a reflexão crítica, relação formação-processo de trabalho)

• fatores tecnológicos (instabilidade da infraestrutura tecnológica no país e na região estudada - quedas da rede)

•fatores relativos às condições de estudo.

Laboratório de Tecnologias CognitivasNUTES/UFRJLTC@nutes.ufrj.br

http://ltc-ead.nutes.ufrj.br