Post on 16-Apr-2015
Uso de agentes de interface para Uso de agentes de interface para auxiliar a avaliação formativa no auxiliar a avaliação formativa no
ambiente TelEducambiente TelEduc
Ricardo Luís Lachi
Joice Lee Otsuka
Heloisa Vieira da Rocha
UNICAMP
Universidade Estadual de Campinas
Instituto de Computação
Tópicos
• Introdução– Avaliação formativa
• Pesquisas em andamento– Suporte a avaliação formativa no ambiente TelEduc
• Agente de seleção construído– Processo de aprendizagem
• Considerações finais
• Avaliação formativa:– Contínua
– Atua diretamente no processo de ensino-aprendizagem
• Cursos a distância:– maior percepção do comportamento e
desempenho do aluno
– autenticação da identidade do aluno: familiarização com o estilo e habilidades do mesmo
Introdução
• Ambientes de EaD• Compostos de diversas ferramentas de comunicação• Todas as interações das ferramentas são registradas• Extrair dados relevantes para a avaliação formativa
Introdução
Análise demanda muito trabalho e tempo do professor
Pesquisas em andamento
• Projetos do grupo TelEduc (escopo avaliação):
• Desenvolvimento de uma Ferramenta de suporte à Avaliação em Ambientes de Ensino a Distância
thaisa.ferreira@ic.unicamp.br
• Desenvolvimento de uma Ferramenta de Testes Objetivos para Ambientes Computacionais de EaD
carmen.freitas@ic.unicamp.br
Pesquisas em andamento
• O uso de agentes de interface no gerenciamento de informações em ambientes de EaD
ricardo.lachi@ic.unicamp.br
• Um Modelo Baseado em Agentes de Interface para o Suporte à Avaliação Formativa em Ambientes de Educação a Distância
joice@ic.unicamp.br
Pesquisas em andamento
• Utilização de agentes de interface:
• Aprendem observando e monitorando as ações dos usuários em uma interface, atuando como assistentes pessoais, colaborando com o usuário (Maes, 1995)
• Agente desenvolvido:
• Uma ferramenta baseada em agentes de interface, desenvolvida para diminuir a sobrecarga do professor na análise de registros de sessões bate-papo do TelEduc
Agente de interface construído
Há inúmeras ferramentas de comunicação no TelEduc
Construiu-se o agente focando a ferramenta de bate-papo
É a ferramenta mais desestruturada dentre todas as existentes.
Nas outras é possível algum tipo de estruturação
Ex.: no Fórum de Discussões é possível organizar as mensagens por tópicos
Descrição do problema
• Descrição do problema especificamente para a ferramenta de bate-papo:
- selecionar um conjunto de mensagens de uma sessão de bate-papo registrada no ambiente TelEduc que seja relevante para um determinado professor
Agente construído Processo de aprendizagem
men
sagens
Statu
s das
men
sagens
Tabela
• Inicialmente, é apresentado o registro de uma sessão de bate-papo ao usuário
• Não há nenhum dado na base de conhecimentos
do agente
• O agente vai observar o usuário selecionando as mensagens
Agente construídoProcesso de aprendizagem
Etapa 1: O usuário deverá selecionar o conjunto de mensagens que considera relevantes
Clicando no link de status correspondente à mensagem que quer selecionar
Agente construídoProcesso de aprendizagem
Ao clicar em uma mensagem para selecioná-la é aberta uma janela com os motivos que o usuário pode indicar como causa da seleção da mensagem
Agente construídoProcesso de aprendizagem
Opções de seleção:
- Remetente
- Entonação da fala
- Destinatário
Mensagem selecionada
Agente construídoProcesso de aprendizagem
Palavras selecionadas da mensagem
- É apresentada a mensagem inteira
- Verificado se a palavra selecionada realmente consta na mensagem original (não foi alterada pelo usuário)
Agente construídoProcesso de aprendizagem
A forma de relacionamento entre as palavras selecionadas
Opções:
• Confirmar a seleção da mensagem • Não confirmar a seleção da mensagem
Agente construídoProcesso de aprendizagemMensagem foi selecionada:
• Cor de fundo da mensagem alterada
• Legenda indicando o número de mensagens selecionadas pelo usuário
Agente construídoProcesso de aprendizagem
Essa etapa 1 é denominada aprendizagem por observação
Fim da Etapa 1: seleção de uma mensagem por parte do usuário
Ao final dessa etapa o agente armzenou os dados selecionados em sua base de conhecimentos
Agente construídoProcesso de aprendizagemE assim continua
sucessivamente:
• O usuário vai selecionando as mensagens que considera interessantes até o momento em que resolve pedir para o agente selecionar as mensagens para ele
Análise do agente
Palavra
1
Palavra
2
Palavra
3
mInha
Base de conhecimentos
Agente construído
Calcula uma probabilidade com base na freqüência das palavras presentes na base de conhecimentos
Técnica de classificação Bayesiana
Decide se seleciona
ou
Não uma mensagem
Agente construído Interface
Mensagem selecionada pelo usuário
Mensagem selecionada pelo agente
Nº mensagens selecionadas pelo usuário
Nº mensagens selecionadas pelo agente
O agente apresenta um conjunto de mensagens que analisou e considerou relevantes para o usuário com base nos dados que possui armazenados na sua base de conhecimentos
Agente construídoProcesso de aprendizagem
Etapa 2: O usuário refina a seleção apresentada pelo agente !
A partir desse momento, o usuário pode refinar a seleção apresentada pelo agente
Agente construídoProcesso de aprendizagem
Participante que selecionou a mensagemOpções de seleção:
- Remetente
- Entonação da fala
- Destinatário
Agente construídoProcesso de aprendizagem
Palavras que foram
indicadas anteriormente pelo usuário
Agente construídoProcesso de aprendizagem
A essa etapa 2 é dado o nome de aprendizagem via feedback direto do usuário
Pode-se pedir para o agente analisar novamente a sessão e assim segue o processo: usuário refina, agente re-analisa, usuário refina, agente re-analisa, ...
Considerações finais• Testes preliminares apontam resultados positivos:
• Entre 65% a 75% das mensagens selecionadas pelo agente são relevantes para o usuário
• Pode ser estendido às outras ferramentas de comunicação
• Grupo TelEduc (escopo avaliação):• Prover suporte ao professor na identificação, seleção e análise de dados relevantes à avaliação formativa
Contatos
• E-mails para contato:
• Ricardo Luís Lachi: ricardo.lachi@ic.unicamp.br
• Joice Lee Otsuka: joice@ic.unicamp.br
• Heloisa Vieira da Rocha: heloisa@ic.unicamp.br
• Grupo de pesquisa TelEduc: http://www.nied.unicamp.br/~grupoteleduc
• Ambiente TelEduc: http://teleduc.nied.unicamp.br