OTSUKA, J. L.; ROCHA, H. V. Avaliação Formativa em Ambientes de EaD. In: XIII Simpósio Brasileiro de Informática naEducação (SBIE 2002). São Leopoldo, 12-14 de novembro, 2002.

Avaliação formativa em ambientes de EaDJoice Lee Otsuka, Heloísa Vieira da Rocha

Instituto de Informática – Universidade Estadual de Campinas (Unicamp)Caixa Postal 6176 – 13083-970 – Campinas – SP – Brasil

{joice, heloisa}@ic.unicamp.br

Resumo. A avaliação formativa, baseada no acompanhamento e orientação da performancedos aprendizes durante o processo de aprendizagem, tem sido alvo de formadores tanto emcursos presenciais quanto à distância. Desta forma, este artigo tem como objetivo apresentaruma visão geral das experiências e pesquisas que vêm sendo desenvolvidas envolvendo aavaliação formativa à distância. Também é apresentado o suporte atual à avaliaçãoformativa no ambiente de EaD TelEduc e as pesquisas que vêm sendo desenvolvidas paraprover, neste ambiente, um suporte flexível à avaliação formativa, de acordo com asnecessidades e objetivos pedagógicos de cada formador.Palavras-chave: educação à distância, suporte a avaliação formativa, agentes de software.

1. Introdução

“Está em curso uma mudança de paradigmana área de avaliação, passando de ummodelo de testes e exames que valoriza amedição das quantidades aprendidas deconhecimentos transmitidos, para um modeloem que os aprendizes terão oportunidade dedemonstrar o conhecimento que construíram,como construíram, o que entendem e o quepodem fazer, isto é, um modelo que valorizaas aprendizagens quantitativas e qualitativasno decorrer do próprio processo deaprendizagem” [Gipps 1998].

Um novo paradigma de avaliação, seguindo asmudanças apresentadas na citação acima, éencontrado na avaliação formativa, que segundoPerrenoud [1999], pode ser entendida como “todaprática de avaliação contínua que pretendamelhorar as aprendizagens em curso,contribuindo para o acompanhamento eorientação dos alunos durante todo o seuprocesso de formação. É formativa toda aavaliação que ajuda o aluno a aprender e a sedesenvolver, que participa da regulação dasaprendizagens e do desenvolvimento no sentidode um projeto educativo”.

A avaliação formativa pode estar voltada para aformação de pessoas capazes de realizar tarefas,de construir novos conhecimentos e de resolverproblemas. Esta é a proposta da avaliação baseadaem performance [Wiggins 1990, Haertel 1999],que é uma forma de avaliação formativa baseadano acompanhamento e orientação do aprendizdurante o desenvolvimento de tarefas

significativas e relevantes ao mesmo, planejadaspara levarem o aprendiz a um engajamento ativona construção dos seus conhecimentos.

Nos cursos à distância também existe essa buscapor métodos de avaliação online que possibilitema avaliação formativa do aluno, baseada noacompanhamento e orientação da participaçãodestes no desenvolvimento de tarefas individuaisou em grupo. No contexto da Educação àDistância (EaD) este novo paradigma deavaliação tem relevância ainda maior porpossibilitar a percepção do comportamento doaluno e favorecer a identificação de problemas.Por ser contínua, esta forma de avaliação permitetambém alguma forma de autenticação daidentidade do aluno, pela familiarização com oestilo e habilidades do mesmo.

Com os ambientes de suporte à EaD baseados naweb foram introduzidas novas possibilidades àEaD e à avaliação a distância. Ambientes de Eadcomo o TelEduc1, possuem ferramentas decomunicação projetadas para facilitarem tanto ainteração como a posterior análise de registrosdestas interações. Vários educadores têm usado osrecursos destes ambientes para oferecerem cursosà distância baseados na avaliação formativa daperformance dos aprendizes, por meio doacompanhamento dos registros das participaçõesdestes durante o desenvolvimento das atividades.

No entanto, apenas o registro das interações não ésuficiente para prover suporte efetivo à avaliaçãoformativa. Esse processo de avaliação demanda

1 Software livre disponível em :http://teleduc.nied.unicamp.br

2

muito trabalho e tempo do professor noacompanhamento, análise e orientação dasatividades desenvolvidas ao longo do curso, o queconsiste num dos principais problemas daavaliação formativa, seja ela presencial ou àdistância. Dessa forma, novas tecnologiascomputacionais (tais como os agentes desoftware, a mineração de dados e a visualizaçãode informações) vêm sendo pesquisadas, a fim deexplorar melhor os registros das interações dosalunos em ambientes de EaD e prover suporte aoprofessor na coleta, identificação, seleção eanálise de informações relevantes à avaliaçãoformativa.

Este artigo apresenta uma visão geral dasexperiências e pesquisas que vêm sendodesenvolvidas no escopo da avaliação formativa àdistância. Dessa forma, a seção 2 apresenta algunsrelatos de experiências de cursos à distância queempregaram a avaliação formativa. Na seção 3 éapresentado um levantamento das pesquisasatuais relacionadas ao suporte à avaliaçãoformativa. Na seção 4 é apresentado o ambienteTelEduc, dando um enfoque na sua estruturaatual de apoio ao desenvolvimento de atividades ede suporte à avaliação formativa. Na seção 5 éapresentada a experiência de avaliação formativausando o ambiente TelEduc e na seção 6 éapresentada uma visão dos projetos emandamento para prover um suporte mais efetivo àavaliação formativa neste ambiente. Finalizando,na seção 7 são apresentadas algumasconsiderações finais.

2. Experiências de avaliação formativaem cursos totalmente à distância

Esta seção tem como objetivo mostrar como aavaliação formativa tem sido realizada em cursosà distância. Na literatura foram encontradasalgumas experiências de avaliação formativa emcursos totalmente à distância. A seguir sãoapresentados os métodos de avaliação e reflexõesapresentados em três relatos.

Curso: Earth Systems Science Approach toPhysical Geography - Casper College

Em [Nelson 1998] é relatada a experiência docurso “Earth Systems Science Approach toPhysical Geograph”, oferecido totalmente àdistância, para turmas compostas por 5 a 25aprendizes. Foram usados métodos de avaliaçãoautêntica, que é a avaliação baseada emperformance caracterizada pelo emprego detarefas significativas no contexto da vida real doaprendiz. Foram realizados os seguintes tipos deatividades:

• Questões para geração de discussão: oprofessor propõe questões que deverão serdiscutidas pelos aprendizes por meio de umalista de discussões. Nelson observa que aslistas de discussões online provêemoportunidades mais ricas de discussão do queas aulas face a face, favorecendoparticipações mais elaboradas;

• Questões dissertativas: o professor propõeuma questão, e o aprendiz deve mostrar a suainterpretação sobre o assunto aferido e tentarexpressar suas idéias claramente, escrevendosobre o assunto;

• Projetos autênticos: são projetos queenvolvem a resolução de problemas da vidareal (problemas autênticos). Além deprepararem o aprendiz para a reflexão eaplicação dos conhecimentos em situaçõesautênticas, esses projetos também foramimportantes para o desenvolvimento demétodos científicos, habilidades decomunicação e trabalho em grupo.

Nelson observa que leciona esse mesmo curso há21 anos presencialmente e há 2 anos à distância, etem conseguido adaptar os métodos de avaliaçãousados nas aulas presenciais para as aulas online.Nelson ressalta que este tipo de avaliação só épossível e efetivo se aplicado em grupos dealunos suficientemente pequenos (até 25 alunos).

Curso: Tecnologias de Informação Aplicada àEducação – Puc Rio

Fuks, Gerosa e Lucena [2001] apresentam ametodologia usada em seis edições de um cursode capacitação de educadores no uso detecnologias de informação na Educação. Estecurso tem sido oferecido totalmente à distânciausando o ambiente de EaD Aulanet2. A avaliaçãoé baseada no acompanhamento da participaçãodos alunos nas seguintes atividades:

• Grupo de Interesses: realizada por meio daferramenta Grupo de Interesses do Aulanet,a qual funciona no estilo de um fórum dediscussões (mensagens estruturadas porassunto). Nestas atividades são discutidostemas centrais do curso, e ao final de cadadiscussão cada participante elabora umrelatório resumindo os tópicos principais dadiscussão;

• Seminários semanais: realizados por meioda ferramenta de Chat do Aulanet. A cadaseminário, um aprendiz tem o papel deseminarista, sendo responsável por pesquisaro tema e preparar um texto relatando osresultados de sua pesquisa, além decoordenar e animar o debate, propondo

2 http://guiaaulanet.eduweb.com.br/

3

tópicos a serem discutidos e mantendo o focoda discussão;

• Monografia: ao final do curso, após asdiscussões online, cada participante elaborauma monografia sobre um dos temasdiscutidos.

Os autores ressaltam que “fazer avaliaçãobaseada em contribuições é uma tarefa árdua. Odocente precisa estar sempre atento ao grupo afim de verificar a qualidade das contribuições”.Observam também que “acompanhar o processode aprendizado à distância demanda muito maistempo, já que as dúvidas dos aprendizes são emmaior número que no ensino presencial, devido àfacilidade de envio destas. Além disso, oformador tem que acompanhar, avaliar e motivaras demais interações”.

Curso: Information Technology and Society -Open University (UK)

Neste curso relatado em [Thorpe 1998], asatividades de avaliação procuraram explorar opotencial da Comunicação Mediada porComputador (CMC) para promover maiorinteratividade entre os aprendizes e desenvolver otrabalho em grupo. Dessa forma, as tarefas foramplanejadas de maneira que as interações entre osaprendizes, bem como o trabalho colaborativo,fossem essenciais ao desenvolvimento satisfatóriodas atividades. A seguir são descritas duasatividades desenvolvidas no curso com o apoio doambiente FirstClass3 .

• Em uma das atividades foi solicitado que oaprendiz selecionasse de 3 a 7 mensagens desua autoria postadas durante uma discussãoem grupo (60% da nota). Além disso, cadaaprendiz elaborou um relatório (40% da nota)sobre a qualidade das discussões em seugrupo de discussões, avaliando o conteúdo eincluindo aspectos considerados importantese que não tenham sido cobertos peladiscussão;

• Uma outra tarefa teve elementos de trabalhoem grupo e individual. A parte desenvolvidaem grupo envolveu grupos pequenos (3 a 6aprendizes), que trabalharam em cima deartigos propostos pelo professor, elaborandoum resumo explicando o tema do artigo euma conclusão sobre o mesmo (30% danota). O artigo foi discutido pelos aprendizesvia conferência eletrônica, a fim de alocar umtema relacionado ao artigo para cadaaprendiz. Assim, na parte individual (70%da nota), cada participante do grupo escreveuuma crítica sobre o artigo, baseado no temanegociado anteriormente com o grupo.

3 http://www.centrinity.com/

Thorpe ressalta que com a terceira geração daEaD, ou seja, a EaD baseada na CMC, novaspossibilidades foram introduzidas à avaliação adistância, tais como o desenvolvimento deatividades que envolvam a colaboração em grupoe o maior contato entre professor e aprendiz.

As experiências relatadas nesta seção mostramque é possível a exploração das ferramentas decomunicação dos ambientes de EaD de diversasformas, a fim de prover avaliação formativa emcursos à distância. Na próxima seção sãoapresentadas algumas pesquisas relacionadas aosuporte à avaliação em EaD.

3. Pesquisas Relacionadas

Nesta seção são apresentadas algumas pesquisasque vêm sendo desenvolvidas para apoiaremformas alternativas de avaliação, diferentes daavaliação tradicional baseada em testes e exames,dentre as quais se enquadra a avaliação formativa.

A fim de auxiliar o professor na análise dasinterações dos aprendizes, Jacques e Oliveira[2000] apresentam uma arquitetura multiagentepara a monitoração das principais ferramentas decomunicação de um ambiente de EaD. Aarquitetura é baseada em quatro agentes: trêsagentes coletores (um para cada ferramenta decomunicação – lista, chat e newsgroup) e umagente do professor. Os agentes coletores atuamcoletando e analisando os dados a partir dasmensagens geradas por meio das ferramentas decomunicação. As análises têm enfoque nacolaboração em grupo (grupos de aprendizes queinteragem mais entre si, assuntos que maisinteressam a cada grupo, percentual departicipação de cada grupo e de cada aprendiz nogrupo) e também na participação individual dosaprendizes (temas de interesse, número demensagens trocadas). O agente do professor éacionado pelo professor para exibir as análisesfeitas pelos agentes coletores, bem como umaanálise global realizada pelo próprio agente doprofessor.

A tecnologia de agentes tem sido usada tambémpara a monitoração do comportamento deaprendizes durante um curso, a fim de avaliar aparticipação destes, além de auxiliar na detecçãode problemas de aprendizagem ou de design docurso. Em Menezes, Fuks e Garcia [1998], éapresentado um modelo baseado em agentes parao suporte a uma forma de avaliação alternativa,por meio do acompanhamento das interações doaprendiz com o ambiente de ensino Aulanet. Omodelo é baseado em 3 agentes assistentes detarefas: (1) Agente de Monitoração, responsávelpela criação de um log da interação dos

4

aprendizes com o ambiente; (2) Agente deAvaliação de Aprendizes, responsável pelaconsulta ao log da interação, ao modelo doaprendiz e a uma base de conhecimentosresponsável pela interpretação desse log deinteração; (3) Agente de Avaliação de Design,capaz de identificar possíveis distorções nodesign instrucional, refletidas em decorrência docomportamento verificado dos aprendizes,oferecendo os mecanismos necessários àrealização das correções dos problemasverificados.

Em [Souto et al 2001] é apresentado um modelode monitoração do aprendiz baseado em trêsrequisitos principais: identificação do aprendizremoto, rastreamento das suas interações com omaterial instrucional e identificação do padrão decomportamento cognitivo do aprendiz a partir daobservação de suas interações com o ambiente. Aidentificação/autenticação é feita a cada vez que oaprendiz entra no curso. O rastreamento érealizado enquanto o aprendiz navega pelaspáginas web, já que todas as suas interações sãoregistradas no log, que fica armazenado em umabase de dados. Posteriormente, estas informaçõessão analisadas, com o objetivo de obter os valoresde variáveis de índice pré-definidas (padrão denavegação, tempo de acesso total ou a cadapágina, desempenho em testes, etc), para posterioridentificação do padrão de comportamento doaprendiz por agentes inteligentes, e respectivaadaptação do material instrucional a serdisponibilizado pelo sistema ao aprendiz.

Já em [Silva e Fernandes 2000] é apresentado oAmon-ad, um modelo de agente para auxiliar aavaliação de aprendizagem em ambientes baseadona web, cujas funções são: monitorar e auxiliar oaprendiz na tarefa de aprender, manter dados deavaliações, auxiliar na motivação e facilitar oprocesso de avaliação. O modelo é baseado emtrês agentes: (1) Agente Aprendiz, que informadados das avaliações do aprendiz, auxilia embusca de documentos, mostra datas de metas eeventos, informa ausência de resultados ematividades, estimula o aprendiz a buscar suasmetas quantitativas e exercer auto-avaliaçãocontínua; (2) Agente Facilitador, que auxilia naconfecção de instrumentos de avaliação e deatividades, auxilia no rastreamento do aprendiz ena identificação de anormalidades, além deprocessar a parte não subjetiva da correção deatividades; (3) Agente Sistema, que provê funçõesde administração, como o acompanhamento dosaprendizes e assistência ao cumprimento demetas.

A tecnologia de Agentes é empregada também naimplementação de um notificador de eventos. Em

[Musa, Oliveira e Vicari 2001] é apresentado umagente notificador baseado no conceito de sistemade alertas inteligentes, que consiste namonitoração de um banco de dados para adetecção de determinadas condições e tomada dedecisão. Os módulos que compõem este agentesão: (1) um editor de alertas que permite aconstrução e gerenciamento de alertas pelosusuários (identificação das condições a seremmonitoradas e ações a serem tomadas); (2) umabase de conhecimentos contendo regrasrepresentando situações de exceção que devemser detectadas; (3) um monitor de eventos quedetecta a ocorrência de um evento de interesse;(4) um servidor de alertas responsável pelaemissão dos alertas; uma base de dados contendotodas as atividades dos alunos; e (5) uma base demensagens com todas as mensagens que podemser enviadas pelo agente.

A tecnologia de mineração de dados também vemsendo empregada para prover suporte à avaliação,facilitando a exploração dos dados gerados pelasinterações realizadas durante um curso. Em[Silva, Seno e Vieira 2001] é proposto um sistemade auxílio a uma avaliação informal, realizada pormeio do acompanhamento das atividades doaprendiz em 3 níveis: (1) coleta do log derastreamento de comunicação (páginas visitadas,mensagens trocadas); (2) reunião dos resultadosdas atividades previstas (resultado de atividadesprevistas no curso e os critérios de avaliaçãodefinidos para cada uma); (3) análise dos dadoscoletados nos níveis anteriores, gerando açõespara tratar as situações encontradas. As açõespodem tanto estar a cargo do professor, cabendoao sistema apenas informar os resultados daanálise, quanto serem automáticas, acionando ummecanismo programado do sistema. A análisedos dados coletados adota algoritmos demineração de dados para gerar padrões decomportamento dos aprendizes (p.ex. encontrarcomportamentos que caracterizem aprendizesaprovados).

Já Zaïane e Luo [2001] exploram diretamente olog de acessos gerado pelo servidor web, usandotécnicas de mineração de dados para extrairpadrões de comportamento que possam ajudareducadores a avaliarem o processo deaprendizagem, rastrearem as ações dos aprendizese medirem a efetividade da estrutura dos cursos. Éproposto um framework flexível para a mineraçãode dados no contexto de sistemas deaprendizagem online, no qual o usuário(educador) pode expressar as restrições nosestágios de coleta e transformação de dados, bemcomo nos passos de descoberta e análise depadrões. O usuário pode direcionar o processo demineração de dados de acordo com suas

5

necessidades, por meio de filtros e de umalinguagem de consulta simples.

Para prover suporte à avaliação em atividadescolaborativas, Tarouco et al. [2000] propõem umambiente de suporte ao trabalho em grupo e àavaliação do aprendiz, baseada nos seguintesmecanismos: (1) uma ferramenta derastreamento que registra todos os passos doaluno (páginas acessadas, data e hora); (2) umaferramenta de controle de fluxo de informações,que identifica e registra a participação dos alunosem ferramentas de comunicação; (3) umaferramenta de ponto de vista, por meio da qualsão possíveis a coleta e tabulação de respostas eníveis de contribuições dos alunos em discussões;e uma ferramenta de votação, que provê umfeedback rápido dos aprendizes para o professorsobre um determinado assunto.

Com o levantamento bibliográfico apresentadonesta seção foi possível a verificação dasprincipais linhas de pesquisa na área de suporte àavaliação alternativa, além da constatação docrescente interesse por esta área. Na seçãoseguinte é apresentado o ambiente de suporte àEaD TelEduc, dando um enfoque à sua estruturaatual de apoio ao desenvolvimento de atividades ede suporte à avaliação formativa. Uma descriçãocompleta do ambiente TelEduc é encontrada em[Rocha 2002].

4. Avaliação Formativa no TelEduc

O TelEduc é um ambiente de criação,participação e administração de cursos à distânciana Web que vem sendo desenvolvido desde 1997,pelo Núcleo de Informática aplicada à Educação(NIED) em parceria com o Instituto deComputação (IC), ambos da Unicamp. O TelEductem sido desenvolvido de forma participativa,tendo todas as suas ferramentas idealizadas,projetadas e depuradas segundo as necessidadesrelatadas por seus usuários [Rocha 2002].

Todo o processo de aprendizagem no TelEduc éorganizado por meio da ferramenta Agenda queapresenta a programação de um período do curso.Na Agenda o formador pode descrever osobjetivos de aprendizagem a serem alcançados noperíodo em questão, as atividades planejadas paraque o aprendiz alcance tais objetivos e os recursosdisponibilizados para apoiar o aprendiz nodesenvolvimento das atividades planejadas. Oaprendiz visualiza a Agenda atual sempre queentra no curso.

As atividades do curso são organizadas edisponibilizadas por meio das ferramentasAtividades e Parada Obrigatória. Essas duas

ferramentas são diferenciadas maisconceitualmente do que computacionalmente, jáque a segunda é usada quando o formador desejafazer um fechamento das principais idéiasabordadas até o momento [Rocha 2002].

O TelEduc foi concebido para apoiar aaprendizagem baseada na resolução deproblemas. Dessa forma, a ferramenta Atividadesé o elemento central do ambiente, e ferramentascomo Material de Apoio, Leituras, Fóruns deDiscussões, Bate-Papo, Mural, PerguntasFreqüentes e Portfólio, foram criadas paraapoiar o desenvolvimento das atividades(Figura1).

Figura 1 - Organização das Ferramentas do TelEduc

Uma atenção especial deve ser dada à ferramentade comunicação Portfólio, que é uma área ondeum aprendiz ou grupo de aprendizes podeorganizar suas informações, a fim de comunicarao grupo e/ou ao formador o resultado de seutrabalho e receber comentários e sugestões.

No Portfólio o aprendiz/grupo pode armazenarqualquer tipo de arquivo e selecionar um dos trêstipos de compartilhamento: o totalmentecompartilhado possibilita que todos osparticipantes do curso possam ter acesso ecomentar seu trabalho; o modo compartilhadocom formadores permite o acesso somente aogrupo de formadores do curso; e o nãocompartilhado não permite acesso a outraspessoas ou aos não componentes de um grupo (nocaso de portfólios de grupos). Esta última opção éusada quando o aprendiz ou grupo ainda nãoconseguiu o resultado final, isto é, trata-se aindade um trabalho em andamento que apenas estáusando o espaço para armazenamento durante suafase de construção. A organização dos aprendizesem grupos é realizada por meio da ferramentaGrupos.

No TelEduc todas as ferramentas de comunicaçãopossuem registro das interações, inclusive as salasde bate-papo. Tudo o que acontece em um curso éregistrado (interações, conteúdos, acessos),portanto a avaliação pode ser realizada de formacontínua, por meio da análise dos registros das

Atividades

FórumBate-Papo Correio

Portfólio

Mural

Diário

Material deApoio

Leituras Grupos

PerguntasFreqüentes

6

participações dos aprendizes durante odesenvolvimento de atividades individuais e emgrupo.

A fim de facilitar a visualização de dadosquantitativos das interações realizadas noambiente foi criada a ferramenta InterMap, queutiliza técnicas de visualização de informaçãopara mapear a interação e a participação dosatores envolvidos em um curso no TelEduc,utilizando várias formas de representação gráfica,tais como grafos, gráficos de barra e código decores [Romani 2000].

O InterMap facilita a visualização de dadosquantitativos das interações como, por exemplo, avisualização, por meio de um grafo, do fluxo dasmensagens de correio trocadas entre osparticipantes do curso (Figura 2), ou avisualização das mensagens diárias enviadas porcada aprendiz a um determinado fórum, que podeser representado por uma tabela preenchida pormeio de uma técnica que define uma cor paracada quantidade de mensagens trocadas. Com oInterMap, o formador passa a ter “pistas”semelhantes àquelas que dispõe em aulaspresenciais, como a falta de interação de algunsaprendizes, a formação de grupos e aidentificação entre pares.

Figura 2 - grafo criado pela ferramenta InterMaprepresentando o fluxo de mensagens de correio trocadas. Osvértices (nós) representam os participantes no curso e asarestas representam a troca de mensagens entre eles.

O TelEduc possui também a ferramenta Acessos,que permite a geração de relatórios contendo onúmero de acessos e a data e hora do últimoacesso de cada participante ao curso, a freqüênciados acessos de cada participante durante umdeterminado período do curso (Figura 3), e osacessos dos aprendizes a cada uma dasferramentas do TelEduc. Esta ferramenta tornou-se necessária para possibilitar a diferenciaçãoentre o “aprendiz calado” mas presente e o

“aprendiz ausente”, que é extremamenteimportante no acompanhamento de um curso.

Figura 3 - Ferramenta Acessos do TelEduc: freqüência deacessos

Como será apresentado na próxima seção, a partirda atuação efetiva como formadoras (juntamentecom um grupo de outros 17 formadores e 36monitores) no oferecimento de cursos à distânciaque empregaram a avaliação formativa, foipossível o levantamento das necessidadesrelativas às ferramentas de apoio a esta forma deavaliação. Apesar do TelEduc possibilitar oregistro de todas interações dos aprendizes aolongo do curso, e análise quantitativa dessasinterações, é necessário prover suporte à análisequalitativa desses dados.

5. A experiência de avaliação noProjeto Proinesp

O Projeto Proinesp vem sendo desenvolvido pelaSecretaria de Educação Especial do governofederal do Brasil e pela Fundação Nacional dasAPAEs, com o objetivo de contemplar, comlaboratórios de informática e cursos decapacitação de professores, escolas que atendempessoas portadoras de necessidades especiais.

Os cursos de capacitação de professores eminformática na educação especial têm sidooferecidos totalmente à distância, por meio doambiente de EaD TelEduc, podendo assim,atender igualmente professores de todos osestados brasileiros.

Estes cursos já foram ministrados em duasedições, sendo que a primeira, no ano de 2000 foirealizada pelo Núcleo de Informática Aplicada àEducação (NIED) da Unicamp e atendeu 7 turmasde 24 alunos. A segunda edição foi realizada emuma parceria entre o NIED/UNICAMP e oNúcleo de Informática na Educação Especial(NIEE) da UFRGS, atendendo 18 turmas de 24aprendizes.

7

5.1. Metodologia de Avaliação

Os cursos em questão seguiram a abordagemconstrucionista [Papert 1994], que envolve o usomaciço e significativo do computador no localonde o aprendiz atua, oferecendo condições paraque ele construa o conhecimento, contextualizadona sua realidade e de maneira contínua.

A realização destes cursos à distância permitiu odesenvolvimento de atividades de construção doconhecimento contextualizadas no local detrabalho do professor-aprendiz, o que favoreceu areflexão deste sobre a própria experiênciapedagógica. Também foi possível adescontextualização da prática pedagógica[Valente 2000, Prado e Valente 2002], por meiodo compartilhamento dos conhecimentosconstruídos por cada participante.

A seguir são apresentados os principais tipos deatividades usadas nos cursos em questão,procurando mostrar a dinâmica das atividades esua relação com o uso das ferramentas doTelEduc que deram suporte a realização dasmesmas:

• Projetos: envolveram o desenvolvimento deatividades práticas usando ferramentascomputacionais, bem como o planejamento,realização e análise de atividades práticas dosprofessores-aprendizes com seus aprendizes.Os projetos foram desenvolvidosindividualmente ou em grupo e publicados nocurso por meio da ferramenta Portfólio.Todas as atividades compartilhadas noPortfólio eram comentadas pelos formadorese aprendizes de forma colaborativa econstrutiva. O aprendiz era motivado a entrarnum ciclo de revisões seguidas decomentários, no qual tinha a oportunidade deconstruir e depurar os novos conhecimentos;

• Discussões online: realizados para promovera discussão de temas específicos do curso.Essas discussões foram realizadas de 3formas:

o Fórum: discussão assíncrona realizadapor meio da ferramenta Fórum deDiscussões. Eram conduzidos pelosformadores, que incentivavam as trocasde idéias e experiências. A naturezaassíncrona do fórum favoreceu areflexão e a elaboração dasparticipações, possibilitando maiorqualidade e aprofundamento;

o Seminário Virtual: era semelhante àatividade Fórum, no entanto nesta

modalidade um ou dois grupos ficavamresponsáveis por propor as questões aserem discutidas, conduzir as discussõesdo fórum, fazer uma análise e avaliar aparticipação dos colegas;

o Bate-Papo: discussão síncrona realizadapor meio da ferramenta Bate-Papo paradiscutir tópicos relacionados ao curso. Anatureza síncrona do Bate-Papo geraparticipações curtas e pouco elaboradas,no entanto demonstrou aumentar aproximidade entre os participantes docurso, contribuindo para aumentar acolaboração;

• Relatos: reflexões do aprendiz sobre opróprio processo de aprendizagem, por meiode relatos de suas experiências. Foi usada aferramenta Diário de Bordo, que permiteleitura e comentário apenas de formadores.

Na subseção seguinte são apresentadas algumasreflexões sobre essa experiência de avaliaçãoformativa.

5.2. Reflexões sobre a experiência

Nesta experiência pôde ser feito um levantamentodas principais tarefas desempenhadas pelosformadores durante o processo de avaliaçãoformativa [Otsuka 2002].

O trabalho do formador no processo de avaliaçãoformativa inicia na elaboração das atividades deavaliação, e essa etapa merece muito cuidado, jáque as atividades têm o potencial de direcionar aatenção dos aprendizes para conteúdosespecíficos e para a prática de habilidadesparticulares. A variedade de ferramentas decomunicação disponíveis no TelEduc possibilita aexploração de diversos métodos de avaliação, deacordo com os objetivos pedagógicos doformador.

Em um curso à distância o acompanhamento dosaprendizes é muito mais difícil que em cursospresenciais, já que o formador só tem a percepçãodo comportamento e desenvolvimento doaprendiz quando este participa ativamente docurso, expondo dúvidas, participando dediscussões, realizando as tarefas ou contribuindocom os colegas. Para acompanhar odesenvolvimento dos aprendizes é necessáriorastrear um grande volume dados gerados pelasinterações e atividades dos aprendizes no curso. Oformador tem um grande trabalho procurando,coletando e analisando informações relevantes aoacompanhamento do curso. É necessárioacompanhar cada nova ação dos aprendizes, além

8

de estar atento para detectar possíveis problemasno processo de aprendizagem (como a falta deacesso, falta de participação, atraso de tarefas,falta de participação no grupo).

Como facilitador do processo de aprendizagem àdistância, o formador deve orientar o aprendizsobre a dinâmica do curso, sobre a participaçãoesperada, conscientizando-o da importância desua participação ativa neste contexto deaprendizagem. Além disso, o formador deve estarconstantemente orientando e motivando aaprendizagem, por meio do auxílio na resoluçãode dúvidas, promoção de discussões, promoçãoda colaboração e principalmente por meio doscomentários dados às atividades dos aprendizes.Os comentários são elementos importantes noprocesso de construção do conhecimento,orientando a depuração do novo conhecimento,realizada durante um ciclo de várias revisões ecomentários de uma mesma atividade.

Ao final do desenvolvimento de uma atividade,geralmente é necessário que o formador analise oaproveitamento do aprendiz durante odesenvolvimento da atividade e estabeleça algumtipo de conceito para a mesma. De acordo com oformador, a turma, os objetivos e o contexto deaprendizagem, a atribuição de conceitos pode serrealizada de diferentes formas (alguns levam emconsideração o nível de conhecimento inicial doaprendiz e o seu desenvolvimento durante arealização da atividade; outros consideramcritérios como data de entrega da atividade,número de participações em fóruns relacionados,número de participações relevantes em umdeterminado fórum; outros ainda consideramfatores como interesse, empenho, participação,colaboração com os colegas, etc). Portanto paraatribuir o conceito de uma atividade, geralmente oformador necessita buscar e analisar uma grandequantidade de informações relevantes paraatribuir um conceito final, de acordo com os seusobjetivos pedagógicos.

Dessa forma, apesar do curso ter sido estruturadoem pequenas turmas de 24 aprendizes, cada umaacompanhada por três formadores, notou-se umagrande sobrecarga de trabalho para osformadores, devido a grande quantidade de dadosa serem acompanhados.

Destas constatações e experiência, o grupo depesquisa do projeto TelEduc iniciou um estudo nosentido de viabilizar a implementação detecnologia adequada ao auxílio destas tarefas doprocesso de avaliação formativa. Na próximaseção será apresentada uma visão geral destaspesquisas

6. Direções das pesquisas de apoio àAvaliação Formativa no TelEduc

Como visto anteriormente, o TelEduc, possuiferramentas de comunicação projetadas parafacilitar tanto as interações entre os participantesde um curso à distância como a visualização doregistro dessas interações para uma posterioranálise. Um auxílio à análise quantitativa dasinterações é fornecido pelas ferramentasInterMap e Acessos, no entanto o processo deavaliação formativa no TelEduc ainda demandamuito tempo e trabalho dos formadores,principalmente na análise qualitativa dasparticipações dos aprendizes.

Na avaliação formativa baseada noacompanhamento da performance dos aprendizesdurante o desenvolvimento de atividades, osmétodos e os critérios de avaliação variam deacordo com os objetivos de aprendizagem dosformadores. Dessa forma, prover suporte à análisequalitativa neste contexto é uma tarefa complexa:como não é possível e nem desejável a pré-determinação de um conjunto de tipos deatividades e critérios de avaliação que atendamaos objetivos de qualquer curso, fica difícil aprevisão do suporte mais adequado em cada caso.Logo existe uma demanda por soluçõesadaptáveis a cada curso, de acordo com osobjetivos de aprendizagem dos formadores.

Em busca desta flexibilidade, estão sendodesenvolvidas pesquisas de suporte à avaliaçãoformativa empregando a tecnologia de agentes desoftware, que são entidades de software queatuam de forma contínua e autônoma em umdeterminado ambiente, sendo capazes de intervirno seu ambiente, de forma flexível e inteligente,sem necessidade da constante orientação humana[Bradshaw 1997]. Mais especificamente, estãosendo usados agentes de interface, que sãoaqueles que aprendem observando e monitorandoas ações dos usuários em uma interface, e atuamcomo assistentes pessoais, colaborando com ousuário e com outros agentes na realização dedeterminadas tarefas [Maes 1994].

Assim, o foco das pesquisas que vêm sendodesenvolvidas no Projeto TelEduc na área desuporte à avaliação, é facilitar a atuação doformador, provendo suporte flexível às principaistarefas desenvolvidas pelos formadores noprocesso de avaliação formativa, principalmentena análise qualitativa das participações dosaprendizes. Neste escopo estão sendodesenvolvidos três projetos que são apresentadosresumidamente a seguir.

9

Um projeto de (re)design das ferramentas decomunicação do TelEduc está sendo desenvolvidopara facilitar o registro e recuperação dasavaliações realizadas ao longo do curso,permitindo que os formadores informem, aqualquer momento, as notas e comentários dasavaliações. Com esse registro as informações dasavaliações passam a ser organizadas dentro doambiente, podendo ser facilmente consultadas[Ferreira 2001].

A fim de diminuir o volume de informações aserem analisadas pelo formador está sendodesenvolvido também um projeto que envolve ouso de agentes de interface para a filtragemadaptativa das participações de registros desessões de bate-papo, de acordo com os interessesdo formador [Lachi 2001]. Resultadospreliminares obtidos mostram que a tecnologia deagentes de interface se aplicou bem ao problemade filtragem adaptativa de comentários emsessões de bate-papos, de acordo com o perfil deseleção do usuário. Isso ocorreu mesmo sendo oBate-Papo, a ferramenta de comunicação menosestruturada do TelEduc. Por isso, os resultadospositivos obtidos com esta ferramenta apontampara a extensão da aplicação do agente para asoutras ferramentas do ambiente [Lachi, Otsuka eRocha 2002].

Os resultados positivos obtidos na filtragemflexível de sessões de bate-papo dão indicativosda viabilidade do uso da tecnologia de agentes deinterface para prover uma solução mais ampla desuporte flexível à avaliação formativa. Dessaforma, está sendo desenvolvido um projeto queengloba resultados dos dois projetos anteriorespara prover suporte adaptativo à recuperação deinformações relevantes dos registros dasinterações e das avaliações. A partir darecuperação destas informações espera-se proverauxílio em tarefas constantementedesempenhadas pelos formadores, a fim de liberaros formadores destas funções, diminuindo asobrecarga destes no processo de avaliaçãoformativa [Otsuka e Rocha 2002a, Otsuka eRocha 2002b]:

• Construção dinâmica do profile do aprendiz,refletindo o desenvolvimento do aprendiz aolongo do curso, segundo aspectos relevantesa cada formador (como a capacidade deaplicação de um novo conhecimento, acolaboração, a autonomia, etc). O profile deum aprendiz poderá ser constantementevalidado e refinado, de acordo com asinformações extraídas dos registros dasinterações e das avaliações;

• A construção do profile do aprendizpossibilitará também a promoção da

colaboração entre os aprendizes, porexemplo, por meio da busca de aprendizesque possam responder determinadas dúvidasno Fórum, ou fazer comentários emPortfólios;

• Auxílio na detecção de possíveis problemas(como ausência de acesso ao curso, falta deinteração, atraso de tarefas, falta departicipação em atividades em grupo, etc), deacordo com os interesses de cada formador.

Dessa forma, as pesquisas do grupo TelEducestão sendo desenvolvidas em duas pontas: porum lado espera-se facilitar o registro erecuperação das avaliações (notas e comentários)realizadas ao longo do curso pelos formadores e,por outro lado, espera-se reduzir a quantidade deinformações a serem analisadas e facilitar oformador na identificação e recuperação deinformações quantitativas e qualitativasrelevantes à avaliação, de forma flexível, deacordo com os seus interesses e necessidades.

7. Considerações Finais

Não é possível e nem desejável a pré-determinação de um conjunto de tipos deatividades e critérios de avaliação que atendamaos objetivos de qualquer curso, em qualquercontexto. Logo um grande desafio do suporte àavaliação formativa é prover soluções adaptáveisa cada curso, de acordo com os objetivospedagógicos dos formadores.

O diferencial das pesquisas em andamento nogrupo TelEduc está na exploração da tecnologiade agentes de interface para prover suporteflexível à avaliação formativa, baseada naobservação da interação do formador com oambiente. Aproveitando a facilidade de seregistrar tudo o que ocorre em um curso àdistância mediado por computadores, as pesquisasdesenvolvidas no grupo empregam a tecnologiade agentes de interface para atuar sobre essesregistros, filtrando, recuperando e analisadoinformações relevantes à avaliação formativa, deacordo com os interesses e objetivos pedagógicosdo formador.

Os primeiros resultados obtidos a partir do uso datecnologia de agentes de interface para proversuporte adaptativo à filtragem de registros desessões de bate-papo foram bem promissores esão importantes indicativos sobre a viabilidade douso desta tecnologia para prover um suporteefetivo e flexível à avaliação formativa noambiente TelEduc.

10

Referências Bibliográficas

Bradshaw, J. M. (1997). An Introduction to softwareAgents. In: Bradshaw, J. M. (Ed.). SoftwareAgents. Massachussetts: MIT Press 1997.

Ferreira, T. B. (2001). Desenvolvimento de umaFerramenta de Suporte à Avaliação emAmbientes de Ensino a Distância. Qualificaçãode Mestrado, IC/Unicamp, 2001.

Fuks, H., Gerosa, M.A. & Lucena, C.J.P. (2001).Sobre o Desenvolvimento e Aplicação deCursos Totalmente a Distância na Internet,Revista Brasileira de Informática na Educação,N9, Setembro 2001, ISSN 1414-5685,Sociedade Brasileira de Computação, pp. 61-75

Gipps, C. (1998). Avaliação de alunos e aprendizagempara uma sociedade em mudança. In: Anais doSeminário Internacional de AvaliaçãoEducacional. Brasília: INEP, 1998.

Haertel, E. (1999). Performance Assessment andEducational Reform. In: Phi Delta Kappan .

Jaques, P.; Oliveira, F.M. (2000). Um Experimentocom Agentes de Software para Monitorar aColaboração em Aulas Virtuais. Workshop deInformática na Escola, 2000.

Lachi, R. L. (2001). Uso de agentes de interface nogerenciamento de informações em ambientesde ensino a distância. Qualificação deMestrado, IC/Unicamp, 2001.

Lachi, R. L.; Otsuka, J. L.; Rocha, H. V. (2002). Usode Agentes de Interface no Suporte à Análisede Sessões de Bate-Papo. Artigo submetido aoIHC 2002.

Maes, P. (1994). Agents that Reduce Work andInformation Overload. Communications of theACM. 38(7), 1994.

Menezes R.; Fuks, H; Garcia, A. C. (1998). UtilizandoAgentes no Suporte à Avaliação Informal noAmbiente de Instrução Baseada na Web –Aulanet. In: Anais do IX Simpósio Brasileirode Informática na Educação, Fortaleza, 1998.

Musa, D.; Oliveira, J.; Vicari, R. (2001). Agente paraauxílio a avaliação de aprendizagem emambientes de ensino na Web. In:Workshop deInformática na Escola, 2001.

Nelson, G. E. (1998). On-Line Evaluation: MultipleChoice, Discussion Questions, Essay, andAuthentic Projects. In: Third Teaching in theCommunity Colleges Online Conference,Kapiolani Community College, Hawaii, April7-9, 1998. (ED 430 695).

Otsuka, J. L. (2002). Análise do processo de avaliaçãocontínua em um curso totalmente a distância.In: Virtual Educa 2002, Valença, Espanha,2002.

Otsuka, J. L; Rocha, H. V. (2002a). A caminho de ummodelo de apoio à avaliação contínua. In:Anais do Workshop de Informática naEscola (WIE 2002), Florianópolis, 2002. (a serpublicado).

Otsuka, J. L; Rocha, H.V. (2002b). An Agent-basedApproach to Support Formative Assessment In:Proceedings of 2002 International Conferenceon Computers in Education, Doctoral ResearchConsortium, IEEE, Auckland, New Zealand,2002 (a ser publicado).

Papert, S. (1994). A Máquina das Crianças:Repensando a escola na Era da Informática.Porto Alegre: Artes Médicas, 1994.

Perrenoud, P. (1999). Avaliação: da excelência àregulação das aprendizagens entre duas lógicas.Porto Alegre: Artes Médicas, 1999.

Prado, M. E.; Valente, J. A. (2002). A educação adistância possibilitando a formação doprofessor com base no ciclo da práticapedagógica. In: Moraes, M.C. (Org). Educaçãoà Distância: Fundamentos e Práticas.Campinas, SP:Unicamp/Nied, 2002, pp. 27-50.

Rocha, H. (2002). O ambiente TelEduc para Educaçãoà Distância baseada na Web: Princípios,Funcionalidades e Perspectivas dedesenvolvimento. In: Moraes, M.C. (Org).Educação à Distância: Fundamentos e Práticas.Campinas, SP:Unicamp/Nied, 2002, pp. 197-212.

Romani, L. A. (2000). Intermap: Ferramenta paraVisualização da Interação em Ambientes deEducação a Distância na Web. Dissertação deMestrado, IC/Unicamp, dez 2000.

Silva, D. R.; Seno, W. P.; Vieira, M. T. P. (2001).Acompanhamento do Aprendizado emEducação a Distância com Uso de Data Mining.In: Conferência Latinoamericana deInformática, Mérida, Venezuela, 2001.

Silva, J. C. T.; Fernandes, J. R. (2000). AMON-AD:Um agente inteligente para avaliação deaprendizagem em ambientes baseados na Web.VI Workshop de Informática na Escola (WIE),PUCPR – Campus Curitiba - 17 a 21 de julhode 2000.

Souto, M. A. et al. (2001). Ferramentas de Suporte aMonitoração do Aluno em um AmbienteInteligente de Ensino na Web. In: Anais do VIIWorkshop de Informática na Escola, Fortaleza,Brasil, julho de 2001.

Tarouco, L et al. (2000). Supporting Group Learningand Assessment through Internet. In: Trans-European Research and Education NetworkingAssociation Conference, Lisboa, Portugal,Maio 2000.

Thorpe, M. (1998). Assessment and 'Third Generation'Distance Education. Distance Education 19, no.2 , 1998: 265-286. (EJ 582 131).

Valente, J. A. (2000). Educação a Distância: Umaoportunidade para Mudança no Ensino. In:Maia, C. (Org.). Educação a distância no Brasilna era da Internet. São Paulo: AnhembiMorumbi Editora, 2000, pp. 97-122.

Wiggins, G. (1990). The case for authentic assessment.Eric Digest, no. ED328611.

Zaïane, O.; Luo, J. (2001). Towards EvaluatingLearners’ Behaviour in a Web-Based DistanceLearning Environment. In: Proceedings ofICALT 2001.