Proposta de um Modelo para Acompanhamento da …tede.mackenzie.br/jspui/bitstream/tede/3662/5/VAGNER...

UNIVERSIDADE PRESBITERIANA MACKENZIE

VAGNER DA SILVA

PROPOSTA DE UM MODELO PARA ACOMPANHAMENTO DAAPRENDIZAGEM SIGNIFICATIVA POR MAPAS CONCEITUAIS

São Paulo

2018

VAGNER DA SILVA

PROPOSTA DE UM MODELO PARA ACOMPANHAMENTO DAAPRENDIZAGEM SIGNIFICATIVA POR MAPAS CONCEITUAIS

Tese de Doutorado apresentada à Coordena-ção do Programa de Pós-Graduação em En-genharia Elétrica e Computação da Universi-dade Presbiteriana Mackenzie como parte dosrequisitos para obtenção do grau de Doutorem Engenharia Elétrica e Computação.

ORIENTADOR: Prof. Dr. Nizam Omar

São Paulo2018

Vagner da SilvaProposta de um Modelo para Acompanhamento da Aprendizagem Significativa

por Mapas Conceituais/ Vagner da Silva. – São Paulo, 2018-149 p. : il. (algumas color.) ; 30 cm.

Orientador: Prof. Dr. Nizam Omar

Tese (Doutorado) – Universidade Presbiteriana Mackenzie , 2018.

1. Mapas Conceituais. 2. Aprendizagem Significativa. 2. Aprendizagem. I. Prof.Dr. Nizam Omar II. Universidade Presbiteriana Mackenzie. III. Programa de Pós-Graduação em Engenharia Elétrica e Computação. IV. Proposta de um Modelo paraAcompanhamento da Aprendizagem Significativa por Mapas Conceituais.

Para Valdi da Silva (in Memoriam), Maria Aparecida Conceição, Cleide da Silva, JhonnyWillians da Silva, Gustavo Henrique da Silva, Guilherme Henrique da Silva.

Agradecimentos

Primeiramente, a Deus, por permitir saúde física e, principalmente, mental, poissem ela muitos de nossos objetivos não seriam alcançados e, consequentemente, nãoproporcionaríamos oportunidades para outros também poderem atingir os seus.

Ao meu Orientador, Professor Dr. Nizam Omar, pela compreensão, ajuda, orien-tações e o feeling em perceber os momentos difíceis durante o processo percorrido atéaqui.

Aos Professores membros que compõem a Banca, pela leitura, observações esugestões para melhoria desta Tese.

À Professora e professores do PPGEEC, particularmente, Pollyana Notargiacomo,Ismar Frango Silveira, Paulo Batista Lopes, Pedro Paulo, Maurício Marengoni, LeandroAugusto da Silva.

À secretária Kelly Armonas Seide e ao secretário Yopanan Rocha.

Ao professor Luciano Silva, da Faculdade de Computação e Informática do Mac-kenzie.

À minha família, pelo apoio, ajuda e compreensão: Cleide da Silva, GustavoHenrique da Silva, Guilherme Henrique da Silva, Johnny, Maria Aparecida, José Augusto,Elisangela, Valdi e Marcia.

Às amigas e aos amigos do Mackenzie, pela ajuda, pelos bons e pelos momentosdifíceis e pela força em diversos momentos especiais, particularmente Alcides Barbosa,Everton Knihs, Vanessa Lessa, Fábio Modesto, Julião Braga, Ana Leda Silva Moraes,Jéssica Ribas, Douglas Almendro.

A todos(as) os(as)professores(as) e profissionais que de alguma forma contribuíramcom a minha formação.

Agradeço ao Fundo Mackenzie de Pesquisa da Universidade Presbiteriana Mac-kenzie (UPM) pela bolsa de isenção de taxa/mensalidades e à Universidade Cruzeiro doSul, particularmente aos Professores Ismar Frango Silveira e Luis Naito Bezerra, pelacompreensão e pela flexibilização de meu horário de trabalho para que eu pudesse cursar oDoutorado.

Por vezes sentimos que aquilo que fazemos não é senão uma gota de água no mar. Mas omar seria menor se lhe faltasse uma gota.

Madre Tereza de Calcutá

ResumoOs métodos de avaliações usados, na modalidade de Cursos presenciais e em Ambientes Vir-tuais de Aprendizagem ou ensino a distância tendem a fornecer informações insuficientes ouincompletas sobre o desenvolvimento da aprendizagem. Dentre os instrumentos usados nasavaliações, estão questões de múltipla escolha, fórum, projetos e chat, muitas vezes focandoapenas a Avaliação Somativa, de caráter classificatório e, consequentemente, fornecendodados incompletos a respeito da aprendizagem. Muitos desses ambientes dificultam, pelasferramentas oferecidas, o desenvolvimento de avaliações capazes de apresentar informaçõeso mais precisas possíveis sobre o conhecimento construído pelo aluno. Proporcionar aosalunos atividades que possam ser avaliadas por instrumentos baseados no processo, como aorganização conceitual, tende a fortalecer o processo ensino/aprendizagem. Essas ativida-des, devem complementar os instrumentos de avaliações baseados em questões de múltiplaescolha, teste ou projetos. Este trabalho apresenta um modelo que permite acompanhara aprendizagem pelo uso de Mapas Conceituais Individuais e Colaborativos, fornecendoíndices e utilizando medidas para acompanhamento da evolução da aprendizagem. Nessemodelo, os Mapas Conceituais são avaliados qualitativamente e os resultados são usadospara, dentre outros, informar o índice de organização conceitual do aluno e definir adivisão dos grupos para desenvolvimento do Mapa Conceitual Colaborativo. Além disso, omodelo fornece informações para alunos e professores a respeito do desenvolvimento daaprendizagem; assim, eles terão condições de tomar decisões individuais ou em conjuntopara alcançar o objetivo de aprendizagem proposto.

Palavras-chave: Mapas conceituais, avaliação, aprendizagem, colaborativo.

AbstractThe assessment methods used in the modality of courses and in virtual learning or distancelearning environments tend to provide insufficient or incomplete information about thedevelopment of learning. Among instruments used in evaluations there are questionsof multiple choice, forum, projects and chats, often focusing only on the summativeevaluation, of classification feature; consequently, providing incomplete data regarding thelearning. Many of these environments make it difficult through the offered tools to developassessments capable of presenting as accurate information as possible about the knowledgeconstructed by the student. Providing students with activities that can be assessed byprocess-based instruments, such as the conceptual organization, tend to strengthen theteaching/learning process. These activities should complement assessment tools based onmultiple-choice, test, or project questions. This work presents a model that allows followingthe learning through the use of individual and collaborative conceptual maps, providingindexes and using measures to follow learning evolution. In this model, the conceptualmaps are assessments qualitatively and, among others, the results are used to informstudents’ conceptual organization index and to define groups division for collaborativeconceptual map development. In addition, the model provides information for students andteachers regarding the development of learning, so, they will be able to make individual orjoint decisions to achieve the proposed learning objective.

Keywords: Concept Maps, assessment, learning, collaborative.

Lista de ilustrações

Figura 1 – Quantidade de publicações por ano . . . . . . . . . . . . . . . . . . . . 35Figura 2 – Nuvem de Palavras dos Artigos . . . . . . . . . . . . . . . . . . . . . . 36Figura 3 – Modelo de Acompanhamento . . . . . . . . . . . . . . . . . . . . . . . 47Figura 4 – Quantidade de Conceitos e Proposições . . . . . . . . . . . . . . . . . 52Figura 5 – Índice da Organização Conceitual . . . . . . . . . . . . . . . . . . . . 53Figura 6 – Reconciliação Integrativa e Diferenciação Progressiva . . . . . . . . . . 54Figura 7 – Exemplos de Mapas Conceituais e ligações cruzadas . . . . . . . . . . . 55Figura 8 – Representação do conhecimento do aluno . . . . . . . . . . . . . . . . 56Figura 9 – Zona de Desenvolvimento Proximal . . . . . . . . . . . . . . . . . . . . 60Figura 10 – Arquitetura Geral do Ambiente Computacional . . . . . . . . . . . . . 66Figura 11 – Questionário para levantamento do grau de confiança . . . . . . . . . 74Figura 12 – Exemplo de questão da Pré-avaliação Metacognitiva . . . . . . . . . . 76Figura 13 – Gráfico dos resultados IOC . . . . . . . . . . . . . . . . . . . . . . . . 80Figura 14 – Gráfico Índice do Mapa Conceitual Individual . . . . . . . . . . . . . . 82Figura 15 – Gráfico de Comparação entre Índice do Mapa Conceitual Individual e

Avaliação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83Figura 16 – Gráfico da Avaliação do Conhecimento . . . . . . . . . . . . . . . . . . 85Figura 17 – Gráfico Índice do Mapa Conceitual Colaborativo . . . . . . . . . . . . 87Figura 18 – Critérios para responder ao questionário de comparação dos Mapas

Conceituais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88Figura 19 – Questões para levantamento do Conhecimento Prévio . . . . . . . . . . 93Figura 20 – Questionário de previsão do conhecimento . . . . . . . . . . . . . . . . 95Figura 21 – Questões para cálculo do índice KMA . . . . . . . . . . . . . . . . . . . 96Figura 22 – Conceitos para desenvolvimento do Mapa Conceitual . . . . . . . . . . 99Figura 23 – Gráfico do Índice de Organização Conceitual . . . . . . . . . . . . . . . 100Figura 24 – Gráfico do Índice do Mapa Conceitual Individual . . . . . . . . . . . . 103Figura 25 – Gráfico comparativo entre conhecimento prévio e IMCI . . . . . . . . . 104Figura 26 – Resultado da Avaliação . . . . . . . . . . . . . . . . . . . . . . . . . . . 107Figura 27 – Comparação entre Avaliação e Conhecimento Prévio . . . . . . . . . . . 108Figura 28 – Comparação entre Avaliação e IMCI . . . . . . . . . . . . . . . . . . . 108Figura 29 – Código para agrupamento pelo SOM . . . . . . . . . . . . . . . . . . . 112Figura 30 – Agrupamento pelo SOM . . . . . . . . . . . . . . . . . . . . . . . . . . 112Figura 31 – Gráfico dos resultados das avaliações propostas - Grupo 1 . . . . . . . 113Figura 32 – Gráfico dos resultados das avaliações propostas - Grupo 8 . . . . . . . 114Figura 33 – Gráfico dos resultados dos grupos . . . . . . . . . . . . . . . . . . . . . 114

Figura 34 – Gráfico dos resultados do Índice do Mapa Conceitual Colaborativo -IMCCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Figura 35 – Gráfico dos resultados do IMCI e IMCCE . . . . . . . . . . . . . . . . 116Figura 36 – Critérios para responder ao questionário de comparação dos Mapas

Conceituais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117Figura 37 – Comparação entre as avaliações . . . . . . . . . . . . . . . . . . . . . . 119Figura 38 – Comparação entre IMCI e IMCCE . . . . . . . . . . . . . . . . . . . . 120Figura A.1.1–- Mapa Conceitual Individual desenvolvido pelo aluno 1 - Redes de

Computadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134Figura A.1.2–- Mapa Conceitual Individual desenvolvido pelo aluno 2 - Programação

de Computadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135Figura A.1.3–- Mapa Conceitual Individual desenvolvido pelo aluno 5 - Programação





de Computadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137Figura A.2.1–- Mapa Conceitual Colaborativo desenvolvido pelo Grupo 2 - Redes de

Computadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138Figura A.2.2–- Mapa Conceitual Colaborativo desenvolvido pelo Grupo 1 - Progra-

mação de Computadores . . . . . . . . . . . . . . . . . . . . . . . . . . 138Figura A.2.3–- Mapa Conceitual Colaborativo desenvolvido pelo Grupo 4 - Progra-

mação de Computadores . . . . . . . . . . . . . . . . . . . . . . . . . 139Figura A.3.1–- Mapa Conceitual Desenvolvido por um Especialista - Redes de Com-

putadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140Figura A.3.2–- Mapa Conceitual Desenvolvido por um Especialista - Programação de

Computadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140Figura B.1.1–- Questões para levantamento do conhecimento prévio - Parte 1 . . . . 141Figura B.1.2–- Questões para levantamento do conhecimento prévio - Parte 2 . . . . 141Figura B.1.3–- Questões para levantamento do conhecimento prévio - Parte 3 . . . . 142Figura B.1.4–- Questões para levantamento do conhecimento prévio - Parte 4 . . . . 142Figura B.2.1–- Questões para levantamento do conhecimento prévio - Parte 1 . . . . 142Figura B.2.2–- Questões para levantamento do conhecimento prévio - Parte 2 . . . . 143Figura B.2.3–- Questões para levantamento do conhecimento prévio - Parte 3 . . . . 143Figura B.2.4–- Questões para levantamento do conhecimento prévio - Parte 4 . . . . 143

Figura B.3.1–- Questões para levantamento do conhecimento prévio - Parte 1 . . . . 144Figura B.3.2–- Questões para levantamento do conhecimento prévio - Parte 2 . . . . 144Figura B.3.3–- Questões para levantamento do conhecimento prévio - Parte 3 . . . . 145Figura B.3.4–- Questões para levantamento do conhecimento prévio - Parte 4 . . . . 145Figura B.3.5–- Questões para levantamento do conhecimento prévio - Parte 5 . . . . 146Figura B.4.1–- Questões da avaliação final - Parte 1 . . . . . . . . . . . . . . . . . . 147Figura B.4.2–- Questões da avaliação final - Parte 2 . . . . . . . . . . . . . . . . . . 147Figura B.4.3–- Questões da avaliação final - Parte 3 . . . . . . . . . . . . . . . . . . 148Figura B.4.4–- Questões da avaliação final - Parte 4 . . . . . . . . . . . . . . . . . . 148Figura B.4.5–- Questões da avaliação final - Parte 5 . . . . . . . . . . . . . . . . . . 149

Lista de tabelas

Tabela 1 – Matriz de inter-relações dentro de um Mapa Conceitual. Fonte:Schaal(2008) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Tabela 2 – Protocolo da Revisão Sistemática . . . . . . . . . . . . . . . . . . . . . 33Tabela 3 – Processo de busca de Artigos Científicos. . . . . . . . . . . . . . . . . . 34Tabela 4 – Características dos Artigos selecionados . . . . . . . . . . . . . . . . . 37Tabela 5 – KMA - Classificação e Interpretação. Fonte: adaptado de Gama (2004) 48Tabela 6 – KMB - Classificação e Interpretação - adaptado de Gama (2004) . . . 49Tabela 7 – Exemplos de cálculo do IOC . . . . . . . . . . . . . . . . . . . . . . . . 54Tabela 8 – Relação da solução do Especialista x solução do Grupo. . . . . . . . . . 63Tabela 9 – Cronograma para aplicação do modelo proposto. . . . . . . . . . . . . 72Tabela 10 – Critérios para responder ao questionário Grau de Confiança do Conhe-

cimento Prévio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74Tabela 11 – Média do Grau de Confiança . . . . . . . . . . . . . . . . . . . . . . . 75Tabela 12 – Análise do Grau de Confiança dos alunos . . . . . . . . . . . . . . . . . 75Tabela 13 – Critérios para responder ao questionário de Pré-avaliação Metacognitiva 75Tabela 14 – Análise da Pré-avaliação Metacognitiva . . . . . . . . . . . . . . . . . . 76Tabela 15 – Análise do Índice KMA e KMB dos alunos . . . . . . . . . . . . . . . . 77Tabela 16 – Análise do Conhecimento Prévio e da Pré-Avaliação Metacognitiva dos

alunos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79Tabela 17 – Critérios do Conhecimento Prévio . . . . . . . . . . . . . . . . . . . . . 79Tabela 18 – Análise do Índice de Organização Conceitual dos alunos . . . . . . . . 80Tabela 19 – Análise geral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81Tabela 20 – Análise geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84Tabela 21 – Análise geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86Tabela 22 – Formação dos grupos conforme IOC . . . . . . . . . . . . . . . . . . . 86Tabela 23 – Comparação entre o Mapa Conceitual Colaborativo e o Mapa Conceitual

do Especialista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89Tabela 24 – Avaliações e índices dos Mapas individuais e Colaborativos . . . . . . . 89Tabela 25 – Avaliações e Índices dos Mapas Individuais e Colaborativos . . . . . . . 91Tabela 26 – Cronograma para aplicação do modelo proposto . . . . . . . . . . . . . 92Tabela 27 – Conhecimento Prévio. . . . . . . . . . . . . . . . . . . . . . . . . . . . 94Tabela 28 – Média e Desvio Padrão por questão . . . . . . . . . . . . . . . . . . . . 94Tabela 29 – Análise do Índice KMA e KMB dos alunos . . . . . . . . . . . . . . . . 95Tabela 30 – Análise do Conhecimento Prévio e Pré-avaliação Metacognitiva dos alunos 97Tabela 31 – Critérios do Conhecimento Prévio . . . . . . . . . . . . . . . . . . . . . 99Tabela 32 – Índice de Organização Conceitual . . . . . . . . . . . . . . . . . . . . . 100

Tabela 33 – Análise do Conhecimento Prévio, Pré-avaliação Metacognitiva e IOC . 101Tabela 34 – Análise do conhecimento prévio, pré-avaliação Metacognitiva, IOC e

IMCI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104Tabela 35 – Análise geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108Tabela 36 – Formação dos grupos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113Tabela 37 – Avalações e Índices dos Mapas Individuais e Colaborativos . . . . . . . 117Tabela 38 – Avalações e índices dos Mapas Individuais e Colaborativos . . . . . . . 119Tabela 39 – Resultado da avaliação - Grupo de controle . . . . . . . . . . . . . . . 121

Lista de abreviaturas e siglas

AC Avaliação do Conhecimento

EAD Ensino a Distância

IKAS Intelligent Knowledge Assessment System - Sistema Inteligente de Ava-liação do Conhecimento

IMCI Índice do Mapa Conceitual Individual

IMCCE Índice do Mapa Conceitual Colaborativo pelo Especialista

IOC Índice de Organização Conceitual

KMA Knowledge Monitoring Accuracy - Previsão no Monitoramento do Co-nhecimento

KMB Knowledge Monitoring Bias - Desvio no Monitoramento do Conheci-mento

LA Learning Analytics - Análise da Aprendizagem

LTM Long-Term Memory - Memória de Longo Prazo

PLN Processamento da Linguagem Natural

SOM Self Organizing Maps - Mapa Auto-organizável

WM Working Memory - Memória de Trabalho

ZDP Zona de Desenvolvimento Proximal

Sumário

1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.1 Caracterização do problema . . . . . . . . . . . . . . . . . . . . . . . . 181.2 Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201.3 Hipótese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231.4 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231.5 Questões de pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . 251.6 Organização da tese . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261.7 Síntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2 FUNDAMENTOS CONCEITUAIS . . . . . . . . . . . . . . . . . . . 272.1 Aprendizagem e avaliação . . . . . . . . . . . . . . . . . . . . . . . . . 272.2 Mapas Conceituais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282.3 Aprendizagem Colaborativa . . . . . . . . . . . . . . . . . . . . . . . . 322.4 Revisão sistemática . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332.5 Considerações a partir da revisão . . . . . . . . . . . . . . . . . . . . 452.6 Síntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3 MODELO DE ACOMPANHAMENTO DA APRENDIZAGEM . . . 463.1 Desenvolvimento do Mapa Conceitual Individual . . . . . . . . . . . 463.2 Índices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473.2.1 Índices KMA e KMB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.2.2 Índice de organização conceitual . . . . . . . . . . . . . . . . . . . . . . . 493.2.3 Índice do Mapa Conceitual Individual . . . . . . . . . . . . . . . . . . . . 563.3 Formação dos grupos para Atividade Colaborativa . . . . . . . . . . . 573.3.1 Zona de Desenvolvimento Proximal . . . . . . . . . . . . . . . . . . . . . 593.3.2 Mapas Auto-organizáveis - SOM . . . . . . . . . . . . . . . . . . . . . . . 603.4 Desenvolvimento do Mapa Conceitual Colaborativo . . . . . . . . . . 623.4.1 Índice do Mapa Conceitual Colaborativo . . . . . . . . . . . . . . . . . . . 623.4.2 Pós-avaliação Metacognitiva . . . . . . . . . . . . . . . . . . . . . . . . . 633.5 Síntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

4 ARQUITETURA DO MODELO . . . . . . . . . . . . . . . . . . . . 654.1 Arquitetura para acompanhamento da Avaliação Diagnóstica, For-

mativa, Somativa e Colaborativa . . . . . . . . . . . . . . . . . . . . . 654.1.1 Questionários e Mapa Conceitual . . . . . . . . . . . . . . . . . . . . . . 664.1.2 Módulo de Acompanhamento Individual . . . . . . . . . . . . . . . . . . . 67

4.1.2.1 Medida de Similaridades Semântica . . . . . . . . . . . . . . . . . . . . . . . 684.1.3 Módulo de formação de grupos . . . . . . . . . . . . . . . . . . . . . . . . 694.1.4 Módulo de acompanhamento colaborativo . . . . . . . . . . . . . . . . . . 704.2 Síntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5 PROVA DE CONCEITOS E RESULTADOS . . . . . . . . . . . . . . 725.1 Experimento e resultados (Redes de Computadores) . . . . . . . . . 725.1.1 Avaliação diagnóstica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735.1.1.1 Análise dos resultados da Avaliação Diagnóstica . . . . . . . . . . . . . . . . 735.1.2 Avaliação Metacognitiva . . . . . . . . . . . . . . . . . . . . . . . . . . . 755.1.2.1 Índices KMA e KMB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765.1.3 Avaliação Mapa Conceitual Individual . . . . . . . . . . . . . . . . . . . . 785.1.4 Avaliação do Índice do Mapa Conceitual Individual - IMCI . . . . . . . . . 815.1.5 Avaliação do Conhecimento . . . . . . . . . . . . . . . . . . . . . . . . . 845.1.6 Formação dos grupos para elaboração do Mapa Conceitual Colaborativo . . 855.1.7 Avaliação do Mapa Conceitual Colaborativo . . . . . . . . . . . . . . . . . 855.1.8 Pós-Avaliação Metacognitiva . . . . . . . . . . . . . . . . . . . . . . . . . 885.1.9 Desempenho da Avaliação após Mapa Conceitual Colaborativo . . . . . . . 915.2 Estudo de Caso e resultados (Programação de Computadores) . . . 915.2.1 Avaliação Diagnóstica . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925.2.2 Avaliação Metacognitiva . . . . . . . . . . . . . . . . . . . . . . . . . . . 945.2.3 Avaliação do Mapa Conceitual Individual . . . . . . . . . . . . . . . . . . . 995.2.3.1 Índice de Organização Conceitual - IOC . . . . . . . . . . . . . . . . . . . . 995.2.3.2 Índice do Mapa Conceitual Individual - IMCI . . . . . . . . . . . . . . . . . . 1035.2.4 Avaliação do Conhecimento - AC . . . . . . . . . . . . . . . . . . . . . . . 1075.2.5 Agrupamento para Atividade Colaborativa . . . . . . . . . . . . . . . . . . 1125.2.6 Desenvolvimento do Mapa Conceitual Colaborativo. . . . . . . . . . . . . . 1155.2.7 Pós-Avaliação Metacognitiva . . . . . . . . . . . . . . . . . . . . . . . . . 1165.2.8 Desempenho da Avaliação depois do Mapa Conceitual Colaborativo . . . . 1185.2.9 Desempenho da Avaliação - Grupo de Controle . . . . . . . . . . . . . . . 1205.3 Síntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

6 CONCLUSÕES E TRABALHOS FUTUROS . . . . . . . . . . . . . 1226.1 Conclusões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1226.2 Trabalhos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

APÊNDICES 133

APÊNDICE A – MAPAS CONCEITUAIS DESENVOLVIDOS . . . 134A.1 Mapa Conceitual Individual . . . . . . . . . . . . . . . . . . . . . . . . 134A.2 Mapa Conceitual Colaborativo . . . . . . . . . . . . . . . . . . . . . . 138A.3 Mapa Conceitual desenvolvido por um Especialista . . . . . . . . . . 140

APÊNDICE B – QUESTIONÁRIOS . . . . . . . . . . . . . . . . . . 141B.1 Conhecimento Prévio - Aluno com nenhum Conhecimento Prévio . 141B.2 Conhecimento Prévio - Aluno que declarou ter conhecimento prévio 142B.3 Avaliação Final da Etapa 1 - Aluno 1 . . . . . . . . . . . . . . . . . . 143B.4 Avaliação Final da Etapa 2 . . . . . . . . . . . . . . . . . . . . . . . . 147

18

1 INTRODUÇÃO

Este capítulo introdutório está organizado da seguinte forma: na Seção 1.1, apresenta-se uma contextualização sobre o tema da pesquisa, focando em explicar a necessidade e aimportância de um modelo para monitorar a evolução da aprendizagem em Ambientes deAprendizagem Virtual e ensino a distância.

A justificativa para a investigação desta temática de tese é descrita na Seção 1.2.A Seção 1.3 mostra a hipótese presente nesta tese, a ser provada ou refutada. A descriçãodos objetivos encontra-se na Seção 1.4 e, para finalizar, na Seção 1.5, estão descritos asquestões de pesquisa e o que deve ser feito para respondê-las.

1.1 Caracterização do problemaSegundo Kollöffel e Jong (2013), estimular a aquisição do entendimento conceitual

melhora os resultados da resolução de problemas complexos. Ao estruturar os conceitos deforma significativa, a possibilidade de os alunos desenvolverem capacidade para a soluçãode problemas aumenta em relação à forma tradicional de ensino com o uso de livrosdidáticos, textos e fórmulas.

Avaliar o entendimento conceitual de acordo com a estrutura conceitual apresentadapelo aprendiz se faz necessário no acompanhamento da aprendizagem; portanto, ao avaliara aprendizagem, é importante criar processos para fornecer dados, os quais permitam,também, verificar alterações na estrutura conceitual. Devem ser criados processos paraavaliar se houve aquisição de novas informações e seu uso em resolução de problemas.

Conforme Shute e Rahimi (2017), a Avaliação do Conhecimento devem ser estimu-lada para o desenvolvimento de novas técnicas de avaliação, no sentido de determinar suaeficácia. Para estabelecer as melhores práticas para avaliar a aprendizagem, é importanteentender como ela ocorre.

Avaliar a aprendizagem implica acompanhamento e reorientação permanente daaprendizagem. A avaliação se realiza por ato rigoroso e diagnóstico, permitindo a reori-entação da aprendizagem, tendo em vista a obtenção dos melhores resultados possíveis,frente aos objetivos que se tenha adiante.

Avaliação não é sinônimo de ensino individualizado, mas sim de um rigorosoacompanhamento e reorientação das atividades, tendo em vista resultados bem-sucedidos(LUCKESI, 2000).

Pimentel (2006, p. 36) define em sua Tese que

Capítulo 1. INTRODUÇÃO 19

o que tem sido considerado como definição de aprendizagem inclui condici-onamento, aquisição de informação (aumento do conhecimento), mudançacomportamental estável, uso do conhecimento na resolução de problemas,construção de novos significados, de novas estruturas cognitivas, revisãode modelos mentais.

No entanto, os dados gerados por ferramentas de Educação a Distância ainda sãoutilizados pelos administradores para encontrar padrões de comportamentos característicospara a evasão ou a retenção dos alunos.

Segundo Baepler e Murdoch (2010), a análise acadêmica é frequentemente pensadacomo hipótese dirigida, usando um conjunto de dados particular para resolver problemasacadêmicos, como o nível crescente de retenção dos estudantes.

Norris, Baer e Offerman (2009) dão ênfase ligeiramente diferente ao uso da análise.Eles gostariam de usar os resultados para medir, comparar e melhorar a evolução dosindivíduos, não apenas para melhorar a experiência, mas também para facilitar melhoresresultados para as atividades.

Blikstein (2011) descreve os instrumentos de avaliações atuais como incompletos,pois são baseados em produtos (um exame, um projeto, um portfólio), e não sobre osprocessos (o desenvolvimento cognitivo e intelectual real durante a execução de umaatividade de aprendizagem), devido às dificuldades intrínsecas na captura detalhada dosdados do processo para um grande número de estudantes.

A avaliação é uma ferramenta essencial para o docente e, devido à complexidadeoferecida, não se pode ter como base apenas a mensuração quantitativa pelo uso deprovas ou instrumentos atribuindo notas. Sendo ela aplicada na modalidade presencialou em ensino a distância, devem ser oferecidos mecanismos para avaliar quantitativa equalitativamente o desenvolvimento da aprendizagem.

Na avaliação cognitiva, a qualidade de sua estrutura deve ser verificada, pois, assim,é possível identificar o nível cognitivo do aprendiz num domínio de conhecimento. Vistoque o conhecimento de uma pessoa está sempre mudando, é importante proporcionarmonitorações em busca de alterações em sua estrutura cognitiva.

Os dados gerados no processo de avaliação devem ser usados para identificar seos principais conceitos estão bem estruturados e se há alguma deficiência na estruturaconceitual do aprendiz. Nesse processo de avaliação é fundamental estabelecer uma medidacapaz de identificar qual conhecimento o aprendiz possui.

Mesmo sendo usados outros instrumentos de avaliações, como conceitos (A, B, C,D, E) ou valores contínuos (1, 2, 3, 4...., 10), uma medida para avaliar a estrutura dosconceitos permitiria verificar a evolução do conhecimento pela estrutura dos conceitos deum aprendiz.


Portanto, há um cenário em que são aplicados os métodos tradicionais de avaliações,proporcionando o acompanhamento do aprendiz sem considerar aspectos relacionados àsua estrutura conceitual, o qual poderia auxiliar professores e tutores na análise referente aevolução da aprendizagem. Esta lacuna abre espaços para pesquisas em outros métodos deavaliações que proporcionem o acompanhamento da aprendizagem considerando aspectosrelacionados à estrutura cognitiva.

1.2 JustificativaAvaliar a aprendizagem ainda é uma tarefa difícil; os instrumentos de avaliação,

cujo objetivo é apenas mensurar, segundo Luckesi (2000), não são adequados para avaliar.

Conforme Duemke (1984), a avaliação do aprendizado dos alunos é um instrumentoimportante no sentido de conduzir o que foi proposto no planejamento instrucional oupara mudar o curso da proposta a fim de chegar ao objetivo planejado. A ideia básica éaproveitar ao máximo as potencialidades individuais, numa constante aferição e revisão dopróprio ensino em seus planos e na sua execução.

O processo de avaliação, geralmente, é realizado pela aplicação de testes e exercícioscom o objetivo de quantificar o desenvolvimento do aluno. Entretanto, devido à sobrecargaimposta por essa tarefa, torna-se difícil para o docente acompanhar de maneira efetiva egradual o processo de aprendizado do estudante (CALDAS; FAVERO, 2009).

De acordo com Araújo, Menezes e Cury (2002), testes objetivos (múltipla escolha,verdadeiro-falso), mesmo quando relativamente bem projetados, tendem a encorajar amemorização arbitrária de informação, sacrificando, em geral, aqueles aprendizes queconstruíram, de maneira própria, conhecimento sobre um dado domínio.

Assim, a avaliação automática de questões objetivas não fornece uma análise efetivasobre o processo de aprendizado do aluno, pois não demonstra se o estudante entendeu arespeito de um assunto e nem como construiu esse conhecimento (CALDAS; FAVERO,2009).

Avaliar é um processo com várias etapas que se auto-organizam. As atividadescriadas devem propiciar reflexão por parte do aluno e permitir o desenvolvimento de umacomunicação interativa. Avaliar é analisar o nível de conhecimento adquirido pelo aluno(RODRIGUES, 2015).

A avaliação, há muito tempo, vem sendo utilizada exclusivamente como forma deatribuir notas, visando à aprovação ou à reprovação do aluno (RODRIGUES, 2015). Nessesentido, faz-se necessário ter instrumentos para avaliar a evolução do aprendizado emrelação a aspectos cognitivos, e uma das formas de fazer isso é por meio das estruturasconceituais demonstradas pelos alunos.


A preocupação com a avaliação se estende aos Ambientes Virtuais de Aprendizagem(AVA), pois nesses ambientes o contato direto entre docente e discente, geralmente, nãoocorre, dificultando ainda mais a identificação de algumas características que possivelmenteseriam percebidas presencialmente. Segundo Prata (2003), os instrutores não têm osidentificadores informais visuais e verbais dos alunos.

Conforme Rodrigues (2015), com o advento das novas ferramentas de ensino eaprendizagem, faz-se necessário analisar e discutir a eficácia e a eficiência da Avaliação doConhecimento no sistema EAD, seus instrumentos e tipos de avaliações.

Em Educação a Distância online, é importante garantir tanto atividades individuaisquanto colaborativas. É preciso garantir aos sujeitos envolvidos vivências e diversos desafiossociocognitivos e político-culturais (SILVA, 2006).

Avaliar o desenvolvimento cognitivo, considerado processo de construção e recons-trução das estruturas mentais (PIAGET, 2007), é um desafio para a área de educação.

Direcionado à linha de pesquisa defendendo a aprendizagem como a construçãode novos significados e de novas estruturas cognitivas está a Teoria da AprendizagemSignificativa de AUSUBEL e NOVAK (1980).

Ao descrever características da Aprendizagem Significativa, mais especificamentequando trata de subsunçores, a Teoria de Ausubel (2003) tem similaridade na construçãode esquemas definidos na Teoria da Carga Cognitiva (SWELLER; MERRIENBOER;PAAS, 1998), ou seja, a nova informação deve ser incorporada à estrutura cognitiva jáexistente, formando uma nova estrutura. A reestruturação de esquemas pode ser entendidacomo Aprendizagem Significativa.

A aprendizagem eficaz depende do esquema existente sendo revisado, estendido oureconstruído. Um esquema mental é uma estrutura de conhecimento, que é uma estruturacognitiva armazenada na memória de longo prazo de um indivíduo, consistindo em relaçõesconceituais desenvolvidas pelo conhecimento e experiências acumuladas. Os indivíduospodem construir, revisar e recombinar estruturas de conhecimento para influenciar osresultados de aprendizagem (YEN et al., 2012).

No contexto da Aprendizagem Significativa, uma ferramenta útil para ser usada emavaliações são os Mapas Conceituais (CAÑAS et al., 2013), que são ferramentas gráficaspara representar o conhecimento humano.

Segundo Pimentel (2006), os Mapas Conceituais são representações explícitas daestrutura cognitiva; equivalem a uma fotografia aproximada do seu Conhecimento Prévio,ponto de partida para a Aprendizagem Significativa.

Conforme Yen et al. (2012), os Mapas Conceituais revisam e conectam a estruturado conhecimento de um aluno com conceitos de conhecimentos passados e presentes, para


aumentar a completude da estrutura de conhecimento.

Há pesquisas desenvolvidas na utilização de Mapas Conceituais em avaliações(JENNINGS, 2012), (RUIZ-PRIMO; SCHULTZ; SHAVELSON, 1997), (SCHAAL, 2008),(ARAÚJO; MENEZES; CURY, 2002), (ANOHINA-NAUMECA; STRAUTMANE; GRUNDS-PENKIS, 2010) e de acordo com Araújo, Menezes e Cury (2002), os resultados obtidosdemonstram com que facilidade e precisão os aprendizes mapeiam com sucesso as modi-ficações - características fundamentais da Aprendizagem Construtivista - ocorridas naestrutura conceitual do estudante.

Usar Mapas Conceituais para Avaliação do Conhecimento requer sua mensura-ção não somente quantitativamente, mas também, qualitativamente; portanto, além dosprincipais conceitos definidos num Mapa Conceitual referente ao domínio estudado, asProposições devem ser válidas segundo a avaliação de um Especialista.

Segundo Ruiz-Primo, Schultz e Shavelson (1997), intuitivamente, o uso de MapasConceituais para avaliar a estrutura de conhecimento declarativa dos alunos é atraente. Aconstrução de um Mapa do estudante reflete diretamente, até certo ponto, sua compreensãosobre um domínio.

Além de oferecer informações sobre a estrutura cognitiva do aluno, os MapasConceituais permitem avaliar o Conhecimento Prévio. Segundo Cook (2006), as diferençasindividuais, especialmente, o Conhecimento Prévio, são fundamentais para determinar oimpacto que as representações visuais e seu design terão sobre as estruturas e processoscognitivos dos alunos.

Novak e Gowin (1984) descrevem o Conhecimento Prévio como primordial noaprendizado de novos conceitos por parte dos alunos. Segundo Ertl, Kopp e Mandl (2005),ele é um pré-requisito importante para a construção do conhecimento do aprendiz.

A informação fornecida a um aprendiz, torna-se significativa quando é “ancorada“em conceitos ou ideias preexistentes na estrutura cognitiva (AUSUBEL; NOVAK, 1980).As ideias e os conceitos preexistentes, também definidos como Conhecimento Prévio, foramdenominados subsunçores por Ausubel. Segundo Castro (2013), quando ambos, informaçãoe subsunçores, são modificados num processo adaptativo, o resultado é a aprendizagem denovos conceitos.

De acordo com Cook (2006), a arquitetura cognitiva sozinha não é o único fator a serconsiderado; as diferenças individuais, especialmente o Conhecimento Prévio, são cruciaispara determinar o impacto que uma representação visual terá nas estruturas e nos processoscognitivos dos alunos; portanto, o nível de Conhecimento Prévio é, presumivelmente, ummoderador forte da relação entre o grau da estrutura do Mapa Conceitual e os resultadosda aprendizagem (AMADIEU et al., 2009).

Quando o aluno tem consciência sobre o que sabe, sobre o seu Conhecimento Prévio,


o processo de aprendizagem se torna mais eficiente. O aluno pode avaliar seu próprioconhecimento utilizando-se do conceito de metacognição, que tem como função avaliar eorganizar os processos mentais para atingir uma meta ou um objetivo.

Portanto, um ambiente deve proporcionar ao aluno reflexão sobre o que sabe (me-tacognição) para poder atingir os objetivos propostos de aprendizagem. Tendo consciênciado próprio Conhecimento Prévio, o aprendiz reunirá condições para reorganizar a estruturacognitiva, a estrutura de conceitos, aprimorando o próprio ato de aprender.

E mesmo que o aluno, sozinho, não consiga atingir os objetivos propostos de apren-dizagem, novas alternativas devem ser inseridas no processo de ensino/aprendizagem parase atingir tais objetivos. Uma dessas alternativas refere-se à Aprendizagem Colaborativa.Para alguns pesquisadores (PIAGET, 2007), (VYGOTSKY, 1989), a interação entre osindivíduos oferece possibilidades concretas de evolução da aprendizagem.

A aprendizagem como parte de um grupo é uma forma importante de ajudaros alunos a adquirir experiências em colaboração e desenvolver habilidades importantesem pensamento crítico, autorreflexão e co-construção do conhecimento (BRINDLEY;BLASCHKE; WALTI, 2009).

Diante do exposto, há de se considerar a importância de um modelo que avalie eforneça dados para permitir o acompanhamento do desenvolvimento da aprendizagem,desempenho que pode ser verificado pela Avaliação do Conhecimento prévio do aluno,por resultados obtidos de atividades metacognitivas e pela avaliação qualitativa do MapaConceitual desenvolvido de forma individual e também colaborativa.

1.3 HipóteseDiante do exposto na Seção 1.1 e da importância da temática descrita na Seção 1.2,

verifica-se que há necessidade de novas metodologias e processos que possam ser usadospara avaliar e acompanhar de forma mais efetiva o desenvolvimento da aprendizagem.

Tomando como referência os Mapas Conceituais, que são baseados na Teoria daAprendizagem Significativa, de AUSUBEL e NOVAK (1980), esta pesquisa tem comoprincipal hipótese que o monitoramento da aprendizagem pelas avaliações diagnóstica, for-mativa, somativa e colaborativa forneça resultados mensuráveis a professores e a aprendizespara auxiliar na evolução da aprendizagem.

1.4 ObjetivosA Avaliação do Conhecimento deve proporcionar informações que possam contribuir

para sua melhoria. Sendo assim definiram-se os seguintes objetivos para esse trabalho:


Objetivo geral:

definição de um modelo que permita avaliar e acompanhar o desenvolvimento daaprendizagem capaz de:

• Fornecer informações aos docentes e discentes sobre o nível cognitivo e metacognitivo,permitindo aos alunos corrigirem possíveis estruturas conceituais errôneas peloprocesso colaborativo, para melhorar o desenvolvimento da aprendizagem;

• Fornecer aos docentes informações sobre a aprendizagem e a estrutura conceitual doaluno, tendo como avaliar se o conteúdo foi entendido considerando os principaisconceitos no domínio proposto.

Objetivos específicos:

Para atingir o objetivo geral, os seguintes objetivos específicos foram estabelecidos:

• Avaliar o Conhecimento Prévio dos alunos no domínio proposto, permitindo a eles eaos docentes avaliarem o desenvolvimento da aprendizagem;

• Fornecer Avaliação Metacognitiva com o objetivo de avaliar a previsão do conheci-mento do aluno;

• Avaliar as diferenças entre as estimativas do conhecimento processual ou declarativodas pessoas que aprendem num determinado domínio e seu conhecimento real,conforme determinado pelo desenvolvimento;

• Fornecer um índice, tomando como referência o Mapa Conceitual desenvolvidoindividualmente; esse índice deve expressar o nível de organização conceitual doaluno;

• Fornecer um índice para avaliar a proximidade do Mapa Conceitual Individual como Mapa Conceitual desenvolvido por um Especialista;

• Separar os grupos para desenvolvimento do Mapa Conceitual Colaborativo, de acordocom o conhecimento apresentado no domínio proposto;

• Avaliar, após o desenvolvimento do Mapa Conceitual Colaborativo, a proximidadedele com o Mapa Conceitual desenvolvido por um Especialista;

• Avaliar o desenvolvimento de aprendizagem após o processo de desenvolvimento doMapa Colaborativo;


1.5 Questões de pesquisaPara produzir a pesquisa e direcioná-la aos objetivos, três questões de pesquisa

foram elaboradas:

• Que indicadores podem ser usados para avaliar a estrutura de conhecimento doaprendiz?;

• Como um conjunto de indicadores e medidas de avaliações podem ajudar no processode aprendizagem?;

• Como automatizar o processo de avaliação para obter resultados sobre o desenvolvi-mento do aprendiz?

As respostas a essas perguntas permitirão estabelecer indicadores e medidas queconduzam:

• O aluno a melhorar o seu desenvolvimento na aprendizagem;

• O professor a avaliar se o objetivo da aprendizagem foi atingido;

• O professor a acompanhar o processo de aprendizagem;

• A definir características dos alunos para a formação de grupos;

• A avaliar a evolução da aprendizagem.

Para responder às questões de pesquisa, algumas etapas, conforme descrito a seguir,deverão ser implementadas:

• Aplicação do modelo e aprofundamento na análise das relações entre indicadores emedidas;

• Aplicar o modelo para investigar quais indicadores ou medidas podem ser usadospara a formação de grupos;

• Pesquisar, avaliar e desenvolver um sistema para automatizar as avaliações;

• Avaliar se houve evolução do aprendiz.


1.6 Organização da teseO texto foi organizado de modo a apresentar o embasamento conceitual e sequencial

para a proposição de um modelo, visando ao acompanhamento da aprendizagem baseadoem avaliações. Os resultados obtidos por índices e medidas, fruto de processos de avaliações,são embasados e testados como segue:

• Capítulo 2 - Fundamentos conceituais: apresentam-se os conceitos e o que temsido desenvolvido sobre os processos de avaliações utilizados, principalmente, emAprendizagem Significativa;

• Capítulo 3 - Modelo de Acompanhamento da Aprendizagem: aborda-se ametodologia, descrevendo os processos propostos em relação ao acompanhamento daaprendizagem, apresentando os índices e as medidas usados na avaliação;

• Capítulo 4 - Arquitetura do Modelo: apresenta-se a arquitetura e os módulospropostos do ambiente computacional, visando ao acompanhamento da aprendizagem;

• Capítulo 5 - Prova de conceitos e resultados: descrevem-se a aplicação, bemcomo as análises dos resultados do modelo proposto;

• Capítulo 6 - Conclusão: enumeram-se as conclusões obtidas da pesquisa realizada,elencando-se, também, as perspectivas de sua continuidade e trabalhos futuros comodesdobramentos;

• Apêndices: disponibilizam-se materiais criados a partir da evolução desta pesquisae necessários em suas etapas.

1.7 SínteseEstudos apontam que a aprendizagem é o processo de transformação do indivíduo e

uma das transformações se dá pela alteração da estrutura do conhecimento que o indivíduopossui. A Avaliação da Aprendizagem passa, também, por mensurar se houve alteração naestrutura de conceitos que o indivíduo tem.

Este capítulo inicial apresentou breve introdução dos conceitos relacionados nestaTese de Doutorado, mostrando uma caracterização do problema de estudo, descrevendoa justificativa, seguida da hipótese a ser validada, apresentando o objetivo geral e osobjetivos específicos, além das questões de pesquisa.

27

2 FUNDAMENTOS CONCEITUAIS

Tomando como referência a hipótese desta pesquisa, faz-se necessária uma revisãoda Literatura a respeito de avaliações, dos Mapas Conceituais e do uso deles na avaliação ena melhoria do desenvolvimento da aprendizagem, das pesquisas feitas em mensuração deMapas Conceituais, do Conhecimento Prévio e do processo colaborativo, com a finalidadede identificar trabalhos correlatos.

2.1 Aprendizagem e avaliaçãoSó há como verificar se houve aprendizagem a partir do momento que há a pos-

sibilidade de avaliá-la. Criar processos em que a Avaliação do Conhecimento possa serverificada, tanto pelo docente quanto pelos alunos, permite que ambos tomem decisõespara a melhoria da aprendizagem.

Para Rodrigues (2015), o grande objetivo no processo avaliativo é desenvolver noalunado a cooperação, a autonomia, a colaboração, o posicionamento crítico e a capacidadede transformar a realidade social.

Para Jennings (2012), alguns dos propósitos da avaliação são:

• Permitir a comunicação do alcance e subsequente status do aluno durante seuprograma de aprendizagem;

• Fornecer um meio de autoavaliação e informações relativas a ela;

• Identificar a posição do aluno dentro do caminho educacional e/ou dos programas;

• Avaliar a eficácia dos programas de ensino;

• Simplesmente motivar os alunos.

Os instrumentos de avaliações como provas descritivas, questões de múltipla escolhae projetos são, há muito tempo, aplicados como forma de avaliar a aprendizagem. Emauxílio a esses instrumentos de avaliação, outros devem ser desenvolvidos para proporcionarevolução do processo de avaliação e melhores resultados sobre a aprendizagem do aluno.

Blikstein (2011) descreve que os pesquisadores são unânimes em afirmar queprecisamos ensinar as chamadas "habilidades do século XXI": criatividade, inovação,pensamento crítico, resolução de problemas, comunicação e colaboração. Nenhuma dessashabilidades é facilmente mensurada usando técnicas de avaliações atuais, como testes deescolha múltipla, itens em aberto ou portfólios.

Capítulo 2. FUNDAMENTOS CONCEITUAIS 28

A forma como avaliamos os alunos deve evoluir para oferecer resultados da apren-dizagem mesmo nos casos em que o processo de ensino aprendizagem não está limitado àsala de aula (RODRIGUES, 2015), como é o caso do ensino a distância.

O ensino à distância oferece alguns desafios como (SANTOS, 2005 apud RODRI-GUES, 2015):

• Desenvolver estratégias e atividades que potencializem a construção do conhecimentoem rede;

• Valorizar a singularidade de cada participante ao mesmo tempo em que esse deveproduzir e dialogar com a pluralidade emergente pela diferença do grupo;

• Mapear o processo de construção singular de cada aprendente e permitir que essesocialize em rede seus sentidos com todo o grupo;

• Negociar sentidos com outras inteligências.

Independente da modalidade, se presencial ou ensino a distância, a aprendizagemse dá com a aquisição de novos conceitos e a imersão deles na estrutura cognitiva de umindivíduo; portanto, é importante que essa estrutura tenha conhecimentos prévios quesirvam de ancoragem para novas aprendizagens (ROCHA; JÚNIOR; FAVERO, 2005).

AUSUBEL e NOVAK (1980) estabelecem que o aprendiz deve ter ConhecimentoPrévio como base para os novos conceitos sendo processados, ou seja, os novos conceitosirão se ancorar no Conhecimento Prévio modificando a estrutura conceitual. Essa alteraçãoé armazenada na memória de longo prazo e, quando for necessário, será usada comoConhecimento Prévio para novos conceitos. Além do Conhecimento Prévio, Ausubel (2012)estabelece que o material instrucional deve ter características significativas e o aluno deveestar apto a aprender significativamente.

O Conhecimento Prévio é uma estrutura de conhecimento, uma estrutura cognitivaarmazenada na memória de longo prazo de um indivíduo, e que consiste em relaçõesconceituais desenvolvidas pelo conhecimento acumulado e experiências individuais quepode construir, revisar e recombinar estruturas de conhecimento para influenciar osresultados da aprendizagem (YEN et al., 2012).

Portanto, uma aprendizagem eficaz depende do Conhecimento Prévio existentesendo revisado, ampliado ou reconstruído.

2.2 Mapas ConceituaisOs Mapas Conceituais são representações gráficas do conhecimento humano, ele

tem a capacidade de comunicar com clareza o que pensamos e foram propostos para dar


apoio à Teoria de Aprendizagem Significativa de AUSUBEL e NOVAK (1980).

O Mapa Conceitual contém uma unidade fundamental que se denomina proposição.Uma proposição tem como objetivo interligar dois conceitos e, por consequência, formauma unidade semântica; portanto, um Mapa Conceitual representa o conhecimento humanorelacionado a um determinado tema.

Embora o mapeamento conceitual tivesse sido identificado como uma ferramentaefetiva para reforçar o desenvolvimento da aprendizagem e na retenção do conhecimento,pesquisadores indicam que os alunos têm dificuldades em construir Mapas Conceituais,principalmente em se tratando de jovens crianças (HWANG et al., 2014). Os MapasConceituais auxiliam na aprendizagem; porém, há no seu desenvolvimento aumento, dacarga cognitiva sobre a memória de trabalho (HWANG et al., 2014).

Assumindo que o conhecimento dentro de um domínio de conteúdo está organizadoem torno de conceitos centrais, ter conhecimento no domínio implica uma estruturaconceitual altamente integrada.

Os Mapas Conceituais, então, podem captar aspectos importantes dessa inter-relação entre os conceitos e podem externalizar um padrão de conhecimento de um indivíduodentro de uma estrutura de rede de conceitos, relações ou Proposições (NOVAK; GOWIN,1984). Por apresentarem características relacionadas à aprendizagem num determinadodomínio, os Mapas Conceituais podem ser usados na avaliação.

Ao utilizar o Mapa Conceitual para avaliação, algumas variações em sua aplicaçãosão possíveis. Zeilik (2014) propõe alguns exercícios como (i) ”preencher espaços” nosMapas Conceituais, (ii) fornecer uma lista de conceitos e solicitar que os alunos construamos Mapas Conceituais, (iii) oferecer uma lista com 5 ou 10 conceitos e solicitar que osalunos complementem com uma quantidade igual de conceitos próprios e, (iv) ofereceruma lista com 20 conceitos e solicitar aos alunos o desenvolvimento do Mapa Conceitualcom a metade dos conceitos apresentados. Esses exercícios são considerados mais fechados,pois restringem a flexibilidade na escolha dos conceitos e a uma quantidade deles.

Luckie, Harrison e Ebert-May (2004) sugerem algumas atividades feitas conside-rando os seguintes passos: (i) desenvolve o Mapa individualmente, (ii) envia o Mapa paraavaliação e recebe uma pontuação e um feedback, (iii) revisa o Mapa e envia novamente e(iv) trabalha com um parceiro no desenvolvimento de um Mapa Conceitual Colaborativo.Cada novo Mapa Conceitual desenvolvido e enviado recebe um feedback e uma novapontuação.

Usar Mapas Conceituais somente para avaliá-los de forma somativa subutilizaria esserecurso, o que pode fornecer informações importantes referentes aos benefícios cognitivosque ele pode demonstrar.

Novak e Gowin (1984) propuseram um método para a Avaliação de Mapas Concei-


tuais, considerando o seguinte:

• Proposição válida (1 ponto cada);

• Níveis da hierarquia (5 pontos para cada nível);

• Links cruzados (10 pontos para cada link cruzado válido);

• Exemplo específico (1 ponto para cada exemplo).

Com esses critérios, consegue-se uma pontuação no Mapa Conceitual desenvolvidopelo aluno pela soma de todas as características mencionadas. Novak e Gowin (1984) aindapropuseram um índice que pode ser calculado pela pontuação dada no Mapa Conceitualdo aluno em relação à pontuação dada num Mapa Conceitual de referência.

Schaal (2008), para atingir seus objetivos, usou Mapas Conceituais para avaliaro efeito cognitivo dentro de um domínio de conhecimento complexo e apresentou emseu Artigo um procedimento para avaliar Mapas Conceituais considerando os aspectosrelacionados à arquitetura de Mapas Conceituais, no qual estabeleceu como critérios oseguinte:

• O ”volume” de um Mapa Conceitual (total de número de relações usadas no MapaConceitual do aluno);

• A ”robustez” que está relacionada à divisão de um Mapa Conceitual em sub Mapase;

• A quantidade de Proposições precisas em relação ao volume.

Em sua abordagem, Schaal (2008) estabelece que cada aluno forneça uma listade Proposições mais centrais (conceitos ligados por frases de ligação) e avalia sua corres-pondência com o Mapa Conceitual de um Especialista. A Tabela 1 apresenta os critériosutilizados para obter o coeficiente.

Tabela 1 – Matriz de inter-relações dentro de um Mapa Conceitual. Fonte:Schaal (2008)

No Mapa doaluno

No Mapa doEspecialista

Descrição

Não conectado e também Não conectado cnc (Corretamente não conec-tado)

Não conectado mas Conectado mc (Falha na conexão)Conectado mas Não conectado wc (Conexão errada)Conectado e também Conectado cc (Conexão correta)


Com esses dados calcula-se o coeficiente pela fórmula:

Cw = (∑ cnc+∑cc)− (∑mc+∑

wc)Quantidade máxima de interconexões possíveis (2.1)

A avaliação dos resultados obtidos pelo cálculo demonstrou eficácia do procedimentoimplantado, considerando um pré e um pós-teste.

Um sistema de Avaliação do Conhecimento usando Mapas Conceituais foi propostopor Anohina-Naumeca, Grundspenkis e Strautmane (2011). O IKAS Intelligent KnowledgeAssessment System avalia o conhecimento dos alunos tomando como base o mapeamentoconceitual e fornece possibilidades para o professor melhorar o curso e o método de ensino.Ele usa um modelo matemático para calcular a pontuação do Mapa Conceitual dos alunos.

O cálculo se baseia na análise das correções das relações de entrada e de saída deum conceito, e sua fórmula foi desenvolvida da seguinte forma:

CMD =

(∑Ni=1 lci

)(∑N

i=1 lcmaxi

) ∗ 100 (2.2)

Onde

lci −O número de pontos recebidos para uma i− th relação de um conceito,

lcmaxi − O peso de um i− th relação no Mapa conceitual do Especialista, e

N− O número de relações de um conceito.

O valor do coeficiente varia entre 0 e 1, onde 0 significa que o aluno não entendeuos conceitos e 1 significa que os conceitos foram perfeitamente entendidos. De acordo comSchaal (2008), a inter-relação dos conceitos é vista como um atributo fundamental deconhecimento.

Cada aprendiz tem uma visão particular do mundo e também de seu aprendizado;portanto, no desenvolvimento de Mapas Conceituais sobre o mesmo domínio, os aprendizesapresentarão Mapas Conceituais diferentes, uns com relações conceituais mais ou menosconsistentes ou com relações inválidas, outros com estruturas mais ricas e conceitos-chavesno domínio proposto.

Apresentar Mapas Conceituais diferentes não significa que eles estão errados, e simque podem ser expressões particulares, podendo apresentar características da organizaçãoconceitual do indivíduo e até complementares, em relação a um Mapa desenvolvido porum Especialista.

Para corrigir possíveis relações conceituais inválidas ou inserir Proposições quepossivelmente não foram representadas, os Mapas Conceituais podem ser construídos deforma colaborativa.


2.3 Aprendizagem ColaborativaA Aprendizagem Colaborativa oferece resultados satisfatórios, desde que seu uso

seja planejado e alinhado para atingir um determinado propósito (ADÁN-COELLO et al.,2008), (ADETUNJI, 2017), (ERTL; KOPP; MANDL, 2005).

A aprendizagem como parte de um grupo é uma forma importante de ajudaros alunos a adquirir experiência em colaboração e desenvolver habilidades importantesem pensamento crítico, autorreflexão e co-construção do conhecimento (BRINDLEY;BLASCHKE; WALTI, 2009).

O princípio da aprendizagem colaborativa está na forma como os componentesdo grupo se relacionam, como eles interagem para evoluir a aprendizagem e atingir osobjetivos propostos. Para que a interação seja mais efetiva, deve-se considerar algunsaspectos, como: conhecimento, facilidade do aluno trabalhar em grupo e outros aspectosconsiderados emocionais e comportamentais.

Há teorias relacionadas à Aprendizagem Colaborativa que contribuem para melhorcompreendê-la; no entanto, todas elas têm em comum o fato de considerar os integrantesresponsáveis na construção do conhecimento. Vygotsky (1989), por exemplo, considera odesenvolvimento cognitivo sendo limitado até um determinado potencial e que necessitada interação social para evoluir.

Já a Teoria de Piaget (2007) considera a interação ponto central para estimular oprocesso de evolução do conhecimento. Ele considera que trabalhando colaborativamenteo indivíduo possa contribuir de acordo com o próprio conhecimento.

São muitas as formas de desenvolver uma Aprendizagem Colaborativa e uma delasrefere-se ao desenvolvimento de Mapas Conceituais colaborativamente. Nesta atividade, osaprendizes podem apresentar seu próprio Mapa, negociar a adequação dele e permitir odesenvolvimento de um novo Mapa Conceitual Colaborativo. Supõe-se que isso permitaa readequação dos conceitos do aprendiz, formando novas estruturas pela alteração dosesquemas que estão na memória de longo prazo.

Conforme Ausubel (2012), para os cognitivistas, a aquisição do conhecimentocognitivo ocorre sempre que uma nova informação é assimilada à estrutura mental existente(esquema) que, ao fazer essa acomodação, modifica-se, permitindo um processo contínuodos mecanismos internos. A Aprendizagem Colaborativa deve oferecer esta possibilidadepela interação e contribuição de seus integrantes.

Dentro dos grupos, a controvérsia implica uma mistura de elementos competitivose cooperativos. Isso leva a ganhos motivacionais interpessoais e cognitivo (BUCHS et al.,2004)

Há uma tendência de Mapas Conceituais mais consistentes, mais bem estruturados,


quando são desenvolvidos colaborativamente. Conforme Brindley, Blaschke e Walti (2009),os aprendizes não são passivos, e sim ativos no processo de aquisição do conhecimento,pois participam de discussões, buscam informações e trocam opiniões com seus pares.

Hwang et al. (2014) concluem que os alunos, quando submetidos à AprendizagemColaborativa, são capazes de alcançar melhor evolução da aprendizagem do que aqueles comaprendizagem individual ou tradicional. Ele indica, ainda, que a estratégia de mapeamentoconceitual colaborativo computadorizado poderia reduzir a carga cognitiva dos alunos eaumentar a realização da aprendizagem.

Alguns critérios de escolhas dos integrantes dos grupos devem ser estabelecidos,principalmente, para propiciar maior interação entre eles. O objetivo é que todos evoluama aprendizagem reestruturando os conceitos mal formados durante os estudos.

2.4 Revisão sistemáticaBaseando-se no que foi descrito nas seções de hipóteses 1.3 e objetivos 1.4, é

necessária uma revisão com o objetivo de resumir informações em relação ao que se tempesquisado sobre avaliações da aprendizagem utilizando Mapas Conceituais.

Esse exame minucioso deve seguir de maneira formal uma série de procedimentos eprotocolos, fazendo-se necessário o desenvolvimento de uma revisão sistemática.

Conforme apresentado na Tabela 2, ela se inicia com a definição de uma perguntade pesquisa, seguida da seleção de palavras-chave a serem utilizadas, bem como em quaisBase de Dados serão pesquisados os trabalhos.

Tabela 2 – Protocolo da Revisão Sistemática

Característica DetalhamentoQuestões 1) Como os Mapas Conceituais são usados para Avaliação do Conhecimento?

2) Quais ferramentas são usadas para avaliar a Aprendizagem Significativaquantitativa e qualitativamente?3) Há frameworks ou modelos que proporcionem aos alunos a avaliação desua estrutura conceitual?

String de busca (Meaningful Learning OR Concept Map) AND (assessment)Base de dados ACM Digital Library, IEEE Xplore, CAPESCritérios para inclu-são de trabalhos

Publicados entre 2000 e 2017, que respondessem às questões de pesquisa.

Critérios para exclu-são de trabalhos

Não estarem no período de tempo exigido; indisponibilidade do texto; Ostrabalhos que não abordassem o tema nem respondessem às questões depesquisa; trabalhos que se apresentaram como síntese, manuais ou relatórios.

Conforme pode ser observado na Tabela 2, a escolha pela string contendo o termoMeaningful Learning OR Concept Map AND Assessment foi estabelecida pelo motivo deos trabalhos desenvolvidos nessa linha de pesquisa abordarem Avaliação da AprendizagemSignificativa usando Mapas Conceituais.


Para a revisão sistemática, uma string de busca contendo a palavra model ouframework em conjunto com Meaningful Learning OR Concept Maps seria bastanteadequada devido à proposta dessa pesquisa. No entanto, ao realizar alguns testes nas basesde Artigos, inserindo as palavras "model" ou "framework" em conjunto com MeaningfulLearning OR Concept Maps, nenhum Artigo foi retornado.

Após definir, na Etapa 1, as questões de pesquisa e protocolo incluindo a string,buscaram-se, na Etapa 2, trabalhos nas Bases de Dados especificadas na Tabela 2, que seencontravam em conformidade com os critérios de inclusão. Foram encontrados 83 Artigosque, passando pela Etapa 3, constando da avaliação do título, palavras-chave e abstract,foram reduzidos para 41.

Muitos dos Trabalhos descartados, embora descrevessem o Meaningful LearningOR Concept Maps, não apresentavam um processo ou uma ferramenta para a Avaliaçãodo Conhecimento; portanto, não foram considerados adequados para aprofundamento daleitura, de acordo com os critérios de exclusão.

Dos 41 Trabalhos presentes, iniciou-se a Etapa 4, que consistiu em aprofundar naleitura completa, sendo descartados 12 Trabalhos em virtude de não estarem de acordocom os objetivos da pesquisa, ainda que tenham passado pelos critérios de exclusão; sendoassim, para a revisão e análise, ficaram 29 Artigos.

Tabela 3 – Processo de busca de Artigos Científicos.

Etapa Descrição Quantidade de Títulos1 Definição das questões de pesquisa —-2 Buscas nas Base de Dados 833 Avaliação do título, resumo e palavras-

chave41

4 Seleção para leitura completa 29

O intervalo definido para buscar Artigos nas bases de dados foi entre o ano 2000 e2017; portanto, os 29 Artigos separados para leitura se encontram nesse período e estãodistribuídos em quantidades conforme apresentado na Figura 1.

Frequência maior é encontrada em 2014; logo depois a frequência de publicaçõescai, mas mantém a média de Artigos publicados ao longo do período definido. Pode-sepresumir que esse aumento se deve ao fato de os pesquisadores valorizarem o tema depesquisa em questão e de manterem os estudos usando essa ferramenta.

A partir da leitura dos 29 Artigos selecionados de acordo com as questões depesquisa, os termos da string de busca e os filtros, mais o que foi definido nos critériosde inclusão e exclusão, extraiu-se, conforme Figura 2, uma nuvem com 30 palavras maisfrequentemente usadas.

Percebe-se pela nuvem que há coerência com o objetivo da pesquisa dessa revisão,pois palavras como Concept(s), map(s), students, assessment, learning, knowledge, scoring


Figura 1 – Quantidade de publicações por ano

estão entre as palavras mais frequentes encontradas nos Artigos.

Observa-se, pela leitura dos Artigos selecionados, a utilização de Mapas Conceituaisdesenvolvidos por Especialista, com o objetivo de comparar com os Mapas Conceituaisdos alunos (POURSAEED; LEE, 2010); (LIN et al., 2002); (PARK; CALVO, 2008);(ANOHINA-NAUMECA; MILASEVICHA, 2011); (PAILAI et al., 2017); (GHANI et al.,2017). Dessa comparação, obteve-se uma pontuação ou referência para avaliar o quanto oaluno conseguiu atingir os objetivos no domínio proposto.

Outra observação merecedora de destaque foi a preocupação em relação ao tempodispendido pelos professores/instrutores para avaliar os Mapas Conceituais. Os Artigos(WU et al., 2012) e (HOEFT et al., 2003) que abordaram a automatização da Avaliaçãodo Mapa Conceitual tinham como um dos problemas descritos o tempo de avaliação e poresse motivo propuseram uma ferramenta ou sistema a fim de agilizar o processo.

Outros Artigos (GHANI et al., 2017), (PAILAI et al., 2017); (WU et al., 2012);(NEDUNGADI; HARIDAS; RAMAN, 2015) e (LIU; LEE, 2013) propõem a avaliaçãoda forma tradicional, buscando apresentar diferenças na evolução da aprendizagem aose utilizar Mapas Conceituais. Nessa abordagem, os alunos são separados em grupoexperimental e grupo de controle para serem avaliados. Com os resultados obtidos, cálculosestatísticos são utilizados para demonstrar as diferenças entre os grupos.

As propostas de utilização de Mapas Conceituais apresentadas não incluíam umasolução como o desenvolvimento de um plug-in para os Ambientes Virtuais de Aprendizagem(AVA).

As que apresentaram algum desenvolvimento de ferramenta, sistemas ou aplicação


Figura 2 – Nuvem de Palavras dos ArtigosFonte: www.worditout.com

(KARDAN; RAZAVI, 2014); (SASSON; RAVID; PLISKIN, 2016); (CAÑAS et al., 2013);(PETROVIC; JEREN; PALE, 2013); (PETROVIC; JEREN; PALE, 2013); (SALEM;BELCADHI; BRAHAM, 2013); (POURSAEED; LEE, 2010); (PARK; CALVO, 2008);(KORNILAKIS et al., 2004); (ANOHINA; GRUNDSPENKIS, 2009) e (STRAUTMANE,2014) o fizeram de forma específica para o estudo em questão.

O fato descrito acima leva a presumir que o desenvolvimento de uma aplicação é omais adequado, visto que os Ambientes Virtuais de Aprendizagem disponíveis oferecemferramentas voltadas para a Avaliação Somativa e não Formativa. Nos parágrafo a seguir,são apresentados alguns detalhes dessas iniciativas.

A utilização de fórmulas objetivando resultados sobre a Avaliação do Mapa Con-ceitual desenvolvido foi discorrida em Petrovic, Jeren e Pale (2013), Gouli et al. (2005),Calafate, Cano e Manzoni (2009), Lin et al. (2002) e Ghani et al. (2017). Esses Artigosnão incluem nas fórmulas uma solução para cálculo da Reconciliação Integrativa.

A avaliação da estrutura do Mapa Conceitual e, consequentemente, a representaçãoda estrutura mental foram discorridos em Chen, Cheng e Heh (2005). Uma matriz deproximidade é construída para representar o conhecimento do aluno pela comparação deMapas Conceituais.

Dois dos Artigos selecionados Lee, Jang e Kang (2015) e Watson et al. (2016),basearam-se nos critérios definidos por Novak e Gowin (1984) para avaliar os MapasConceituais; no entanto, não implementaram ferramenta para automatização da avaliação.

Yin e Shavelson (2008) descrevem em seu Artigo o resultado da aplicação de duastécnicas no desenvolvimento do Mapa Conceitual. Uma delas se refere ao desenvolvimento


do Mapa Conceitual a partir de conceitos disponibilizados. A outra técnica consiste emoferecer frases de ligação e conceitos para o desenvolvimento de Mapa Conceitual. Umexperimento foi feito e os resultados indicaram melhor desenvolvimento na compreensão aodisponibilizar somente os conceitos em relação ao outro método que forneceu os conceitose as frases de ligação.

O Artigo escrito por Rosen e Tager (2014) e o de Mok, Whitehill e Dodd (2014)avaliam se o desenvolvimento de Mapas Conceituais auxilia na performance do pensamentocrítico.

Rosen e Tager (2014) observaram melhores contribuições e recomendações nasatividades propostas em relação ao método tradicional. Mok, Whitehill e Dodd (2014)desenvolveram uma ferramenta para a avaliação.

Turns, Atman e Adams (2000) propõem um método para avaliar os Mapas Con-ceituais no Curso de Engenharia. São definidas pontuações considerando a estrutura doMapa Conceitual, a frase de ligação, se há ligação cruzada e também para os subdomíniosnos Mapas Conceituais. O Artigo destaca o tempo dispendido para a Avaliação do MapaConceitual, descrevendo-o como ferramenta ineficaz para turmas grandes de alunos.

Adequar o Mapa Conceitual, tornando-o mais formal, foi descrito por Ferguson(2003). A abordagem propõe o desenvolvimento no padrão UML, com os Mapas Conceituaisdesenvolvidos sobre um determinado domínio. No teste apresentado, notou-se que é possívelaplicar as ideias de associação, composição e generalização para estabelecer ligações entreos conceitos.

Graudina e Grundspenkis (2011) também propõem a formalização do Mapa Con-ceitual, apresentando um algoritmo para convertê-lo numa ontologia.

A Tabela 4 apresenta de forma resumida informações relevantes para esse estudo,sobre a revisão sistemática. Em cada Artigo selecionado, houve um estudo a fim de verificarse os autores desenvolveram fórmula para representar a estrutura do conhecimento doaluno e/ou se desenvolveram uma aplicação para Avaliação de Mapas Conceituais.

Tabela 4 – Características dos Artigos selecionados

Título Proposta Fórmula Aplicativo1 ASSESSING USERS’ MEN-

TAL KNOWLEDGE BYUSING STRUCTURAL AP-PROACH AND CONCEPTMAP (CHEN; CHENG;HEH, 2005)

Avaliar o conhecimento mentaldos usuários com base na es-trutura e as características doMapa Conceitual.

—- —-


2 LEARNER KNOWLEDGELEVEL CALCULATIONBY CONCEPT MAP ANDCONCEPT WEIGHT ESTI-MATION USING NEURALNETWORKS (KARDAN;RAZAVI, 2014)

É calculada uma pontuação decada conceito e uma pontua-ção total, tomando como base oMapa Conceitual de um Especi-alista.

— X

3 CONCEPT MAPS FORENGINEERING EDUCA-TION: A COGNITIVELYMOTIVATED TOOL SUP-PORTING VARIED AS-SESSMENT FUNCTIONS(TURNS; ATMAN; ADAMS,2000)

Usa Mapas Conceituais paraavaliar o nível do Curso. A in-terpretação do Mapa Conceitualconsidera a quantidade de: con-ceitos, links, ligações cruzadas,níveis hierárquicos. Cada carac-terística foi pontuada numa es-cala de 0 a 5.

— —-

4 MEASURING TEMPORALAND CONTEXTUAL PRO-XIMITY BIG TEXT-DATAANALYTICS CONCEPTMAPS (SASSON; RAVID;PLISKIN, 2016)

Faz análise de dados em tex-tos para gerar, automatica-mente, Mapas Conceituais, con-siderando distância temporal econtextual de conceitos. Usaprocessamento da linguagem na-tural para extrair conceitos.

X X

5 CONCEPT MAPS INCOMPUTER-ASSISTEDKNOWLEDGE ASSES-SMENT (PETROVIC;JEREN; PALE, 2013)

Apresenta formas de avaliar au-tomaticamente o Mapa Concei-tual; porém, recorre à Litera-tura demonstrando algumas for-mas. Descreve três formas de fa-zer essa avaliação: quantitativa,qualitativa ou ambas.

X —

6 EVALUATING LEAR-NER’S KNOWLEDGELEVEL ON CONCEPTMAPPING TASKS (GOULIet al., 2005)

Tem como base, para a pon-tuação do Mapa Conceitual, oMapa do Especialista. Pesossão atribuídos aos conceitos eProposições; os erros tambémsão pontuados. A pontuação doMapa Conceitual do aluno é di-vidida pelo Mapa Conceitual doEspecialista.

X X


7 USING CONCEPT MAPSIN KNOWLEDGE ASSES-SMENT OF SHORT ANDOPEN ANSWER QUESTI-ONS (SALEM; BELCADHI;BRAHAM, 2013)

Faz a avaliação do Mapa au-tomaticamente, tomando comobase o Mapa Conceitual de umEspecialista. É fornecido umconjunto de conceitos para facili-tar o desenvolvimento do MapaConceitual. Compara as esco-lhas do aluno com o Mapa doEspecialista.

— X

8 A COMPREHENSIVEMETHODOLOGY FORCONCEPT MAP ASSES-SMENT (CALAFATE;CANO; MANZONI, 2009)

Propõe uma técnica que leva emconsideração as diferentes eta-pas para desenvolver o MapaConceitual. Define um conjuntode critérios e heurística paraavaliar cada uma das etapas.

X —

9 SELF-INITIATED CURRI-CULUM PLANNING, VI-SUALIZATION AND AS-SESSMENT IN IMPRO-VING MEANINGFUL LE-ARNING: A COMPARISONBETWEEN MOBILE ANDUBIQUITOUS LEARNING(POURSAEED; LEE, 2010)

Não foi utilizado Mapa Concei-tual para avaliação. O MapaConceitual foi usado para repre-sentar o conhecimento. A únicaavaliação feita foi sobre a acei-tabilidade do aplicativo.

— X

10 A NEW STRUCTURALKNOWLEDGE ASSES-SMENT BASED ONWEIGHTED CONCEPTMAPS (LIN et al., 2002)

O estudo propõe avaliação emMapas Conceituais de formaqualitativa. Se uma proposiçãoocupa um lugar importante noassunto de conhecimento, é atri-buído um peso alto, e vice-versa.O estudo sugere pesos em Ma-pas Conceituais, propondo umafórmula em que é possível verifi-car o quão similar é o Mapa doaluno ao do Especialista.

X —


11 AUTOMATIC CONCEPTMAP SCORING FRA-MEWORK USING THESEMANTIC WEB TE-CHNOLOGIES (PARK;CALVO, 2008)

Descreve uma proposta parapontuação automática de Ma-pas Conceituais. Para avaliaçãoqualitativa, usa web semântica.Converte o Mapa Conceitual emRDF/RDFS. Considera pontua-ção para as Proposições corretasem relação ao Mapa do Especi-alista.

— X

12 USING WORDNET TOSUPPORT INTERACTIVECONCEPT MAP CONS-TRUCTION (KORNILAKISet al., 2004)

A proposta está em disponibili-zar um Mapa incompleto paraque o aluno possa preenchê-lo.Os conceitos fornecidos pelosalunos são verificados usando oWordnet, pois os sinônimos e ou-tras características são usadospara verificar se o conceito é vá-lido.

— X

13 BLENDING CONCEPTMAPS WITH ONLINELABS (OLABS): CASESTUDY WITH BIOLOGI-CAL SCIENCE (NEDUN-GADI; HARIDAS; RAMAN,2015)

Usa Mapa Conceitual com o ob-jetivo de verificar se melhora oentendimento dos alunos numCurso de Biologia. Separa doisgrupos, um de controle e outroexperimental, para apresentaros resultados.

— —

14 STUDYING POSSIBILI-TIES TO USE SEVERALEXPERTS’ MAPS INTHE CONCEPT MAPBASED KNOWLEDGEASSESSMENT SYSTEM(ANOHINA-NAUMECA;MILASEVICHA, 2011)

Propõe aumentar a objetividadedo processo de Avaliação dosMapas Conceituais dos alunos.Quatro soluções diferentes sãoidentificadas e analisadas doponto de vista de sua viabili-dade e adequação para o protó-tipo do sistema proposto.

— X


15 OBJECT-ORIENTED CON-CEPT MAPPING USINGUML CLASS DIAGRAMS(FERGUSON, 2003)

A abordagem propõe que os alu-nos a desenvolvam usando comoreferência Mapas Conceituais.Aborda a criação de diagramasde classes, baseados em MapaConceitual, para avaliar os mo-delos mentais do aluno depoisde a entrada num curso e mo-nitorar seu desenvolvimento aolongo dele.

— X

16 SCORING CONCEPTMAPS: AN OVERVIEW(ANOHINA; GRUNDSPEN-KIS, 2009)

Apresenta a descrição de formaresumida das características dosmétodos de Avaliação de Ma-pas Conceituais. Dos 16 analisa-dos, apenas 2 avaliam os MapasConceituais de forma quantita-tiva e qualitativa. Cita algunssistemas como COMPASS E HI-MATT ; porém, deixa clara acomplexidade de se avaliar osMapas Conceituais qualitativa-mente.

— X

17 INCREASING THE FLE-XIBILITY OF AUTOMA-TED CONCEPT MAP BA-SED KNOWLEDGE ASSES-SMENT MAIJA (STRAUT-MANE, 2014)

Na Avaliação de Mapas Con-ceituais, o Artigo descreve quedeve haver uso de análise da lin-guagem natural. Sugere o usodo WordNet para auxiliar naavaliação de conceitos simila-res. Propõe que o Especialista"opine"em determinadas cons-truções para auxiliar na avali-ação.

— X


18 ALGORITHM OF CON-CEPT MAP TRANSFOR-MATION TO ONTOLOGYFOR USAGE IN INTELLI-GENT KNOWLEDGE AS-SESSMENT SYSTEM VITA(GRAUDINA; GRUNDS-PENKIS, 2011)

O Artigo apresenta um algo-ritmo para transformar o MapaConceitual, considera como nãoformal, para uma linguagem for-malizada, utilizando as regrasespecificadas em ontologia. Oalgoritmo deve avaliar se o con-ceito é uma classe ou instância.Utiliza o IK.

— X

19 VALIDITY AND RESPON-SIVENESS OF CONCEPTMAP ASSESSMENTSCORES IN PHYSICALEDUCATION (LEE; JANG;KANG, 2015)

Apresenta uma proposta parausar Mapa Conceitual na ava-liação da estrutura de conhe-cimento dos candidatos a pro-fessor, pois a avaliação tradici-onal tinha limitações ao ofere-cer questões de múltipla esco-lha e questão de verdadeiro oufalso. A avaliação do Mapa Con-ceitual utilizou a pontuação de-finida por Novak e Gowin.

— —

20 AN INNOVATIVE CON-CEPT MAP APPROACHFOR IMPROVING STU-DENTS’ LEARNING PER-FORMANCE WITH ANINSTANT FEEDBACK ME-CHANISM (WU et al., 2012)

A proposta está em automatizara Avaliação do Mapa Conceitualpor um Sistema de aprendiza-gem baseado em web. Uma listade conceitos, previamente esco-lhidos pelo professor, é oferecidapara a criação ou a alteração doMapa Conceitual.

X X

21 CONCEPT MAP ANALY-SIS IN THE ASSESSMENTOF SPEECH-LANGUAGEPATHOLOGY STU-DENTS’ LEARNINGIN A PROBLEM-BASEDLEARNING CURRICU-LUM: A LONGITUDINALSTUDY (MOK; WHI-TEHILL; DODD, 2014)

O objetivo foi apresentar aosalunos os pontos fortes e os fra-cos no pensamento crítico. Foidesenvolvida uma ferramentachamada CMAP para avaliaro pensamento crítico dos alu-nos, considerando cinco atribu-tos (nós, frases de ligação, Pro-posições, cross-links e aparên-cia.

— X


22 TPL-KATS—CONCEPTMAP: A COMPUTERIZEDKNOWLEDGE ASSESS-MENT TOOL (HOEFT etal., 2003)

Foi desenvolvida uma aplicaçãopara avaliar a estrutura do co-nhecimento pela Avaliação doMapa Conceitual. Oferece a pos-sibilidade de desenvolver Ma-pas Conceituais a partir de umalista de conceitos ou tambémcolaborativamente.

— X

23 THE PRACTICAL USEOF KIT-BUILD CONCEPTMAP ON FORMATIVE AS-SESSMENT (PAILAI et al.,2017)

O objetivo é avaliar as falhasencontradas no conhecimentodo aluno. Toma como base oMapa Conceitual do instrutore fornece uma lista de concei-tos e frases de ligações extraídodele. Utiliza a comparação como Mapa do Especialista.

— X

24 CMAPANALYSIS: ANEXTENSIBLE CONCEPTMAP ANALYSIS TOOL(CAÑAS et al., 2013)

Uma ferramenta para análisede Mapas Conceituais conside-rando várias medidas como o ta-manho, a qualidade e distintaspropriedades estruturais. O pro-grama não é capaz de substituira avaliação individual feita peloprofessor. A saída do aplicativoé uma Planilha do Excel.

— X

25 MAKING STUDENT THIN-KING VISIBLE THROUGHA CONCEPT MAP INCOMPUTER-BASED AS-SESSMENT OF CRITICALTHINKING (ROSEN; TA-GER, 2014)

O Estudo explora padrões daperformance do pensamento crí-tico e da motivação, usandomodo de evidência centrado emMapas Conceituais comparadocom a forma tradicional de en-sino.

— X


26 ENHANCING STUDENTS’HOTS IN LABORA-TORY EDUCATIONALACTIVITY BY USINGCONCEPT MAP AS ANALTERNATIVE ASSESS-MENT TOOL (GHANI etal., 2017)

Nesse estudo, o Mapa Con-ceitual de um Especialista foiusado como referência. Não foidesenvolvida uma ferramentapara avaliar os Mapas Concei-tuais. A avaliação foi feita porum pesquisador e um professorEspecialista.

X —

27 APPLICATION OF GENE-RALIZABILITY THEORYTO CONCEPT MAP AS-SESSMENT RESEARCHYin e Shavelson (2008)

Tem como objetivo estudar qualforma de construção do MapaConceitual oferece melhor resul-tado, criando frases de ligaçõesou selecionando frases de liga-ções.

— —

28 ASSESSING CONCEP-TUAL KNOWLEDGEUSING THREE CON-CEPT MAP SCORINGMETHODS (WATSON etal., 2016)

O Artigo propõe a análise detrês métodos para avaliar Ma-pas Conceituais. Todos os trêsmétodos de pontuação foramaprovados; no entanto, eles reco-mendam a utilização dos méto-dos holístico ou categórico casose queira avaliar mais profunda-mente o conhecimento do aluno.

X —

29 USING A CONCEPT MAPKNOWLEDGE MANA-GEMENT SYSTEM TOENHANCE THE LEAR-NING OF BIOLOGY (LIU;LEE, 2013)

Nesta pesquisa, é apresentadoum sistema para gerenciamentodo conhecimento por MapasConceituais. O sistema permiteque os alunos desenvolvam osseus Mapas Conceituais e osorganizem. Toda avaliação foifeita com questionários.

— X

Conforme Revisão Sistemática, observam-se soluções em que o Mapa Conceitual éusado isoladamente na Avaliação do Conhecimento. Nesta pesquisa, há preocupação emdesenvolver um modelo de avaliação, não para substituir os que são usados atualmente,mas sim como complemento a eles.

Portanto, esta Revisão Sistemática auxilia na hipótese desta tese de Doutorado,fazendo-se necessária a proposição de um modelo para Avaliação do Conhecimento, uti-


lizando das Avaliações Diagnóstica, Formativa, Somativa e Colaborativa pela aplicaçãode Mapas Conceituais fornecendo informações que contribuam para a melhoraria dodesenvolvimento da aprendizagem.

2.5 Considerações a partir da revisãoNa busca por Artigos nas Bases de Dados, não foi encontrado nada relacionado a

um modelo ou framework que caracterizasse o uso de índices ou medidas para avaliar aAprendizagem Significativa, analisando a estrutura conceitual usando Mapas Conceituais.

Em Ambientes Virtuais de Aprendizagem, muito se fez até o momento em avaliaros dados gerados pelos alunos, no sentido de estudar as causas da evasão escolar; noentanto, há uma tendência em usar as informações geradas por esses ambientes para avaliaro aprendizado. Deve-se considerar que os instrumentos e as ferramentas existentes nãosão suficientes para fornecer tais informações; portanto, novas metodologias devem serpropostas para tal finalidade.

Assim, considerando o exposto neste capítulo, no qual, pela Revisão Bibliográficada Literatura, constata-se a importância em avaliar a aprendizagem além das técnicasde avaliações atuais que são usadas; por exemplo, testes de múltipla escolha, fórum, chate projetos, o ambiente deve proporcionar alteração da estrutura cognitiva pelo uso dacriatividade, do pensamento crítico, da resolução de problemas, da comunicação e dacolaboração.

Portanto, presume-se que o desenvolvimento do modelo proposto para Avaliação doConhecimento é necessário, contribuindo para melhorar o desenvolvimento da aprendizageme do feedback para que os professores possam tomar decisões a respeito do materialinstrucional.

2.6 SínteseEste capítulo apresentou a Revisão Bibliográfica e a Revisão Sistemática realizadas,

mostrando a importância do modelo proposto para avaliar a aprendizagem em AmbientesVirtuais de Aprendizagem.

Aspectos relacionados à estrutura de conceitos que o aluno tem e sua alteraçãopara melhorar o desenvolvimento da aprendizagem foram discutidos e pontuados, além deapresentar as pesquisas desenvolvidas na área de análise da aprendizagem e a constataçãoque não há algo sendo desenvolvido ou divulgado sobre a metodologia e o modelo proposto.

46

3 MODELO DE ACOMPANHAMENTO DAAPRENDIZAGEM

A metodologia a ser empregada está fundamentada no desenvolvimento de MapasConceituais Individuais e Mapas Conceituais Colaborativos, além da aplicação de algunsquestionários de coleta de dados e avaliações que forneçam resultados para auxiliar natomada de decisões.

A Figura 3 apresenta a arquitetura do modelo proposto, que está dividido em duaspartes por uma linha horizontal. A parte superior a esta linha é composta por processosque envolvem a participação dos alunos em questionários, questões para avaliações edesenvolvimento de Mapas Conceituais.

Os processos que estão na parte inferior da linha horizontal obtêm dados gerados pe-los processos da parte superior dessa linha. Esses dados processados de forma automatizadageram informações para alunos e professores.

Conforme pode ser observado no modelo, antes do estudo do conteúdo de umaunidade ou assunto da Disciplina, há uma Avaliação Diagnóstica. Os alunos respondem aum questionário (grau de confiança) para levantar informações sobre seu ConhecimentoPrévio.

3.1 Desenvolvimento do Mapa Conceitual IndividualAo responder o questionário de grau de confiança, apresenta-se para o aluno o con-

teúdo e o tema focal que será usado para o desenvolvimento do Mapa Conceitual Individual.Esse tema focal é definido pelo docente como ponto primordial para o desenvolvimento daaprendizagem.

Antes do desenvolvimento do Mapa Conceitual Individual, os alunos são submetidosa uma Avaliação Metacognitiva (Previsão do Conhecimento), em que são apresentadasquestões que permitam a eles refletir sobre o conhecimento que possuem.

Cook (2006) disse que alunos com pouco Conhecimento Prévio muitas vezes ficamaquém de criar modelos mentais mais abstratos.

Conforme Tobias e Everson (2002), os alunos que diferenciam com precisão entre oque foi aprendido anteriormente e que eles ainda têm de aprender são mais capazes deconcentrar atenção em outros recursos cognitivos sobre o material a ser aprendido.

Portanto, quando o indivíduo toma consciência de seu conhecimento e reflete sobre

Capítulo 3. MODELO DE ACOMPANHAMENTO DA APRENDIZAGEM 47

Figura 3 – Modelo de Acompanhamento

ele, o trabalho de formalização é facilitado, ou seja, torna os conhecimentos informaisreconhecidos e adequadamente formalizados. Pensar sobre como se está pensando, ametacognição, é uma capacidade indispensável para os que pretendem se aprimorar nopróprio ato de aprender (ALMEIDA; JÚNIOR, 2000).

Em seguida, os alunos desenvolvem o Mapa Conceitual Individual. A próximafase consiste numa avaliação em que os alunos irão responder questões sobre o temaproposto essa avaliação tem como objetivo a Avaliação do Conhecimento. Nesse pontodo modelo proposto, algumas informações foram geradas e devem ser avaliadas para darprosseguimento no processo de Avaliação do Conhecimento.

3.2 ÍndicesCom as informações geradas pelo questionário de previsão de conhecimento, questi-

onário de Avaliação do Conhecimento e Mapa Conceitual Individual, alguns índices sãoestabelecidos para auxiliar na criação dos grupos e da avaliação da estrutura organizacionaldo aluno. Além desses índices, é possível confrontar pelo questionário de grau de confiançapelo índice do Mapa Conceitual Individual se o Conhecimento Prévio declarado influencioude forma positiva no desenvolvimento do Mapa Conceitual Individual.


3.2.1 Índices KMA e KMB

Fazer com que os alunos tenham consciência sobre o seu próprio conhecimentopara planejar suas ações futuras e identificar suas dificuldades torna-os mais capazes deencontrar soluções para superá-las. Essa característica está associada à metacogniçãoque tem por objetivo auxiliar na automonitoração permitindo ao aluno, antes mesmo daavaliação, ter controle sobre o que sabe e o que não sabe.

Na Aprendizagem Significativa, mais especificamente ao desenvolver um MapaConceitual, o aluno faz uso da metacognição, pois ao organizar o Mapa Conceitualestabelecendo as ligações entre os conceitos, o aluno pode refletir sobre o conhecimentoconstruído e alterá-lo com novas estruturas conceituais (SCHWENDIMANN, 2015).

A revisão constante dos Mapas Conceituais feita pelos alunos os aproximam de umareflexão metacognitiva, visto que podem se tornar conscientes dos seus acertos, erros e deestratégias que proporcionam resultados positivo na aprendizagem (AGUIAR; CORREIA,2013).

Para avaliar a metacognição dos alunos, essa pesquisa está usando as medidas KMAe KMB. Tobias e Everson (2002) desenvolveram o índice KMA - Knowledge MonitoringAccuracy (Previsão no Monitoramento do Conhecimento).

A técnica de avaliação do acompanhamento do conhecimento (KMA), avalia asdiferenças entre as estimativas do conhecimento processual ou declarativo das pessoas queaprendem num determinado domínio e seu conhecimento real, conforme determinado pelodesempenho.

Os questionários de coleta de dados aplicados até essa fase permitem que o índiceKMA seja calculado. As faixas de valores com as descrições são apresentadas na Tabela 5.

Tabela 5 – KMA - Classificação e Interpretação. Fonte: adaptado de Gama (2004)

Índice KMA Classificação Interpretação[ -1.00 , -0.25 ] KMA baixo O aluno não estima corretamente o próprio conheci-

mento na maioria das situações.[ -0.25 , 0.50 ] KMA médio O aluno algumas vezes estima corretamente o próprio

conhecimento, mas frequentemente comete algunserros médios ou erros grandes na sua estimativa.

[ 0.50 , 1.00 ] KMA alto O aluno, na maioria das vezes, estima corretamenteo próprio conhecimento.

Fórmula para cálculo do KMA, conforme Gama (2004):

KMA = {[AP ∗ 1.00] + [(EMO+EMP ) ∗−0.5] + [(EGO+EGP ) ∗−1.00]}/QP (3.1)

Onde,

• AP: quantidade de acertos na previsão do desempenho;


• EGO: quantidade de erros do tipo ”Grande Otimista”, em que se estima acertar asolução e se erra completamente;

• EGP: quantidade de erros do tipo ”Grande Pessimista”, em que se estima errar asolução e se acerta completamente;

• EMO: quantidade de erros do tipo ”Médio Otimista”, em que se estima acertarparcialmente a solução e erra completamente, ou se estima acertar completamente eacerta parcialmente;

• EMP: quantidade de erros do tipo ”Médio Pessimista’, em que se estima acer-tar parcialmente a solução e acerta completamente, ou se estima errar e acertaparcialmente;

• QP: quantidade de Problemas envolvidos na avaliação.

Gama (2004) acrescentou o índice KMB - Knowledge Monitoring Bias (Desvio noMonitoramento do Conhecimento) para detectar qualquer desvio sistemático que o alunopode apresentar em seu monitoramento do conhecimento, o que permite categorizar osalunos como pessimista, otimista, realista ou aleatório. As faixas de valores com a descriçãoe a fórmula são apresentadas na Tabela 6.

Tabela 6 – KMB - Classificação e Interpretação - adaptado de Gama (2004)

Índice KMB Classificação InterpretaçãoKMA alto Realista O aluno faz uma estimativa precisa do próprio conhe-

cimento tendo um alto KMA.[ 0.25 , 1.00 ] Otimista O aluno tende a estimar que pode resolver o problema

mas não o faz na maioria das situações.[ -0.25 , 0.25 ] Aleatório O aluno estima o próprio conhecimento ora de ma-

neira otimista, ora de maneira pessimista.[ -1.00 , -0.25] Pessimista O aluno tende a estimar que não pode resolver o

problema mas o faz com sucesso em muitas situações.

A seguinte fórmula é usada para calcular o KMB (GAMA, 2004).

KMB = {[EMO ∗ 0.50] + [EMP ∗ −0.50] + [EGO ∗ 1.00] + [EGP ∗ −1.00]}/QP(3.2)

Com as variações das análises que possivelmente possam ocorrer pelas avaliações dosíndices e medidas, a medida KMB poderá auxiliar no entendimento de alguns resultadosque, até então, sejam difíceis de compreender.

3.2.2 Índice de organização conceitual

Uma estrutura de conhecimento consistente é essencial para o entendimento con-ceitual, especialmente num domínio de conhecimento interdisciplinar e complexo. Essa


estrutura do conhecimento consiste em conceitos interconectados e fornece a base para oentendimento conceitual ou a Aprendizagem Significativa (SCHAAL, 2008).

Segundo Caldas e Favero (2009), dentre as grandes vantagens da AprendizagemSignificativa, podem ser citadas:

• O conhecimento adquirido é retido por muito mais tempo, ou seja, o estudante nãoesquece o conhecimento apreendido dentro de semanas;

• A informação apreendida de forma significativa pode ser aplicada numa grandevariedade de novos problemas ou contextos; a transferência de conhecimento é alta,sendo importante para o pensamento criativo.

Há dois principais mecanismos na construção de conhecimento pela AprendizagemSignificativa. Um deles é identificado pela Diferenciação Progressiva, em que os conceitosmais gerais são decompostos em outros conceitos, em níveis hierárquicos mais específicos.

O outro mecanismo, identificado como Reconciliação Integrativa, afirma que aAprendizagem Significativa é melhorada quando o aluno reconhece nova ligação conceitualentre conjuntos relativos de conceitos ou Proposições (NOVAK; GOWIN, 1984).

Segundo Novak e Gowin (1984), a Diferenciação Progressiva e a ReconciliaçãoIntegrativa são consideradas princípios facilitadores da Aprendizagem Significativa; sãoprocessos da dinâmica da estrutura cognitiva.

Dentre os modelos para proporcionar a Aprendizagem Significativa, o desenvol-vimento de Mapas Conceituais é bem adequado. Eles expressam de forma gráfica oentendimento que os alunos tiveram do assunto estudado.

As relações entre os conceitos fornecem informações interessantes para avaliação.As conexões que o estudante consegue enxergar entre conceitos devem ser encaradas comoo maior indicativo do sucesso da aprendizagem (ARAÚJO; MENEZES; CURY, 2002).

Segundo Novak e Gowin (1984), a Aprendizagem Significativa beneficia mais aconstrução da estrutura de conhecimento, e o Mapa Conceitual pode trabalhar bem comouma ferramenta de representação do conhecimento, que pode ajudar os alunos aprendersignificativamente, tão bem como facilitar a organização do conhecimento do aluno ecriação de novos conhecimentos.

Quando o aluno desenvolve Mapas Conceituais, alguns processos, conforme abaixo,são apresentados (MARSHALL; MADHUSUDAN, 2004):

1. Aprendizagem de novos conceitos;

2. Quantidade de conceitos relevantes;


3. Diferenciação progressiva em múltiplas camadas;

4. Reconciliação Integrativa, que conecta ramos de domínios diferentes.

Mesmo que o aluno não consiga expressar todo o conhecimento necessário sobreo assunto, ele irá expressar alguma organização conceitual, ou seja, ele irá apresentarpelo menos uma parte dos principais conceitos e suas relações exigidas naquele domínioestudado.

Ter um índice para avaliar a organização conceitual do aluno, considerando oMapa Conceitual desenvolvido, auxilia o professor a verificar a estrutura conceitual pelahabilidade de organização, a compreensão pela profundidade com que o aluno processaum determinado conteúdo e a Reconciliação Integrativa. Conforme Castro (2013), aAprendizagem Significativa está completa quando a Reconciliação Integrativa ocorre.

Esse índice deve apresentar resultados que avaliem de forma qualitativa os MapasConceituais em sua forma normal (estilo "Novakiano") e, nesse contexto, a relevância nasrelações entre os conceitos tem papel fundamental.

O Índice de Organização Conceitual (IOC) formulado e proposto nesta tese deDoutorado tem a finalidade de indicar a organização conceitual, permitindo avaliar seestá inserida no Mapa Conceitual a Reconciliação Integrativa referente a um determinadodomínio:

IOC =(QtdePV

QtdeCR

)∗ (QtdePV −QtdeCR) (3.3)

Onde:

• QtdePV : quantidade de Proposições Válidas;

• QtdeCR: quantidade de Conceitos Relevantes.

A quantidade de Proposições Válidas é indicada por QtdePV e QtdeCR é aquantidade de Conceitos Relevantes. Proposições Válidas são todas aquelas que sãoconsideradas corretas dentro do domínio estudado e conceitos relevantes são todos aquelesque estão dentro do contexto estudado.

A relação QtdePV por QtdeCR, na fórmula 3.3, indica se há ou não ligaçõescruzadas no Mapa analisado; quanto mais Proposições houver em relação aos conceitos,maior será essa taxa e, consequentemente, maior a quantidade de ligações cruzadas.

Para elevar a taxa a valores que possam demonstrar a presença de ligações cruzadas,multiplica-se o resultado dessa taxa pela quantidade de Proposições menos a quantidadede conceitos.


É importante ressaltar que a fórmula desenvolvida para o IOC, considera algumascaracterísticas relacionadas ao desenvolvimento dos Mapas Conceituais (estilo "Novakiano")em sua estrutura hierárquica. Além disto, a quantidade mínima de conceitos não deve sermenor que 3 e a quantidade máxima varia de acordo com o tema focal, não podendo serinfinita.

Para o propósito desta tese, os Mapas Conceituais com apenas dois conceitos e,consequentemente, formando uma proposição, não são considerados Mapa Conceitual esim uma única tripla que não oferecerá condições de avaliar todo o contexto de um temafocal estudado.

O IOC indica a presença da Reconciliação Integrativa, um dos mecanismos valorososda Aprendizagem Significativa. O resultado do IOC não está diretamente relacionado aapresentar se o aluno atingiu os propósitos da aprendizagem, pois o aluno poderá obterresultados classificando-os como boa estrutura conceitual; sem usar todos os conceitos eProposições necessárias para atingir tal propósito.

A Figura 4 apresenta um Mapa Conceitual composto de nove conceitos relevantes(c1 a c9) e oito Proposições consideradas válidas (P1 a P8). As Proposições são formadaspela tripla (conceito-relação-conceito) e apresentam a interdependência entre os conceitos;portanto, o cálculo do IOC para esse Mapa Conceitual é -0.88.

Figura 4 – Quantidade de Conceitos e Proposições

Conforme se pode verificar na Figura 5, o resultado do Índice da OrganizaçãoConceitual com valores entre -0,5 e -1 são Mapas Conceituais considerados comuns, ouseja, a tendência ao se desenvolver um Mapa Conceitual, principalmente, nas primeirasvezes, será a de não ter ligações cruzadas entre conceitos em subdomínios diferentes.

Os valores de IOC igual ou acima de zero evidenciam que há ligações cruzadase, quanto maior for o índice, maior é a quantidade de ligações cruzadas e, consequente-mente, melhor a estrutura conceitual relacionada ao que o aluno conseguiu construir de


conhecimento no domínio abordado.

Os valores abaixo de -1 evidenciam Mapas Conceituais com estruturas pobres,dando indícios de que o conteúdo e os principais conceitos e ligações entre eles não forambem entendidos e, consequentemente, ele não foi compreendido.

Figura 5 – Índice da Organização Conceitual

As ligações cruzadas, definidas como Reconciliação Integrativa, acontecem quandoo aluno estabelece ligações de conceitos de subdomínio diferentes em seu Mapa Conceitual.Esse princípio de aprendizagem afirma que a Aprendizagem Significativa é reforçadaquando o aluno reconhece novas relações entre conceitos e Proposições (NOVAK; GOWIN,1984).

As ligações cruzadas começam a acontecer quando o aluno se familiariza com atécnica de construção de Mapas Conceituais e começa a assimilar o conteúdo significativa-mente e com profundidade, passando a ter visão geral do assunto e a observar as relaçõesentre os conceitos de ramificações ou hierarquias diferentes e distantes.

A Figura 6 apresenta o conceito de Reconciliação Integrativa e DiferenciaçãoProgressiva.

Na Figura 6, observam-se ligações entre domínios diferentes (setas tracejadas).O conceito “desenvolvimento do aluno“ liga-se a dois domínios, um formando a tripla"desenvolvimento do aluno - usando - instrumentos/procedimentos"e o outro para formara tripla “desenvolvimento do aluno - usando - informações rápidas“. Essa característicadenota uma Reconciliação Integrativa.

A Diferenciação Progressiva, conforme pode ser verificado na Figura 6 (indicadopela seta vermelha), se dá pela profundidade que o Mapa Conceitual atinge. Em um MapaConceitual, pode-se encontrar quantidades de domínios variados e cada domínio pode teruma profundidade diferente. Os Mapas Conceituais, além de facilitar o acompanhamentodo desenvolvimento da estrutura cognitiva do aluno, também é a base do pensamentocriativo e da produção de novos conhecimentos.

O Mapa Conceitual da Figura 6 é composto por 15 conceitos e 19 Proposições. Ocálculo do IOC para esse Mapa Conceitual apresenta um resultado de 5,066; projetando-seesse valor no Gráfico 5, observa-se uma melhor estrutura conceitual.

A Figura 7 apresenta alguns exemplos de estruturas de Mapas Conceituais sem


Figura 6 – Reconciliação Integrativa e Diferenciação Progressiva

ligações cruzadas e com ligações cruzadas. As setas inseridas em cada exemplo de estruturade Mapa Conceitual indicam a ligação cruzada entre subdomínios diferentes.

Tabela 7 – Exemplos de cálculo do IOC

Estrutura Quantidadede Conceitos

Quantidade deProposições

Cálculodo IOC

a 7 6 -0,83b 7 7 0c 7 8 1,14d 10 12 2,4e 10 13 3,9f 10 14 5,6

Conforme proposta de cálculo do IOC, a primeira estrutura (a) apresentada naFigura 7 não tem ligação cruzada. Considerando que todos os conceitos e todas asProposições inseridas nesse Mapa sejam relevantes no domínio estudado, o cálculo do IOC,


Figura 7 – Exemplos de Mapas Conceituais e ligações cruzadas

conforme Tabela 7, tem como resultado o valor -0,83. Este valor projetado no Gráfico daFigura 5 classifica o Mapa Conceitual como boa estrutura conceitual.

As estruturas apresentadas em (b), (c), (d), (e) e (f) são estruturas que apresentama classificação como “Melhor estrutura conceitual” no Gráfico da Figura 5, pois os valoresapresentados denotam ocorrências de ligações cruzadas no Mapa Conceitual.

Ao aumentar a quantidade de ligações cruzadas nos Mapas Conceituais, maiortambém será o Índice de Organização Conceitual (IOC), denotando melhor estruturaconceitual no domínio proposto.

O resultado do cálculo do Índice da Organização Conceitual nos permite classificaro aluno de acordo com a estrutura conceitual apresentada para aquele domínio. Esseíndice é usado como um dos critérios na criação dos grupos para a elaboração do MapaConceitual Colaborativo.


3.2.3 Índice do Mapa Conceitual Individual

Os alunos, pelo desenvolvimento dos Mapas Conceituais, demonstrarão certaorganização de conceitos; no entanto, somente com o Índice de Organização Conceitual(IOC) não será possível avaliar se o aluno atingiu os objetivos propostos. Considera-se queesses objetivos serão alcançados quando o aluno demonstrar relações consistentes entre osprincipais conceitos dentro do domínio proposto.

O domínio proposto é representado por um Mapa Conceitual desenvolvido por umEspecialista no domínio; portanto, a verificação se a representação do aluno foi satisfatóriaé feita pela comparação do Mapa Conceitual Individual com o Mapa Conceitual doEspecialista.

A Figura 8 demonstra a representação do conhecimento, dentro de um temafocal, necessário para um aluno. Após o estudo do tema, o aluno constrói seu próprioconhecimento e, possivelmente, irá apresentar conceitos e Proposições mal formados. Emalguns casos, poderá até apresentar conceitos e Proposições fora do tema focal, fora doescopo de estudo.

Figura 8 – Representação do conhecimento do aluno

Um índice denominado IMCI (Índice do Mapa Conceitual Individual) foi desenvol-vido e proposto nesta Tese de Doutorado para avaliar a proximidade do Mapa ConceitualIndividual com o Mapa Conceitual desenvolvido por um Especialista. A fórmula paracalcular o índice da proximidade conceitual pode ser vista a seguir.

IMCI = (QtdePV +QtdeCR)− (QtdePI +QtdeCIr)(QtdePV E +QtdeCRE) (3.4)


Onde:

• QtdePV : quantidade de Proposições Válidas;

• QtdeCR: quantidade de Conceitos Relevantes;

• QtdePI: quantidade de Proposições Inválidas;

• QtdeCIr: quantidade de Conceitos Irrelevantes;

• QtdePV E: quantidade de Proposições Válidas no Mapa Conceitual do Especialista;

• QtdeCRE: quantidade de Conceitos Relevantes no Mapa Conceitual do Especialista.

A quantidade de Proposições Válidas (PV) são todas aquelas que foram usadasde forma correta na interligação dos conceitos e, os Conceitos Relevantes (CR) são todosaqueles que estão dentro do contexto estudado; as Proposições Inválidas (PI) são aquelasque não oferecem ligação consistente entre os conceitos apresentados ou ligações emconceitos irrelevantes e os Conceitos Irrelevantes (CIr) são os conceitos que não estãodentro do contexto do domínio estudado.

É possível que o índice IMCI apresente valores negativos. Nesses casos, os alunosque desenvolveram esses Mapas Conceituais estão muito longe de alcançar os objetivospropostos de aprendizagem no domínio proposto, pois a quantidade de Proposições Inválidasapresentada no Mapa Conceitual é maior do que a quantidade de Proposições Válidas.

É esperado que esse índice esteja entre 0 e 1; quanto mais próximo de 1 for esseíndice, mais próxima estará a representação do Mapa Conceitual do aluno em relaçãoao Mapa Conceitual de um Especialista; portanto, considera-se que há aprendizagem nodomínio estudado e maior ela será conforme os valores de IMCI se aproximarem do valor1.

3.3 Formação dos grupos para Atividade ColaborativaNo processo de aprendizagem colaborativa, a formação de grupos é fundamental

para criar condições em que o foco seja a evolução da aprendizagem.

A pesquisa realizada por Alfonseca et al. (2006) descreve os benefícios considerandoos estilos de aprendizagem. Eles exploraram os efeitos da combinação de alunos comdiferentes estilos de aprendizagem em grupos específicos. Os grupos em que os estilos deaprendizagem são mistos oferecem melhores condições para o aprendizado.

Um estudo propondo a formação de grupos observando as contribuições feitas ematividades colaborativas anteriores pode ser encontrado em Medina et al. (2013), que


propõem um método para formação homogênea ou heterogênea de grupos usando umindicador que retrata a análise de participações anteriores em atividades colaborativas. Aquantidade de alunos por grupos e a escolha de grupos homogêneos ou heterogêneos fica acritério do professor pelo uso do software desenvolvido no estudo.

Wichmann et al. (2016) também propõem analisar grupos homogêneos e hete-rogêneos de acordo com as características dos alunos. Essa característica relaciona-se àparticipação em fórum e quantidade de caracteres digitados. Os alunos foram classificadosem níveis como alto, médio e baixo. Os autores concluem que os grupos heterogêneoslevam uma pequena vantagem em relação a grupos homogêneos ao se comparar o critériode produtividade.

Adetunji (2017) busca a formação de grupos de acordo com características quepossam oferecer máxima interação cognitiva entre os alunos. Em andamento, o estudoinicial propõe investigar o estilo cognitivo para a formação dos grupos.

Stahl (2009), em sua pesquisa, propõe avaliar o tipo de interação que oferececondições para formar grupos e permitir conflitos cognitivos. A avaliação é feita avaliandoos logs das atividades já executadas.

Faria, Adán-Coello e Yamanaka (2006) apresentaram em seu Artigo um softwarepara avaliar estilos de programas considerando o uso correto de tipos de dados, quantidadede funções e outras métricas que exigem boa prática de programação. Dessa forma, podepropor a formação de grupos homogêneos e heterogêneos. O trabalho apresenta dados emque os grupos heterogêneos são mais efetivos que os grupos homogêneos.

A formação de grupos de acordo com o conhecimento que o aluno pode ter construídofoi explorada por Faria, Adán-Coello e Yamanaka (2006). No Artigo, eles propõem ummodelo que avalia a base de dados de publicações acadêmicas, wikis, rede social, bloge fórum em busca de Artigos ou assuntos que foram escritos ou lidos. O sucesso dacolaboração no grupo está em contribuir com o conhecimento para um determinadomaterial a ser estudado ou a resolução de problema a ser solucionado.

A classificação de alunos de acordo com aspectos da Aprendizagem Significativa esobre como os alunos avaliam o próprio conhecimento, deve fornecer possibilidades na forma-ção de grupos para executar tarefas colaborativas, buscando melhoria do desenvolvimentoda Aprendizagem Individual.

A arquitetura cognitiva humana e a teoria da carga cognitiva firmam a colaboraçãocomo ferramenta para a resolução de problemas complexos, melhorando o conhecimentoindividual (QUINN, 2012).

Pode-se considerar bastante significativo se a formação de grupos, para atividadescolaborativas, for feita usando critérios que permitam confrontar pontos de vistas e,consequentemente, oferecer condições para melhorar a aprendizagem.


O experimento desenvolvido por Mugny, Lévy e Doise (1978) indica que o conflitosociocognitivo, que confronta pontos de vistas, pode apontar algum progresso. No entanto,o progresso pode ser maior quando o conflito é mais intenso.

Conforme Brindley, Blaschke e Walti (2009), a aprendizagem social ou aprendizagemcomo parte de um grupo é uma importante forma para ajudar os alunos a ganharemexperiências na colaboração e desenvolver importantes habilidades no pensamento crítico,autorreflexão e na co-construção do conhecimento.

O aprendizado dos alunos, quando separados em grupos para o desenvolvimento deatividades colaborativas, baseia-se na interação e na contribuição de cada um. ConformeAdán-Coello et al. (2008), o conflito sociocognitivo pode ser induzido compondo grupos demaneira que eles tenham indivíduos com níveis diferentes de desenvolvimento cognitivo.

Portanto, a criação dos grupos, nesse trabalho, não é feita de forma aleatória, e simusando como um dos critérios as características da organização conceitual dos alunos naatividade proposta, possibilitando o confronto de pontos de vistas e, consequentemente, ofe-recendo a possibilidade de evolução na organização conceitual dos alunos que apresentarambaixa organização.

A classificação dos alunos de acordo com a previsão no monitoramento do conheci-mento (KMA), da Reconciliação Integrativa (IOC) e da Avaliação do Conhecimento (AC)possibilita a divisão de grupos compostos de parceiros mais capazes (VYGOTSKY, 1989)e alunos que apresentam pouco conhecimento no domínio proposto.

Essas três variáveis, Previsão no Monitoramento do Conhecimento, ReconciliaçãoIntegrativa e Avaliação do Conhecimento para cada aluno, são obtidas por questioná-rios e pelo desenvolvimento de Mapas Conceituais propostos nas atividades já descritasanteriormente.

3.3.1 Zona de Desenvolvimento Proximal

Segundo Vygotsky (1989), aprendemos com a mediação de sujeitos, signos e instru-mentos. O desenvolvimento real, aquilo que o indivíduo já sabe, corresponde às habilidadesque o indivíduo já assimilou. O desenvolvimento potencial corresponde às habilidadesque o indivíduo está assimilando, ou seja, ainda não estão plenamente estabelecidas e,portanto, nesse estágio, o indivíduo ainda precisa da orientação de um parceiro mais capazpara resolver o problema.

Vygotsky (1989) conceitua Zona de Desenvolvimento Proximal (ZDP) como adistância entre o desenvolvimento real e o potencial. A Figura 9, adaptada de Casaset al. (1999) apresenta os quatro estágios da ZDP de Vygotsky. Tomando como base acapacidade inicial o indivíduo chega-se a uma capacidade desenvolvida com o tempo, como acompanhamento dos pares mais capazes.


Figura 9 – Zona de Desenvolvimento ProximalFonte: adaptada de Casas et al. (1999)

Mediar a aprendizagem entre aquilo que o indivíduo já sabe (conhecimento real)e o que não sabe e poderá saber (conhecimento potencial) é um dos maiores desafios daÁrea da Educação. É entre o real e o potencial que se dão as oportunidades pedagógicas,pois o que num determinado momento é ZDP, em outro é conhecimento real.

Assim, conforme Vygotsky (1989), a interação de indivíduos mais capazes oferececondições e ambientes para que outros possam se desenvolver. É o que ocorre numasala de aula em que o professor, sendo a pessoa mais capaz, condiciona os alunos, pelasexplanações e atividades, a se desenvolverem. Essa condição leva os indivíduos da etapado desenvolvimento real para o desenvolvimento potencial.

A área hachurada da Figura 9, identificada como Estágio 1, em que há a assistênciapor outros mais capazes, será explorada neste Trabalho pela formação de grupos contendoalunos mais capazes com alunos que ainda apresentaram dificuldades no entendimento dodomínio proposto.

Pretende-se que o aluno consiga alterar sua estrutura conceitual pela interaçãocom outros alunos e, consequentemente, consiga ser auto-assistido, tendo capacidade deresolver problemas de forma adequada.

3.3.2 Mapas Auto-organizáveis - SOM

Ao se propor três variáveis, cujos valores são obtidos por instrumentos de avaliaçãoaplicados aos alunos, torna-se necessária a utilização de uma técnica computacional com o


objetivo de agrupar características que sejam próximas umas as outras. Desse agrupamento,é possível estabelecer critérios para formação de grupos. Mapas auto-organizáveis (SOM )é a técnica escolhida para o agrupamento dos alunos.

Entre as diversas técnicas de Inteligência Artificial, os Mapas auto-organizáveis(Self Organizing Maps - SOM ) foram desenvolvidos para explorar Base de Dados multidi-mensionais.

Eles consistem num sistema conexionista artificial interconectado e que pode sertreinado de forma não supervisionada, o que permite um mapeamento autoajustável doespaço de estados multidimensionais estudados (CRACKNELL; READING, 2014).

Mapas auto-organizáveis (SOM ) é uma rede neural usada para agrupar dadoscom o objetivo de descobrir estruturas e padrões multidimensionais, pela correlação entremúltiplas variáveis existentes. Ela foi proposta por Kohonen, em 1982 e teve inspiração nocórtex cerebral, mais precisamente, na forma como é organizado.

SOM recebe os valores de entrada e os pesos de cada neurônio são ajustados atéque um neurônio tenha o seu peso o mais próximo possível da entrada. Esse neurônio éconsiderado o vencedor e os outros que estão próximos são considerados vizinhos.

O SOM é composto de etapas distintas até atingir o agrupamento final. A primeiraetapa, a competitiva, define o neurônio mais adequado (Best Matching Unit). A definiçãoda melhor correspondência entre o vetor de entrada e o vetor peso é feita pelo cálculo damenor distância (euclidiana), pela equação a seguir.

DE =√

(x1 − y1)2 + (x2 − y2)2 + · · ·+ (xn − yn)2 (3.5)

Em Jain, Mao e Mohiuddin (1996), encontra-se o seguinte algoritmo de aprendiza-gem:

1. Inicializar os pesos com números aleatórios; definir a taxa de aprendizagem inicial evizinhança;

2. Apresentar um padrão x e avaliar as saídas da rede;

3. Selecione a unidade Ci, Cj com a saída mínima;

| x− ωCiCj ||= mimij || x− ωij | (3.6)

4. Atualize todos os pesos de acordo com a seguinte regra de aprendizagem:

ωij (τ + 1) =

ωij (τ) + α (τ) [x (τ)− ωij (τ)] , if (ij) ε N ωqci (τ)

ωij (τ) caso contrário(3.7)


Onde

NCiCj(τ) é a vizinhança da unidade (Ci, Cj) no tempo (τ) , e α(τ) é a taxa deaprendizagem.

5. Decrementa o valor de α(τ) e encolhe a vizinhança NCiCj(τ);

6. Repita os passos de 2 a 5 até que a alteração dos valores de peso seja inferior a umlimite pré-especificado, isto é, atingido um número máximo de iterações.

Pela característica de agrupamento apresentada pelo SOM, ela foi escolhida paraagrupar, descobrir padrões pelas variáveis de Avaliação do Monitoramento do Conhecimento(KMA), Índice de Organização Conceitual (IOC) e Avaliação do Conhecimento (AC).

3.4 Desenvolvimento do Mapa Conceitual ColaborativoCom os grupos criados, os alunos iniciam discussões para o desenvolvimento do

Mapa Conceitual Colaborativo. Eles devem tomar como referência os Mapas ConceituaisIndividuais que desenvolveram para iniciar uma discussão e o desenvolvimento do MapaConceitual Colaborativo.

Esta etapa permite que os alunos possam apresentar ideias no sentido de reorganizarestruturas conceituais que, possivelmente, estejam inválidas em seus Mapas Conceitu-ais Individuais. Eles podem negociar a adequação dos Mapas Conceituais e permitir odesenvolvimento de um novo Mapa Conceitual Colaborativo.

Conforme Council et al. (2000) mudanças cognitivas não resultam do mero acréscimode informação, mas de processos envolvendo reorganização conceitual.

Após o desenvolvimento do Mapa Conceitual Colaborativo, os alunos são submetidosa uma Avaliação do Conhecimento com o objetivo de avaliar se houve melhoria nodesenvolvimento da aprendizagem, além de participar de uma Pós-Avaliação Metacognitiva.Como resultado dessas informações geradas pelos alunos, alguns índices são calculados.

3.4.1 Índice do Mapa Conceitual Colaborativo

O resultado do Índice do Mapa Conceitual Colaborativo, desenvolvido e propostonesta tese de Doutorado, permitirá identificar o quão próximo o Mapa Conceitual desen-volvido em grupo se aproximou do Mapa Conceitual desenvolvido pelo Especialista. Coma possibilidade de discussão entre os alunos do grupo, espera-se que esse índice seja melhorque aquele desenvolvido individualmente:

IMCCE = (QtdePV C +QtdeCRC)− (QtdePIC +QtdeCIrC)(QtdePV E +QtdeCRE) (3.8)


Onde:

• QtdePV C: quantidade de Proposições Válidas Colaborativos;

• QtdeCRC: quantidade de Conceitos Relevantes Colaborativos;

• QtdePIC: quantidade de Proposições Inválidas Colaborativos;

• QtdeCIrC: quantidade de Conceitos Irrelevantes Colaborativos;

• QtdePV E: quantidade de Proposições Válidas no Mapa Conceitual do Especialista;

• QtdeCRE: quantidade de Conceitos Relevantes no Mapa Conceitual do Especialista.

Os valores desse índice podem assumir valores negativos; nesse caso, como acontececom o cálculo do índice IMCI, o grupo que desenvolveu os Mapas Conceituais está muitolonge de alcançar os objetivos propostos de aprendizagem no domínio proposto, pois aquantidade de Proposições Inválidas apresentadas no Mapa Conceitual é maior que aquantidade de Proposições Válidas.

É esperado que esse índice esteja entre 0 e 1; quanto mais próximo de 1 for esseíndice, mais próxima estará a representação do Mapa Conceitual do grupo em relação aoMapa Conceitual de um Especialista; assim, considera-se que há aprendizagem no domínioestudado e maior ela será conforme os valores de IMCCE se aproximarem do valor 1.

3.4.2 Pós-avaliação Metacognitiva

Nesta etapa, cada aluno deve fazer uma avaliação do Mapa Conceitual desenvolvidocolaborativamente com o Mapa Conceitual desenvolvido por um Especialista. Nessaavaliação, o aluno pode optar por um dos itens listados na Tabela 8.

Tabela 8 – Relação da solução do Especialista x solução do Grupo.

Pontuação Interpretação0 Não alteraria o Mapa Conceitual Colaborativo, pois ele tem, de forma resumida,

todas os conceitos relevantes.1 Alteraria em até 25% o Mapa Conceitual Colaborativo; faltaram alguns conceitos

relevantes.2 Alteraria o Mapa Colaborativo em até 50%, pois o Mapa Colaborativo não

representa totalmente o tema estudado.3 Alteraria o Mapa Colaborativo em até 75%, pois grande parte dele não retrata

o tema estudado.4 Alteraria o Mapa Colaborativo em 100%, pois o Mapa não representa o tema

estudado.

De acordo com Pimentel (2006, p. 125),


a Pós-avaliação Metacognitiva poderá indicar em que medida o aprendiz,diante de uma solução correta, é capaz de relacioná-la com a sua soluçãoe estimar o seu desempenho. Uma vez que a ”correção” (grading) costumaser um gargalo no processo de avaliação, esta etapa poderá antecipar osresultados para o aprendiz a despeito das limitações.

Essa avaliação permite identificar quão consciente o aluno é em relação aos conceitosque deve aprender durante o estudo do conteúdo no domínio disponibilizado naquelemomento. Na comparação, o aluno considera o Mapa Conceitual Colaborativo; no entanto,a avaliação é feita individualmente, considerando as opções descritas na Tabela 8.

Acredita-se que possa ser possível, por essa avaliação, identificar possíveis discordân-cias entre os integrantes dos grupos no desenvolvimento do Mapa Conceitual Colaborativo.

Por último, é submetido aos alunos um questionário sobre o tema abordado.As questões são elaboradas de forma a exigir dos alunos a relação entre os conceitosconsiderados essenciais para o aprendizado do tema focal.

3.5 SínteseEste capítulo apresentou o modelo de acompanhamento do desenvolvimento da

aprendizagem proposto nesta tese. As diversas etapas que a compõem foram detalhadas,demonstrando como serão obtidos e mensurados os valores para avaliar a aprendizagemassim foram apresentados:

• Os instrumentos de coleta de dados e cálculo dos Índices KMA e KMB;

• O desenvolvimento do Mapa Conceitual Individual e de fórmulas para cálculo doíndice de organização conceitual e índice do Mapa Conceitual Individual;

• Os instrumentos de coleta de dados para Pós-avaliação Metacognitiva;

• O desenvolvimento do Mapa Conceitual Colaborativo e fórmula para calculá-lo.

As medidas e os índices apresentados nesta tese oferecem resultados que permitemaos docentes e discentes o acompanhamento da aprendizagem.

Os índices IOC, IMCI e IMCCE desenvolvidos e propostos nesta tese são obtidospela análise quantitativa e qualitativa dos Mapas Conceituais.

O modelo de acompanhamento da aprendizagem é composto de etapas que fornecemresultados para a avaliação da evolução da aprendizagem.

65

4 ARQUITETURA DO MODELO

O apoio computacional se faz necessário devido a grande quantidade de informaçõesgeradas durante o processo de avaliação. Além de oferecer informações mais rápidas, eletambém facilita a análise e o acompanhamento do desenvolvimento do aprendiz.

A Avaliação do Conhecimento utilizada nessa abordagem procura identificar o queo aluno aprendeu durante o processo instrucional. Isso é feito utilizando o desenvolvimentode Mapas Conceituais Individuais e Colaborativos, além de questões disponibilizadas aosalunos sobre um tema focal definido pelo professor.

A Aprendizagem Significativa é proporcionada pelo desenvolvimento de Mapas Con-ceituais Individuais e Colaborativos. Os Mapas Conceituais podem ser usados para avaliarqual organização conceitual o aprendiz apresenta a um dado conhecimento possivelmenteconstruído.

Apresenta-se, a seguir, a descrição da arquitetura computacional para auxiliar noacompanhamento da aprendizagem pelas Avaliações Diagnóstica, Formativa, Somativa eColaborativa.

4.1 Arquitetura para acompanhamento da Avaliação Diagnóstica,Formativa, Somativa e ColaborativaO apoio computacional possibilitará que as Avaliações Diagnóstica, Formativa,

Somativa e Colaborativa possam ser avaliadas oferecendo mais agilidade na análise dosresultados obtidos. Os módulos apresentados permitirão, pelos resultados, o diagnóstico, omonitoramento da aprendizagem, e feedback e a conscientização do aluno.

Por se tratar de uma arquitetura em que diversas informações deverão ser pro-cessadas, será feito o uso de algoritmos de Processamento da Linguagem Natural (PLN)no auxílio da análise de Mapas Conceituais, considerando a organização conceitual e aformação de grupos para Atividade Colaborativa.

A Figura 10 apresenta a arquitetura geral planejada para apoio computacional.Ela demonstra esquematicamente as relações entre os módulos necessários para o seufuncionamento.

Como observado na Figura 10, a arquitetura se divide em três módulos que recebeminformações para processá-las. Há dois módulos de acompanhamento: um que avalia oaluno individualmente e outro que avalia a atividade colaborativa.

Capítulo 4. ARQUITETURA DO MODELO 66

Figura 10 – Arquitetura Geral do Ambiente Computacional

A seguir, estão descritos os módulos propostos para o ambiente, bem como os dadosque eles recebem para processamento.

4.1.1 Questionários e Mapa Conceitual

Os questionários de grau de confiança, de previsão de conhecimento e Avaliação doConhecimento são criados num Ambiente de Aprendizagem Virtual (para esse trabalho,foi usado o Blackboard). São questionários de múltipla escolha referentes ao domínio deestudo proposto.

O AVA fornece as ferramentas necessárias para:

• Cadastrar as questões para levantamento do grau de confiança dos aprendizes;

• Cadastrar as questões para levantamento dos índices KMA e KMB;

• Cadastrar o tema focal para desenvolvimento do Mapa Conceitual Individual;

• Montar as avaliações diagnósticas e somativas.

O aluno tem acesso a todas as informações essenciais sobre o domínio de conheci-mento sobre o qual se espera fazer o acompanhamento da aprendizagem.


O AVA proporciona ao aluno o acesso a avaliações e também ao tema focal paradesenvolvimento do Mapa Conceitual Individual. Os questionários disponibilizados paraos alunos proporcionam avaliar o Conhecimento Prévio, além de viabilizar informaçõespara os cálculos dos índices KMA e KMB.

As medidas Metacognitivas KMA e KMB têm como principal objetivo permitir aoaluno a possibilidade de monitorar o conhecimento sobre o próprio conhecimento. Essetrabalho toma como base o modelo hierárquico de metacognição apresentado por Gama(2004), conforme descrito na Seção 3.2.1.

Portanto, o domínio de conhecimento a ser avaliado, as Avaliações Diagnóstica,Somativa e Formativa são disponibilizadas aos alunos e possibilitam a eles:

• Ter acesso às informações sobre o domínio de conhecimento a ser avaliado;

• Responder ao questionário de Avaliação Diagnóstica;

• Responder ao questionário de Avaliação Metacognitiva;

• Responder ao questionário da Avaliação do Conhecimento;

Todas as informações geradas no AVA alimentam o módulo de acompanhamentoindividual para a avaliação e o cálculo dos índices KMA, KMB, IOC e IMCI. Para essetrabalho, os resultados foram gerados pelo AVA e convertidos em arquivo texto.

O desenvolvimento do Mapa Conceitual não é feito no AVA; o aluno utiliza umaferramenta externa para esse desenvolvimento; para esse trabalho, foi usado Cmap Cloud.

4.1.2 Módulo de Acompanhamento Individual

A Avaliação do Mapa Conceitual Individual para o cálculo do Índice de OrganizaçãoConceitual (IOC), o cálculo do Índice do Mapa Conceitual Individual (IMCI), as medidasKMA - KMB e o resultado da Avaliação do Conhecimento são de responsabilidade dessemódulo.

Com os dados recebidos do AVA, esse módulo irá processá-los para cálculo dosíndices e medidas. Essas informações são armazenadas e apresentadas aos alunos e aosprofessores.

Pelo questionário de previsão do conhecimento e pela Avaliação do Conhecimento,as medidas KMA e KMB são calculadas e os alunos são informados do conhecimento quetem sobre seu próprio conhecimento.

O Mapa Conceitual desenvolvido pelo aluno é avaliado qualitativamente para que secalcule o IOC e IMCI. O objetivo do IOC é avaliar se o aluno tem boa estrutura conceitual,


se apresentou características de aprofundamento no domínio proposto ou se há degradaçãona estrutura dos conceitos estudados.

O resultado do IOC permite ao professor avaliar se o aluno conseguiu estruturar bemas relações entre os conceitos, pois, segundo Ruiz-Primo, Schultz e Shavelson (1997), háevidências sobre a confiabilidade e a validade dos Mapas Conceituais como representaçõesdas estruturas do conhecimento do aluno.

O índice IMCI proporciona ao professor e ao aluno saberem o quão próximo o alunoconseguiu atingir os resultados esperados dentro do tema proposto. Conforme descrito naSeção 3.2.3, para obtenção do índice IMCI, o Mapa Conceitual desenvolvido pelo aluno écomparado ao Mapa Conceitual de referência.

O acesso a essas informações, tanto pelo professor quanto pelo aluno, auxilia ambosa tomarem decisões, com o objetivo de melhorar a aprendizagem sobre o tema proposto.

A Avaliação dos Mapas Conceituais demanda tempo e esforço considerável por partedo avaliador e, dependendo do contexto em que são feitas as Proposições, a subjetividadese faz presente. Neste trabalho, efetuaram-se testes de similaridade semântica na Avaliaçãode Mapa Conceitual.

4.1.2.1 Medida de Similaridades Semântica

A similaridade semântica tem como objetivo extrair as relações semânticas entrefrases. As medidas de similaridade semântica são largamente utilizadas em recuperação deinformações e em Processamento de Linguagem Natural (PLN).

A medida de Similaridade Semântica determina o quão similar são duas sentenças;quanto mais próxima do valor 1 for essa medida, maior será sua similaridade.

Os testes efetuados para verificar a viabilidade da análise do Mapa Conceitual deforma automatizada, foram feitos utilizando-se de algoritmos da área de processamento daLinguagem Natural na Língua Inglesa.

Para a medida de similaridade semântica, foram utilizados algoritmos de stemming,de desambiguação e de busca em árvore de sinônimos criada com base no Banco de DadosWordNet. A seguir apresentam-se os principais passos para comparação das sentenças(DAO; SIMPSON, 2005):

• Tokenização;

• Executar o stemming para reduzir a palavra à sua base, à sua raiz;

• Etiquetar gramaticalmente elementos textuais;

• Desambiguação do sentido da palavra;


• Construir uma matriz relativa de semelhança semântica de cada par de sentidos dapalavra;

• Os resultados do passo anterior são combinados num único valor de similaridadepara duas sentenças;

• Se o tempo computacional for crítico, pode-se usar um método simples de heurística.

É difícil obter uma pontuação com alta precisão, pois os significados semânticosdependem do contexto em que as palavras estão e, dependendo como são construídas asProposições, valores intermediários entre 0 e 1 são possíveis, tornando a aproximação daavaliação feita por um ser humano mais distante.

Por exemplo, na avaliação feita por um tutor ou professor, a sentença “Double desufixo D” em comparação à sentença “Double de opcional sufixo D” seria consideradoaceitável e computado com o valor 1 para fins do cálculo IOC. No entanto, ao submeter asduas sentenças para obter similaridade semântica de forma computacional, obteve-se ovalor de 0,78.

Essa variação na pontuação proporcionou, nos testes efetuados, uma média de76,79% de proximidade em relação à Avaliação do Mapa Conceitual feita pelo Especialistapara o cálculo de IOC e 83,26% em relação à Avaliação do Mapa Conceitual feita peloEspecialista para o cálculo de IMCI.

Essas médias calculadas computacionalmente não são consideradas satisfatórias,principalmente, para o cálculo de IOC, em que o objetivo é indicar a quantidade aproximadade ligações cruzadas nos Mapas Conceituais; portanto, uma pesquisa mais aprofundadadeve ser feita para ajustar melhor o algoritmo de similaridade semântica para obterresultados mais aproximados das avaliações feitas por um Especialista.

4.1.3 Módulo de formação de grupos

Os valores calculados do índice IOC, da medida KMA e da Avaliação do Conhe-cimento são usados para a formação dos grupos para atividade colaborativa. Conformedescrito na Seção 3.3, os grupos não são formados aleatoriamente, e sim usando critérioem que alunos mais capazes estejam inseridos nos grupos com alunos menos capazes.

O objetivo é agrupar alunos que obtiveram desenvolvimento semelhantes e realocá-los para formar grupos com um aluno mais capaz e outros dois menos capazes. Assim, épossível dispor grupos com diferenças cognitivas e propiciar que discussões sejam estabele-cidas, com o objetivo de melhorar a aprendizagem.

Conforme descrito na Seção 3.3.2, o agrupamento é feito por Mapas Auto-organizáveis(SOM ). Após o agrupamento, os grupos são formados e os alunos são informados a que


grupo pertencem.

4.1.4 Módulo de acompanhamento colaborativo

O Índice do Mapa Conceitual Colaborativo IMCCE é calculado nesse módulo.Como já estabelecido para o desenvolvimento do Mapa Conceitual Individual, o MapaConceitual Colaborativo é desenvolvido em outra ferramenta; para esse trabalho, o cmapcloud foi usado.

A Pós-avaliação Metacognitiva é calculada usando um questionário que o alunoresponde. Conforme descrito na Seção 3.4.2, o alunos irá comparar o Mapa Conceitualdesenvolvido Colaborativamente com o Mapa Conceitual desenvolvido pelo Especialistae responder, sob sua ótica, em que porcentagem ele acredita que alteraria o seu MapaConceitual.

O resultado dessa avaliação informa se, diante de uma solução correta, o aluno écapaz de relacioná-la à sua solução e estimar o seu desempenho.

Com a informação da Pós-avaliação Metacognitiva, o aluno poderá corrigir ouadequar possíveis Proposições que ainda estão inconsistentes ou erradas no desenvolvimentodo Mapa Conceitual Colaborativo.

O Índice do Mapa Conceitual Colaborativo (IMCCE) é calculado pela análisequalitativa, conforme descrito em 4.1.2.1. Depois de o aluno enviar por upload o arquivodo Mapa Conceitual Colaborativo, ele será calculado. O cálculo do IMCCE informa aosalunos e professor o quão próximo o Mapa Conceitual Colaborativo está em relação aoMapa Conceitual do Especialista.

4.2 SínteseEste capítulo apresentou a arquitetura para acompanhamento da avaliação, demons-

trando as partes que a compõem. Conforme descrito, as técnicas usadas em Processamentoda Linguagem Natural e Rede Neural Artificial foram testadas para avaliar a eficácia empartes do modelo proposto. Assim, foram apresentados:

• Como são obtidas as informações dos questionários e Mapas Conceituais;

• O módulo de Acompanhamento Individual;

• O módulo de Formação de Grupos;

• O módulo de Acompanhamento Colaborativo.


A automação do modelo de acompanhamento, principalmente em relação a avaliaçãoqualitativa dos Mapas Conceituais, se mostra necessária. Aperfeiçoamentos devem serpesquisados para que a avaliação automática pelo processamento da linguagem naturalpossa oferecer resultados que tornem as Proposições válidas ou não.

Oferecer resultados intermediários entre 0 e 1 não satisfaz os requisitos necessáriospara obter os índices IOC, IMCI e IMCCE; portanto, aprofundamentos em pesquisas sãonecessários para avaliar qual limiar pode ser considerado, entre 0 e 1, como linha de cortepara definição se a proposição é válida ou não.

72

5 PROVA DE CONCEITOS E RESULTA-DOS

Este capítulo apresenta um experimento e um estudo de caso referentes ao modeloproposto, com o objetivo de verificar sua viabilidade. Nos dois casos, a coleta de dadosfoi feita utilizando o Ambiente Virtual de Aprendizagem Blackboard; portanto, todas asentregas (Mapa Conceitual e questionários) foram feitas pelo ambiente. Os Mapas Concei-tuais foram desenvolvidos no Cmap Cloud e entregues no Blackboard e os questionáriosforam desenvolvidos e respondidos no próprio AVA.

5.1 Experimento e resultados (Redes de Computadores)Participaram desse experimento treze alunos do primeiro semestre do Curso noturno

de Redes de Computadores da Universidade Cruzeiro do Sul, todos do sexo masculino.Todo o experimento foi realizado em doze dias, conforme demonstrado no cronograma aseguir.

Tabela 9 – Cronograma para aplicação do modelo proposto.

Qtde Dias Descrição1 Aula sobre Aprendizagem Significativa; como desenvolver um bom

Mapa Conceitual e desenvolvimento do primeiro Mapa.1 Feedback referente ao primeiro Mapa Conceitual desenvolvido; apre-

sentação dos erros encontrados; Avaliação Diagnóstica e previsão doconhecimento.

3 Disponibilização do conteúdo para estudo e desenvolvimento do MapaConceitual Individual.

1 Avaliação do Conhecimento.2 Análise dos dados gerados pelos questionários e pelos Mapas Concei-

tuais.2 Formação dos grupos e desenvolvimento do Mapa Conceitual Cola-

borativo1 Pós-avaliação Metacognitiva e avaliação final.1 Feedback para os alunos do resultado final.

Os dados gerados foram inseridos numa planilha eletrônica para melhor avaliação.Todos os Mapas Conceituais, tanto os desenvolvidos individualmente, quanto os desen-volvidos colaborativamente, foram avaliados, considerando os conceitos utilizados e asProposições construídas.

No Apêndice A, Figura A.1.1, encontra-se um Mapa Conceitual desenvolvidoindividualmente e outro Mapa Conceitual desenvolvido colaborativamente.

Capítulo 5. PROVA DE CONCEITOS E RESULTADOS 73

O domínio de conhecimento escolhido foi em Redes de Computadores, mais espe-cificamente, sobre Protocolos da Camada de Transporte. Esse Curso foi escolhido pelofato de a Disciplina (Tópicos em Redes I) se aproximar das características de um CursoSemi-presencial, ou seja, os alunos têm encontros semanais; no entanto, todo o conteúdo édisponibilizado para estudo num ambiente na Internet e deve ser estudado antecipadamenteàs aulas presenciais.

Todos as atividades, como os questionários e o desenvolvimento do Mapa Conceitual,foram feitas pelos alunos, fora do ambiente da sala de aula. Eles usaram o Blackboard paraas entregas e também para manter a comunicação entre si, quando necessário.

Visto que atualmente, a possibilidade de se comunicar pode ser feita de váriasmaneiras e com certa flexibilidade, não foi obrigatório o uso apenas de ferramentas doBlackboard para os alunos estabelecerem comunicação.

Outra característica para a escolha dessa Disciplina está no fato de o conteúdose apresentar em sua grande maioria em texto e pela grande quantidade de conceitosimportantes envolvidos, que devem servir de base para a continuidade dos alunos no Curso.

A seguir, apresenta-se a aplicação do modelo para Acompanhamento da Aprendiza-gem utilizando Avaliação Diagnóstica, Formativa, Somativa e Colaborativa, pela utilizaçãode questionários e Mapas Conceituais.

5.1.1 Avaliação diagnóstica

Conforme Novak e Gowin (1984), o que quer que os estudantes tenham aprendidoantes, precisa ser usado para alimentar a aprendizagem nova. Tanto os professores, quantoos alunos precisam reconhecer o valor do Conhecimento Prévio para adquirir novosconhecimentos.

Sendo assim, a primeira etapa aplicada do modelo foi uma Avaliação Diagnóstica,com o objetivo de verificar qual o Conhecimento Prévio declarado pelos alunos. O ques-tionário da Figura 11, referente ao domínio de conhecimento proposto, foi aplicado aosalunos de Redes de Computadores.

O questionário é composto de nove questões e os alunos foram orientados a respondercada questão considerando os critérios descritos na Tabela 10. Em resumo, quanto maispróximo do valor cinco, maior o conhecimento declarado no domínio avaliado, e quantomais próximo de zero, menor o conhecimento declarado no domínio avaliado.

5.1.1.1 Análise dos resultados da Avaliação Diagnóstica

Considerando o valor cinco como a máxima pontuação para cada uma das novequestões, observa-se, pela Tabela 11, a média obtida pela declaração feita pelos treze


Figura 11 – Questionário para levantamento do grau de confiança

Tabela 10 – Critérios para responder ao questionário Grau de Confiança do ConhecimentoPrévio

Valor Descrição0 Você considera que não sabe nada sobre o assunto; nunca ouviu falar;

não lembra de nada.1 a 4 Valor intermediário, ou seja, quanto mais próximo de 5, mais você

conhece sobre o tópico, e quanto mais próximo de zero, menos vocêconhece.

5 Você conhece profundamente sobre aquele tópico.

alunos.

As sete primeiras questões ficaram abaixo da metade (2,5) dos pontos possíveis(5,0), principalmente, nas questões 3, 4 e 5, demonstrando baixo Conhecimento Prévio nodomínio proposto.

Analisando a Tabela 11, pode-se concluir baixo Conhecimento Prévio por partedos alunos, no domínio avaliado. Essa conclusão é reforçada pela Tabela 12, na qual édetalhado o Conhecimento Prévio de cada aluno e suas respectivas médias.

Os alunos que relataram o menor Conhecimento Prévio foram os identificadoscomo 1, 5 e 6; o aluno com maior Conhecimento Prévio foi o 8. Os alunos 7 e 11, nãoresponderam as questões e os alunos 4 e 6 deixaram de responder uma das questões.

Com estas informações o professor poderá utilizá-las coma base para avaliar o


Tabela 11 – Média do Grau de Confiança

Ítem Sub domínios Média DesvioPadrão

1 Conheço quais são os protocolos da camada de transporte 2,46 1,002 Propósito da camada de transporte 2,15 0,753 Rastreamento de conversações individuais 1,46 1,214 Segmentação de dados e remontagem de segmentos 1,85 0,945 Identificação dos aplicativos/Serviços sendo executados 1,54 1,476 Multiplexação de conversação 1,92 1,487 Confiabilidade da camada de Transporte 2,15 1,088 As características do Protocolo TCP 2,92 1,089 As características do protocolo UDP 2,85 0,90

Tabela 12 – Análise do Grau de Confiança dos alunos

QuestõesAluno q1 q2 q3 q4 q5 q6 q7 q8 q9 Média1 1 1 1 1 0 1 1 3 2 1,222 2 3 2 2 2 2 3 2 3 2,333 3 3 0 2 0 4 4 4 5 2,774 3 – 2 3 4 2 3 4 4 2,775 2 4 1 1 0 0 2 2 3 1,666 3 2 1 3 1 1 1 2 – 1,557 – – – – – – – – – –8 3 3 4 3 3 5 4 5 5 3,889 5 3 2 1 3 4 3 5 4 3,3310 3 3 1 2 1 1 1 3 3 2,0011 – – – – – – – – – –12 4 3 4 4 4 3 3 4 4 3,6613 3 3 1 2 2 2 3 4 4 2,66

desenvolvimento que os alunos apresentaram durante todo o processo, visto que esse é oprimeiro passo, uma linha base dentro do modelo proposto.

5.1.2 Avaliação Metacognitiva

Conforme descrito na Seção 3.2.1, os alunos foram submetidos a Pré-avaliaçãoMetacognitiva. Para calcular esse índice, sete questões foram elaboradas e apresentadasaos alunos.

Nesta etapa, eles não precisaram responder as questões e sim refletir em que grautinham ou não certeza que conseguiriam respondê-las corretamente. A Tabela 13 apresentaos critérios para responder às questões para Pré-avaliação Metacognitiva.

Tabela 13 – Critérios para responder ao questionário de Pré-avaliação Metacognitiva

Responda se acertaria, não acertaria ou se tem dúvidas se acertaria ou não. Veja os critérios abaixo.Critério DescriçãoSim Acertaria (de 75% a 100% da questão)+ ou - (50% a 74,9% da questão)Não (Menos de 49,9% da questão)


Os critérios definidos acima foram usados para responder sete questões de múltiplaescolha. Uma questão de exemplo é apresentada na Figura 12; portanto, conforme jádescrito, nessa fase o aluno apenas determina em que porcentagem ele acredita queacertaria a questão.

A informação referente a esse questionário permite saber o nível de dificuldadesobre a ótica dos alunos, antes mesmo que respondam efetivamente às questões.

Figura 12 – Exemplo de questão da Pré-avaliação Metacognitiva

Como se pode observar, na Tabela 14, pela porcentagem em relação às questõesapresentadas para Pré-avaliação Metacognitiva, as questões Q4, Q5, Q6 e Q7 têm acimade 50% dos alunos considerando acertar de 75% a 100% (Sim), ou seja, apresentarammaior previsão do conhecimento.

Nas questões Q1, Q2 e Q3, os alunos apresentaram dúvidas, pois 50% ou maisconsideraram, de acordo com os critérios estabelecidos, acertar mais ou menos (+ ou -)essas questões.

Tabela 14 – Análise da Pré-avaliação Metacognitiva

QuestõesCritério Q1 Q2 Q3 Q4 Q5 Q6 Q7Sim 25,00% 16,70% 33,30% 83,00% 66,70% 58,00% 58,30%+ ou - 50,00% 75,00% 50,00% 8,00% 25,00% 42,00% 33,3%Não 25,00% 8,33% 16,70% 8,00% 8,33% 0,00% 8,33%

A Pré-avaliação Metacognitiva se completa após a Avaliação do Conhecimento,pois é possível, com ela, o cálculo das medidas KMA e KMB.

5.1.2.1 Índices KMA e KMB

As medidas Metacognitivas KMA e KMB foram calculadas após a Avaliação doConhecimento, pois, nesta etapa, foi possível obter todos os valores para o cálculo dessasmedidas.


O objetivo, a princípio, foi usar esses índices em conjunto com o resultado do IOC,buscando características nos alunos que oferecessem melhor aprendizado no grupo parao desenvolvimento do Mapa Conceitual Colaborativo. A Tabela 15 apresenta os valorescalculados de KMA e KMB.

Tabela 15 – Análise do Índice KMA e KMB dos alunos

Aluno KMA Descrição KMB Classificação1 0,14 KMA médio -0,14 Aleatório2 0,57 KMA alto 0,00 Aleatório3 0,14 KMA médio 0,00 Aleatório4 0,64 KMA alto -0,07 Aleatório5 0,78 KMA alto 0,07 Aleatório6 ———– ———– ———– ———–7 ———– ———– ———– ———–8 0,21 KMA médio 0,21 Aleatório9 0,78 KMA alto -0,07 Aleatório10 0,36 KMA médio -0,21 Aleatório11 0,28 KMA médio -0,14 Aleatório12 0,14 KMA médio 0,00 Aleatório13 0,57 KMA alto 0,00 Aleatório

Pela Tabela 15 observa-se, de acordo com índice KMB, uma classificação comumentre todos os alunos. A classificação aleatório, conforme descrito na Seção 3.2.1, Tabela5, define que o aprendiz estima o próprio conhecimento ora de maneira otimista, ora demaneira pessimista.

Quando otimista, ele tende a estimar que pode resolver o problema, mas não o fazna maioria das situações. Quando pessimista, ele tende a estimar que não pode resolvero problema mas o faz com sucesso em muitas situações; portanto, os alunos apresentamcaracterísticas de imprecisão na avaliação do seu próprio conhecimento.

Tomando como base o cálculo KMA, os alunos 2, 4, 5, 9 e 13 demonstraram teríndices altos, ou seja, o aprendiz, na maioria das vezes, estima corretamente o o próprioconhecimento. Os outros alunos, identificados como KMA médio, algumas vezes estimamcorretamente o próprio conhecimento, mas, frequentemente, cometem alguns erros médiosou erros grandes na sua estimativa.

Uma análise possível pode ser feita entre o Conhecimento Prévio declarado e a Pré-avaliação Metacognitiva. Em especial, os alunos 8, 9 e 12 declararam Conhecimento Prévioacima da média da pontuação possível para essa avaliação. Na Pré-avaliação Metacognitiva,dentre esses alunos, apenas o aluno 9 apresentou resultado KMA alto, ou seja, o aprendiz,na maioria das vezes, estima corretamente o o próprio conhecimento.

Sendo assim, considera-se o aluno 9 apresentando controle sobre o próprio conheci-mento, demonstrando Conhecimento Prévio acima da média da pontuação estipulada.

Os alunos 8 e 12 declararam Conhecimento Prévio acima da média da pontuação


possível. Na Pré-avaliação Metacognitiva, esses alunos apresentaram KMA médio, ouseja, algumas vezes estimam corretamente o próprio conhecimento, mas, frequentemente,cometem alguns erros médios ou erros grandes na sua estimativa.

Numa análise mais detalhada da Pré-avaliação Metacognitiva desses dois alunos,eles estão mais próximos dos valores de KMA alto do que do KMA baixo, indicandomais acertos que erros na previsão do próprio conhecimento. No entanto, apresentaraminconsistências em suas estimativas, por terem declarado Conhecimento Prévio acimada média em relação à máxima pontuação possível e na Pré-avaliação Metacognitivademonstrarem KMA médio.

É provável que o material de estudo tenha discorrido sobre conceitos que os alunosnão conheciam, ou o material de estudo não foi bem elaborado a ponto de os alunosconstruírem conhecimento necessário ou, como última possibilidade, esses alunos nãoestudaram o suficiente para atingir os propósitos de aprendizagem.

Essas são algumas suposições prévias e, possivelmente, poderão ser mais bemesclarecidas com outros resultados e análises. No entanto, para os propósitos de aprendi-zagem, há sinalização de inconsistência referente ao conhecimento em 54,5% dos alunosparticipantes das medidas KMA.

Na Tabela 15, não há dados de dois alunos (6, 7). Esses alunos deixaram deresponder algum questionário, impossibilitando o cálculo dos índices KMA e KMB.

Portanto, até esta etapa do processo, as seguintes informações referentes a cadaaluno (Tabela 16) podem ser observadas.

Os critérios para definir o Conhecimento Prévio foram os seguintes: os alunosidentificados como 3, 8, 10 e 12 devem ser observados, pois declararam ter ConhecimentoPrévio médio ou bom e, no entanto, na Pré-avaliação Metacognitiva apresentaram dúvidasem relação ao domínio proposto.

5.1.3 Avaliação Mapa Conceitual Individual

Após o estudo do texto e da aplicação do questionário de previsão do conhecimento,os alunos desenvolveram o Mapa Conceitual Individual na ferramenta cmap cloud efoi definido o subdomínio Protocolos da Camada de Transporte do domínio camada detransporte.

Os Mapas Conceituais foram avaliados conforme descrito na Seção 3.2.2 e o Gráfico,demonstrando o índice de organização conceitual para cada aluno é apresentado na Figura13.

O índice de organização conceitual demonstra se o aluno organiza bem os conceitose suas relações, além de indicar se há ligações cruzadas no Mapa Conceitual. O resultado


Tabela 16 – Análise do Conhecimento Prévio e da Pré-Avaliação Metacognitiva dos alunos

Aluno Conhecimentoprévio

Pré-avaliaçãoMetacogni-tiva

Interpretação

1 baixo KMA médio Aluno apresenta dúvidas. Está dentro do espe-rado pelo Conhecimento Prévio declarado.

2 médio KMA alto Estima bem o próprio conhecimento. Há espaçopara desenvolver o próprio conhecimento.

3 médio KMA médio Aluno apresenta dúvidas. Aluno deve ser obser-vado.

4 médio KMA alto Estima bem o próprio conhecimento. Há espaçopara desenvolver o próprio conhecimento.

5 baixo KMA alto Estima bem o próprio conhecimento. Há espaçopara desenvolver o próprio conhecimento.

6 baixo ———– ———–7 ———– ———– ———–8 bom KMA médio Aluno deve ser observado.9 bom KMA alto Estima bem o próprio conhecimento. É possível

desenvolver mais o próprio conhecimento.10 médio KMA médio Aluno deve ser observado.11 ——— KMA médio ————–12 bom KMA médio Aluno deve ser observado.13 médio KMA alto Estima bem o próprio conhecimento. Há espaço

para desenvolver o próprio conhecimento.

Tabela 17 – Critérios do Conhecimento Prévio

Classificação IntervaloÓtimo 4 a 5Bom 3 a 3,9Média 2 a 2,9Baixa 1 a 1,9

desse índice classifica a estrutura conceitual dos alunos como degradada, boa ou se temmelhor estrutura conceitual no subdomínio proposto.

A Figura 13 demonstra, pelo resultado do cálculo do IOC, três alunos com classifi-cação de melhor estrutura conceitual no tema estudado, pois seus índices estão acima de0.

Isso denota, conforme descrito na Seção 3.2.2, a presença de ligações cruzadasnos Mapas Conceituais, caracterizando maior criatividade e aprofundamento no assunto,segundo a definição de Reconciliação Integrativa.

Dois alunos apresentaram Mapas Conceituais considerados com boa estruturaconceitual e os outros oito alunos apresentaram uma degradação da organização conceitual.

A Tabela 18 apresenta a situação dos alunos conforme classificação.

Os resultados da Tabela 18 demonstram 61,54% dos alunos apresentando classi-ficação de degradação da organização conceitual e apenas 23,08% apresentando melhorestrutura conceitual do domínio proposto, tendo declarado Conhecimento Prévio abaixo


Figura 13 – Gráfico dos resultados IOC

Tabela 18 – Análise do Índice de Organização Conceitual dos alunos

Classificação Intervalo PorcentagemMelhor Compreensão IOC >=0 23,08%Boa estrutura conceitual -1 < IOC <= -0.5 15,38%Degradação da organiza-ção conceitual

IOC < -1 61,54%

da metade dos pontos possíveis; porém, apresentado Mapa Conceitual classificado comomelhor estrutura conceitual, mesmo que não tenha representado todos os conceitos rele-vantes no domínio proposto, aparenta ser um bom resultado para as etapas futuras. Essacaracterística indica um aluno com pouco conhecimento inicial; porém, após o estudo dotema, estruturou bem, ao menos, os conceitos apresentados em seus Mapas Conceituais.

Numa análise mais apurada, entre o grau de confiança e o índice de organizaçãoconceitual, os alunos 3, 5 e 9 apresentaram classificação do IOC como melhor estruturaconceitual. No grau de confiança, os alunos 3 e 5 declararam Conhecimento Prévio umpouco abaixo da metade da pontuação máxima, e o aluno 9 declarou ter conhecimentoacima da metade da máxima pontuação.

O aluno 9 declarou Conhecimento Prévio acima da metade dos pontos possíveis edemonstrou melhor estrutura conceitual pela análise do Mapa Conceitual. Pelas avaliaçõese análises, até esta etapa do processo, pode-se considerar esse aluno consciente do próprioconhecimento e com potencial para desenvolvê-lo.

Os alunos 7 e 10 apresentaram classificação do IOC como boa estrutura na análisedo grau de confiança, o aluno 10 declarou ter conhecimento abaixo da metade da pontuação


máxima e o aluno 7 não respondeu às questões referentes ao grau de confiança.

O aluno 12 declarou grau de confiança acima da média e sua classificação, de acordocom o cálculo de organização conceitual, ficou em degradação da organização conceitual.

Esse aluno não demonstrou ter usado esse conhecimento declarado no desenvol-vimento do Mapa Conceitual. Recorrendo-se a pré-avaliação Metacognitiva, observa-seno KMA um aluno demonstrando inconsistências na avaliação do próprio conhecimento;consequentemente, pode ser esse o motivo de uma classificação de degradação da estruturaconceitual.

A Tabela 19, apresenta de forma resumida, uma avaliação até esta etapa do processo.

Tabela 19 – Análise geral.

Aluno Conheci-mentoprévio


IOC Interpretação

1 baixo KMA médio Degradação Após estudo, comprovam-se pelo IOC problemasconceituais.

2 médio KMA alto Degradação Não apresentou no Mapa Conceitual o conheci-mento declarado.

3 médio KMA médio Melhorestruturaconceitual

Após estudo, o aluno demonstra nível de apro-fundamento no domínio proposto.

4 médio KMA alto Degradação Não apresentou no Mapa Conceitual o conheci-mento declarado.

5 baixo KMA alto Melhorestruturaconceitual

Após estudo, houve desenvolvimento da apren-dizagem.

6 baixo ———– Degradação ———–7 ———– ———– Boa estru-

tura———–

8 bom KMA médio Degradação Não apresentou, no Mapa Conceitual, o conhe-cimento declarado.

9 bom KMA alto Melhorestruturaconceitual

Após estudo, o aluno demonstra nível de apro-fundamento no domínio proposto.

10 médio KMA médio Boa estru-tura

Demonstrou pelo Mapa Conceitual o conheci-mento declarado.

11 ——— KMA médio Degradação ————–12 bom KMA médio Degradação Não apresentou, no Mapa Conceitual, o conhe-

cimento declarado.13 médio KMA alto Degradação Não apresentou, no Mapa Conceitual, o conhe-

cimento declarado.

5.1.4 Avaliação do Índice do Mapa Conceitual Individual - IMCI

O índice do Mapa Conceitual Individual, conforme descrito na Seção 3.2.3, forneceresultado para avaliar o quanto o aluno se aproximou do objetivo de aprendizagem proposta.Nesse cálculo, o Mapa Conceitual desenvolvido por um Especialista é usado como referência.A Figura 14 apresenta o Gráfico referente ao IMCI.


Figura 14 – Gráfico Índice do Mapa Conceitual Individual

Apresentar um Mapa Conceitual utilizando Proposições com afirmações significati-vas, em tese, supõe o entendimento do conteúdo estudado; o contrário, ou seja, apresentarum Mapa Conceitual com inconsistências em suas Proposições, propõe, em tese, problemasno entendimento do conteúdo estudado.

O ponto 14, apresentado no Gráfico 14 é o ponto calculado do Mapa Conceitualdo Especialista; portanto, esse ponto é tomado como referência para verificar o quanto oaluno se aproximou em relação aos objetivos propostos na atividade; quanto mais próximodesse valor, mais o aluno conseguiu se aproximar dos objetivos propostos da aprendizagem.

Assim, como pode ser observado no Gráfico 14, o aluno 10 foi o que mais seaproximou do objetivo proposto, pois apresentou em seu Mapa Conceitual os principaisconceitos envolvidos e Proposições com afirmações significativas. Os alunos 2, 4, 6 e 11apresentaram resultados bem abaixo do objetivo esperado.

Ao avaliar o índice do Mapa Conceitual Individual (IMCI) e compará-lo à avaliação,conforme o Gráfico 15, dois pontos merecem atenção; o primeiro refere-se ao aluno 2 que,embora tenha obtido boa nota na avaliação, apresentou índice baixo no IMCI.

Esperava-se que o aluno 2 não apresentasse um bom resultado na Avaliação doConhecimento, pois há Proposições inconsistentes no Mapa Conceitual desse aluno. Noentanto, ele apresentou o resultado da Avaliação do Conhecimento acima da média (0,6)para essa Disciplina.

Ao observar o resultado do IOC para o aluno 2, verifica-se um aluno com degradaçãoda estrutura conceitual; porém, ele declarou ter Conhecimento Prévio e o resultado daPré-avaliação Metacognitiva indicou KMA alto e KMB aleatório.


Não se pode afirmar, pois uma pesquisa mais aprofundada deveria ser feita paradescrever a característica do aluno 2; porém, apresentar uma classificação como aleató-rios na medida KMB (Desvio na Monitoração do Conhecimento) talvez justificasse asinconsistências apresentadas no desenvolvimento do Mapa Conceitual.

O segundo ponto a observar refere-se ao aluno 8, que apresentou IMCI (0,53) maispróximo da média (0,6) da Disciplina; porém, obteve nota baixa na avaliação. Esperava-sedesse aluno um bom resultado na Avaliação do Conhecimento.

Nos resultados das outras avaliações, o aluno 8 declarou bom Conhecimento Prévioe na Pré-avaliação Metacognitiva apresentou KMA médio e KMB aleatório. No índiceIOC, foi classificado como degradação da estrutura conceitual.

Não se pode afirmar, pois estudos mais aprofundados devem ser feitos para avaliar acaracterística desse aluno; porém, uma das hipóteses para uma Avaliação do Conhecimentobaixa seria as inconsistências na estruturação dos conceitos.

Figura 15 – Gráfico de Comparação entre Índice do Mapa Conceitual Individual e Avaliação

Há de se observar nesse experimento, que o índice do Mapa Conceitual Indivi-dual (IMCI) apresentado pelo aluno 10 foi o maior índice apresentado entre os alunosparticipantes; consequentemente, esse aluno obteve o melhor resultado na Avaliação doConhecimento entre todos os alunos.

Numa análise mais geral, apenas um aluno apresentou IMCI acima da média (0,6)dessa Disciplina. Na Avaliação do Conhecimento, dois alunos ficaram acima da média;portanto, há de se considerar uma atividade para propiciar a evolução da aprendizagemdesses alunos.

A Tabela 21 apresenta, de forma resumida, algumas das possíveis conclusõesapresentadas até esta etapa do processo.


Tabela 20 – Análise geral



IOC IMCI Interpretação

1 baixo KMA médio degradação 0.30 Comprovam-se pelo IOC problemasconceituais.

2 médio KMA alto degradação 0,04 Não apresentou no Mapa Conceitualo conhecimento declarado.

3 médio KMA médio MelhorEstruturaconceitual

0,38 Tem capacidade para desenvolvi-mento da aprendizagem.

4 médio KMA alto degradação 0,06 Comprova-se que não apresentou noMapa Conceitual o conhecimento de-clarado.

5 baixo KMA alto MelhorEstruturaconceitual

0,57 Comprova-se que após estudo houvedesenvolvimento da aprendizagem.

6 baixo ———– degradação -0,03 ———–7 ———– ———– Boa estru-

tura0,27 ———–

8 bom KMA médio degradação 0,53 Demonstrou problemas conceituais;porém, possui conhecimento médioconforme declarado.

9 bom KMA alto MelhorEstruturaconceitual

0,39 Demonstra segurança no próprio co-nhecimento; porém, não alcançou ospropósitos de conhecimento exigido.


0,61 Demonstrou, pelo Mapa Conceitual,o conhecimento declarado.

11 ——— KMA médio degradação 0,06 ————–12 bom KMA médio degradação 0,25 Comprovam-se e pelo IOC e IMCI

problemas conceituais.13 médio KMA alto degradação 0,51 Demonstrou problemas conceituais;

porém, possui conhecimento médio,conforme declarado.

5.1.5 Avaliação do Conhecimento

Após a etapa do desenvolvimento do Mapa Conceitual, os alunos foram submeti-dos a uma Avaliação do Conhecimento, objetivando acompanhar o desenvolvimento daaprendizagem.

Esta avaliação é composta de sete questões de múltipla escolha. As questões são asmesmas utilizadas na previsão do conhecimento; porém, os alunos devem, efetivamente,respondê-las. A Figura 16 apresenta os resultados da Avaliação do Conhecimento para ostreze alunos.

Esta avaliação é o último instrumento da primeira etapa do modelo. Com ela,é possível avaliar, utilizando uma das formas tradicionais de avaliações, a evolução doconhecimento do aluno.

Pelas etapas já passadas, alguns resultados puderam ser obtidos e analisadospara obter a evolução da aprendizagem. Pelos resultados dessa avaliação, dois alunos


Figura 16 – Gráfico da Avaliação do Conhecimento

apresentaram o resultado acima da média (0,6) da Disciplina.

Comparando a Avaliação do Conhecimento com o IMCI, como feito na Seção 5.1.4,é possível concluir que os alunos devem evoluir o aprendizado para alcançar os objetivos dotema estudado. Essa conclusão se dá tanto pela estrutura conceitual, quanto pela Avaliaçãodo Conhecimento apresentada por eles.

Embora tenha sido solicitado aos alunos que não consultassem o material para arealização da Avaliação do Conhecimento, há de se considerar que esta é uma variáveldifícil de controlar, pois não houve restrições no ambiente virtual que bloqueasse ou quecontrolasse está variável.

5.1.6 Formação dos grupos para elaboração do Mapa Conceitual Colaborativo

Para verificar qual a melhor disposição de características entre os alunos na formaçãodos grupos, com o objetivo de aumentar a possibilidade de conflito e proporcionar umambiente no qual o resultado fosse o desenvolvimento da aprendizagem, optou-se pormesclar os alunos, usando o resultado do IOC. A Tabela 22 apresenta a formação dessesgrupos conforme IOC.

O grupo 5 foi formado por quatro alunos; um deles apresentou resultado do IOC eos outros três não fizeram o Mapa Conceitual Individual ou uma outra atividade que foiproposta no modelo. Esses alunos, pelo comportamento apresentado, foram consideradosdescompromissados com as atividades propostas.

5.1.7 Avaliação do Mapa Conceitual Colaborativo

Para a divulgação dos grupos, foi utilizado o ambiente AVA - Blackboard e foisolicitado que se comunicassem e iniciassem o desenvolvimento do Mapa Conceitual sobre





IOC IMCI AC Interpretação

1 baixo KMA médio Degradação 0.30 0,29 Não alcançou os propósitosde aprendizagem.

2 médio KMA alto Degradação 0,04 0,71 Há indícios de problemasao ser exigido esforço men-tal (Teoria da Carga Cog-nitiva).

3 médio KMA médio Melhorestruturaconceitual

0,38 0,43 Não alcançou os propósitosde aprendizagem.

4 médio KMA alto Degradação 0,06 0,29 Não alcançou os propósitosde aprendizagem.

5 baixo KMA alto Melhorestruturaconceitual

0,57 0,57 Comprova-se que após es-tudo houve desenvolvi-mento da aprendizagem. Épossível evoluir mais.

6 baixo ———– Degradação -0,03 0,29 Não alcançou os propósitosde aprendizagem.

7 ———– ———– Boa estru-tura

0,27 0,43 Não alcançou os propósitosde aprendizagem.

8 bom KMA médio Degradação 0,53 0,14 É possível que as inconsis-tências em Proposições te-nham influenciado na Ava-liação do Conhecimento.

9 bom KMA alto Melhorestruturaconceitual

0,39 0,43 Demonstra segurança nopróprio conhecimento; po-rém, não alcançou os pro-pósitos de conhecimentoexigido.


0,61 0,86 Demonstrou o conheci-mento declarado.

11 ——— KMA médio Degradação 0,06 0,29 Não alcançou os propósitosde aprendizagem.

12 bom KMA médio Degradação 0,25 0,43 Não demonstrou o conhe-cimento declarado nas ava-liações.

13 médio KMA alto Degradação 0,51 0,43 Demonstrou problemasconceituais; porém, possuiconhecimento médioconforme declarado.

Tabela 22 – Formação dos grupos conforme IOC

Formação em relação ao índice IOCGrupo Degradação da

Estrutura Concei-tual

Boa EstruturaConceitual

Melhor EstruturaConceitual

Descompromissa-dos

1 2 alunos 1 aluno ———– ———–2 2 alunos ———– 1 aluno ———–3 3 alunos ———– ———– ———–4 1 aluno ———– 2 alunos ———–5 1 aluno ———— 3 alunos


o tema focal. Cada aluno já havia desenvolvido um Mapa Conceitual Individual e, emteoria, representou as relações que considerou corretas sobre o tema.

A possibilidade de discutir sobre o Mapa Conceitual permite que os alunos ex-ponham o que entenderam e o corrija, se necessário. Nesta etapa, espera-se um MapaConceitual mais completo.

A seguir, na Figura 17, apresenta-se o índice do Mapa Conceitual desenvolvidocolaborativamente.

Figura 17 – Gráfico Índice do Mapa Conceitual Colaborativo

A Figura 17 apresenta no eixo x o número equivalente ao grupo formado e no eixo y ovalor da nota referente ao cálculo do IMCCE. Pode-se verificar que os índices colaborativoscalculados estão bem melhores que os índices individualmente calculados, exceção feitapara o grupo cinco, em que um dos integrantes obteve índice individual com classificaçãode degradação conceitual e outros três alunos foram considerados descompromissados.

Três grupos apresentaram índices acima da média (0,6) considerada para aprovaçãoda Disciplina. Esses três grupos apresentaram Mapas Conceituais com Proposições maissignificativas e, tomando como referência o Mapa Conceitual do Especialista, obtiverammelhores resultados em relação aos Mapas Conceituais Individuais. Um grupo (3) ficouabaixo da média (0,6).

Pelo experimento feito, o grupo que apresentou melhor formação, ou seja, aqueleque chegou mais próximo do objetivo proposto, foi o grupo um. A formação desse grupofoi composta por dois alunos com degradação da estrutura conceitual e um aluno com boaestrutura conceitual.

O segundo grupo que se aproximou do objetivo tinha dois integrantes com classifi-cação de degradação da estrutura conceitual e um aluno considerado com melhor estruturaconceitual.


O grupo que foi formado com os três alunos com classificação de degradação daestrutura conceitual obteve índice abaixo da média.

Pelas informações fornecidas e avaliadas, não é possível afirmar que um grupoformado com dois alunos classificados como degradação da estrutura conceitual mais outroaluno com outra classificação qualquer seria o melhor deles, embora nesse experimentotenha se mostrado tendência.

Pela quantidade de grupos formados e somente com um experimento desse tipoefetuado, não é possível validar esta tendência.

5.1.8 Pós-Avaliação Metacognitiva

Na Pós-avaliação Metacognitiva os alunos devem avaliar uma solução dada; nessecaso, foi apresentado o Mapa Conceitual do Especialista, e realizada a comparação com oMapa Conceitual desenvolvido pelo grupo.

Foi solicitado que cada aluno respondesse se o Mapa Conceitual desenvolvidocolaborativamente devia ou não ser adequado em função do Mapa do Especialista.

O objetivo dessa etapa é verificar em que medida o aprendiz, diante de uma soluçãomais adequada, é capaz de relacioná-la à solução do grupo e estimar o seu desempenho. AFigura 18 apresenta o questionário que foi usado pelos alunos na comparação dos MapasConceituais.

Figura 18 – Critérios para responder ao questionário de comparação dos Mapas Conceituais

A avaliação feita pelos alunos encontra-se na Tabela 23. Seis alunos consideraramnão alterar o Mapa Conceitual desenvolvido pelo grupo; porém, o índice calculado para oMapa Conceitual Colaborativo, conforme Tabela 25, indica que nenhum grupo atingiutotalmente os objetivos propostos relacionados ao subdomínio avaliado.


Embora, conforme já citado, tenha havido melhora no Mapa Conceitual desenvolvidoem grupo em relação ao Mapa Conceitual desenvolvido individualmente e, consequente-mente, um aumento na evolução da aprendizagem, não foram demonstrados, pelo menospelos Mapas Conceituais Individuais e Colaborativos, todos os conceitos consideradosrelevantes.

Tabela 23 – Comparação entre o Mapa Conceitual Colaborativo e o Mapa Conceitual doEspecialista

Aluno Avaliação1 22 13 14 05 26 07 08 –9 110 111 012 013 0

Numa avaliação mais detalhada por grupo, conforme Tabela 24, observa-se quehá divergências entre os próprios componentes dos grupos ao avaliar o Mapa ConceitualColaborativo com o Mapa Conceitual do Especialista. Os asteriscos ao lado dos númerosna Tabela, indicam os alunos que estimaram de forma correta o seu desempenho, nodesenvolvimento do Mapa Conceitual Colaborativo, de acordo com a avaliação feita peloprofessor.

Tabela 24 – Avaliações e índices dos Mapas individuais e Colaborativos

Critérios Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 50 - Não alteraria o Mapa Con-ceitual Colaborativo

1 1 2 1 1

1 - Alteraria em até 25% o MapaConceitual Colaborativo

1 * 1 * 1 2 * 2

2 - Alteraria o Mapa Colabora-tivo em até 50%

1 – – – 1

3 - Alteraria o Mapa Colabora-tivo em até 75%

– – – – –

4 - Alteraria o Mapa Colabora-tivo em 100%

– – – – –

O grupo um, composto por três alunos, foi o grupo que apresentou melhor índicedo Mapa Conceitual Colaborativo e, mesmo assim, um dos alunos indicou que alterariao Mapa Conceitual em até 50%, e outro aluno considerou que não alteraria o MapaConceitual Colaborativo.


Pelo índice IMCCE apresentado e pela avaliação do Mapa Conceitual Colaborativo,considera-se que a melhor alternativa seria alterar o Mapa Conceitual Colaborativo ematé 25%; um aluno considerou essa hipótese na resposta dada.

No grupo dois, também composto por três alunos, dois responderam ao questionário;um deles respondeu que não alteraria o Mapa Conceitual e o outro alteraria em até 25%.Analisando o índice IMCCE calculado e pela Avaliação do Mapa Conceitual Colaborativopara esse grupo, observa-se que o mais adequado seria alterar em até 25% o MapaConceitual; portanto, um aluno considerou que faria a alteração correta conforme avaliaçãodo Especialista.

No grupo três, observa-se a maior discrepância em relação aos outros grupos, poisdois alunos não alterariam o Mapa Conceitual e um alteraria em até 25%.

No entanto, se for descartado o grupo cinco, que apresentou baixo comprometimentonas atividades propostas, o grupo três foi o que apresentou menor nota no índice do MapaConceitual Colaborativo. De acordo com o índice IMCCE e pela Avaliação do MapaConceitual Colaborativo, ficaria mais adequado que seus integrantes se posicionassem comuma alteração em até 50%.

O quarto grupo foi mais coerente nas respostas, pois dois alunos consideraram quealterariam em até 25% o Mapa Colaborativo e um deles não alteraria o Mapa ConceitualColaborativo. Avaliando o índice e o Mapa Conceitual Colaborativo, alterar em até 25%seria mais adequado para esse grupo.

Por fim, no último grupo, o grupo cinco, por ser composto por alunos descompro-missados, apenas um integrante considerou que alteraria em até 50% o Mapa Conceitual.O índice do Mapa Conceitual Colaborativo apresentado por esse grupo foi muito baixo, aconsiderar que o Mapa Conceitual deveria ser alterado em até 75%.

Pelos resultados obtidos, observam-se apenas quatro alunos estimando sua soluçãode forma adequada, ou seja, com consciência sobre a necessidade de alterações nos MapasConceituais desenvolvidos colaborativamente. Nove alunos não foram capazes de avaliar anecessidade de alterações em seus Mapas Conceituais Colaborativos.

Quando o aluno não avalia de forma adequada a sua solução, ele demonstra não terconsciência sobre as inconsistências apresentadas no desenvolvimento do Mapa Conceitual;consequentemente, esses alunos terão maior dificuldade na evolução da aprendizagem.

Numa análise mais genérica, todos os Mapas Conceituais desenvolvidos colabo-rativamente, embora tenham apresentado melhorias expressivas em relação aos MapasConceituais Individuais, precisariam de alterações para atingir cem por cento dos objetivospropostos; porém, não será sempre possível chegar a cem por cento dos objetivos propostoscada um irá atingir um nível que deverá ser considerado satisfatório ou não satisfatório.


5.1.9 Desempenho da Avaliação após Mapa Conceitual Colaborativo

Depois do desenvolvimento do Mapa Conceitual Colaborativo, os alunos foramsubmetidos a mais um teste para avaliar a evolução da aprendizagem. A Tabela 25 apresentainformações da avaliação final e da classificação dos Mapas Conceituais desenvolvidoscolaborativa e individualmente para cada aluno.

Tabela 25 – Avaliações e Índices dos Mapas Individuais e Colaborativos

Aluno Primeiraavaliação

IMCI Segundaavaliação

IMCCE

1 2 0,30 7 0,712 5 0,04 6 0,403 3 0,38 7 0,634 2 0,06 5 0,405 4 0,57 —– 0,696 2 -0,03 4 0,717 3 0,27 3 -0,108 1 0,53 2 0,699 3 0,39 7 0,6310 5 0,61 6 0,7111 2 0,06 ———— 0,4012 3 0,25 6 0,6313 3 0,50 7 0,69

O aluno 7, conforme pode ser visto na Tabela 25, não conseguiu melhorar o resultadona Avaliação do Conhecimento e também no índice do Mapa Conceitual Colaborativo.Todos os outros alunos conseguiram evoluir após o desenvolvimento do Mapa ConceitualColaborativo.

Durante a aplicação do modelo, o aluno 7 não participou de algumas avaliações,como Conhecimento Prévio e Pré-avaliação Metacognitiva. Esse aluno formou grupo comoutros alunos considerados descompromissados. É provável não ter evoluído na aprendiza-gem por apresentar um Mapa Conceitual Colaborativo com Proposições incoerentes.

Os alunos 5 e 11, conforme pode ser visto na Tabela 25, não fizeram a avaliaçãoapós o desenvolvimento do Mapa Conceitual Colaborativo.

No geral, é possível observar índices maiores nos Mapas Conceituais Colaborativosem relação aos Mapas Conceituais desenvolvidos individualmente.

5.2 Estudo de Caso e resultados (Programação de Computadores)Este Estudo de Caso adotou o modelo quasi-experimental, pois não usa a distri-

buição aleatória para os grupos. Ele foi aplicado aos alunos que cursaram a Disciplinade Programação de Computadores do Curso de Ciência da Computação da UniversidadeCruzeiro do Sul. Participaram desse Estudo de Caso 47 alunos, sendo oito do sexo femininoe trinta e nove do sexo masculino. As idades variavam entre 17 e 26 anos.


Os alunos foram separados em grupo de controle e grupo experimental, em que23 alunos fizeram parte do grupo de controle e 24 alunos foram agrupados num grupoexperimental.

O grupo de controle seguiu o modelo de aprendizagem tradicional, ou seja, osalunos estudaram o mesmo texto disponível para o grupo experimental, aplicaram osconceitos em exercícios e, por fim, foi aplicada a mesma Avaliação do Conhecimento feitapara o grupo experimental, com o objetivo de avaliar a evolução da aprendizagem deles.

Para o grupo experimental, foram aplicados todos os processos para levantamentode medidas e índices, incluindo o desenvolvimento do Mapa Conceitual, além da aplicaçãodas avaliações. Tanto para o grupo experimental, como para o grupo de controle, o estudode caso foi aplicado em quatorze dias, conforme demonstrado na Tabela 26.

Tabela 26 – Cronograma para aplicação do modelo proposto

Qtde Dias Descrição1 Aula sobre Aprendizagem Significativa, como desenvolver um bom

Mapa Conceitual e desenvolvimento do primeiro Mapa.2 Feedback referente ao primeiro Mapa Conceitual desenvolvido, apre-

sentação dos erros encontrados; Avaliação Diagnóstica e Previsão doConhecimento.

3 Disponibilização do conteúdo para estudo e desenvolvimento do MapaConceitual Individual.

1 Avaliação do Conhecimento.3 Análise dos dados gerados pelos questionários e pelos Mapas Concei-

tuais.2 Formação dos grupos e desenvolvimento do Mapa Conceitual Cola-

borativo.1 Pós-Avaliação Metacognitiva e Avaliação Final.1 Feedback para os alunos do resultado final

O tema definido para levantamento dos índices necessários para a classificação dosalunos foi Tipo de Dados da Linguagem Java. Foi disponibilizado para os alunos um textocontendo a descrição de todos os Tipos de Dados definidos na Linguagem.

Para esse estudo de caso, foi disponibilizada aos alunos uma série de conceitos parao desenvolvimento do Mapa Conceitual; portanto, o aluno usou os conceitos consideradossignificativos para construir as Proposições que julgou corretas sobre o tema focal.

5.2.1 Avaliação Diagnóstica

Para avaliar a evolução do aluno durante e após o processo de aprendizagem, éimportante saber qual seu nível de conhecimento; portanto, antes mesmo de apresentar otexto para estudo, foi solicitado ao aluno que avaliasse as questões apresentadas na Figura19.

Cada questão para levantamento do Conhecimento Prévio tinha pontuação nointervalo de 0 a 5. Ao escolher a pontuação 0 (zero), o aluno declarava não ter conhecimento


sobre o tema relacionado à questão; ao escolher os valores próximos de 0 (zero), o alunodeclarava ter pouco conhecimento; os valores mais próximos de 5 indicam ConhecimentoPrévio. O questionário completo consta na Seção B.1 do Apêndice.

Figura 19 – Questões para levantamento do Conhecimento Prévio

Conforme pode ser observado na Tabela 27, três alunos (11, 19 e 23) declararamter bom conhecimento sobre o tema proposto, pois alcançaram pontuação total próximados 50 pontos possíveis; outros dois (16 e 21) ficaram acima da média e os outros 19 alunosficaram abaixo da média.

Portanto, de acordo com as declarações obtidas pelo questionário sobre Conheci-mento Prévio, 79% dos alunos não tinham domínio do conhecimento e somente 3 declararamter domínio sobre o tema proposto. Numa análise mais individual, observam-se diferençassignificativas, pois enquanto há aluno, praticamente, sem nenhum Conhecimento Prévio,há também alunos que declararam ótimo conhecimento.

Essa característica, a princípio, é interessante para o acompanhamento da evoluçãoda aprendizagem ou a manutenção dela durante todo o processo de avaliação; portanto,esse tipo de questionário demonstra ser uma boa opção para a configuração inicial doperfil do aluno.

Antes de continuar no processo de avaliação, todos os 24 alunos foram informados,por meio do próprio Ambiente Virtual de Aprendizagem, sobre o próprio ConhecimentoPrévio. Esse feedback foi elaborado pelo professor em forma de texto, de acordo com oresultado declarado pelo aluno.


Tabela 27 – Conhecimento Prévio.

Alunos Pontos Alunos Pontos1 7 13 72 15 14 93 21 15 174 8 16 365 17 17 166 1 18 47 9 19 448 13 20 239 11 21 3010 17 22 811 45 23 4512 13 24 14

A Tabela 28 apresenta os detalhes sobre o conhecimento declarado para cadaquestão. Observa-se nas questões 1 (Entendo o conceito sobre tipo de dados) e 4 (Consigodiferenciar quando devo usar o tipo de dados para armazenar caracteres) conhecimentodeclarado acima da média. O contrário observa-se na questão 9 (Entendo quando devousar um determinado sufixo em Java) em que foi declarada dificuldade nesse conceito.

Tabela 28 – Média e Desvio Padrão por questão

Questões 1 2 3 4 5 6 7 8 9 10Média 3,08 1,12 1,33 2,83 1,79 1,54 2,25 1,71 0,91 1,75Desvio pa-drão

1,66 1,57 1,60 2,06 2,00 1,59 1,80 1,92 1,66 1,75

Após responder o questionário para levantamento do Conhecimento Prévio, foidisponibilizado para os alunos um texto contendo a descrição de todos os “tipos de dados”definidos na linguagem java bem como suas aplicações e diferenças.

O texto base para estudo refere-se às páginas 44 a 47 do livro de Cornell e Horstmann(2005). A página 47 descreve os últimos conceitos sobre tipo de dados e inicia o assuntosobre variáveis. Aos alunos, foi solicitado o estudo somente sobre tipo de dados.

5.2.2 Avaliação Metacognitiva

A Avaliação Metacognitiva, conforme já descrito na Seção 3.2.1, utiliza as medidasKMA e KMB. Essa avaliação possibilita que o aluno monitore o conhecimento que temsobre o quanto sabe. Essa avaliação se inicia após o estudo do texto e finaliza após aAvaliação da Aprendizagem.

Para cálculos dos índices KMA e KMB, solicitou-se aos alunos que refletissem, pormeio do questionário da Figura 21, sobre os conhecimentos necessários para a solução dasquestões apresentadas.


Nessa avaliação, o aluno deve fazer a previsão do desempenho. Ele não respondediretamente à questão, mas sim avalia cada uma, dando a porcentagem, conforme Figura20, de quanto ele acredita que acertaria da resposta.

Figura 20 – Questionário de previsão do conhecimento

A Tabela 29 apresenta os resultados para os 24 alunos que participaram desseestudo de caso. Os resultados foram calculados conforme já descrito na Seção 3.2.1.

Tabela 29 – Análise do Índice KMA e KMB dos alunos

Aluno KMA Descrição KMB Classificação1 0,10 KMA médio 0,10 Aleatório2 0,90 KMA alto -0,03 KMA alto3 -0,10 KMA médio 0,23 Aleatório4 -0,46 KMA baixo -0,13 Aleatório5 0,60 KMA alto -0,20 KMA alto6 -0,13 KMA médio -0,13 Aleatório7 0,43 KMA médio -0,10 Aleatório8 0,70 KMA alto -0,10 KMA alto9 0,16 KMA médio 0,03 Aleatório10 0,30 KMA médio -0,10 Aleatório11 0,73 KMA alto 0,13 KMA alto12 -0,53 KMA baixo 0,40 Otimista13 0,00 KMA médio 0,06 Aleatório14 0,00 KMA médio 0,13 Aleatório15 -0,23 KMA médio 0,43 Otimista16 0,16 KMA médio 0,30 Otimista17 -0,40 KMA baixo 0,40 Otimista18 0,53 KMA alto -0,13 KMA alto19 0,16 KMA médio 0,30 Otimista20 -0,36 KMA baixo 0,43 Otimista21 0,03 KMA médio -0,23 Aleatório22 -0,40 KMA baixo -0,66 Pessimista23 0,13 KMA médio 0,20 Aleatório24 -0,66 KMA baixo 0,53 Otimista

Numa análise geral, observa-se a classificação de KMA alto para cinco alunos(20,8%). Pela definição, esses cinco alunos (2, 5, 8, 11 e 18), na maioria das vezes, estimamcorretamente o próprio conhecimento.

Outros treze alunos tiveram resultados do KMA classificados como KMA médio,ou seja, eles, algumas vezes, estimam corretamente o conhecimento, mas frequentemente


cometem erros médios ou erros grandes na sua estimativa. Pelos resultados, seis alunosdemonstraram não estimar corretamente o próprio conhecimento.

Uma das análises possíveis está no levantamento Prévio e na Pré-avaliação Me-tacognitiva. Em especial, o aluno 11, que declarou no questionário sobre levantamentoPrévio ter conhecimento sobre o tema proposto.

A interpretação da medida KMA indica que o aluno 11 estima corretamente opróprio conhecimento na maioria das situações. A classificação da medida KMB o descrevecomo realista, ou seja, ele faz uma estimativa precisa do próprio conhecimento.

O aluno 19 declarou ter Conhecimento Prévio sobre o tema. O cálculo da medidaKMA para esse aluno indicou que, algumas vezes, ele estima corretamente o próprioconhecimento, mas, frequentemente, comete alguns erros médios ou grandes. Pelo índiceKMB ele foi classificado como otimista, pois estima que pode resolver, mas não o faz namaioria das vezes.

Enquanto o aluno 11 declarou ter conhecimento no assunto e o provou pela Pré-avaliação Metacognitiva, o aluno 19 demonstrou, pela medida KMA e KMB, não terconhecimento, como declarado, mesmo após o estudo do texto.

Figura 21 – Questões para cálculo do índice KMA

O Aluno 6 declarou não ter Conhecimento Prévio. O cálculo da medida KMA para


esse aluno indicou que, algumas vezes, ele estima corretamente o próprio conhecimento, masfrequentemente comete alguns erros médios ou grandes. Na medida KMB, foi classificadocomo aleatório, ou seja, ora é otimista, ora é pessimista (ver Tabela 6 na Seção 3.2.1).

Conforme o Conhecimento Prévio declarado e as medidas KMA e KMB, o aluno6 demonstrou resultados mais coerentes em relação ao aluno 19, pois declarou não terConhecimento Prévio e, mesmo após o estudo do texto, ainda demonstrou, pelos resultadosde KMA e KMB, dúvidas sobre o tema estudado.

Em resumo, apenas 5 dos alunos frequentemente estimam de forma correta opróprio conhecimento; todos os outros apresentam dificuldades em suas estimativas. Essacaracterística já indica possíveis problemas nas próximas etapas do processo.

A Tabela 30 apresenta uma possível avaliação feita até esta etapa. A Tabela 31apresenta o critério para o Conhecimento Prévio.

Tabela 30 – Análise do Conhecimento Prévio e Pré-avaliação Metacognitiva dos alunos



Interpretação

1 baixo KMA médio Aluno apresenta dúvidas. Está dentrodo esperado pelo Conhecimento Préviodeclarado.

2 baixo KMA alto Estima bem o próprio conhecimento. Háespaço para desenvolver o aprendizado.

3 médio KMA médio Aluno apresenta dúvidas. Aluno deve serobservado.

4 baixo KMA baixo Não estima bem o próprio conhecimento.Há espaço para desenvolvê-lo.

5 baixo KMA alto Estima bem o próprio conhecimento. Háespaço para desenvolver o próprio conhe-cimento.



8 baixo KMA alto Estima bem o próprio conhecimento. Háespaço para desenvolver o aprendizado.




11 Ótimo KMA alto Demonstrou ter conhecimento.12 baixo KMA baixo Não estima bem o próprio conhecimento.

Há espaço para desenvolvê-lo.13 baixo KMA médio Aluno apresenta dúvidas. Está dentro

do esperado pelo Conhecimento Préviodeclarado.



16 bom KMA médio Há dúvidas; porém, declarou bom conhe-cimento. Aluno merece observação.



19 Ótimo KMA médio Declarou conhecimento; porém, demos-trou dúvidas. Merece ser observado.

20 médio KMA baixo Não estima bem o próprio conhecimento.Merece ser observado.

21 bom KMA médio Há dúvidas; porém, declarou bom conhe-cimento. Aluno merece observação.


23 Ótimo KMA médio Há dúvidas; porém, declarou bom conhe-cimento. Aluno merece observação.



Tabela 31 – Critérios do Conhecimento Prévio

Classificação IntervaloÓtima 40 a 50Boa 30 a 39Média 20 a 29Baixa 0 a 19

5.2.3 Avaliação do Mapa Conceitual Individual

Conforme já descrito nesse estudo de caso, os alunos receberam uma série deconceitos para o desenvolvimento do Mapa Conceitual Individual. A Figura 22, apresentaos conceitos disponibilizados.

Figura 22 – Conceitos para desenvolvimento do Mapa Conceitual

Para não caracterizar a obrigação de usar todos os conceitos disponibilizados, foraminseridos alguns fora do tema focal. Por exemplo: if (condição), protected, final, private eoutros. Não foi informado aos alunos quais conceitos estavam fora do tema focal; porém,foram orientados a prestar atenção, pois nem todos os conceitos poderiam ser usados.

5.2.3.1 Índice de Organização Conceitual - IOC

A Avaliação nos Mapas Conceituais nos fornece dois índices. O IOC - Índice deOrganização Conceitual permite identificar como o aluno organiza sua estrutura conceituale a fórmula usada para cálculo do IOC foi descrita na Seção 3.2.2.

O índice de organização conceitual foi calculado para os 24 alunos. A Tabela 32apresenta o resultado para cada um deles.

No Gráfico da Figura 23, observam-se os alunos 1, 2, 3, 9, 10, 21, 22 e 23 classificadoscomo tendo boa estrutura conceitual. Os demais alunos demonstraram degradação da


Tabela 32 – Índice de Organização Conceitual

Alunos IOC Alunos IOC1 -0,94 13 -4,102 1,02 14 -1,733 -0,96 15 -2,664 -2,65 16 -3,485 -4,10 17 -2,406 -5,23 18 -1,897 -5,31 19 -3,758 -2,76 20 -4,079 0,00 21 -0,9710 0,00 22 -0,9511 -1,87 23 -0,9512 -1,73 24 -4,10

organização conceitual, conforme classificação do IOC.

Figura 23 – Gráfico do Índice de Organização Conceitual

Os alunos 1, 2, 3, 9, 10 e 22 apresentaram potencial para evoluir na aprendizagem,pois declararam ter pouco Conhecimento Prévio e boa estrutura conceitual, segundo oIOC.

O aluno 23 demonstrou, segundo resultado do IOC, boa estrutura conceitual; noentanto, esse aluno declarou ter Conhecimento Prévio e na Pré-avaliação Metacognitivaapresentou a medida KMB como aleatória. O resultado da Pré-avaliação Metacognitivadenota um aluno com dúvidas; porém, com potencial de evolução da aprendizagem, segundoo IOC.

O aluno 11 declarou ter Conhecimento Prévio e na Pré-avaliação Metacognitivafoi considerado realista; mas o IOC indicou degradação da estrutura conceitual. Há umatendência de ao submeter o aluno 11 a uma atividade que demanda maior raciocínio,como o desenvolvimento do Mapa Conceitual, ele demonstre, segundo resultado do IOC,dificuldades.

Esta característica também é atribuída ao aluno 17, no entanto, na Pré-avaliaçãoMetacognitiva o resultado descreve algumas vezes estimar corretamente o próprio conheci-mento; porém, comete erros médios e grandes na sua estimativa; portanto, há possibilidades


dele ter cometido erros ao definir o Conhecimento Prévio.

O aluno 6 declarou não ter Conhecimento Prévio. O resultado do IOC o classificoucomo degradação da estrutura conceitual, ou seja, o conhecimento construído após o estudodo texto não foi suficiente para desenvolver um Mapa estruturado.

A Tabela 33 apresenta uma análise até esta etapa do processo.

Tabela 33 – Análise do Conhecimento Prévio, Pré-avaliação Metacognitiva e IOC



IOC Interpretação

1 baixo KMA médio Boa es-trutura

Embora tenha apresentado dúvidas, de-monstrou evolução na aprendizagem. Hápotencial para desenvolvê-la.

2 baixo KMA alto Boa es-trutura

Estima bem o próprio conhecimento. Hápotencial para desenvolver a aprendiza-gem.

3 médio KMA médio Boa es-trutura

Demonstrou, pelo Mapa Conceitual,certo conhecimento. Há potencial paradesenvolver a aprendizagem.

4 baixo KMA baixo Degrada-ção

Não estima bem o próprio conhecimento.Após estudo, demonstrou problemas naaprendizagem.

5 baixo KMA alto Degrada-ção

Estima bem próprio conhecimento. De-monstrou alguns problemas conceituaisapós estudo. Há espaço para desenvolvero próprio conhecimento.

6 baixo KMA médio Degrada-ção

Após estudo, comprovam-se pelo IOCalguns problemas conceituais.




Estima bem próprio conhecimento. De-monstrou alguns problemas conceituaisapós estudo. Há espaço para desenvolvero próprio conhecimento.






11 Ótimo KMA alto Degrada-ção

Não demonstrou, no Mapa Conceitual, oconhecimento declarado.




Após estudo, comprova-se pelo IOC al-guns problemas conceituais.





16 bom KMA médio Degrada-ção

Há dúvidas; porém, declarou bom conhe-cimento. Aluno apresenta problemas con-ceituais.


Não estima bem o próprio conhecimento.Após estudo, demonstrou problemas con-ceituais.



19 Ótimo KMA médio Degrada-ção

Não demonstrou, no Mapa Conceitual, oconhecimento declarado.

20 médio KMA baixo Degrada-ção


21 bom KMA médio Boa es-trutura

Há dúvidas; porém, declarou bom conhe-cimento. Há condições para desenvolvi-mento da aprendizagem.

22 baixo KMA baixo Boa es-trutura

Não estima bem o próprio conheci-mento.Há potencial para desenvolver aaprendizagem.

23 Ótimo KMA médio Boa es-trutura

Há dúvidas; porém, declarou ótimo co-nhecimento. Há condições para desenvol-vimento da aprendizagem.




5.2.3.2 Índice do Mapa Conceitual Individual - IMCI

Enquanto o IOC avalia a organização conceitual pela estrutura conceitual referenteao estudo feito pelo aluno, o IMCI avalia o quão próximo os alunos conseguiram atingir ospropósitos de aprendizagem.

O IMCI é calculado tomando como base um Mapa Conceitual de Referência. EsseMapa Conceitual é desenvolvido por um Especialista, geralmente, o professor responsávelo desenvolve. A Seção 3.2.3, apresenta a descrição e a fórmula para o cálculo do IMCI.

A Figura 24 apresenta os resultados do IMCI para os 24 alunos. Quanto maispróximo de 1 for o IMCI, mais próximo dos objetivos da aprendizagem o aluno chegou.Como pode ser observado, os alunos 2, 8, 10, 18 e 21 são aqueles que mais se aproximaramdos objetivos da aprendizagem. Por outro lado, o aluno 17 não apresentou evolução,segundo o Mapa Conceitual apresentado.

Figura 24 – Gráfico do Índice do Mapa Conceitual Individual

Considerando a média estipulada para o Curso em questão no valor de 0,6 e oIMCI como o único instrumento de avaliação, 14 alunos estariam aprovados na avaliaçãodo domínio proposto, ou seja, 58.33% dos alunos; portanto, até esta etapa do processo,identifica-se a necessidade de ações para melhorar o processo ensino/aprendizagem.

Ao comparar o Conhecimento Prévio com o IMCI, Figura 25, pode-se verificar aevolução da aprendizagem referente ao domínio proposto. Cabe destacar os alunos 11, 19 e23, que declararam Conhecimento Prévio e não conseguiram aplicá-lo no desenvolvimentodo Mapa Conceitual.

Com exceção do aluno 11, que declarou Conhecimento Prévio maior que o resul-tado do IMCI; mas, apresentou IMCI acima da média, os alunos 19 e 23 apresentaram


Figura 25 – Gráfico comparativo entre conhecimento prévio e IMCI

resultados do IMCI abaixo da média, denotando não aplicar o Conhecimento Prévio nodesenvolvimento do Mapa Conceitual. Possivelmente, esses alunos encontram dificuldadesao serem submetidos a atividades que exigem carga cognitiva.

Em relação ao Conhecimento Prévio declarado, houve evolução da aprendizagempara 75% dos alunos que participaram do experimento. No entanto, 41,66%, emboratenham apresentado evolução do conhecimento, não atingiram a média para aprovação seconsiderarmos somente o IMCI como instrumento de avaliação. Esse resultado evidencia anecessidade de ações para melhorar o desenvolvimento da aprendizagem.

A Tabela 34 apresenta uma das análises até esta etapa do processo.

Tabela 34 – Análise do conhecimento prévio, pré-avaliação Metacognitiva, IOC e IMCI



IOC IMCI Interpretação


0,46 Embora tenha apresentado dú-vidas, demonstrou evolução naaprendizagem. Há potencialpara desenvolvê-la.


0,99 Estima bem o próprio conheci-mento. Houve desenvolvimentoda aprendizagem.


0,75 Demonstrou, pelo Mapa Concei-tual, conhecimento.



0,62 Não estima bem o próprio co-nhecimento. Embora tenha evo-luído na aprendizagem, apre-senta alguns problemas concei-tuais.


0,61 Estima bem o próprio conheci-mento. Demonstrou alguns pro-blemas conceituais após estudo.Há condições para desenvolvero próprio conhecimento.


0,28 Após estudo, comprovam-se al-guns problemas conceituais.


0,36 Após estudo, comprovam-se,pelo IOC, alguns problemas con-ceituais.


0,93 Estima bem o próprio conheci-mento. Demonstrou alguns pro-blemas conceituais. No entanto,não foi prejudicial à evolução daaprendizagem.


0,71 Demonstrou evolução na apren-dizagem.


0,99 Demonstrou evolução na apren-dizagem.


0,78 Demonstrou alguns problemasconceituais. Pelo que foi decla-rado no Conhecimento Prévio,a aprendizagem poderia ser me-lhor.


0,25 Não estima bem o próprio co-nhecimento. Após estudo, de-monstrou problemas na apren-dizagem.


0,61 Após estudo, comprovam-se al-guns problemas conceituais queinfluenciaram na aprendizagem.


0,24 Após estudo, comprovam-se pro-blemas conceituais.



0,63 Após estudo, comprovam-se al-guns problemas conceituais queinfluenciaram na aprendizagem.


0,72 Há dúvidas; porém, declaroubom conhecimento. Aluno apre-senta problemas conceituais.


-0,01 Não estima bem o próprio co-nhecimento. Após estudo, de-monstrou problemas conceituaisque influenciaram na aprendiza-gem.


0,96 Não estima bem o próprio co-nhecimento. Após estudo, de-monstrou problemas conceitu-ais; porém, não influenciaramno aprendizado.


0,28 Não demonstrou, no Mapa Con-ceitual, o conhecimento decla-rado.


0,59 Não estima bem o próprio co-nhecimento. Após estudo de-monstrou problemas conceituaisque influenciaram na aprendiza-gem.


0,88 Há dúvidas; porém, declaroubom conhecimento. Há condi-ções para desenvolvimento daaprendizagem.


0,54 Não estima bem o próprioconhecimento. Após estudo,apresentou desenvolvimento daaprendizagem.


0,30 Há dúvidas; porém, declarouótimo conhecimento. Há condi-ções para desenvolvimento daaprendizagem.



0,61 Não estima bem o próprio co-nhecimento. Após estudo, de-monstrou problemas que influ-enciaram na aprendizagem.

5.2.4 Avaliação do Conhecimento - AC

Seguindo o processo da metodologia proposta, uma avaliação foi aplicada aos alunos,para avaliar o conhecimento. O questionário consta de 15 questões de múltipla escolhasobre o tema estudado. A Figura 26 apresenta os resultados da avaliação para os 24 alunos.

Esse tipo de avaliação é, tradicionalmente, aplicado num Ambiente Virtual deAprendizagem. São questões de múltipla escolha para avaliação sobre um tema estudado.

Figura 26 – Resultado da Avaliação

Pelos resultados apresentados e com a média 0,6 para ser considerado aprovado,apenas nove alunos (37,5%) seriam considerados aptos à aprovação; portanto, a maior partedeles ficou abaixo da média, evidenciando problemas no processo de ensino/aprendizagemdo conteúdo disponibilizado.

Ao comparar os resultados da avaliação com o Conhecimento Prévio declarado(Figura 27) observam-se os alunos 3, 5, 7, 11, 12, 16, 19, 23 e 24 declarando ConhecimentoPrévio maior que o resultado da avaliação.

Por esses resultados, é possível verificar a evolução da aprendizagem, considerandoa média estipulada, para os alunos 2, 8, 10, 18, 21 e 22, pois todos eles declararamConhecimento Prévio abaixo da média e apresentaram como resultado da avaliação valoresacima da média.

Ao avaliar os resultados da avaliação com os resultados do IMCI, observa-se melhordesenvolvimento da aprendizagem com os resultados do IMCI. Conforme pode ser visto


Figura 27 – Comparação entre Avaliação e Conhecimento Prévio

na Figura 28, 62,5% dos alunos demonstraram melhores resultados na avaliação IMCI emrelação aos resultados da avaliação.

Figura 28 – Comparação entre Avaliação e IMCI

O desenvolvimento do Mapa Conceitual, geralmente, sugere maior concentração eraciocínio no seu desenvolvimento em relação a responder às questões de múltipla escolha(HWANG et al., 2014). Possivelmente, a concentração e o raciocínio dispendido duranteo desenvolvimento do Mapa Conceitual foram fatores para os resultados do IMCI seremmelhores que os da avaliação em 62,5% do total de alunos.

A Tabela 35 apresenta uma análise até esta etapa do processo.




IOC IMCI AC Interpretação



0,46 0,4 Embora tenha apresentadodúvidas, demonstrou evolu-ção na aprendizagem. Hápotencial para desenvolvê-la.


0,99 0,93 Estima bem o próprio co-nhecimento. Houve desen-volvimento da aprendiza-gem.


0,75 0,33 Demonstrou, pelo MapaConceitual, conhecimento.Não aplicou o conheci-mento na avaliação.


0,62 0,53 Não estima bem o próprioconhecimento. Embora te-nha evoluído na aprendiza-gem, apresenta alguns pro-blemas conceituais.


0,61 0,2 Estima bem o próprio co-nhecimento. Demonstroualguns problemas conceitu-ais após estudo, que podeter influenciado na Avalia-ção do Conhecimento.


0,28 0,33 Após estudo, comprovam-se alguns problemas concei-tuais.


0,36 0,13 Após estudo, comprovam-se, pelo IOC, alguns pro-blemas conceituais.


0,93 0,93 Estima bem o próprio co-nhecimento. Demonstroualguns problemas conceitu-ais; no entanto, não foramprejudiciais à evolução daaprendizagem.



0,71 0,46 Demonstrou evolução naaprendizagem; porém, nãodemonstrou na Avaliaçãodo Conhecimento.


0,99 0,8 Demonstrou evolução naaprendizagem.


0,78 0,86 Demonstrou alguns proble-mas conceituais. Pelo quefoi declarado no Conheci-mento Prévio, não houveevolução da aprendizagem.


0,25 0,2 Não estima bem o próprioconhecimento. Após estudo,demonstrou problemas naaprendizagem.


0,61 0,4 Após estudo, comprovam-se alguns problemas concei-tuais, que influenciaram naaprendizagem.


0,24 0,33 Após estudo, comprovam-se problemas conceituais.


0,63 0,33 Após estudo, comprovam-se alguns problemas concei-tuais, que influenciaram naaprendizagem.


0,72 0,53 Há dúvidas; porém, de-clarou bom conhecimento.Aluno apresenta problemasconceituais que influencia-ram na evolução da apren-dizagem.


-0,01 0,26 Não estima bem o próprioconhecimento. Após estudo,demonstrou problemas con-ceituais que influenciaramna aprendizagem.



0,96 0,8 Não estima bem o próprioconhecimento. Após estudo,demonstrou problemas con-ceituais; porém, não influ-enciaram no aprendizado.


0,28 0,6 Não demonstrou, no MapaConceitual, o conhecimentodeclarado. Há indícios deproblemas com atividadesque exijam esforço mental


0,59 0,26 Não estima bem o próprioconhecimento. Após estudo,demonstrou problemas con-ceituais que influenciaramna aprendizagem.


0,88 0,86 Há dúvidas; porém, decla-rou bom conhecimento. Hácondições para desenvolvi-mento da aprendizagem.


0,54 0,8 Não estima bem o pró-prio conhecimento. Após es-tudo, apresentou desenvol-vimento da aprendizagem.


0,30 0,6 Há dúvidas; porém, decla-rou ótimo conhecimento. OConhecimento Prévio decla-rado não foi demonstrado.


0,61 0,13 Não estima bem o próprioconhecimento. Após estudo,demonstrou problemas nosconceitos, que influencia-ram na aprendizagem.

Ao concluir as etapas descritas acima, as medidas KMA, o índice IOC e a avaliaçãoforam submetidas à rede SOM, para agrupar os alunos.


5.2.5 Agrupamento para Atividade Colaborativa

Para estabelecer o agrupamento utilizando a rede neural auto-organizável foi usadoo ambiente de software “R”, que oferece um editor para uso de comandos estatísticos. Aobaixar o pacote SOM, é possível usá-lo para criar redes neurais auto-organizáveis.

Como pode ser observado na Figura 29, os parâmetros definidos para treinar aRede SOM foram: taxa de aprendizagem α = 0.06 a 0.01, quantidade de iterações 100 etopologia hexadecimal com dimensão oito por 1.

Figura 29 – Código para agrupamento pelo SOM

Ao submeter o Banco de Dados contendo os valores do KMA, do Índice de Organi-zação Conceitual e da Avaliação para a Rede SOM, o agrupamento foi efetuado conformeapresentado na Figura 30.

Figura 30 – Agrupamento pelo SOM

Os alunos identificados como 2, 8, 11 e 18 são aqueles que apresentaram melhorescaracterísticas para candidatos a alunos mais competentes. Os alunos identificados como5, 16 e 19 são, dentre outros, alunos menos competentes entre aqueles que participaramdas atividades.

Com as informações apresentadas pelo agrupamento, alguns possíveis gruposheterogêneos podem ser formados. Uma das combinações possíveis é inserir em cada


grupo um aluno mais competente, aquele melhor classificado pela Rede SOM, tendo comoobjetivo influenciar na evolução do aprendizado, conforme descrito na Seção 3.3.

Na Tabela 36, apresentam-se as configurações de grupos em que há um aluno maiscompetente com outros dois menos competentes. O critério usado foi um aluno mais bemclassificado na Rede SOM com outros dois alunos menos bem classificados.

Tabela 36 – Formação dos grupos

Grupo Alunos1 2 - 16 - 52 8 - 19 - 133 11 - 6 - 204 18 - 4 - 245 21 - 17 - 156 10 - 12 - 37 23 - 14 - 18 9 - 7 - 22

Dentro do critério usado para a formação dos grupos, em que há um aluno maiscompetente e outros dois menos competentes, a formação apresentada na Tabela 36 não é aúnica possível. A configuração dos grupos pode variar, desde que o aluno mais competenteseja considerado nos grupos.

Ao avaliar os dados graficamente, observa-se que o aluno mais competente ob-teve melhores resultados nas atividades propostas; isso pode ser verificado pelo Gráficoapresentado na Figura 31, referente ao grupo 1.

Figura 31 – Gráfico dos resultados das avaliações propostas - Grupo 1

No Gráfico da Figura 31, os alunos 5 e 16 têm os resultados das atividades propostasmenores que os do aluno 2; portanto, de acordo com a proposta no domínio de conhecimentoestudado, o aluno 2 apresentou melhores aspectos cognitivos que os alunos 5 e 16.

O último grupo formado pelos alunos 7, 9 e 22, pelo critério adotado na formaçãodos grupos, deveria apresentar resultados mais próximos, ou seja, formaria um grupo mais


Figura 32 – Gráfico dos resultados das avaliações propostas - Grupo 8

homogêneo. No entanto, a diferença nos resultados dos alunos é relevante.

O aluno 7 não apresentou o Mapa Conceitual; portanto, não foi possível calcularo IOC. O aluno 9, por apresentar melhores características em duas das atividades, foi oeleito e classificado como aluno mais competente.

A Figura 33 apresenta os Gráficos do grupo 2 ao 7, todos eles formados por umaluno que demonstrou melhor resultado na atividade proposta e outros dois com menoresresultados.

Figura 33 – Gráfico dos resultados dos grupos

Na Avaliação Gráfica, os grupos não apresentaram resultados homogêneos nas trêsatividades propostas. Quando dois desses resultados se apresentam próximos, o terceiro


resultado se distancia dos outros. Esse é o caso do grupo 4, em que os alunos 18 e 24 têmos resultados KMA e Avaliação próximos; porém, o resultado do IOC se distancia entreeles.

Essa característica também pode ser observada no grupo 7, em que os resultados doKMA e do IOC são muito próximos entre os alunos 1 e 23, mas se distanciam no resultadoda avaliação.

Diante dos resultados obtidos até esta etapa, os alunos participantes do experimentoforam informados das medidas e dos índices calculados. Cada aluno obteve o seu resultadoe o significado dele. Esse feedback é de suma importância, pois fornece aos alunos a realsituação declarada durante o processo de aprendizagem.

5.2.6 Desenvolvimento do Mapa Conceitual Colaborativo.

Cada aluno foi informado, diretamente pelo professor, sobre o grupo do qual iriaparticipar. Solicitou-se, então, que eles se reunissem para o desenvolvimento do MapaConceitual Colaborativo. Eles foram instruídos a avaliar o Mapa Conceitual Individualdos outros alunos do seu grupo e a usar os conceitos, já disponíveis no cmap cloud.

Nessa etapa, a discussão sobre os conceitos e as Proposições desenvolvidas no MapaConceitual Individual possibilitam a revisão, tendo como objetivo a correção de ligaçõesconsideradas erradas e até inconsistentes. A possibilidade de discussão, em tese, permiteaos alunos expor seu entendimento e corrigir determinados conceito quando necessário.

Como pode ser observado no Gráfico da Figura 34, os valores de IMCCE calculadospara os 24 alunos ficaram acima da média (0,5). Pelo Gráfico, 21 alunos apresentaramresultados acima de 0,6, ou seja, 87,5% dos alunos, ao se considerar que houve consenso nodesenvolvimento do Mapa Conceitual Colaborativo, apresentaram boa estrutura conceitual.

Figura 34 – Gráfico dos resultados do Índice do Mapa Conceitual Colaborativo - IMCCE

Pelo IMCCE, é possível avaliar quais alunos se aproximaram dos objetivos propostosem relação aos conceitos e suas ligações. Sendo assim, ao se considerar 0,7 a média para


alcançar os objetivos propostos, 15 alunos (62,5%) conseguiram atingi-la.

Avaliando com mais detalhes cada grupo, pode-se verificar influência dos alunosmais competentes nos grupos 1, 2, 3, 5, 6, e 7.

No grupo 4, pelos resultados obtidos, o aluno mais competente (18) não influencioupositivamente na evolução da aprendizagem, pois todos os alunos, inclusive ele, apre-sentaram resultados menores no Índice Colaborativo (IMCCE) que no Índice Individual(IMCI).

Avaliando os outros resultados apresentados, o aluno 18 reuni as característicaspara ser o aluno mais competente, pois é um aluno que estima corretamente o próprioconhecimento, na maioria das vezes (KMA alto). Sua avaliação foi considerada muitoboa (0,8) e somente o Índice de Organização Conceitual - IOC apresentou classificaçãocomo degradação conceitual; porém, não é possível determinar o resultado do IOC comoprincipal fato de o aluno 18 não ter influenciado na evolução da aprendizagem nesse grupo.

Figura 35 – Gráfico dos resultados do IMCI e IMCCE

No grupo 8, devido à falta de uma avaliação do aluno 7, a escolha do alunomais competente (9) talvez não tenha sido a mais correta, pois ele especificamente nãoinfluenciou positivamente na evolução da aprendizagem.

Os outros dois alunos (7 e 22) apresentaram melhores resultados no IMCCE emrelação ao IMCI. O Gráfico da Figura 35 apresenta a comparação entre o IMCI e o IMCCEpara cada aluno.

5.2.7 Pós-Avaliação Metacognitiva

Nesta etapa do processo, os alunos devem avaliar o Mapa Conceitual do Especialistae compará-lo ao Mapa Conceitual desenvolvido colaborativamente. Cada aluno deveráavaliar e comparar o Mapa Conceitual Colaborativo desenvolvido pelo grupo ao MapaConceitual do Especialista e dar sua resposta.


O principal objetivo desta etapa é verificar em que medida o aluno, diante de umasolução mais adequada, é capaz de relacioná-la à solução dada pelo desenvolvimento doMapa Conceitual Colaborativo. A Figura 36 foi apresentada aos alunos e e a resposta foisolicitada.

Figura 36 – Critérios para responder ao questionário de comparação dos Mapas Conceituais

A Tabela 37 apresenta as respostas dadas pelos alunos. Numa análise mais geral,seis alunos declararam não alterar o Mapa Conceitual Colaborativo em relação ao MapaConceitual do Especialista; onze alunos alterariam em 25% seus Mapas Conceituais, umaluno alteraria em até 50%, um aluno alteraria em 75%, um declarou alterar 100% doMapa e quatro alunos não responderam à questão.

Tabela 37 – Avalações e Índices dos Mapas Individuais e Colaborativos

Critérios Grupos 1 2 3 4 5 6 7 80 - Não alteraria o Mapa Con-ceitual Colaborativo

1 3 – – – – 1 –

1 - Alteraria em até 25% o MapaConceitual Colaborativo

– – 2 1 2 3 2 2

2 - Alteraria em até 50% o MapaColaborativo

1 – – – – – – –

3 - Alteraria em até 75% o MapaColaborativo

1 – – – – – – –

4 - Alteraria em até 100% oMapa Colaborativo

– – 1 – – – – –

Numa análise mais detalhada, avaliando o Mapa Conceitual Colaborativo e asrespostas dos componentes de cada grupo, algumas considerações devem ser feitas.

No grupo 1, deve ser feita apenas uma alteração no Mapa Conceitual, embora umdos alunos tenha considerado que alteraria o Mapa Conceitual em até 75%. Considera-seincorreta a avaliação feita por esse aluno, pois foi o Mapa Conceitual que mais se aproximoudos objetivos de aprendizagem.


No grupo 2, todos os alunos não alterariam o seu Mapa Conceitual, avaliando oMapa Colaborativo; observa-se um erro de proposição. Uma pequena alteração deveria serlevada em conta para o Mapa ser considerado idêntico ao do Especialista.

A divergência maior está no grupo 3; um dos alunos (20) alteraria em até 100%o Mapa Conceitual Colaborativo. Avaliando o Mapa Conceitual desenvolvido, não hánecessidade de alterar 100% do Mapa. No desenvolvimento, os alunos deixaram de inserirsete conceitos considerados importantes no tema focal estudado. No entanto, as Proposiçõesdesenvolvidas no Mapa Conceitual estão todas corretas.

No grupo 4, dois alunos não responderam ao questionário; avaliando o MapaConceitual, observa-se coerência na resposta do aluno que participou, ou seja, alterariaem até 25%.

Os grupos 5, 6, 7 e 8 apresentam coerência nas respostas dadas, ou seja, alterariamem até 25% o Mapa Conceitual Colaborativo. No grupo 7, apenas um aluno não alterariao Mapa Conceitual desenvolvido; no entanto, considera-se que seria conveniente fazerpequenos alterações, pela Avaliação do Mapa Conceitual.

Em resumo, todos os Mapas Conceituais devem sofrer alterações, uns mais, outrosmenos. Pelo índice obtido no Mapa Conceitual Colaborativo, os grupos 1 e 2 chegaram muitopróximos aos objetivos de aprendizagem. As alterações a serem feitas nos Mapas elaboradospor esses dois grupos são pequenas e não influenciam negativamente o aprendizado;portanto, no grupo 1, os dois alunos (5 e 16) fizeram avaliação equivocada das alteraçõesa serem feitas.

Pelas respostas dadas, no geral, os alunos encontraram dificuldades para avaliarsua própria solução. Assim, para esses alunos, um feedback e orientações são necessárias,buscando a conscientização sobre a Pós-avaliação Metacognitiva, objetivando atingir acapacidade de autoavaliação.

5.2.8 Desempenho da Avaliação depois do Mapa Conceitual Colaborativo

Após a comparação do Mapa Conceitual, como última etapa, os alunos foramsubmetidos a mais um teste para Avaliação do Conhecimento. A Tabela 38 apresenta asavaliações e os índices do Mapa Conceitual Individual e Colaborativo.

A Figura 37 apresenta, na forma gráfica, o comparativo entre as avaliações es-tabelecidas na primeira etapa do processo, correspondente até o desenvolvimento doMapa Conceitual Individual e, na segunda etapa do processo, após a elaboração do MapaConceitual Colaborativo.

Pela Figura 37, observa-se evolução da aprendizagem em 16 alunos; dois alunos (2e 11) apresentaram os resultados das duas avaliações próximas, indicando estabilidade na


Tabela 38 – Avalações e índices dos Mapas Individuais e Colaborativos

Aluno Primeiraavaliação

IMCI Segundaavaliação

IMCCE

1 0,40 0,46 0,93 0,682 0,93 0,98 0,86 0,983 0,33 0,75 0,86 0,784 0,53 0,61 0,66 0,525 0,20 0,60 0,80 0,986 0,33 0,27 0,93 0,807 0,13 0,35 — 0,678 0,93 0,93 0,73 0,969 0,46 0,71 0,80 0,6710 0,80 0,98 0,80 0,7811 0,86 0,77 0,80 0,8012 0,20 0,25 1 0,7813 0,40 0,60 0,86 0,9614 0,33 0,23 0,86 0,6815 0,33 0,63 — 0,8516 0,53 0,72 0,86 0,9817 0,26 -0,01 — 0,8518 0,80 0,96 0,86 0,5219 0,60 0,27 0,73 0,9620 0,26 0,59 0,60 0,8021 0,86 0,88 1 0,8522 0,80 0,54 0,66 0,6723 0,60 0,30 0,93 0,6824 0,13 0,60 — 0,52

evolução da aprendizagem, e outros dois (8 e 22) apresentaram o resultado da avaliaçãofinal menor que a avaliação feita na primeira etapa. Quatro alunos não participaram daavaliação final; portanto, não foi possível fazer uma análise sobre eles.

Figura 37 – Comparação entre as avaliações

Analisando os resultados das avaliações, pode-se concluir uma evolução da apren-dizagem para 80% dos alunos participantes de todos os processos. Considera-se esse umbom resultado, pois, conforme pode ser observado no Apêndice B.3, as perguntas exigema aplicação dos conceitos estudados.


Ao comparar o IMCI e o IMCCE, (Figura 38), observa-se evolução da aprendizagempara 58,33% dos alunos, 25% mantiveram-se estáveis e 16,66% mostraram resultados doMapa Colaborativo menores que os Mapas Conceituais Individuais.

Figura 38 – Comparação entre IMCI e IMCCE

Observando o Gráfico da Figura 38, se for considerado 0,6 a média da Disciplina,três alunos (4, 18 e 24) ficaram abaixo dessa média. Esses três alunos apresentaramresultados do IMCCE menores que o do IMCI.

5.2.9 Desempenho da Avaliação - Grupo de Controle

Ao grupo de controle foi solicitado o estudo do texto sobre tipo de dados. Os alunosestudaram o mesmo texto apresentado para o grupo experimental. Durante um períodode duas semanas, o texto ficou disponível para estudo e, nesse intervalo, os exercíciosde programação usando a Linguagem Java solicitados para o grupo experimental foramsolicitados também para o grupo de controle.

Após essas duas semanas, tanto os alunos do grupo experimental quanto os alunosdo grupo de controle responderam às questões para avaliação. A Tabela 39 apresenta osresultados das avaliações dos 23 alunos do grupo de controle.

A última linha da Tabela 39 mostra a média da avaliação do grupo de controle.Ao calcular a média dessa mesma avaliação aplicada ao grupo experimental, tem-se comoresultado 0,83, uma diferença de aproximadamente 0,23 pontos considerando um intervaloentre 0 e 1.

5.3 SínteseEste capítulo apresentou um experimento e um estudo de caso realizado com

o objetivo de implementar o modelo proposto para a melhoria no desenvolvimento daaprendizagem, consistindo das seguintes etapas:


Tabela 39 – Resultado da avaliação - Grupo de controle

Aluno Avaliação1 0,462 0,603 0,604 0,605 0,806 0,467 0,668 0,539 0,8010 0,6611 0,6612 0,7313 0,5314 0,5315 0,6616 0,6617 0,4618 0,1319 0,6620 0,6621 0,6022 0,7323 0,60Média 0,60

• Apresentação do conteúdo para ser avaliado;

• Desenvolvimento do Mapa Conceitual Individual, do Índice da Organização Concei-tual e do Índice do Mapa Conceitual Individual;

• Levantamento dos índices KMA, KMB;

• Divisão dos grupos;

• Desenvolvimento do Mapa Conceitual Colaborativo;

• Pós-Avaliação Metacognitiva

O Estudo de Caso, pelas características da forma como foi aplicado, ofereceumelhores estruturas de Mapas Conceituais para avaliação que o experimento. Acredita-seque isso ocorreu pela disponibilização dos conceitos para desenvolvimento dos MapasConceituais pelo professor.

122

6 CONCLUSÕES E TRABALHOS FUTU-ROS

Neste capítulo, são relatadas as conclusões da pesquisa, na Seção 6.1, verificando,também, se a hipótese relatada foi aceita ou refutada, se as perguntas de pesquisa foramrespondidas e listando se os objetivos foram cumpridos de acordo com o previsto. Alémdisso, esta última parte do trabalho disponibiliza as perspectivas como avanço e trabalhosfuturos (Seção 6.2) a serem desdobrados.

6.1 ConclusõesEsta Tese de Doutorado baseou-se na proposta descrita no Capítulo 3, em que são

aplicadas Avaliações Diagnóstica, Somativa, Formativa e Colaborativa, obtendo índices emedidas para o acompanhamento da evolução da aprendizagem.

Para validação do modelo, duas aplicações foram feitas, em Disciplinas diferentes.Uma intitulada experimento, permitiu aos alunos o desenvolvimento dos Mapas Conceituaisusando os seus próprios conceitos depois de estudo de um domínio específico. A outrafoi intitulada Estudo de Caso, em que os conceitos foram pré-definidos pelo professorEspecialista e oferecidos aos alunos para o desenvolvimento do Mapa Conceitual.

Por oferecer os conceitos para o desenvolvimento do Mapa Conceitual Individual eColaborativo, no estudo de caso, os alunos apresentaram Mapas Conceituais mais bemestruturados em relação ao experimento. Embora oferecer os conceitos para o desen-volvimento do Mapa Conceitual limite as possibilidades dos alunos, esse procedimentoproporciona certa formalidade, facilitando a aplicação de métodos computacionais para aAvaliação dos Mapas Conceituais.

O acompanhamento da aprendizagem, proposto nesse trabalho, inicia-se após aaplicação do primeiro instrumento de avaliação em que os alunos declaram o ConhecimentoPrévio, sendo ele a linha base para avaliar a evolução da aprendizagem. Todos os outrosinstrumentos avaliativos permitem alguma comparação e avaliação do aluno.

Observa-se, após a aplicação do modelo, a evolução da aprendizagem nos doiscasos. No experimento, observa-se a evolução da aprendizagem dos alunos ao comparar oconhecimento declarado por eles no início dos estudos no domínio proposto e no términoda aplicação do modelo.

No Estudo de Caso, além da evolução da aprendizagem, dada pela comparaçãodo conhecimento no início e ao término da aplicação do modelo, utilizou-se um grupo

Capítulo 6. CONCLUSÕES E TRABALHOS FUTUROS 123

de controle, em que os alunos seguiram o procedimento tradicional de ensino. Assim, foipossível avaliar o quanto o modelo auxiliou na aprendizagem dos alunos.

Os resultados apresentados pelos índices e pelas medidas durante a aplicação domodelo proporcionaram aos responsáveis pela avaliação o acompanhamento da evolução daaprendizagem. Essa constatação obtida e analisada nas duas aplicações do modelo respondeà segunda questão de pesquisa; porém, algumas considerações devem ser destacadas.

O desenvolvimento do Mapa Conceitual exige dos alunos maior concentração eesforço, ou seja, segundo a Teoria da Carga Cognitiva, ao desenvolver um Mapa Conceitual,o aluno tem uma carga cognitiva maior em relação a respostas de múltiplas escolhas(HWANG et al., 2014).

Essa característica pode levar alguns alunos a desenvolver Mapas Conceituais ruins,pois se exige esforço mental maior para o seu desenvolvimento. Uma suposição seriaque o aluno tenha conhecimento satisfatório do assunto estudado; porém, tem aversão aatividades que exijam maior esforço mental. Como resultado, são apresentados índices dosMapas Conceituais baixos e notas de avaliações no formato de múltiplas escolhas maisaltas.

Devido à consideração feita acima, é possível a ocorrência de casos pontuais emque os alunos demonstraram potencial para desenvolvimento no decorrer das primeirasatividades, como Conhecimento Prévio e Metacognição; porém, apresentaram resultadosnos índices dos Mapas Conceituais em discordância com os das avaliações do conhecimento.

Não foi objetivo desse trabalho; no entanto, vincular outros aspectos relacionadosao processo de aquisição de conhecimento, a fim de dar sustentação à avaliação da estruturacognitiva, faz-se necessário. Isso só será possível com o auxílio de grupos interdisciplinarespara entender como a mente humana organiza e lida com o conhecimento.

Os índices desenvolvidos para avaliar os Mapas Conceituais (IOC, IMCI e IMCCE)não tem como objetivo substituir qualquer outro método de avaliação, e sim compor umconjunto de instrumentos avaliativos, tendo como objetivo auxiliar no acompanhamentoda evolução da aprendizagem; portanto, eles são usados como complemento e os resultadosfornecem informações sobre a estrutura de conceitos apresentadas pelos alunos.

A primeira pergunta referente às questões de pesquisa em que se questiona sobreindicadores para avaliar a estrutura de conhecimento do aprendiz pode ser respondidapelo uso dos índices (IOC, IMCI e IMCCE) para dar suporte ao acompanhamento daaprendizagem.

Os índices da estrutura de conceitos (IOC, IMCI e IMCCE) apresentados nestatese de Doutorado representam uma parte avaliativa da complexidade apresentada noprocesso da avaliação da estrutura cognitiva; outros instrumentos avaliativos devem serpesquisados e desenvolvidos para complementar a avaliação e com os resultados permitir


análises mais sólidas sobre a estrutura cognitiva do aluno.

Portanto,conforme aplicação do modelo, consideram-se os índices (IOC, IMCI eIMCCE) bons indicadores para avaliar a estrutura de conceitos dos alunos, ou seja, podeser usado para avaliar uma parte da estrutura cognitiva do aluno.

Considera-se significativa a formação dos grupos usando uma rede neural SelfOrganizing Maps (SOM ) para o desenvolvimento do Mapa Conceitual Colaborativo.

Observou-se que a presença de um aluno mais capaz influenciou positivamente osoutros alunos que compunham o grupo; portanto, a proposta do desenvolvimento do MapaConceitual Colaborativo como parte do processo da evolução da aprendizagem ofereceuresultados satisfatórios, pois se observou, nas duas aplicações, a evolução da aprendizagemdos alunos.

Em relação à terceira questão de pesquisa, que questiona sobre a automatizaçãodo processo avaliativo para obter informações sobre a evolução da aprendizagem do aluno,observou-se que ajustes e aprofundamentos das pesquisas precisam ser feitos. É necessárioaumentar a acurácia dos resultados da avaliação computacional o mais próximo possívelda avaliação feita por um Especialista.

Esses ajustes se tornam mais complexos ao se considerar a subjetividade dasavaliações feitas pelo ser humano, pois, dependendo, do contexto em que se está inserido,o que pode ser considerado aceitável por uns no processo de aquisição do conhecimento,por outros pode não ser.

Considera-se necessário diminuir o tempo de aplicação do modelo para, no máximo,uma semana. Acredita-se que o desenvolvimento de ferramentas para avaliação automáticados Mapas Conceituais ajudaria muito na redução do período de aplicação. Além disso,o desenvolvimento do segundo Mapa Conceitual eliminaria a necessidade de ensinar osalunos e, consequentemente, diminuiria o período da aplicação.

Ressalta-se, também, que se cumpriram os objetivos expostos, pois o modelopermite avaliar e acompanhar a aprendizagem fornecendo índices e medidas para auxiliaros docentes e os discentes na evolução da aprendizagem.

6.2 Trabalhos futurosO desenvolvimento desta pesquisa possibilita a continuidade de outros trabalhos,

relacionados a seguir:

• Pesquisar sobre a influência do esforço mental relacionado à Teoria da Carga Cogni-tiva, no desenvolvimento de Mapas Conceituais;

• Desenvolver um ambiente integrado para todo o processo de avaliação;


• Aumentar o período de treinamento para o desenvolvimento do Mapa Conceitualbuscando Mapas mais estruturados;

• Aplicar o modelo mais vezes, em outros domínios de conhecimento, para a mesmaturma, para avaliar se há melhoras significativas no desenvolvimento dos MapasConceituais;

• Ajustar os algoritmos de Avaliação dos Mapas Conceituais, para apresentar melhoresresultados;

• Incluir no cálculo de IOC a quantidade de níveis de conceitos, para refletir melhorsua organização conceitual;

• Aplicar o modelo em turmas com quantidades maiores de alunos;

• Sintetizar as análises dos resultados das avaliações parciais, tornando clara paraprofessores e alunos a evolução da aprendizagem;

• Pesquisa interdisciplinar referente aos resultados das etapas de avaliações parapadronização das análises.

126

Referências

ADÁN-COELLO, J. M. et al. Conflito sócio-cognitivo e estilos de aprendizagem naformação de grupos para o aprendizado colaborativo de programação de computadores.Brazilian Journal of Computers in Education, v. 16, n. 03, 2008. Citado 2 vezes naspáginas 32 e 59.

ADETUNJI, A. Adaptive support for group formation in computer supported collaborativelearning. In: ACM. Adjunct Publication of the 25th Conference on User Modeling,Adaptation and Personalization. [S.l.], 2017. p. 109–110. Citado 2 vezes nas páginas 32e 58.

AGUIAR, J. G. de; CORREIA, P. R. M. Como fazer bons mapas conceituais?estabelecendo parâmetros de referências e propondo atividades de treinamento. RevistaBrasileira de pesquisa em Educação em Ciências, v. 13, n. 2, p. 141–157, 2013. Citado napágina 48.

ALFONSECA, E. et al. The impact of learning styles on student grouping for collaborativelearning: a case study. User Modeling and User-Adapted Interaction, Springer, v. 16, n. 3,p. 377–401, 2006. Citado na página 57.

ALMEIDA, F. J. d.; JÚNIOR, F. M. F. Projetos e ambientes inovadores. Brasília:Secretaria de Educação a Distância–SEED/Proinfo–Ministério da Educação, 2000.Citado na página 47.

AMADIEU, F. et al. Effects of prior knowledge and concept-map structure ondisorientation, cognitive load, and learning. Learning and Instruction, Elsevier, v. 19, n. 5,p. 376–386, 2009. Citado na página 22.

ANOHINA, A.; GRUNDSPENKIS, J. Scoring concept maps: an overview. In: ACM.Proceedings of the international conference on computer systems and technologies andworkshop for PhD students in computing. [S.l.], 2009. p. 78. Citado 2 vezes nas páginas36 e 41.

ANOHINA-NAUMECA, A.; GRUNDSPENKIS, J.; STRAUTMANE, M. The conceptmap-based assessment system: functional capabilities, evolution, and experimental results.International Journal of Continuing Engineering Education and Life Long Learning,Inderscience Publishers Ltd, v. 21, n. 4, p. 308–327, 2011. Citado na página 31.

ANOHINA-NAUMECA, A.; MILASEVICHA, S. Studying possibilities to use severalexperts’ maps in the concept map based knowledge assessment system. In: ACM.Proceedings of the 12th International Conference on Computer Systems and Technologies.[S.l.], 2011. p. 534–539. Citado 2 vezes nas páginas 35 e 40.

ANOHINA-NAUMECA, A.; STRAUTMANE, M.; GRUNDSPENKIS, J. Development ofthe scoring mechanism for the concept map based intelligent knowledge assessment system.In: ACM. Proceedings of the 11th International Conference on Computer Systems andTechnologies and Workshop for PhD Students in Computing on International Conferenceon Computer Systems and Technologies. [S.l.], 2010. p. 376–381. Citado na página 22.

Referências 127

ARAÚJO, A. M. T.; MENEZES, C. S. de; CURY, D. Um ambiente integrado para apoiara avaliação da aprendizagem baseado em mapas conceituais. In: Anais do SimpósioBrasileiro de Informática na Educação. [S.l.: s.n.], 2002. v. 1, n. 1, p. 49–59. Citado 3vezes nas páginas 20, 22 e 50.

AUSUBEL, D. P. Aquisição e retenção de conhecimentos: uma perspectiva cognitiva.Lisboa: Plátano, v. 1, 2003. Citado na página 21.

AUSUBEL, D. P. The acquisition and retention of knowledge: A cognitive view. [S.l.]:Springer Science & Business Media, 2012. Citado 2 vezes nas páginas 28 e 32.

AUSUBEL, D. P.; NOVAK, J. D. H. Helen. Psicologia Educacional. [S.l.]: Rio de Janeiro:Editora Interamericana, 1980. Citado 5 vezes nas páginas 21, 22, 23, 28 e 29.

BAEPLER, P.; MURDOCH, C. J. Academic analytics and data mining in highereducation. International Journal for the Scholarship of Teaching and Learning, v. 4, n. 2,p. 17, 2010. Citado na página 19.

BLIKSTEIN, P. Using learning analytics to assess students’ behavior in open-endedprogramming tasks. In: ACM. Proceedings of the 1st international conference on learninganalytics and knowledge. [S.l.], 2011. p. 110–116. Citado 2 vezes nas páginas 19 e 27.

BRINDLEY, J.; BLASCHKE, L. M.; WALTI, C. Creating effective collaborative learninggroups in an online environment. The International Review of Research in Open andDistributed Learning, v. 10, n. 3, 2009. Citado 4 vezes nas páginas 23, 32, 33 e 59.

BUCHS, C. et al. Conflict elaboration and cognitive outcomes. Theory Into Practice,Taylor & Francis, v. 43, n. 1, p. 23–30, 2004. Citado na página 32.

CALAFATE, C. T.; CANO, J. C.; MANZONI, P. A comprehensive methodology forconcept map assessment. In: IEEE. Advanced Learning Technologies, 2009. ICALT 2009.Ninth IEEE International Conference on. [S.l.], 2009. p. 15–17. Citado 2 vezes naspáginas 36 e 39.

CALDAS, V. M.; FAVERO, E. L. Uma ferramenta de avaliação automática para mapasconceituais como auxílio ao ensino em ambientes de educação a distância. In: Anais doSimpósio Brasileiro de Informática na Educação. [S.l.: s.n.], 2009. v. 1, n. 1. Citado 2vezes nas páginas 20 e 50.

CAÑAS, A. J. et al. Cmapanalysis: An extensible concept map analysis tool. Journal forEducators, Teachers and Trainers, 2013. Citado 3 vezes nas páginas 21, 36 e 43.

CASAS, L. A. A. et al. Contribuições para a modelagem de um ambiente inteligente deeducação baseado em realidade virtual. Florianópolis, SC, 1999. Citado 2 vezes naspáginas 59 e 60.

CASTRO, A. de. The thermodynamic cost of fast thought. Minds and Machines, Springer,v. 23, n. 4, p. 473–487, 2013. Citado 2 vezes nas páginas 22 e 51.

CHEN, H.-H.; CHENG, S.-Y.; HEH, J.-S. Assessing users’ mental knowledge by usingstructural approach and concept map. In: IEEE. Machine Learning and Cybernetics, 2005.Proceedings of 2005 International Conference on. [S.l.], 2005. v. 4, p. 2166–2171. Citado 2vezes nas páginas 36 e 37.

Referências 128

COOK, M. P. Visual representations in science education: The influence of priorknowledge and cognitive load theory on instructional design principles. Science Education,Wiley Subscription Services, Inc., A Wiley Company, v. 90, n. 6, p. 1073–1091, 2006.ISSN 1098-237X. Disponível em: <http://dx.doi.org/10.1002/sce.20164>. Citado 2 vezesnas páginas 22 e 46.

CORNELL, G.; HORSTMANN, C. S. Core Java 2–Volume I–Fundamentos 7a Edição.[S.l.]: Alta Books, 2005. Citado na página 94.

COUNCIL, N. R. et al. How people learn: Brain, mind, experience, and school: Expandededition. [S.l.]: National Academies Press, 2000. Citado na página 62.

CRACKNELL, M.; READING, A. Unsupervised clustering of continental-scalegeophysical and geochemical data using self-organising maps. In: 3rd Australian RegolithGeoscientists Association Conference. [S.l.: s.n.], 2014. p. 20–24. Citado na página 61.

DAO, T. N.; SIMPSON, T. Measuring similarity between sentences. The Code Project,2005. Citado na página 68.

DUEMKE, R. M. B. Supervisão escolar e avaliação do rendimento: uma medida darealidade. Tese (Doutorado) — Universidade Federal do Espirito Santo., 1984. Citado napágina 20.

ERTL, B.; KOPP, B.; MANDL, H. Effects of an individual’s prior knowledgeon collaborative knowledge construction and individual learning outcomes invideoconferencing. In: INTERNATIONAL SOCIETY OF THE LEARNING SCIENCES.Proceedings of th 2005 conference on Computer support for collaborative learning: learning2005: the next 10 years! [S.l.], 2005. p. 145–154. Citado 2 vezes nas páginas 22 e 32.

FARIA, E. S. J. D.; ADÁN-COELLO, J. M.; YAMANAKA, K. Forming groups forcollaborative learning in introductory computer programming courses based on students’programming styles: an empirical study. In: IEEE. Frontiers in Education Conference,36th Annual. [S.l.], 2006. p. 6–11. Citado na página 58.

FERGUSON, E. Object-oriented concept mapping using uml class diagrams. Journal ofComputing Sciences in Colleges, Consortium for Computing Sciences in Colleges, v. 18,n. 4, p. 344–354, 2003. Citado 2 vezes nas páginas 37 e 41.

GAMA, C. Towards a model of metacognition instruction in interactive learningenvironments. Teste de Doutorado, University of Sussex, Inglaterra, 2004. Citado 4 vezesnas páginas 12, 48, 49 e 67.

GHANI, I. A. et al. Enhancing students’ hots in laboratory educational activity byusing concept map as an alternative assessment tool. Chemistry Education Research andPractice, Royal Society of Chemistry, v. 18, n. 4, p. 849–874, 2017. Citado 3 vezes naspáginas 35, 36 e 44.

GOULI, E. et al. Evaluating learner’s knowledge level on concept mapping tasks. In:IEEE. Advanced Learning Technologies, 2005. ICALT 2005. Fifth IEEE InternationalConference on. [S.l.], 2005. p. 424–428. Citado 2 vezes nas páginas 36 e 38.

http://dx.doi.org/10.1002/sce.20164

Referências 129

GRAUDINA, V.; GRUNDSPENKIS, J. Algorithm of concept map transformation toontology for usage in intelligent knowledge assessment system. In: ACM. Proceedings ofthe 12th International Conference on Computer Systems and Technologies. [S.l.], 2011. p.109–114. Citado 2 vezes nas páginas 37 e 42.

HOEFT, R. M. et al. Tpl-kats?concept map: A computerized knowledge assessment tool.Computers in Human Behavior, Elsevier, v. 19, n. 6, p. 653–657, 2003. Citado 2 vezesnas páginas 35 e 43.

HWANG, G.-J. et al. Effects of an integrated concept mapping and web-basedproblem-solving approach on students’ learning achievements, perceptions and cognitiveloads. Computers & Education, Elsevier, v. 71, p. 77–86, 2014. Citado 4 vezes naspáginas 29, 33, 108 e 123.

JAIN, A. K.; MAO, J.; MOHIUDDIN, K. M. Artificial neural networks: A tutorial.Computer, IEEE, v. 29, n. 3, p. 31–44, 1996. Citado na página 61.

JENNINGS, D. The use of concept maps for assessment. UCD TEACHING ANDLEARNING/RESOURCES, 2012. Citado 2 vezes nas páginas 22 e 27.

KARDAN, A.; RAZAVI, N. Learner knowledge level calculation by concept map andconcept weight estimation using neural networks. In: IEEE. Computer and KnowledgeEngineering (ICCKE), 2014 4th International eConference on. [S.l.], 2014. p. 62–67.Citado 2 vezes nas páginas 36 e 38.

KOLLÖFFEL, B.; JONG, T. Conceptual understanding of electrical circuits in secondaryvocational engineering education: Combining traditional instruction with inquiry learningin a virtual lab. Journal of engineering education, Wiley Online Library, v. 102, n. 3, p.375–393, 2013. Citado na página 18.

KORNILAKIS, H. et al. Using wordnet to support interactive concept map construction.In: IEEE. Advanced Learning Technologies, 2004. Proceedings. IEEE InternationalConference on. [S.l.], 2004. p. 600–604. Citado 2 vezes nas páginas 36 e 40.

LEE, Y. S.; JANG, Y.; KANG, M. Validity and responsiveness of concept map assessmentscores in physical education. Physical Educator, Sagamore Publishing LLC, v. 72, n. 2,p. 206, 2015. Citado 2 vezes nas páginas 36 e 42.

LIN, S.-C. et al. A new structural knowledge assessment based on weighted concept maps.In: IEEE. Computers in Education, 2002. Proceedings. International Conference on. [S.l.],2002. p. 679–680. Citado 3 vezes nas páginas 35, 36 e 39.

LIU, S.-H.; LEE, G.-G. Using a concept map knowledge management system to enhancethe learning of biology. Computers & Education, Elsevier, v. 68, p. 105–116, 2013. Citado2 vezes nas páginas 35 e 44.

LUCKESI, C. C. O que é mesmo o ato de avaliar a aprendizagem. Revista Pátio, ano,v. 12, 2000. Citado 2 vezes nas páginas 18 e 20.

LUCKIE, D. B.; HARRISON, S. H.; EBERT-MAY, D. Introduction to c-tools: Conceptmapping tools for online learning. In: CITESEER. Proceedings of the 1st InternationalConference on Concept Mapping. [S.l.], 2004. p. 261–264. Citado na página 29.

Referências 130

MARSHALL, B.; MADHUSUDAN, T. Element matching in concept maps. In: IEEE.Digital Libraries, 2004. Proceedings of the 2004 Joint ACM/IEEE Conference on. [S.l.],2004. p. 186–187. Citado na página 50.

MEDINA, R. D. et al. A method to form learners groups in computer-supportedcollaborative learning systems. In: ACM. Proceedings of the First International Conferenceon Technological Ecosystem for Enhancing Multiculturality. [S.l.], 2013. p. 261–266.Citado na página 57.

MOK, C. K.; WHITEHILL, T. L.; DODD, B. J. Concept map analysis in the assessmentof speech-language pathology students? learning in a problem-based learning curriculum:a longitudinal study. Clinical linguistics & phonetics, Taylor & Francis, v. 28, n. 1-2, p.83–101, 2014. Citado 2 vezes nas páginas 37 e 42.

MUGNY, G.; LÉVY, M.; DOISE, W. Conflit socio-cognitif et développement cognitif:l’effet de la présentation par un adulte de modèles"progressifs"et de modèles"régressifs"dansune épreuve de représentation spatiale. [S.l.: s.n.], 1978. Citado na página 59.

NEDUNGADI, P.; HARIDAS, M.; RAMAN, R. Blending concept maps with onlinelabs (olabs): Case study with biological science. In: ACM. Proceedings of the ThirdInternational Symposium on Women in Computing and Informatics. [S.l.], 2015. p.186–190. Citado 2 vezes nas páginas 35 e 40.

NORRIS, D.; BAER, L.; OFFERMAN, M. A national agenda for action analytics. In:National Symposium on Action Analytics. [S.l.: s.n.], 2009. p. 21–23. Citado na página 19.

NOVAK, J. D.; GOWIN, D. B. Learning how to learn. Cambridge, UK: CambridgeUniversity Press, 1984. ISBN 0521319269. Citado 7 vezes nas páginas 22, 29, 30, 36, 50,53 e 73.

PAILAI, J. et al. The practical use of kit-build concept map on formative assessment.Research and Practice in Technology Enhanced Learning, Springer, v. 12, n. 1, p. 20, 2017.Citado 2 vezes nas páginas 35 e 43.

PARK, U.; CALVO, R. A. Automatic concept map scoring framework using the semanticweb technologies. In: IEEE. Advanced Learning Technologies, 2008. ICALT’08. EighthIEEE International Conference on. [S.l.], 2008. p. 238–240. Citado 3 vezes nas páginas35, 36 e 40.

PETROVIC, J.; JEREN, B.; PALE, P. Concept maps in computer-assisted knowledgeassessment. In: IEEE. Information & Communication Technology Electronics &Microelectronics (MIPRO), 2013 36th International Convention on. [S.l.], 2013. p. 538–542.Citado 2 vezes nas páginas 36 e 38.

PIAGET, J. Seis estudos de psicologia. Editora Forense Universitária, 2007.ISBN 9788521802464. Disponível em: <https://books.google.com.br/books?id=I2FiPwAACAAJ>. Citado 3 vezes nas páginas 21, 23 e 32.

PIMENTEL, E. P. Um modelo para avaliação e acompanhamento contínuo do nível deaquisição de conhecimentos do aprendiz. Trabalho de Tese, Instituto Tecnológico deAeronáutica. São José dos Campos: ITA, 2006. Citado 3 vezes nas páginas 18, 21 e 63.

https://books.google.com.br/books?id=I2FiPwAACAAJ

https://books.google.com.br/books?id=I2FiPwAACAAJ

Referências 131

POURSAEED, B.; LEE, C.-S. Self-initiated curriculum planning, visualization andassessment in improving meaningful learning: A comparison between mobile andubiquitous learning. In: IEEE. Technology for Education (T4E), 2010 InternationalConference on. [S.l.], 2010. p. 107–113. Citado 3 vezes nas páginas 35, 36 e 39.

PRATA, D. N. Estratégias para o desenvolvimento de um framework de avaliação daaprendizagem a distância. In: Anais do Simpósio Brasileiro de Informática na Educação.[S.l.: s.n.], 2003. v. 1, n. 1, p. 146–155. Citado na página 21.

QUINN, T. Group work doesn’t spell collaboration. Phi Delta Kappan, SAGE PublicationsSage CA: Los Angeles, CA, v. 94, n. 4, p. 46–48, 2012. Citado na página 58.

ROCHA, F. E. L. da; JÚNIOR, J. V. da C.; FAVERO, E. L. Como usar ontologias naavaliação da aprendizagem significativa mediada por mapas conceituais. Revista Brasileirade Informática na Educação, v. 13, n. 2, p. 53–64, 2005. Citado na página 28.

RODRIGUES, N. V. M. O processo avaliativo da aprendizagem no sistema ead. Ideias eInovação-Lato Sensu, v. 2, n. 3, p. 77, 2015. Citado 4 vezes nas páginas 20, 21, 27 e 28.

ROSEN, Y.; TAGER, M. Making student thinking visible through a concept map incomputer-based assessment of critical thinking. Journal of Educational ComputingResearch, SAGE Publications Sage CA: Los Angeles, CA, v. 50, n. 2, p. 249–270, 2014.Citado 2 vezes nas páginas 37 e 43.

RUIZ-PRIMO, M. A.; SCHULTZ, S. E.; SHAVELSON, R. J. Concept map-basedassessment in science: Two exploratory studies. [S.l.]: Center for Research on Evaluation,Standards, and Student Testing, Graduate School of Education & Information Studies,University of California, Los Angeles, 1997. Citado 2 vezes nas páginas 22 e 68.

SALEM, S. B.; BELCADHI, L. C.; BRAHAM, R. Using concept maps in knowledgeassessment of short and open answer questions. In: IEEE. System Theory, Control andComputing (ICSTCC), 2013 17th International Conference. [S.l.], 2013. p. 646–650.Citado 2 vezes nas páginas 36 e 39.

SANTOS, E. O. d. Educação online: cibercultura e pesquisa-formação na prática docente.2005. Citado na página 28.

SASSON, E.; RAVID, G.; PLISKIN, N. Measuring temporal and contextual proximity:Big text-data analytics in concept maps. In: IEEE. Computer Science and Engineering(APWC on CSE), 2016 3rd Asia-Pacific World Congress on. [S.l.], 2016. p. 144–152.Citado 2 vezes nas páginas 36 e 38.

SCHAAL, S. Concept mapping in science education assessment: An approach tocomputer-supported achievement tests in an interdisciplinary hypermedia learningenvironment. In: Proceeding of the Third Int. Conference on Concept Mapping, Finland.[S.l.: s.n.], 2008. Citado 5 vezes nas páginas 12, 22, 30, 31 e 50.

SCHWENDIMANN, B. A. Concept maps as versatile tools to integrate complex ideas:From kindergarten to higher and professional education. Knowledge Management &E-Learning, The University of Hong Kong-Faculty of Education, v. 7, n. 1, p. 73, 2015.Citado na página 48.

Referências 132

SHUTE, V. J.; RAHIMI, S. Review of computer-based assessment for learning inelementary and secondary education. Journal of Computer Assisted Learning, WileyOnline Library, v. 33, n. 1, p. 1–19, 2017. Citado na página 18.

SILVA, M. Avaliação da aprendizagem em educação online. [S.l.]: Edições Loyola, 2006.Citado na página 21.

STAHL, G. Collaborative learning through practices of group cognition. In:INTERNATIONAL SOCIETY OF THE LEARNING SCIENCES. Proceedings of the 9thinternational conference on Computer supported collaborative learning-Volume 1. [S.l.],2009. p. 33–42. Citado na página 58.

STRAUTMANE, M. Increasing the flexibility of automated concept map based knowledgeassessment. In: ACM. Proceedings of the 15th International Conference on ComputerSystems and Technologies. [S.l.], 2014. p. 349–356. Citado 2 vezes nas páginas 36 e 41.

SWELLER, J.; MERRIENBOER, J. J. V.; PAAS, F. G. Cognitive architecture andinstructional design. Educational psychology review, Springer, v. 10, n. 3, p. 251–296, 1998.Citado na página 21.

TOBIAS, S.; EVERSON, H. T. Knowing what you know and what you don’t: Furtherresearch on metacognitive knowledge monitoring. 2002. Citado 2 vezes nas páginas 46e 48.

TURNS, J.; ATMAN, C. J.; ADAMS, R. Concept maps for engineering education: Acognitively motivated tool supporting varied assessment functions. IEEE Transactions onEducation, IEEE, v. 43, n. 2, p. 164–173, 2000. Citado 2 vezes nas páginas 37 e 38.

VYGOTSKY, L. S. A formação social da mente. Psicologia, v. 153, p. V631, 1989. Citado4 vezes nas páginas 23, 32, 59 e 60.

WATSON, M. K. et al. Assessing conceptual knowledge using three concept map scoringmethods. Journal of Engineering Education, Wiley Online Library, v. 105, n. 1, p. 118–146,2016. Citado 2 vezes nas páginas 36 e 44.

WICHMANN, A. et al. Group formation for small-group learning: Are heterogeneousgroups more productive? In: ACM. Proceedings of the 12th International Symposium onOpen Collaboration. [S.l.], 2016. p. 14. Citado na página 58.

WU, P.-H. et al. An innovative concept map approach for improving students’ learningperformance with an instant feedback mechanism. British Journal of EducationalTechnology, Wiley Online Library, v. 43, n. 2, p. 217–232, 2012. Citado 2 vezes naspáginas 35 e 42.

YEN, J.-C. et al. The effects of image-based concept mapping on the learning outcomesand cognitive processes of mobile learners. British Journal of Educational Technology,Wiley Online Library, v. 43, n. 2, p. 307–320, 2012. Citado 2 vezes nas páginas 21 e 28.

YIN, Y.; SHAVELSON, R. J. Application of generalizability theory to concept mapassessment research. Applied Measurement in Education, Taylor & Francis, v. 21, n. 3, p.273–291, 2008. Citado 2 vezes nas páginas 36 e 44.

ZEILIK, M. Classroom assessment techniques: Concept mapping. University of NewMexico. Accessed February, v. 3, p. 2014, 2014. Citado na página 29.

Apêndices

134

APÊNDICE A – Mapas ConceituaisDesenvolvidos

A.1 Mapa Conceitual IndividualNesta Seção são encontrados alguns Mapas desenvolvidos individualmente, tanto

no experimento quanto no estudo de caso.

Figura A.1.1 – - Mapa Conceitual Individual desenvolvido pelo aluno 1 - Redes de Com-putadores

APÊNDICE A. Mapas Conceituais Desenvolvidos 135

Figura A.1.2 – - Mapa Conceitual Individual desenvolvido pelo aluno 2 - Programação deComputadores



Figura A.1.4 – - Mapa Conceitual Individual desenvolvido pelo aluno 16 - Programaçãode Computadores




A.2 Mapa Conceitual ColaborativoAbaixo apresenta-se os Mapas Conceituais desenvolvidos colaborativamente, tanto

do experimento quanto no estudo de caso.

Figura A.2.1 – - Mapa Conceitual Colaborativo desenvolvido pelo Grupo 2 - Redes deComputadores

Figura A.2.2 – - Mapa Conceitual Colaborativo desenvolvido pelo Grupo 1 - Programaçãode Computadores


Figura A.2.3 – - Mapa Conceitual Colaborativo desenvolvido pelo Grupo 4 - Programaçãode Computadores


A.3 Mapa Conceitual desenvolvido por um EspecialistaNesta Seção são encontrados os Mapas Conceituais referente ao experimento e o

estudo de caso desenvolvido pelo Especialista.

Figura A.3.1 – - Mapa Conceitual Desenvolvido por um Especialista - Redes de Computa-dores

Figura A.3.2 – - Mapa Conceitual Desenvolvido por um Especialista - Programação deComputadores

141

APÊNDICE B – Questionários

Abaixo, nesta Seção, encontra-se o questionário para levantamento do ConhecimentoPrévio do estudo de caso.

B.1 Conhecimento Prévio - Aluno com nenhum Conhecimento Pré-vio

Figura B.1.1 – - Questões para levantamento do conhecimento prévio - Parte 1


APÊNDICE B. Questionários 142



B.2 Conhecimento Prévio - Aluno que declarou ter conhecimentoprévio






B.3 Avaliação Final da Etapa 1 - Aluno 1Abaixo, nesta Seção, encontra-se o questionário usado na avaliação referente a

primeira etapa do processo.


B.4 Avaliação Final da Etapa 2Abaixo, nesta Seção, encontra-se o questionário usado na avaliação referente a

segunda etapa do processo.

Figura B.4.1 – - Questões da avaliação final - Parte 1


Proposta de um Modelo para Acompanhamento da …tede.mackenzie.br/jspui/bitstream/tede/3662/5/VAGNER...

Documents

Transcript of Proposta de um Modelo para Acompanhamento da …tede.mackenzie.br/jspui/bitstream/tede/3662/5/VAGNER...