Uma Estratégia de Desenvolvimento de Sistemas para

Mobile-learning usando Realidade Aumentada

Pedro Henrique Cacique Braga, Alexandre Cardoso, Edgard Afonso Lamounier Jr.

Grupo de Realidade Virtual e Aumentada

Universidade Federal de Uberlândia

Uberlândia – MG - Brasil

cacique@mestrado.ufu.br, {alexandre, lamounier}@ufu.br

Abstract— This article discusses current practices in mobile-

learning and presents a strategy for developing educational

applications associated with Augmented Reality. Work related

to distance education and practice of creating three-

dimensional designs. As concept proof of the technic discussed

an application was created to teach basic mechanics.

Keywords: m-learning; augmented reality; mobile;

I. INTRODUÇÃO

É notório o crescimento da tecnologia para dispositivos

móveis. No final de 2010, o Brasil contava com 202,9

milhões de acessos do Serviço de Telefonia Móvel Pessoal,

registrando um crescimento de 16,7% em relação ao ano

anterior. Com esse resultado, o país permaneceu em quinto

lugar no ranking mundial de acessos da telefonia móvel,

atrás apenas de China, Índia, Estados Unidos e Rússia. Em

2010, o Brasil apresentou uma taxa de 104,7 acessos móveis

pessoais a cada 100 habitantes [1].

Com o intuito de atender a tais exigências do progresso,

foram criados diversos métodos e ferramentas de ensino que

realizam a conexão entre Tecnologia e Educação.

Ambientes Virtuais de Aprendizagem (AVAs) são sistemas

computacionais utilizados para o Ensino a Distância (EAD),

modalidade de ensino com crescimento eminente. Estes

ambientes fazem parte do conjunto de técnicas do modelo

de ensino não presencial, conhecido como e-learning.

Quando este modelo é utilizado em dispositivos móveis,

passa a ser conhecido como mobile-learning, ou

simplesmente m-learning.

Realidade Aumentada (RA) pode ser definida como a

inserção de objetos virtuais no ambiente físico, mostrada ao

usuário, em tempo real, com o apoio de algum dispositivo

tecnológico, usando a interface do ambiente real, adaptada

para visualizar e manipular os objetos reais e virtuais [2].

O fato de a Realidade Aumentada trazer elementos

virtuais para o ambiente real faz com que a interação entre

usuário e sistema seja bastante amigável, dispensando

longos treinamentos do usuário. A combinação de técnicas

de visão computacional e computação gráfica possibilita a

interação correta entre os ambientes reais e virtuais [3].

O potencial para aplicações de RV e RA se expande na

mesma medida em que evolui a capacidade de

processamento de computadores e placas gráficas. Integrar

informações virtuais e reais em um mesmo ambiente é uma

forma bastante eficiente de colocar o aluno diante de

conteúdos ou pessoas distantes ou inacessíveis, sem retirar-

lhe as percepções relativas do ambiente real que o envolve

[4].

A Educação ganhou novas perspectivas com a

aprendizagem baseada nas tecnologias interativas. As

pessoas passaram a ter acesso ao conhecimento de maneira

mais livre, sem mediação necessária de um professor

presente [4].

Com base nos dados apresentados, é de fácil percepção a

boa receptividade da tecnologia móvel pelos brasileiros,

bem como o crescimento da educação a distância no país e

do uso de RA na educação.

Este artigo apresenta uma aplicação de m-learning

utilizando Realidade Virtual e Aumentada para o ensino.

Como prova de conceito, a aplicação foi validada com o

estudo de caso para ensino de Física no Ensino Médio,

abordando tópicos de Mecânica Fundamental.

II. TRABALHOS CORRELATOS

A. M.I.T. Magic Paper

O trabalho desenvolvido pelo Massachusetts Institute of

Technology em 2006 conhecido como Magic Paper consiste

em um sistema de criação de modelos bidimensionais com

interações físicas [5].

O sistema foi desenvolvido para uso em computadores

pessoais com mouses ou mesas digitalizadoras como

hardware de entrada ou para dispositivos com telas capazes

de reconhecer o toque, como lousas digitais.

O Magic Paper recebe como dados de entrada, esboços

de objetos em duas dimensões e os transforma em figuras

geométricas com características físicas. Estas podem ser

inseridas desenhando códigos e símbolos que as

representem. Uma seta para baixo, por exemplo, simboliza a

ação da gravidade sobre o ambiente.

A Figura 1 apresenta em (a) a etapa de criação do

ambiente e em (b) a execução das leis físicas sobre os

elementos criados.

São explorados elementos como blocos, molas, cilindros

e bolas (representados por circunferências), que podem ser

conectados ou dispostos isoladamente no cenário. O

controle da animação é feito através de barras de

ferramentas contidas no software e contam com técnicas que

facilitam a compreensão das mesmas, garantindo a melhor

visualização do espaço.

O Magic Paper apresenta algoritmos de correção do

traçado, aproximando o esboço ao elemento geométrico

bidimensional. Apesar da vasta biblioteca de elementos

físicos e de forças de interação, a interação com o usuário é

limitada ao uso do mouse ou do simples toque da caneta,

não apresentando interações gestuais.

O ambiente criado limita-se ao tamanho fixo do quadro,

não permitindo a expansão do mesmo através de técnicas

como alteração da escala dos elementos.

B. In-Place 3D

O In-Place 3D é um framework para autoria de cenas

tridimensionais para Realidade Aumentada baseado em

desenhos à mão livre. Com este framework, é possível

transformar esboços em sistemas em três dimensões com a

possibilidade de interação, permitindo ao usuário controlar

as etapas da animação, bem como alterar as propriedades

físicas dos elementos contidos no ambiente [6].

Desenvolvido pelo Hit Lab New Zealand em 2009, o In-

Place 3D faz uso de técnicas de processamento de imagens e

Realidade Aumentada, bibliotecas de desenvolvimento de

ambientes e interações físicas.

Os esboços são feitos com base no desenho em

perspectiva ortogonal. São usadas técnicas de

processamento de imagens e reconhecimento de padrões

para reconhecimento dos símbolos desenhados e capturados

por uma câmera comum.

A Figura 2 apresenta em (a) a autoria de um sistema

mecânico, criado sobre um marcador especial que delimita o

espaço da cena. Em (b) tem-se o ambiente virtual gerado e

inserido no ambiente real sobre o marcador.

O tratamento das imagens permite a criação de

elementos sólidos baseados em triedros e tetraedros e forças

interativas como atrito, gravidade e velocidade. A criação

do modelo é gerada e mostrada no vídeo sobreposta à

imagem da câmera. Os movimentos e transformações dos

objetos são feitos com a adição de marcadores de controles

à cena e a movimentação da câmera.

O framework de desenho é genérico e, portanto, pode ser

utilizado para diferentes casos de uso. Sua utilização gerou

diferentes publicações em áreas de ensino e criação de

mundos virtuais.

A cena virtual não se limita ao marcador, apenas o

utiliza como orientador no espaço. Entretanto, assim como o

Magic Paper, o InPlace 3D tem espaço limitado para criação

do modelo mecânico.

A interação com o ambiente, realizada através da

câmera, é melhor utilizada em um ambiente controlado, com

uma câmera fixa. Para dispositivos móveis, esta forma de

interação deve ser repensada para que aborde os conceitos

de interação gestual, utilizando o toque do usuário e a

orientação do dispositivo.

C. ILoveSketch

Trata-se de um software desenvolvido por Seok-Hyung

bae, Ravin Balakrishnan e Karan Singh, capaz criar

ambientes tridimensionais baseados em esboços feitos em

dispositivos de captura por toque [7].

Este sistema pode ser usado com navegação 2D ou 3D e

cria curvas NURBS. Foi desenvolvido para profissionais do

design, possibilitando a interação do usuário com seus

modelos 3D com gestos comuns, existentes em uma

biblioteca coesa de gestos.

A aplicação diferenciada do software é a navegação e

criação de elementos usando um ambiente tridimensional.

Desenho e transformações dos mesmos se misturam em um

ambiente sólido e consistente.

São trabalhados gestos como ponto, curva, laço, loop,

entre outros, para desenho, transformação e movimentação

do ambiente.

(a) (b)

Figura 2. InPlace3D: (a) Autoria do sistema mecânico, esboçado no

papel; (b) Ambiente de Realidade Aumentada construído com base no

modelo desenhado.

Figura 1. Magic Paper: (a) Desenho do sistema;

(b) Animação do modelo físico.

Todos os traços do usuário são tratados a fim de

melhorar o desenho e torná-lo mais uniforme com os

padrões de projeto. São evitadas as redundâncias de traços,

para que não haja ambiguidade no processamento dos

dados, deixando os contornos definidos.

O ambiente conta com as principais ferramentas de

transformação dos modelos, que alteram suas propriedades

geométricas e estéticas. Assim como os grandes editores de

modelos 3D, o ILoveSketch propõe diferentes câmeras e

perspectivas de vistas.

Apesar das boas ferramentas de desenho, o software não

conta com ferramentas para animação e a interação do

usuário com o modelo limita-se à mudança de pontos de

vista, não permitindo a visualização dos efeitos gerados

pelas forças aplicadas ao modelo. O espaço de criação pode

ser aumentado, através de gestos, mas não há interação entre

os elementos criados. Estes se comportam como elementos

estáticos.

A Figura 3apresenta a utilização do software para

criação de desenhos tridimensionais.

III. ARQUITETURA DO SISTEMA PROPOSTO

O sistema proposto permite elaborar ambientes

aumentados, com objetos virtuais dotados de propriedades

físicas, a partir do esboço e concepção em um modelo de

interface 2D para dispositivos móveis. A Figura 4 apresenta

a arquitetura do sistema.

Figura 4. Arquitetura do Sistema Porposto

A arquitetura é centrada em um Módulo Gerenciador,

responsável pela conexão entre as bibliotecas e as interfaces.

O conjunto de bibliotecas necessárias para a execução do

sistema está dividido em duas bases de dados:

Biblioteca de Objetos Virtuais – Contêm as formas

geométricas primitivas em duas e três dimensões, as

bibliotecas específicas da linguagem para desenho 2D e

criação de mundos virtuais.

Banco de Dados da Aplicação – Nele estão contidas as

formas 2D e 3D específicas para cada aplicação, bem como

as engines necessárias para o desenvolvimento da mesma,

como bibliotecas de física dos materiais, por exemplo.

O Módulo Gerenciador tem acesso somente de leitura

dos bancos de dados, garantindo sua integridade. Observa-se

que o projeto da aplicação deve prever as bibliotecas

necessárias, que não podem ser alteradas durante sua

execução.

A comunicação entre usuário e Módulo de

Gerenciamento é feita por duas GUIs, uma para a criação e

concepção do ambiente bidimensional e outra para a

representação do ambiente aumentado. Observando os

padrões de visualização da informação para dispositivos

móveis, estabeleceu-se a criação de interfaces fluidas para

que o usuário tenha maior controle sobre o que será ou não

exibido na tela.

Na interface 2D, os elementos encontram-se a princípio

em barras ocultáveis que contêm as bibliotecas de objetos

bidimensionais. Estes objetos podem ser arrastados para a

área de composição do ambiente.

Os métodos atuais de interação com dispositivos móveis

podem ser agrupados em três grupos: gestos, toque e toques

múltiplos (gesture, touch e multitouch). Os primeiros são

caracterizados pelo movimento dos dedos em contato com a

tela do dispositivos. Métodos de toque são semelhantes aos

métodos de clique do mouse. Por fim, métodos de toques

múltiplos caracterizam-se por aceitar múltiplas entradas de

toque. A quantidade de toques aceitos é dependente da

qualidade do hardware.

Com base no padrão de desenvolvimento para

dispositivos móveis, o controle das ações na interface

bidimensional deve ser realizado com base nos conceitos de

transformações por gestos, isto é, são utilizados controles

dos tipos SWIPE (clique e arraste), TAP (clique), RESIZE

(swipe com dois toques simultâneos), DRAG AND DROP

(arrastar e soltar) e DOUBLE TAP (clique duplo).

Aplicações criadas para dispositivos específicos devem

observar a estrutura do aparelho e os controles que o mesmo

permite, assim como a estrutura da linguagem adotada.

Os painéis de biblioteca e controles auxiliares podem ser

ocultados ou exibidos através do menu principal que, por

via de regra, é associado a um dos botões físicos ou Área de

Composição Bibliotecas Controles Auxiliares virtuais do

dispositivo. A posição de tais painéis pode ser definida pelo

usuário ou pelo desenvolvedor.

Os objetos virtuais são então criados e o módulo

responsável pela interface 3D deve apresentá-lo ao usuário.

A GUI 3D deve apresentar apenas a informação obtida pela

câmera do dispositivo. Uma vez acionada, a interface busca

o marcador de RA pré-determinado e insere sobre ele o

conteúdo do mundo virtual.

Na interface 3D o painel de bibliotecas é oculto, deixando

visível apenas o painel de controles auxiliares, que neste

(a) (b)

Figura 3. ILoveSketch (a) Criação do esboço; (b) Trabalhos finais

gerados.

caso apresentará os controles de animação. A área de

Composição é então substituída pela imagem da câmera, ou

seja, a imagem do mundo real, onde serão inseridos os

elementos virtuais.

Independentemente da linguagem adotada, das

bibliotecas e dos dispositivos, sugere-se o uso dos padrões

apresentados a fim de padronizar os projetos de aplicativos

em m-learning.

Novos painéis podem ser inseridos ao sistema de acordo

com as funções necessárias em cada aplicativo, entretanto,

estes devem apresentar ao usuário a opção de ser exibido ou

ocultado.

Objetiva-se com essas diretrizes a criação de um design

minimalista, que apresente apenas as informações

estritamente necessárias, mas garanta ao usuário o acesso às

informações que julgar importantes em cada visualização.

IV. ESTUDO DE CASO

Utilizando aspectos de Mecânica Fundamental, o usuário

foi capaz de reproduzir as situações comuns aos livros

didáticos. Para isso, criam-se os elementos principais usados

no ensino de Mecânica Fundamental.

Com um simples movimento de arrestar e soltar, o aluno

pôde compor o ambiente e os elementos contidos nele. A

Figura 5 apresenta alguns elementos do simulador.

Figura 5. Elementos Físicos

Para adicionar um elemento ao ambiente, basta carrega-

lo do painel Biblioteca para o painel Ambiente. As

propriedades dos elementos podem ser editadas de duas

maneiras: clique duplo ou clique contínuo sobre o elemento.

O primeiro método abre o painel de propriedades físicas,

que é distinto para cada componente. O segundo habilita o

usuário a alterar as propriedades geométricas de cada objeto.

A Figura 6 exemplifica em (a) as propriedades do elemento

Plano Inclinado e em (b) a sua alteração de escala.

(a) (b) Figura 6. Alteração de propriedades (a) Físicas; (b) Geométricas.

Usando os mecanismos de inserção e alteração de

propriedades o usuário pôde, então, reproduzir em seu

dispositivo móvel o ambiente proposto no livro didático ou

outro à sua escolha. A Figura 7 apresenta um sistema físico

criado com os elementos disponíveis no simulador.

A Figura 8 mostra em (a) um exemplo de marcador de

RA, em (b) um sistema criado em duas dimensões e em (c)

o mesmo sistema em 3D sobre o marcador.

Elaborado o ambiente aumentado, o aluno teve a

possibilidade de visualizar os gráficos gerados pelas

equações do movimento, comprovando de forma interativa a

posição, velocidade e aceleração de cada elemento em cada

intervalo de tempo.

Os vetores das forças relacionadas podem ser exibidos

ou ocultados para que o aluno experimente diferentes etapas

do processo cognitivo.

Além de visualizar o sistema físico, o aplicativo simula

diferentes configurações de forças físicas que atuam sobre o

sistema. O aluno pode alterá-las em tempo real e verificar as

reações dos objetos virtuais. Novas forças podem ser

Figura 8. Sistema em Realidade Aumentada: (a) Marcador;

(b) Ambiente 2D; (c) Execução do aplicativo;

Figura 7. Cena virtual composta pelo usuário.

acrescentadas com um simples arrastar e soltar de objetos da

biblioteca. Uma vez soltas na ambiente principal, passam a

interagir com os objetos de maneira a simular suas respostas

reais.

Foram observadas as principais características de

diferentes trabalhos na área, como os apresentados

anteriormente. O aplicativo criado possibilita ao aluno uma

experiência de criação de ambientes aumentados em um

dispositivo móvel.

V. CONCLUSÕES

O sistema criado possibilita interagir, em ambiente

aumentado, com o conteúdo de uma dada disciplina ou área

de conhecimento. A imersão com o ambiente tridimensional

permite que os conceitos de movimentos dinâmicos, bem

como os gráficos gerados por eles sejam melhor percebidos,

garantindo ao aluno maior aproveitamento da disciplina.

A estratégia proposta para criação de aplicativos para m-

learning é genérica e facilmente adaptável a cada contexto.

A divisão da arquitetura em blocos possibilita a inserção de

novas bibliotecas referentes aos assuntos abordados sem que

todo o aplicativo precise ser refeito.

Com o sistema proposto, a informação torna-se

descentralizada, pois cada aluno pode vê-la em seu próprio

dispositivo e contribuir com a construção coletiva do

modelo tridimensional. A comunicação entre os dispositivos

em uma rede local possibilita ao grupo construir o

conhecimento de maneira interativa, não apenas expositiva.

A constante evolução dos dispositivos e das plataformas

móveis requer maior atenção sobre a tecnologia adotada no

desenvolvimento do sistema. Faz-se importante o uso de

linguagens interpretadas pelo maior número de usuários, ou

mesmo a adaptação do software para os principais

ambientes utilizados pelo público alvo.

A escolha do sistema e da linguagem adotados para

criação das aplicações deve ser feita levando em

consideração o desempenho das animações tridimensionais

e a facilidade de acesso aos dispositivos pelo público alvo.

VI. TRABALHOS FUTUROS

Como trabalhos futuros sugere-se a criação dos

ambientes utilizando técnicas de processamento de imagens,

com as quais o aluno pode desenhar em um papel o

ambiente, ou mesmo tirar uma foto da página do livro e

obter assim, os dados do sistema a ser criado. A utilização

de tais trabalhos torna-se inovadora no seu uso em

dispositivos móveis.

Sugere-se também a criação de ambientes aumentados

que não necessitem de marcadores para a exibição dos

objetos virtuais e que levem em consideração as

características do ambiente como agentes de alteração do

sistema.

Finalmente, podem ser elaboradas em aplicações que

sejam executadas em um servidor remoto, pelo qual alunos

em diferentes localidades possam contribuir ao mesmo

tempo para a criação, execução e análise do ambiente

virtual.

VII. REFERÊNCIAS

[1] ANATEL, Agência Nacional de Telecomunicações.

“Relatório Anual 2010”, disponível em

<http://www.anatel.gov.br> Acessado em 16 de agosto

de 2011.

[2] KIRNER, C.; KIRNER, T.G. “Virtual Reality and

Augmented Reality Applied to Simulation

Visualization.” In: El Sheikh, A.A.R.; Al Ajeeli, A.;

Abu-Taieh, E.M.O.. (Ed.). Simulation and Modeling:

Current Technologies and Applications. 1 ed. Hershey-

NY: IGI Publishing, 2008, v. 1, p. 391-419.

[3] AZUMA, R. T. “Tracking Requirements for

Augmented Reality”, Communications of the ACM,

36(7):50-51, July, 1993.

[4] TORI, R. “Educação sem distância: as tecnologias

interativas na redução de distâncias em ensino e

aprendizagem”, Editora Senac São Paulo, 2010.

[5] DAVIS, R., “Magic Paper:Sketch-Understanding

Research”, IEEE Computer Society, 2007.

[6] BERGIG, O., HAGBI J., EL-SANA, J.,

BILLINGHURST, M., “In-Place 3D Sketching for

Authoring and Augmenting Mechanical Systems”, 8 th

IEEE International Symposium on Mixed and

Augmented Reality (ISMAR 2009), 2009, p.87-94.

[7] BAE,S., BALAKRISHNAN, R., SINGH, Karan,

“ILoveSketch: As-natural-as-possible system for

creating 3D curve models”, ACM Symposium on User

Interface Software and Technology, Monterey, CA,

USA, 2008.