Realidade Aumentada como Incentivo a Interacao Social e aoRaciocınio Simbolico em Criancas Autistas

Pedro Victor Vieira de Paiva1, Diego dos Santos Lima1,Fabiane Queiroz1, Thiago Sales1

1Curso Ciencia da Computacao – Universidade Federal de AlagoasArapiraca – Alagoas – Brasil

{pedro.paiva,fabiane.queiroz}@arapiraca.ufal.br

{diegolima.ufal,thiagobrunoms}@gmail.com

Abstract. According recent research, children diagnosed with Autism SpectrumDisorder (ASD) have deficit in the development of social interaction, as well asthe ability of imagine scenarios or situations, and solve logical everyday pro-blems. Augmented reality (AR) with markers is a tool to simulate the immersionof virtual objects in real environments by rendering virtual elements using QRCodes (Quick Response Codes). In this work, we propose an AR applicationwhere autists can play a serie of assotiation games used to stimulate the sym-bolic reasoning and the social relationship as part of the treatment of childrenwith autism.

Resumo. Pesquisas indicam que criancas diagnosticadas com Transtorno doEspectro Autista (TEA) possuem um profundo deficit no desenvolvimento dainteracao social, na habilidade de imaginar cenarios ou situacoes e resolverproblemas logicos do cotidiano. A realidade aumentada e capaz de simulara imersao de objetos virtuais em ambientes reais alem de propiciar atividadesem grupo atraves da renderizacao de elementos utilizando QR Codes (QuickResponse Codes). Neste artigo propomos o desenvolvimento de uma aplicacaocontendo uma serie de jogos de realidade aumentada capaz de estimular aimaginacao e o relacionamento social como parte do tratamento de criancascom autismo.

1. IntroducaoDe acordo com o National Institute of Mental Health (NIMH) [DNI 2013], uma criancaautista e aquela que desenvolve desordem mental chamada coletivamente de Transtornodo Espectro Autista (TEA). Pacientes diagnosticados com TEA sao acometidos por pro-blemas de comunicacao e interacao social de multiplo contexto, esses fatos prejudicamo desenvolvimento destas criancas uma vez que durante a construcao do intelecto de umindivıduo e fundamental que o mesmo seja estimulado a raciocinar de forma simbolicae manter relacionamentos com os demais [Piaget 1951] fazendo com que seja possıvelcompreender situacoes vividas por outras pessoas, o que influencia de forma profunda avida adulta [Baron-Cohen et al. 1985].

Estudos indicam que atividades em grupo realizadas entre criancas com TEA re-sultam em aumento na area da comunicacao e diminuicao de problemas comportamentais

[Kok et al. 2002]. Gonzalez et al. [Gonzalez-Lopez and Kamps 1997] constataram quedurante estas atividades a frequencia media das interacoes aumentou quando foi introdu-zido o treinamento das habilidades sociais e do reforco positivo das interacoes.

A realidade aumentada (RA) e um conceito inovador, que combina a cap-tura de imagens com a projecao de figuras em 3D. O efeito dessa combinacaode elementos graficos e uma maior interatividade entre o usuario e o computador[Prass 2011] e um enriquecimento de cenarios reais atraves da adicao de informacao vir-tual [Vullamparthi et al. 2013]. No contexto de realidade aumentada com marcadores,que sao especies de codigos de barra bidimensionais no qual estao associados valores ouinformacoes especıficas, torna-se possıvel inserir entradas opticas reconhecıveis por sis-temas de RA que, por sua vez, ao identificarem tais entradas no cenario real, renderizamos objetos virtuais desejados.

Este artigo propoe uma ferramenta de realidade aumentada com marcadores paraser utilizado durante a terapia de criancas com autismo. Tal ferramenta propoe estimularnas criancas tanto a capacidade de desenvolver um raciocınio simbolico, quanto a capaci-dade de desenvolver atividades em grupo. Para tanto foi feito o uso de jogos de associacaode formas e cores, formacao de palavras e resolucao de pequenas expressoes numericas,onde os jogadores (criancas com diferentes graus de autismo) terao que se comunicar einteragir a fim de se posicionarem da forma correta em frente a uma camera e um monitore, por fim, concluir a atividade, ordenando-se de forma a reproduzir uma sequencia dereferencia.

1.1. Trabalhos Relacionados

Criancas neurotıpicas (ou seja, criancas que nao apresentam disturbios significativosno funcionamento psıquico), costumam brincar com objetos diversos e associar a elesrepresentacoes ludicas como, por exemplo, induzir que um “bloco de madeira” qual-quer e um “carro de brinquedo” ou uma “nave espacial”, isso e chamado de PretendPlay [Piaget 1951]. Autistas apresentam dificuldade em brincadeiras simbolicas, muitasvezes apenas imitando o comportamento de terceiros perdendo assim a espontaneidadecaracterıstica desta atividade [Jarrold et al. 1993]. As implicacoes dessa comprovacaocorroboram o fato de criancas diagnosticadas com TEA possuırem dificuldade em jogosimaginativos.

Em pesquisas recentes desenvolvidas pela Universidade de Cambridge [Bai 2013],observou-se que criancas autistas tem uma enorme dificuldade de imaginar por muitotempo objetos e situacoes em geral. E para que elas possam desenvolver esse tipo de habi-lidade, a sugestao para ir de encontro ao problema e que, elas devem incorporar, de algumaforma, os objetos virtuais em seu mundo real, assim aprendendo a manter uma relacao deintersecao entre esses dois mundos. Em trabalho recente, Bai et al. [Bai et al. 2015] par-tiram da hipotese de que, uma vez que a realidade aumentada consegue imergir em umambiente real objetos virtuais, atividades com essa tecnologia aumentariam o grau de ra-ciocınio simbolico em atividades de Pretend Play, onde objetos reais e imaginarios fazemparte da terapia. Neste trabalho, foi proposto um ambiente fısico fixo para que a terapiafosse executada utilizando recursos de RA a fim de se desenvolver atividades individuaiscom as criancas. Como resultado deste trabalho, apesar de algumas criancas apresentaremdificuldade em interagirem com os objetos virtuais, foi identificado na amostra testada

que houve um aumento significativo na frequencia, duracao, engajamento e satisfacao narealizacao das atividades. No entanto, tambem foram apresentadas limitacoes como:

• O primeiro contato com a realidade aumentada e um fato pouco estimulante paraas criancas;• Nenhum estımulo social foi gerado ja que a atividade era individual.

Escobedo et al. [Escobedo et al. 2014] atacam a dificuldade de criancas autistasprestarem atencao em um fato isolado e manterem-se focadas em suas atividades duranteum perıodo prolongado de tempo. Metodos terapeuticos tradicionais enfrentam muitosproblemas em manter o foco das criancas, o uso de RA busca aumentar o tempo deatencao das criancas alem de provocar boas emocoes durante a terapia. Foi entao elabo-rado um sistema que utiliza objetos identificaveis espalhados por um determinado espacofısico e estes, ao serem observados atraves de um visor de dispositivo movel, recom-pensa a crianca com estımulos auditivos e visuais. Smartphones foram usados como vi-sor, permitindo que a crianca explore o ambiente sem a necessidade de uma sala especial.Foi observado que ao se comparar o sistema desenvolvido com as tecnicas terapeuticasja utilizadas com as criancas testadas houve descoberta do ambiente e de objetos alemda identificacao dos mesmos; aumento na atencao seletiva de modo duradouro, mesmohavendo distracao; aumento de interacao com pessoas e objetos; aumento de emocoespositivas; relaxamento e paciencia; tolerancia com outros e diminuicao do estresse. Talqual o trabalho desenvolvido por Bai et al. [Bai et al. 2015], foi possıvel verificar nestetrabalho, que mesmo alcancando seus objetivos de estudo, nao e possıvel inferir algumtipo melhora no convıvio social, uma vez que as atividades sao desenvolvidas de maneiraindividual.

Como foi possıvel observar, numerosos recursos voltados para o acompanha-mento individual das criancas com autismo, utilizando realidade aumentada tanto em dis-positivos moveis quanto em ambientes fısicos pre-preparados com recursos fixos, temse mostrado poderosas ferramentas de auxılio a educacao/tratamento dessas criancas.Porem pouco se fala sobre ferramentas desenvolvidas com o objetivo de realizar acompa-nhamentos de criancas, incentivando-as a participarem de atividades em grupo. Comoja foi levantado, uma caracterıstica marcante dos autistas e a inabilidade para inte-ragir socialmente com outras pessoas, eles acabam isolando-se do mundo exterior ecamuflando-se, recusando-se do contato com os outros, inclusive no nıvel da voz e doolhar ([Drummond 2010]). O trabalho aqui proposto apresenta uma forma de se utili-zar recursos de RA para desenvolver tanto o raciocınio simbolico como a capacidade dascriancas em interagirem para realizarem atividades em grupo.

2. Desenvolvimento da Ferramenta

A ideia principal deste trabalho e criar um ambiente fısico em uma sala multimıdia, quepossua recursos audiovisuais fixos que sejam dedicados a atividades vinculadas ao tra-tamento de criancas autistas. Assim, os recursos dispostos na sala, auxiliados por umsoftware que utiliza a realidade aumentada compoe uma unica ferramenta proposta paraauxiliar na terapia de criancas autistas com foco nos problemas apresentados: Desenvol-vimento tanto do raciocınio simbolico quanto da capacidade de participar de atividadesem grupo.

Pra alcancar os objetivos propostos, foi desenvolvido um sistema utilizando, ini-cialmente, bibliotecas existentes para rastreamento de marcador optico para renderizaros objetos virtuais em tempo real no vıdeo. Dentro de um cenario ludico enriquecidocom informacoes virtuais, as criancas terao que desenvolver atividades em grupo intera-gindo com o software. Inicialmente, essas atividades irao se tratar de simples jogos deassociacao de cores, formas, identificacao de objetos, entre outros.

Sendo assim, o sistema foi desenvolvido utilizando a biblioteca Aruco[ARU 2014] para rastreamento dos marcadores opticos e aliadas a ela outras bibliote-cas como OpenGL [GL 2015] e OpenCV [CV 2015], para renderizar objetos virtuais epara tratar imagens, respectivamente.

A hipotese inicial e a de que as criancas autistas poderao fazer uso de marcadorespara realizar as atividades dispostas. Assim, os marcadores para a biblioteca poderao serimpressos em folhas de diversos tamanhos (frente e verso) e distribuıdos entre as criancas,que serao orientadas a executar a sequencia que e mostrada no vıdeo e, dessa forma, elasterao que se comunicar entre si para conseguir o resultado desejado.

O desenvolvimento da ferramenta seguiu um fluxo iterativo incremental de formaque requisitos funcionais foram adicionados gradativamente de acordo com as necessi-dades especıficas do publico-alvo, dessa forma as necessidades das criancas nortearama implementacao da ferramenta aqui proposta. A abordagem inicial foi de se utilizarmarcadores simples comumente citados na literatura (ver Figura 2(a)). Para realizar aidentificacao dos marcadores, foram utilizadas cameras de resolucoes de 1.0MP e de1.3MP , foi realizado tambem um estudo sobre a relacao entre tamanho do marcador edistancias limites para ambas as cameras, bem como as limitacoes do hardware usado.

Com o intuito de possuir uma base de informacoes sobre as relacoes entre equi-pamentos, tamanho de impressao dos marcadores e os tipos dos mesmos, foi elaboradaa Tabela 1 contendo os valores obtidos nos testes anteriores a escolha da configuracaoque melhor se adaptou as necessidades deste estudo. O primeiro aspecto a ser levadoem consideracao foi a resolucao da camera que capturaria os marcadores, bem como ainfluencia desse atributo nas distancias maximas e mınimas de deteccao dos marcadoresao se comparar comprimentos e areas iguais em cameras de resolucoes diferentes; outrofator que gera a oclusao dos marcadores e o angulo de rotacao do mesmo em relacao aum eixo paralelo a sua vertical, sendo assim, foi preciso obter o dado sobre o intervalo derotacao maxima dos identificadores sem obstrucao; por fim, nos era exigido o dado sobrea quantidade de marcadores que poderiam ser dispostos em uma area maxima, predefi-nida como limite ergonomico para os usuarios segurarem entre as maos, em formato detabuleiro (“board”), podendo ser descritas como matrizes bidimensionais contendo linhase colunas.

A partir dos dados coletados foi suposta entao, que uma distancia entre 2.5 e 3.0metros entre marcador e camera seria suficiente para a aplicacao, para essa conclusao fo-ram adotados marcadores com area de 100cm2. A partir desse ponto tornou-se possıvelsimular a usabilidade da versao e atraves de testes ficou evidente que marcadores simplesnao se adequariam ao cenario real de uso visto que a menor obstrucao dos mesmos oca-siona a perda de rastreamento, fazendo com que nao seja possıvel renderizar os objetosvirtuais na posicao. Com essa constatacao foram procuradas solucoes para o problema,

Tabela 1. Testes realizados na avaliacao de tamanhos de marcadores edistancias da camera, de modo a definir distancias mınimas e maximas no qualas criancas poderao ficar da camera.

ResolucaoTamanho Lateraldo Marcador Area do Marc. Distancia Min. Distancia Max. Angulo de Rotacao Board (linha x coluna)

1.0 MP 3.5cm 12.25cm2 0.06 metros 0.74 metros 90◦ 5 x 5 = 25 marcadores1.0 MP 6cm 36cm2 — 1.85 metros 90◦ 4 x 5 = 20 marcaodres1.0 MP 8cm 64cm2 — 2.33 metros 90◦ 3 x 4 = 12 marcadores1.0 MP 10cm 100cm2 — 3.21 metros 90◦ 2 x 3 = 6 marcadores1.0 MP 17.5cm 306.25cm2 0.35 metros 3.86 metros 90◦ —1.0 MP 25.2cm 640.09cm2 0.35 metros Acima de 20 metros 90◦ —1.3 MP 3.5cm 12.25cm2 0.13 metros 1.01 metros 90◦ 5 x 5 = 25 marcadores1.3 MP 6cm 36cm2 — 1.11 metros 90◦ 4 x 5 = 20 marcadores1.3 MP 8cm 64cm2 — 1.62 metros 90◦ 3 x 4 = 12 marcadores1.3 MP 10cm 100cm2 — 2.40 metros 90◦ 2 x 3 = 6 marcadores1.3 MP 17.5cm 306.25cm2 0.49 metros 5.70 metros 90◦ —1.3 MP 25.2cm 640.09cm2 0.70 M Acima de 20 metros 90◦ —

dentre elas foram implementados:

• Uso do Filtro de Kalman [Sorenson 1960] a fim de prever as possıveis posicoesdo marcador obstruıdo;• Utilizacao de multimarcadores, tolerantes a obstrucao parcial.

Com a finalidade de suavizar o problema da perda da renderizacao dos objetos, ofiltro de Kalman foi utilizado para prever possıveis posicoes do marcador, tentando me-lhorar a qualidade da persistencia do objeto sendo renderizado. Tal filtro trata-se de ummetodo estatıstico criado por Rudolf Kalman cujo objetivo e utilizar observacoes de gran-dezas realizadas ao longo do tempo (contaminadas com ruıdo e outros erros de origemaleatoria) e produzir resultados que tendem a se aproximar dos valores reais de tais gran-dezas. O filtro de Kalman cria estimativas dos valores reais das observacoes predizendoum valor, estimando o erro do valor predito e calculando uma media ponderada entre ovalor predito e o valor da observacao. A Figura 1 ilustra um exemplo de como funciona ofiltro de Kalman, com base nas observacoes representadas pelos pontos em azul.

Figura 1. Predicao do filtro de Kalman - Exemplo.

Alem da implementacao do Filtro de Kalman, foi feito o uso de multimar-cadores (ver Figura 2(b)) que fazem parte da biblioteca ArUco, fazendo assim comque uma oclusao em nıveis menores a 85% sejam irrelevantes para o rastreamento[Garrido-Jurado et al. 2014]. Essa preocupacao com a obstrucao do marcador e a per-sistencia da renderizacao dos objetos virtuais no cenario real se deu pelo fato da ferra-menta ser voltada para criancas que apresentam naturalmente a caracterıstica de perderemo interesse na atividade muito rapidamente. Com um grande numero de falhas sucessivasna renderizacao dos objetos a atividade teria uma maior chance de se tornar desinteres-sante.

(a) (b)

Figura 2. (a) Marcador unico, comumente utilizado em RA e sujeito a problemasde obstrucao e perda de rastreamento. (b) Marcador formado por multimarcado-res. Esse tipo de marcador assegura que para que haja perda de rastreamento,mais de 80% do mesmo precisa estar obstruıdo.

O desenvolvimento de todas as etapas do sistema esta tendo acompanhamentode psicologos do TRATE [TRA 2011], que e um espaco de acolhimento a criancas comautismo e atende, exclusivamente, pelo Sistema Unico de Saude (SUS), inaugurado, re-centemente, em 2011, e esta localizado na cidade de Arapiraca, em Alagoas. A pretensaoe que o desempenho das criancas apos a interacao com as atividades previstas no sistemavenha a ser avaliado por especialistas e profissionais da area, validando assim a ferramentadesenvolvida nesse trabalho.

A Figura 3 ilustra algumas telas do sistema, com diversos jogos associativos rela-cionados a formas, cores e sequencia de caracteres (que podem incluir formacao de curtaspalavras). Os jogos sao basicamente atividades de associacao de cores (ver Figura 3(a)),formas (ver Figura 3(b)) e letras (ver Figura 3(c)) onde o objetivo e ordenar os elementosrenderizados nos marcadores segundo o exemplo mostrado. Para isso os jogadores deveminteragir entre si com a finalidade de se colocarem nas posicoes corretas, quando issoocorre, uma mensagem de parabenizacao e mostrada (ver Figura 3(d)).

Devido a esta pesquisa ser realizada em parceria com a clınica TRATE, foipossıvel identificar caracterısticas que podem ser importantes para avaliacao do desempe-nho das criancas autistas durante as atividades com o sistema proposto, como quantidadede acertos e erros ocorridos nos jogos; o numero de desistencias (que pode ser identifi-cado atraves da perda de rastreamento de um ou mais marcadores por perıodos de tempoacima de um limiar pre-definido); alem do tempo gasto na realizacao da atividade. Taiscaracterısticas podem ser levantadas automaticamente pelo sistema de modo a gerar parao profissional que acompanha os pacientes na atividade algumas estatısticas uteis sobre

a evolucao do tratamento. Apos liberacao do comite de etica em pesquisa, as atividadesserao apresentadas aos pacientes do TRATE.

(a) (b)

(c) (d)

Figura 3. (a) Exemplo de associacao de cores, utilizando cubos de mesmo for-mato. (b) Exemplo de associacao de formas, utilizando objetos virtuais comformas diferentes e cores iguais. (c) Exemplo de associacao alfabetica. Tal jogopode ser utilizado tambem para realizar a formacao de pequenas palavras. (d)Feedback do sistema, apos a realizacao de uma atividade com sucesso.

3. Conclusoes e Trabalhos FuturosEste trabalho apresentou uma proposta de uma ferramenta computacional que utiliza re-cursos de Realidade Aumentada (RA) para auxiliar no tratamento de criancas autistas.

Diferentemente das propostas do estado da arte (cujo foco principal e utilizar re-cursos computacionais para auxiliar no tratamento individual de criancas autistas), estetrabalho propoe uma ferramenta de RA cujo foco se atem ao desenvolvimento do ra-ciocınio simbolico e ao estımulo para a realizacao de atividades em grupo.

Tal sistema tem por objetivo funcionar em uma sala multimıdia dedicada queatenda as necessidades reais de criancas autistas durante suas terapias para que estas de-senvolvam as habilidades que geralmente possuem dificuldade em adquirir. As atividadesprincipais desenvolvidas neste sistema incluem jogos de associacao de cores e formas,letras, expressoes numericas e cenarios, utilizando-se objetos virtuais 3D.

Como trabalhos futuros, tem-se a indicacao da criacao de uma interface graficamais amigavel para que a ferramenta possa vir a ser usada, posteriormente, pelos profis-sionais do TRATE. Intenciona-se tambem a insercao de estatısticas geradas automatica-mente pelo sistema, de forma a ajudar o profissional a acompanhar mais precisamente

a evolucao das criancas nas atividades. Ademais, tem-se o objetivo de adicionar aoscenarios renderizacoes nao-fotorealısticas em estilos de cartoon e aquarela a fim de dei-xar o ambiente mais ludico.

Referencias(2011). Arapiraca tem o primeiro espaco publico para autistas do brasil.

http://www.arapiraca.al.gov.br/v3/noticia.php?notid=3958. Acessado dez. 2014.

(2013). National institute of mental health. http://www.nimh.nih.gov/index.shtml. Aces-sado fev. 2015.

(2014). Aruco: a minimal library for augmented reality applications based on opencv.http://www.uco.es/investiga/grupos/ava/node/26. Acessado fev. 2015.

(2015). Opencv: Open source computer vision. http://opencv.org/. Acessado fev. 2015.

(2015). Opengl: The industry’s foundation for high performance graphics.https://www.opengl.org/. Acessado fev. 2015.

Bai, Z. (2013). The land of make-believe - using augmented rea-lity to encourage autistic children to engage in imaginative play.http://www.enterprise.cam.ac.uk/news/2013/3/land-make-believe/. Acessado dez.2014.

Bai, Z., Blackwell, A., and Coulouris, G. (2015). Using augmented reality to elicit pretendplay for children with autism. Visualization and Computer Graphics, IEEE Transacti-ons on, PP(99):1–1.

Baron-Cohen, S., Leslie, A. M., and Frith, U. (1985). Does the autistic child have a“theory of mind”? Cognition, 21(1):37–46.

Drummond, C. (2010). Os autismos. http://autismos.net/o-que-e-o-autismo.html. Aces-sado dez. 2014.

Escobedo, L., Tentori, M., Quintana, E., Favela, J., and Garcia-Rosas, D. (2014). Usingaugmented reality to help children with autism stay focused. Pervasive Computing,IEEE, 13(1):38–46.

Garrido-Jurado, S., Munoz-Salinas, R., Madrid-Cuevas, F. J., and Marın-Jimenez, M. J.(2014). Automatic generation and detection of highly reliable fiducial markers underocclusion. Pattern Recognition, 47(6):2280–2292.

Gonzalez-Lopez, A. and Kamps, D. M. (1997). Social skills training to increase socialinteractions between children with autism and their typical peers. Focus on autism andother developmental disabilities, 12(1):2–14.

Jarrold, C., Boucher, J., and Smith, P. (1993). Symbolic play in autism: A review. Journalof autism and developmental disorders, 23(2):281–307.

Kok, A. J., Kong, T. Y., and Bernard-Opitz, V. (2002). A comparison of the effectsof structured play and facilitated play approaches on preschoolers with autism a casestudy. Autism, 6(2):181–196.

Piaget, J. (1951). Play, Dreams and Imitation in Childhood. Heinemann education series.W. Heinemann.

Prass, R. (2011). Entenda como funciona a realidade aumentada.http://g1.globo.com/tecnologia/noticia/2011/08/entenda-como-funciona-realidade-aumentada.html. Acessado dez. 2014.

Sorenson, H. (1960). Kalman Filtering: Theory and Application. IEEE Press selectedreprint series. IEEE Press.

Vullamparthi, A. J., Nelaturu, S. C. B., Mallaya, D. D., and Chandrasekhar, S. (2013).Assistive learning for children with autism using augmented reality. In Technology forEducation (T4E), 2013 IEEE Fifth International Conference on, pages 43–46. IEEE.