Aprendendo pela Interação: uma experiência com o uso de ... · CCTE / Programa de Pós...

18
Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação Aprendendo pela Interação: uma experiência com o uso de interfaces tangíveis e realidade aumentada voltada para curvas de níveis Ruan Palmeira Jordan Lira (UFPB) Tatiana Tavares (UFPel) Resumo Como visualizar o funcionamento de uma bacia hidrográfica? Imagens de mapas topográficos ajudam, mas ainda não conseguem representar como é a dinâmica da água entre os lagos, rios e seus afluentes. A análise de dados volumétricos exige que o aluno faça uso de sua imaginação para compreender essas estruturas, fato cotidiano no aprendizado de disciplinas como: Geografia, Topografia, Geologia e Hidrografia. As tecnologias digitais oferecem formas interativas para visualizar diversos tipos de dados, especialmente, dados complexos como os volumétricos. Computação gráfica, realidade virtual e dispositivos de interação são facilidades que podem beneficiar o aprendizado e ampliar as dimensões do ensino. Nesse projeto, exploramos a Realidade Aumentada através da construção de um sistema tangível que permite aos usuários a interação com modelos topográficos e hidrográficos. A solução adotada utiliza caixa de areia, projetor, Kinect, um computador e o software Augmented Reality Sandbox para permitir a modelagem de mapas de elevação de cores e linhas de contorno topográficas. A solução foi construída e levada à apreciação de mais de 100 usuários em uma feira de tecnologia realizada em maio de 2015. Os resultados dessa experiência são apresentados. Palavras-chave: realidade aumentada, interface tangível, teste de usuário. Abstract How to view the functioning of a watershed? Images of topographic maps can help, but can not represent how the dynamics of water between the lakes, rivers and their tributaries work. The volumetric data analysis requires the student to make use of their imagination to comprehend these structures; this is a daily fact in learning subjects such as, Geography, Topography, Geology and Hydrography. The interactive digital technologies offer ways to display various types of data, especially, complex data such as the volumetric. Graphics computer, virtual reality and interaction devices are facilities that can benefit the learning and expand the dimensions of

Transcript of Aprendendo pela Interação: uma experiência com o uso de ... · CCTE / Programa de Pós...

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Aprendendo pela Interação: uma experiência com o uso de interfaces tangíveis e realidade aumentada voltada

para curvas de níveis

Ruan Palmeira

Jordan Lira (UFPB)

Tatiana Tavares (UFPel)

Resumo Como visualizar o funcionamento de uma bacia hidrográfica? Imagens de mapas topográficos ajudam, mas ainda não conseguem representar como é a dinâmica da água entre os lagos, rios e seus afluentes. A análise de dados volumétricos exige que o aluno faça uso de sua imaginação para compreender essas estruturas, fato cotidiano no aprendizado de disciplinas como: Geografia, Topografia, Geologia e Hidrografia. As tecnologias digitais oferecem formas interativas para visualizar diversos tipos de dados, especialmente, dados complexos como os volumétricos. Computação gráfica, realidade virtual e dispositivos de interação são facilidades que podem beneficiar o aprendizado e ampliar as dimensões do ensino. Nesse projeto, exploramos a Realidade Aumentada através da construção de um sistema tangível que permite aos usuários a interação com modelos topográficos e hidrográficos. A solução adotada utiliza caixa de areia, projetor, Kinect, um computador e o software Augmented Reality Sandbox para permitir a modelagem de mapas de elevação de cores e linhas de contorno topográficas. A solução foi construída e levada à apreciação de mais de 100 usuários em uma feira de tecnologia realizada em maio de 2015. Os resultados dessa experiência são apresentados. Palavras-chave: realidade aumentada, interface tangível, teste de usuário. Abstract How to view the functioning of a watershed? Images of topographic maps can help, but can not represent how the dynamics of water between the lakes, rivers and their tributaries work. The volumetric data analysis requires the student to make use of their imagination to comprehend these structures; this is a daily fact in learning subjects such as, Geography, Topography, Geology and Hydrography. The interactive digital technologies offer ways to display various types of data, especially, complex data such as the volumetric. Graphics computer, virtual reality and interaction devices are facilities that can benefit the learning and expand the dimensions of

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

education. For this project we explore Augmented Reality by building a tangible system that allows the users to interact with topographic and hydrographic models. The chosen solution uses sandbox, projector, Kinect, a computer and the Augmented Reality Sandbox software to allow modeling of colors elevation maps and topographic contour lines. The solution was built and taken for consideration of more than 100 users at a technology fair held in May 2015. The results of this experiment are presented. Keywords: augmented reality, tangible interface, user testing

Introdução

O impacto que as novas tecnologias vêm causando nos mais variados setores

da sociedade é, em grande parte, muito benéfico para o desenvolvimento dos seres

humanos. Na área da educação, em particular, é possível perceber que os novos

processos de ensino, que fazem uso de equipamentos eletrônicos, propiciam a

aprendizagem, incorporando-se aos tradicionais recursos metodológicos utilizados

atualmente. [01]

Diversas disciplinas exigem que o aluno faça uso de sua imaginação para

compreender diferentes conceitos e estruturas, fato cotidiano no aprendizado das

ciências da Terra. Esse fato pode ser claramente observado no estudo de uma bacia

hidrográfica, por exemplo. Nesse tipo de estudo, o aluno faz uso de imagens de mapas

topográficos e hidrográficos para visualizar o funcionamento de uma bacia

hidrográfica, mas essas imagens não conseguem representar como é a dinâmica da

água entre os lagos, rios e seus afluentes.

Uma solução para contornar essa dificuldade seria oferecer ao aluno um meio

no qual ele possa visualizar, analisar e até mesmo interagir com essas informações.

Esse é o propósito do projeto Augmented Reality Sandbox, que dá aos seus usuários a

capacidade de interagir com mapas topográficos e hidrográficos em tempo real. Esse

sistema possui uma Interface Tangível na qual seus usuários podem manipular uma

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

caixa de areia, formando assim mapas de elevação de cores, linhas de contorno

topográficas e a simulação de como seria a dinâmica das águas nesse ambiente. [02]

O intuito desta experiência é investigar como a possibilidade real de interagir

com mapas geográficos, a partir da experimentação da solução aqui descrita, interfere

no aprendizado dos alunos. Para investigar a interferência no aprendizado dos alunos

com esse tipo de interação, é necessário começar apresentando o tipo da interface na

qual os alunos irão submeter-se.

1. Interfaces Tangíveis

O conceito de Bits Tangíveis (Tangible Bits), criado em 1997 pelo grupo de

mídias tangíveis do MIT apresenta uma nova forma de Interação Humano Computador

(HCI), baseada na visão do paradigma da Computação Ubíqua e da pesquisa sobre

Realidade Aumentada. Essa nova forma de interação chamada de Interfaces de

Usuário Tangíveis (TUIs), resumidamente chamada de Interfaces Tangíveis, são as

interfaces nas quais o mundo físico é acoplado às informações digitais, fornecendo aos

seus usuários a possibilidade de manipular essas informações diretamente. [03; 04]

Com o passar dos anos, o conceito e as propriedades desse tipo de interface

foram melhorando e tornando-se mais concisos, através de pesquisas e experimentos

feitos não somente pelo grupo original, mas também por outros pesquisadores que

tomaram como base os resultados prévios. Um dos vários resultados obtidos através

dessas pesquisas, foi a compreensão de que as Interfaces Tangíveis diferem das

Interfaces Gráficas de Usuário (GUIs), principalmente pela eliminação da distinção

entre dispositivos de entrada e dispositivos de saída. [05]

No ano de 2004, o pesquisador Kenneth P. Fishkin definiu uma taxonomia para

a análise das Interfaces Tangíveis, fundamentada em dois atributos: a metáfora e a

personificação da interação. Quanto maiores forem os níveis desses atributos em um

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

sistema, o mais tangível ele será. O atributo da personificação serve para definir o

quão próximo está o dispositivo de entrada (objeto físico) ao de saída do sistema

(objeto virtual), sendo definido em quatro níveis [06]:

Personificação Completa: o dispositivo de entrada é o mesmo que o

dispositivo de saída, ou seja, a saída do sistema

é exibida no próprio dispositivo de entrada;

Personificação Próxima: o dispositivo de saída está diretamente próximo ao

de entrada, mas são distintos;

Personificação Ambiental: o dispositivo de saída está no mesmo ambiente

em que o usuário está, mas não é possível tocá-

lo fisicamente, ou seja, ele pode ser um som ou

uma luz por exemplo;

Personificação Distante: o dispositivo de saída está distante do usuário, em

outra tela ou até mesmo em outro cômodo.

Já o atributo da metáfora serve para definir o quão próximo está o dispositivo

de entrada com algum objeto do cotidiano, a partir das semelhanças de suas

características, sendo definido em quatro níveis [06]:

Metáfora Ausente: o dispositivo de entrada não possui nenhuma

semelhança com algum objeto do cotidiano;

Metáfora Nominal ou Verbal

NOMINAL: o dispositivo de entrada possui alguma semelhança com o

objeto virtual seja ela física, de aparência ou sonora. Mas as ações feitas

em um deles não são analogamente refletidas no outro;

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

VERBAL: o dispositivo de entrada não possui nenhuma semelhança com

objeto virtual, mas as ações feitas em um deles são analogamente

refletidas no outro;

Metáfora Nominal e Verbal: existe uma analogia entre o dispositivo de

entrada e o objeto virtual, mas eles

continuam sendo diferentes. Tendo como

única semelhança, as ações feitas em um

deles.

Metáfora Completa: o dispositivo de entrada é totalmente semelhante ao

objeto virtual, e as ações feitas em um deles são

diretamente e exatamente refletidas no outro.

Analisando a interface do projeto base [02], que será detalhada na seção 4.4, é

possível observar em quais categorias dos atributos das Interfaces Tangíveis ela se

encaixa. Com relação ao atributo da Personificação, é possível perceber que a interface

possui a Personificação Próxima, pois o dispositivo de saída desse sistema, que é a

imagem exibida pelo projetor, está em contato direto com o dispositivo de entrada

que é a areia presente na caixa de areia. Já se tratando do atributo da Metáfora, a

interface se encaixa no atributo da Metáfora Completa pois como a areia forma uma

paisagem (dispositivo de entrada) e objeto virtual também, as ações feitas na areia,

são exatamente refletidas no objeto virtual.

2. Experiência de Usuário

Segundo a definição do ISO 9241-210 o termo experiência de usuário inclui

“percepções de uma pessoa e as respostas que resultam do uso ou utilização prévia de

um produto, sistema ou serviço” (tradução livre) [07]. Logo, um bom sistema de

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

análise de usuário deverá observar não apenas a satisfação do usuário, mas os seus

sentimentos da pré-utilização do produto.

O AttrakDiff, é uma ferramenta conhecida no uso de avaliação de experiência

de usuário. As suas perguntas são de contexto emocional á prática, e ele é considerado

uma ferramenta totalmente desenvolvida para análise de experiência de usuário por

formulários. [08] Por isso ele foi escolhido como base para a nossa análise da

experiência de usuário.

3. Estudo de Caso: Avaliação do projeto Augmented Reality

Sandbox

Figura 1: Processo de Design

Fonte: Interaction-Design.org. Design Process. Disponível para acesso em:

https://scontent-mia1-1.xx.fbcdn.net/hphotos-xat1/t31.0-8/p600x600/11412249_10154313015982228_4397613785755231170_o.jpg

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

3.1 Público-Alvo (User Research)

Conforme o propósito do software utilizado na solução, que é o ensino e a

visualização de conceitos geográficos, geológicos e hidrológicos, o público-alvo deste

software é bastante vasto, incluindo: exposições itinerantes de ciência; estudantes do

Ensino Fundamental, Médio e Superior; departamentos universitários de ciências da

terra; entre outros.

3.2. Análise (Analysis)

De acordo com o as informações contidas no site oficial, o projeto foi inspirado

em um vídeo de um grupo de pesquisadores checos, no qual era apresentado um

protótipo inicial de uma caixa de areia com Realidade Aumentada. A ideia do vídeo foi

aprimorada, tendo como objetivo a criação de um sistema de Realidade Aumentada

para a criação de modelos topográficos, cujas informações são digitalizadas em tempo

real para um computador e em seguida utilizadas como fundo para uma variedade de

efeitos gráficos e simulações. A ideia final foi obter um sistema autônomo que pudesse

ser utilizado com pouca supervisão. [02]

3.3. Design (Design)

O design do hardware do projeto foi feito pelo especialista em projeto Peter Gold

do departamento de Geologia da Universidade da Califórnia, podendo ser resumido da

seguinte forma:

As informações sobre as profundidades da paisagem são capturadas pelo Kinect à

uma taxa de 30 quadros por segundo, sendo utilizadas em um filtro de avaliação

estatístico constituído por um buffer de tamanho configurável por quantidade de pixels

(por padrão são utilizados 30 posições, que constitui 1 segundo de atraso) e de uma

combinação de funções que criam o mapa de elevação de cores com suas respectivas

curvas de níveis. A superfície topográfica resultante é então projetada pelo projetor, no

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

mesmo ponto de visão de captura do Kinect, sobrepondo a areia, combinando a topografia

da projeção com à da areia. Em paralelo, uma função que cria uma simulação de água é

executada com base nas informações presentes no buffer. [02]

3.4. Protótipo (Prototype)

O protótipo utilizado nesse experimento foi feito com base nas instruções contidas

no site oficial do projeto [02]. Os componentes de hardware necessários para a criação de

um protótipo de acordo com as instruções deviam ser posicionados de acordo com a

Figura 2, sendo eles os seguintes:

Um computador que possua uma boa placa de vídeo, rodando qualquer versão

do sistema operacional Linux ou Mac OS X;

Um Microsoft Kinect de primeira geração;

Um projetor de dados digitais (data show);

Uma caixa de areia com um suporte para montar o Kinect e o projetor acima da

mesma;

Areia.

Figura 2: Layout do protótipo

Fonte: Oliver Kreylos. Layout do protótipo.

Disponível para acesso em: http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/Instructions.html

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Inicialmente foi feito o ajuntamento dos componentes de hardware necessários

citados anteriormente para a montagem do protótipo.

Figura 3: Suporte com o Kinect e o projetor montados.

Fonte: Autores (2015)

Figura 4: Caixa de areia de alumínio

Fonte: Autores (2015)

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Figura 5: Areia.

Fonte: Autores (2015)

Figura 6: Protótipo montado em processo inicial de calibração

Fonte: Autores (2015)

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Após a montagem dos componentes, foi feita a instalação dos softwares

descritos nas instruções do site para começar os ajustes iniciais do protótipo: o

alinhamento e a calibração do Kinect e do projetor. Durante esses ajustes surgiram

alguns problemas com a calibração do Kinect, impossibilitando temporariamente a

execução correta do protótipo. Realizando mais algumas tentativas e utilizando o

fórum de dúvidas, cujo endereço está disponível nas instruções, os problemas com a

calibração foram resolvidos, modificando a distância entre os equipamentos e a caixa

de areia, além da troca do projetor por outro, mais potente. Com a função de melhorar

a aparência e o manuseio do protótipo, foram acrescentados um tecido para forrar a

caixa de areia e um conjunto de brinquedo contendo um pá e um ciscador, o que além

de deixar o equipamento mais atrativo para o público infanto-juvenil, tornou o mesmo

utilizável para os voluntários que não se interessaram em manipular a areia

diretamente.

3.5. Testes com Usuários (User Testing)

Com o protótipo em funcionamento, o mesmo foi levado à feira de tecnologia

EXPOTEC realizada em maio de 2015 na cidade de João Pessoa na Paraíba, para serem

realizados os testes com usuários. Durante a feira a solução foi testada por mais de

100 pessoas, dentre as quais, 130 foram convidadas à responder um formulário digital

elaborado para analisar a Experiência de Usuário que as mesmas tiveram. As perguntas

feitas no formulário foram criadas com base nas que estão presentes na ferramenta de

avaliação da Experiência de Usuário AttrakDiff. Elas têm como intuito a medição das

percepções obtidas pelos usuários sobre o sistema, em um total de 28 perguntas no

estilo da escala de divididas em 3 categorias: Qualidade Pragmática, Qualidade

Hedônica e Apelo [09]. Das 28 perguntas do AttrakDiff, foram utilizadas apenas 24,

removendo as que apresentaram ambiguidade, na língua portuguesa, ou que não

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

fossem relevantes para esse experimento, acrescentando-se em contrapartida

algumas perguntas básicas para identificar algumas características dos usuários.

Figura 7: Protótipo na EXPOTEC.

Fonte: Autores (2015)

3.5.1. Análise dos Resultados

Das 130 pessoas que foram convidadas à responder o questionário com relação

à experiência como usuários do experimento, 5 delas não aceitaram os termos de

consentimento do formulário, logo, suas respostas não foram contabilizadas.

Resultado que pode ser visto no Gráfico 1. Ao analisar os resultados das 125 pessoas

que aceitaram os termos, foi possível identificar que elas possuíam em sua maioria,

idades entre 17 e 28 anos (76,80%) como é mostrado no Gráfico 2.

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

O grau de instrução predominante dos usuários foi Ensino Superior Incompleto

(68,80%), como pode ser visto no Gráfico 3, tal grau se encaixa exatamente em um dos

grupos do público-alvo deste experimento.

Gráfico 1: Termos de Consentimento.

Fonte: Autores (2015)

Gráfico 2: Faixa etária dos usuários

Fonte: Autores (2015)

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Gráfico 3: Grau de Ensino dos usuários.

Fonte: Autores (2015)

Tendo identificado os usuários, o passo seguinte foi analisar as respostas das

perguntas com relação às três categorias citadas anteriormente. No formulário, cada

uma dessas perguntas possuía sete alternativas, variando entre os valores 1 e 7. Nas

extremidades desses valores foram colocados os adjetivos opostos presentes nas

categorias do AttrakDiff, formando assim uma Escala de Diferencial Semântico [10]. As

porcentagens de cada alternativa das perguntas podem ser visualizadas na Tabela 1

que foi organizada com os adjetivos na extremidade direta, e seus antônimos na

extremidade esquerda.

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Quadro 1: Porcentagens das respostas

Fonte: Autores (2015)

A partir do Quadro 1, para facilitar a análise desses resultados, foi criado outro

quadro contendo uma representação da média das respostas de cada pergunta que

pode ser vista no Quadro 2.

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

Quadro 2: Porcentagens das respostas

Fonte: Autores (2015)

Com exceção das perguntas: Técnico-Humanizado e Imprevisível-Previsível,

feitas sobre a solução apresentada, que receberam respostas neutras (a solução não

tendia para nenhum dos extremos), todas as outras perguntas receberam respostas

positivas, tendendo para a extremidade dos adjetivos.

Considerações finais

Com base nos resultados é possível perceber que o uso das Interfaces Tangíveis

é bastante convidativo na área da educação. Nossos dados coletados mostram que

muitos estudantes de ensino superior, médio e fundamental tiveram experiências

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

positivas ao utilizar o equipamento, isso mostra que o equipamento poderia ser

utilizado em sala de aula, para tornar uma aula mais didática e atrativa.

Novas tecnologias estão cada vez mais presentes no cotidiano, ferramentas

com interface tangíveis está cada vez mais deixando de ser um conceito e se tornando

realidade. O Augmented Reality Sandbox é um exemplo de um equipamento de baixo

custo e de diversas aplicações. Sua utilização simples e agradável, como mostra neste

artigo, pode trazer mais atenção a esta tecnologia que pode se tornar um dia, parte do

nosso futuro.

Referências Bibliográficas

DORIGONI, G., SILVA, J., Mídia e Educação: o uso das novas tecnologias no espaço escolar, http://www.diadiaeducacao.pr.gov.br/portals/pde/arquivos/1170-2.pdf.

REED, S., KREYLOS, O., HSI, S., KELLOGG, L., SCHLADOW, G., YIKILMAZ, M.B., SEGALE, H., SILVERMAN, J., YALOWITZ, S., and SATO, E., Shaping Watersheds Exhibit: An Interactive, Augmented Reality Sandbox for Advancing Earth Science Education, American Geophysical Union (AGU) Fall Meeting 2014, Abstract no. ED34A-01. http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/.

ISHII, H., ULLMER, B., Tangible Bits: Towards Seamless Interfaces between People, Bits, and Atoms, 1997, MIT Media Laboratory, Tangible Media Group, http://tangible.media.mit.edu/project/tangible-bits/.

ISHII, H., Tangible Bits: Beyond Pixels, 2008, MIT Media Laboratory, Tangible Media Group, http://tangible.media.mit.edu/project/tangible-bits/.

ULLMER, B., ISHII, H., Emerging Frameworks for Tangible User Interfaces, 2001, “Human-Computer Interaction in the New Millennium,” John M. Carroll, pg 579-601, http://alumni.media.mit.edu/~ullmer/papers/tui-millenium-chapter.pdf.

FISHKIN, K., A Taxonomy for and Analysis of Tangible Interfaces, 2004, Journal of Personal and Ubiquitous Computing, 8 (5), pg 347-358, http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.107.3503&rep=rep1&type=pdf.

International Organization for Standardization. Ergonomics of human system interaction, 2009, Part 210: Human-centered design for interactive systems (formerly known as 13407). ISO F±DIS 9241-210:2009, https://www.iso.org/obp/ui/#iso:std:iso:9241:-210:ed-1:v1:en.

Universidade Federal de Pernambuco NEHTE / Programa de Pós Graduação em Letras CCTE / Programa de Pós Graduação em Ciências da Computação

HASSENZAHL, M., BURMESTER, M., KOLLER, F. AttrakDiff: Ein Fragebogen zur, Messung wahrgenommener hedonischer und pragmatischer Qualität, 2003, In J.Ziegler & G. Szwillus (Eds.), Mensch & Computer 2003. Interaktion in Bewegung, pg 187-196, Stuttgart, Leipzig: B.G. Teubner, http://attrakdiff.de/files/mc2003_hassenzahl_review.pdf.

CARDOSO, G.C., Avaliação de Experiência do Usuário durante o desenvolvimento de um aplicativo social móvel, 2013, Programa de Pós-Graduação em Design e Expressão Gráfica da Universidade Federal de Santa Catarina, pg 69-70, https://repositorio.ufsc.br/bitstream/handle/123456789/107047/319583.pdf?sequence=1.

CARROLL, J.B., Reviewed Work: The Measurement of Meaning by Charles E. Osgood, George J.

Suci, Percy H. Tannenbaum, 1959, Linguistic Society of America, pg 58-77,

http://www.jstor.org/stable/411335.