PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO

VAGNER UENDEL DE SÁ MEDEIROS

LOCALIZAÇÃO DE DEFICIENTES VISUAIS EM AMBIENTES FECHADOS E

RECONHECIMENTO DE PRODUTOS

MESTRADO EM ENGENHARIA BIOMÉDICA

São Paulo

2015

VAGNER UENDEL DE SÁ MEDEIROS

LOCALIZAÇÃO DE DEFICIENTES VISUAIS EM AMBIENTES FECHADOS E

RECONHECIMENTO DE PRODUTOS

Dissertação apresentada à Banca

Examinadora da

Pontifícia Universidade Católica de São

Paulo, como exigência parcial para obtenção

do título de Mestre em Engenharia Biomédica

sob a orientação da Profa. Dra. Annie France

Frère Slaets

MESTRADO EM ENGENHARIA BIOMÉDICA

São Paulo

2015

PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO

VAGNER UENDEL DE SÁ MEDEIROS

SISTEMA COMPLEMENTAR PARA LOCALIZAÇÃO DE DEFICIENTES VISUAIS

EM AMBIENTES FECHADOS

Dissertação apresentada à Banca

Examinadora da

Pontifícia Universidade Católica de São

Paulo, como exigência parcial para obtenção

do título de Mestre em Engenharia Biomédica

sob a orientação da Profa. Dra. Annie France

Frère Slaets

Aprovada em _____ de ___________________ de ________.

BANCA EXAMINADORA:

Nome do Professor

__________________________________

Nome do Professor

__________________________________

Nome do Professor

__________________________________

Dedico este trabalho a minha

esposa Ana pelo apoio e atenção

dedicados a mim incondicionalmente.

AGRADECIMENTOS

Gostaria de agradecer todos os envolvidos pelo trabalho (alunos, professores

e funcionários da PUC-SP) em especial aos meus colegas Renato, Rodrigo e minha

orientadora Annie pela paciência e dedicação. Agradeço também à CAPES pelo

apoio financeiro.

“O homem com esperança não vive

de ilusões. Conhece os seus limites, as

dificuldades da vida e dos homens, mas

luta para melhorar o mundo.”

Paul Debesse

RESUMO

Um dos problemas enfrentados pelos deficientes visuais é a localização de

objetos em um ambiente desconhecido. Encontrar um produto numa loja, sem

assistência é quase impossível para uma pessoa com baixa visão. Portanto,nessa

pesquisa foi desenvolvido um sistema para proporcionar a localização de produtos

nos corredores dos supermercados e a seguir permitir a leitura do código de barras

ou da etiqueta NFC no produto ou na prateleira .Para selecionar entre as opções

localização ou identificação, a tela do celular foi dividida em duas partes de tal modo

que os deficientes visuais ou pessoas com baixa visão possam escolher entre elas .

Para tanto, neste trabalho foi usado um smartphone com sistema operacional

Android. O sistema foi desenvolvido utilizando o MIT App Inventor 2. Esta interface é

uma aplicação web com código-fonte aberto desenvolvido pelo Google e mantido

pelo Instituto de Tecnologia de Massachusetts (MIT). A interface é dividida em duas

partes, uma para à concepção da aplicação dedicada e outra para a lógica. A

programação é baseada na linguagem Scheme, identificador de voz Google e leitor

de código de barras. O dispositivo foi testado em ambiente fechado simulando

corredores e prateleiras de um supermercado mensurando o tempo necessário para

encontrar e identificar cinco produtos.A adoção por loja e supermercados do sistema

desenvolvido para essa pesquisa, facilitando a localização e identificação de

produtos, devera contribuir para a independência e qualidade de vida das pessoas

com limitações visuais.

Palavras-chave: Localização de cego, identificação de etiquetas

ABSTRACT

One of the problems faced by the visually impaired is the location of objects in

an unfamiliar environment. Find a product in a store without assistance is almost

impossible for a person with low vision. Therefore, in this research we developed a

system to provide the location of products in the supermarket aisles and then allow

reading the bar code or NFC tag on the product or on the shelf .To select from the

options location or identification, the screen cell was divided into two parts such that

the blind or visually impaired persons may choose between them. Hence, in this

study used a smartphone with Android operating system. The system was developed

using the MIT App Inventor 2. This interface is a web application with open source

developed by Google and maintained by the Massachusetts Institute of Technology

(MIT). The interface is divided into two parts, one devoted to the design and

implementation for another logic. The program is based on the Scheme language,

Google voice ID and bar code reader. The device was tested indoors simulating

aisles and shelves of a supermarket measuring the time required to find and identify

five products. The adoption by store and supermarket system developed for this

research, facilitating the location and identification of products, should contribute to

the independence and quality of life for people with visual limitations.

Keywords: blind location, identification tags

LISTA DE ILUSTRAÇÕES

Figura 1: Robocart .................................................................................................. 16

Figura 2: Shoptalk................................................................................................... 17

Figura 3: Estrutura do Smartvision ....................................................................... 18

Figura 4: Implementação do Smartvision ............................................................. 19

Figura 5: Blind Shopping ....................................................................................... 20

Figura 6: Macro fluxo do sistema .......................................................................... 22

Figura 7: Primeira patente de código de barras ................................................... 24

Figura 8: Código EAN13 ......................................................................................... 24

Figura 9: Interface do site MIT Inventor 2. ............................................................ 26

Figura 10: Tela do sistema ..................................................................................... 27

Figura 11: Exemplo disposição de um produto na prateleira ............................. 30

Figura 12: Captura do código de barras em um celular ...................................... 31

Figura 13: Fluxograma simplificado do sistema. ................................................. 32

Figura 14: Representação esquemática da biblioteca......................................... 34

Figura 15: Disposição dos produtos ..................................................................... 34

Figura 16: Método para definição da distância entre o código de barras e o

celular....................................................................................................................... 36

Figura 17: Leitura do código de barras ................................................................. 37

Figura 18: Leitura com celular na vertical ............................................................ 38

Figura 19: Teste de leitura de 2 códigos simultâneos ......................................... 39

Figura 20: Teste de leitura de etiquetas NFC ....................................................... 39

LISTA DE TABELAS

Tabela 1: Comparativo entre tecnologia bluetooth x NFC.................................23

Tabela 2: Exemplo de subdivisão de produtos em um supermercado...........28

Tabela 3: Palavra identificada x mensagem corredor.........................................33

Tabela 4: Teste alcance da leitura de códigos de barras....................................40

Tabela 5: Teste identificação palavras sem variações no banco de

dados.........................................................................................................................40

Tabela 6: Teste identificação palavras com variações no banco de

dados.........................................................................................................................41

Tabela 7: .................................................................................................................42

Tabela 8: .................................................................................................................42

LISTA DE ABREVIATURAS

App – Aplicativo

LISTA DE SIGLAS

ABNT – Associação Brasileira de Normas Técnicas.

RFID – Radio Frequency Identifier.

GPS - Global Positioning System.

NFC – Near Field Communication.

UPC – Universal Product Code

EAN – European Article Numbering system

MIT - Instituto de Tecnologia de Massachusetts

SEBRAE - Serviço Brasileiro de Apoio às Micro e Pequenas Empresas

SUMÁRIO

1 INTRODUÇÃO……………………………………………………………………..13

1.1 CONCEITOS INICIAIS…………………………………………………………….13

1.2 MOTIVAÇÃO ………………………………………………………………………14

1.3 OBJETIVO………………………………………………………………………….15

2. ESTADO DA ARTE………………………………………………………………..16

3. MATERIAIS E METODOS……........................................................................21

3.1 PROJETO DO SISTEMA.................................................................................21

3.2 MATERIAL.......................................................................................................22

3.2.1 NFC..................................................................................................................22

3.2.2 CÓDIGO DE BARRAS....................................................................................23

3.3 DESENVOLVIMENTO DO SISTEMA…………………………………………...25

3.3.1 IMPLEMENTAÇÃO DO SOFTWARE…………………………………………...25

3.3.2 DESENVOLVIMENTO DO LEITOR DE CÓDIGO DE BARRAS....................27

3.3.3 CLASSIFICAÇÃO PARA BUSCA DE PRODUTOS.......................................30

3.4 MÉTODO PARA TESTES DOS DISPOSITIVOS............................................32

3.4.1 SIMULAÇÃO DO AMBIENTE SUPERMERCADO........................................32

3.4.2 TESTE DE POSIÇÃO DE POSIÇÃO DO SISTEMA EM RELAÇÃO ÀS

ETIQUETAS..............................................................................................................35

3.4.3 TESTE DE USABILIDADE E DE TERMINAÇÃO DO TEMPO DE BUSCA DE

PRODUTO.................................................................................................................35

4 RESULTADO……………….............................................................................37

4.1 IDENTIFICAÇÃO DE PRODUTOS…………...................................................37

4.2 DISTANCIA E POSICIONAMENTO DO CELULAR.......................................40

4.3 USABILIDADE................................................................................................41

5 DISCUSSÃO...................................................................................................43

6 CONCLUSÃO.................................................................................................44

REFERÊNCIAS…...........................................................................................45

13

1 INTRODUÇÃO.

1.1 CONCEITOS INICIAIS.

De acordo com o Censo de 2010, divulgado pelo Instituto Brasileiro de

Geografia e Estatística (IBGE), 23,9% da população possui alguma deficiência (45,6

milhões de pessoas), sendo a deficiência visual a mais representativa atingindo 35,7

milhões de pessoas. Destes 18,8% relataram ter dificuldade de enxergar, mesmo

com o auxílio de lentes de contato ou óculos (IBGE, 2010). Das pessoas que

declararam ter esta deficiência, 6,5 milhões alegam possuir graves problemas de

visão, 6 milhões possuem dificuldades para enxergar e 582 mil pessoas declararam

serem cegas.

No final do último século algumas políticas para inclusão de deficientes foram

implementadas no Brasil a fim de inserir o deficiente na sociedade. A Lei n° 8213/91

estabelece a obrigatoriedade de empresas com 100 ou mais funcionários

reservarem uma parcela de suas vagas a pessoas com deficiência (Brasil, 1991). A

Resolução CNE/CEB nº 2/2001, as Diretrizes Nacionais para a Educação Especial

na Educação Básica determina que “os sistemas de ensino devem matricular todos

os alunos, cabendo às escolas organizarem-se para o atendimento aos educandos

com necessidades educacionais especiais, assegurando as condições necessárias

para uma educação de qualidade para todos” (BRASIL, 2001). A Política Nacional

de Educação Especial na Perspectiva da Educação Inclusiva (BRASIL, 2008)

determina o processo educacional do deficiente. Com a implantação de políticas de

inclusão como estas e advento de novas tecnologias, os deficientes estão

conquistando um lugar na sociedade e no mercado de consumo.

Tratando especificamente dos deficientes visuais, um dos problemas

enfrentados por eles é o de "localização". Sem a visão, executar uma tarefa simples

como pegar uma moeda que caiu do bolso pode se tornar extremamente difícil.

Encontrar algo em um ambiente estranho, como um supermercado, aonde a

dinâmica da organização dos produtos muda com certa frequência, pode ser um

grande desafio. Como mostrado pela reportagem na BA TV (BA TV, 2008), a busca

por um produto sem a ajuda de outra pessoa pode ser uma tarefa impossível de ser

realizada. Os supermercados geralmente são ambientes hostis para um deficiente

14

visual e a grande maioria os evitam. Encontrar um deficiente visual sozinho neste

ambiente é uma ocasião rara. Propor uma solução para esta dificuldade se torna

relevante por não só proporcionar certa liberdade ao consumidor deficiente, mas

também para evitar seu constrangimento ao solicitar a ajuda de terceiros, uma vez

que ele sozinho, com o auxílio da tecnologia pode ser capaz de encontrar o produto

desejado.

1.2 MOTIVAÇÃO

Com os avanços na tecnologia cada vez mais os portadores de deficiência

visual tonaram-se mais independentes. Como exemplo de tais tecnologias pode-se

citar os sistemas de posicionamento, o GPS (SCHRIEVER, 2014), que é utilizado

para geolocalização, mas somente em ambientes abertos. Aplicativos diversos para

o reconhecimento e síntese de voz, assim como os adaptadores de teclado,

possibilitam leitura e escrita acessíveis aos deficientes visuais (KAHN, 1999). Outro

exemplo de dispositivo é um computador braile portátil que digitaliza um texto e o

exibe em braile (KLADYOO e INNET, 2007).

Para um dos maiores desafios que é a localização de pessoas e produtos em

um ambiente fechado, várias soluções já foram desenvolvidas sendo:

O oMoby (OMOBY, 2013), um aplicativo que foi desenvolvido para a

plataforma IOS, sendo capaz de identificar uma grande variedade de objetos e seus

respectivos fabricantes através de uma foto (este aplicativo foi descontinuado em

2013).

Em 2002 a IBM adquiriu a patente de Conzola et al. (2002) de um sistema

para os deficientes visuais que fornece a localização e identificação de itens através

do código de barras. O sistema consiste em uma unidade portátil com sintetização

de voz que indica a localização de produtos comparando o código de barras lido

pelo dispositivo com uma lista gravada na unidade portátil.

O Robocart de Kulyukin et al. (2005), desenvolvido por pesquisadores da

universidade de Utah (EUA) foi projetado para auxiliar deficientes visuais em

supermercados, lendo etiquetas RFIDS nos corredores do estabelecimento. O

sistema, complementado por um leitor de código de barras sem fio, foi acoplado ao

robô para identificação do produto desejado.

15

Outro dispositivo também desenvolvido na universidade de Utah (EUA) foi o

ShopTalk (NICHOLSON e KULYUKIN, 2007). Ele é basicamente um computador

portátil com teclado numérico, leitor de código de barras e fone de ouvido. O projeto

que funciona com verbalização da rota e leitura de código de barras, consegue

identificar até 4.297 produtos.

O iCare de Krishna et al. (2008) foi um projeto desenvolvido pela

Universidade Estadual do Arizona com o objetivo de criar um ambiente de compras

favorável à deficientes visuais. Ele consiste em uma luva integrada a um

microcontrolador com módulo bluetooth, Wi-fi, leitor de tela e RFID. Quando o

usuário passa a luva sobre uma prateleira ou um produto, o dispositivo RFID emite

uma mensagem referente à seção onde se encontra ou uma mensagem com preço,

peso, ingredientes e dados nutricionais do produto no qual o RFID está fixado.

O Trinetra de Lanigan et al. (2007) foi desenvolvido pela Universidade de

Carnegie Mellon utilizando um celular da marca Nokia, um fone de ouvido bluetooth,

um lápis Bluetooth com leitor de RFID e um lápis para leitura de código de barras. O

usuário ao entrar na loja digitaliza um código de barras ou uma etiqueta RFID e o

dispositivo reproduz uma mensagem com a descrição do produto.

A grande desvantagem desses sistemas está no fato deles não contemplarem

a localização de um produto específico, concentrando-se apenas na identificação do

código de barras ou na etiqueta afixada junto ao produto, deixando ao deficiente

visual a tarefa de encontrar onde essas informações estão no corredor, na prateleira

ou no produto.

1.3 OBJETIVO.

Desenvolver e testar um aplicativo de celular para auxiliar a localização e

identificação de produtos em ambiente de loja.

16

2. ESTADO DA ARTE.

Alguns dispositivos foram desenvolvidos com o intuito de auxiliar o deficiente

visual na localização de produtos.

O Robocart Kulyukin et al. (2005) utiliza para sua localização etiquetas RFID

que são colocadas em vários locais de uma loja, sendo no início e final de cada

corredores e em três locais ao longo destes. As etiquetas permitem que o robô

mantenha o controle de sua posição em cada corredor. Para identificação de

produtos um teclado numérico e scanner compara o código de barras com uma lista

registrada no estabelecimento.

Figura 1: Robocart

Fonte: KULYUKIN et al. (2005)

O ShopTalk (NICHOLSON e KULYUKIN, 2007), é um sistema para auxiliar

deficientes visuais a realizar compras em supermercado. O sistema é disposto em

uma pequena mochila a ser carregada pelo usuário. Além disso, possui um teclado

17

numérico preso na mochila e um leitor de código de barras. Os códigos são

comparados com listas e as informações e instruções são emitidas por mensagens

de voz ao usuário que utiliza um fone de ouvido. A estrutura de dados do sistema é

a matriz de conectividade de código de barras. A matriz associa códigos de barras

com corredores, lados do corredor, seções, prateleiras, etc. e auxilia a navegação

fornecendo instruções para a localização dos produtos. O ShopTalk possibilita a

inclusão de uma vasta biblioteca de produtos (4.297 produtos).

Figura 2: Shoptalk.

Fonte: (NICHOLSON e KULYUKIN, 2007)- figura adaptada

Trinetra de LANIGAN et al. (2007) é outro sistema baseado em um sistema

móvel que permite às pessoas com deficiência visual fazer compras

independentemente. O sistema trabalha com códigos de barras e etiquetas RFID. O

usuário ao entrar na loja digitaliza um código de barras ou uma etiqueta RFID e o

dispositivo reproduz uma mensagem com a descrição do produto. Os dados são

passados do telefone celular via Bluetooth ao fone de ouvido.

18

O SmartVision de Jose et al. (2011) foi um projeto desenvolvido por um grupo

de 4 universidades portuguesas com intuito de auxiliar deficientes visuais a percorrer

ambientes interiores e exteriores de forma autônoma. O dispositivo consiste de

módulos GPS, Wi-Fi e RFID integrados com o sistema de informação geográfica

SIG.

Figura 3: Estrutura do Smartvision.

Fonte: JOSE et al. (2011)- figura adaptada

O princípio de funcionamento do sistema de Jose et al. (2011) consiste em

navegar por algum destino seguindo marcos conhecidos armazenados no sistema

SIG, em combinação com um sistema de navegação local e detecção dos

obstáculos que estariam fora do alcance da bengala. O dispositivo não possui o

intuito de substituir a bengala do deficiente visual, mas sim complementá-la,

auxiliando no seu percurso e dando alertas de pontos de interesse nas proximidades

ou ainda obstáculos.

19

Figura 4: Implementação do Smartvision.

Fonte: JOSE et al. (2011)

O sistema Jose et al. (2011) integra GPS e Wi-Fi com um sistema GIS. O

módulo GPS é utilizado para a navegação em ambientes abertos enquanto que o

Wi-Fi é para ambientes fechados. Como podem ocorrer falhas na conexão Wi-Fi e

problemas na recepção do sinal GPS o sistema utiliza etiquetas RFID em pontos

predefinidos para sua orientação. Quando em funcionamento, a posição atual do

usuário é constantemente atualizada usando GPS, Wi-Fi ou etiquetas RFID. Quando

a recepção Wi-Fi é possível, a cada distância significativa atravessada, o mapa local

é atualizado pelo servidor GIS. Desta forma, o usuário pode sempre consultar o

sistema para saber o melhor ou o mais curto caminho para um determinado destino

e também conhecer os principais pontos de referência ao longo da rota.

O BlindShopping de Lópes-de-ipiña et al. (2011), desenvolvido na

universidade de Deusto (Espanha), consiste de um celular de baixo custo facilmente

implementável construído para permitir que as pessoas com deficiência visual

possam fazer compras de forma autônoma dentro de um supermercado. Seu

princípio de funcionamento baseia-se na navegação do usuário combinado com um

leitor de RFID na ponta de uma bengala branca e um telefone móvel. Além disso, o

sistema possui um componente de reconhecimento de produto sendo esse uma

câmera de telefone Android que usa códigos QR em relevo colocados em prateleiras

de produtos e para a sua identificação.

20

Figura 5: Testes do projeto BlindShopping.

Fonte: Lópes-de-ipiña et al. (2011)

21

3 MATERIAL E MÉTODOS.

3.1 PROJETO DO SISTEMA.

O sistema desenvolvido nesta pesquisa consiste em uma aplicação móvel

com duas opções. A primeira delas é para localizar o produto desejado pelo usuário

e informar através de mensagem de voz o corredor onde se encontre. A segunda

opção visa identificar o produto lendo o código de barras ou etiquetas NFC

associados a esse. Para tanto o sistema aciona tanto a câmera do telefone celular

para a leitura do código de barras dos produtos como também aciona o leitor de

etiquetas NFC.

Optou-se nesse projeto por desenvolver duas formas de identificação: código

de barras ou etiqueta NFC. A vantagem de identificar o produto utilizando o código

de barras é que esse é normalmente utilizado nos supermercados tanto na beirada

das prateleiras quanto no próprio produto. Entretanto é difícil para alguém com baixa

visão encontrar onde está o código de barras porque ele não possui localização

padronizada.

A vantagem de etiquetas NFC é que elas são identificáveis facilmente com o

dispositivo móvel localizado a distância de pelo menos 5 cm sem exigir

posicionamento definido.

Quando o dispositivo identifique o código de barras ou a etiqueta, o aparelho

reproduz uma mensagem de voz com a identificação do produto, preço, tamanho e

outras informações úteis (fig. 6).

22

Figura 6: Macro fluxo do sistema

3.2 MATERIAL.

3.2.1 NFC.

O NFC (ISO/IEC, 2004) é uma das mais recentes tecnologias de

comunicação sem fio. A comunicação ocorre quando um dispositivo compatível com

a tecnologia aproxima-se a alguns centímetros de outro dispositivo, fato que dificulta

o vazamento de informação. Este método de transmissão de dados é baseado em

RFID usando campos magnéticos para habilitar a comunicação entre dispositivos

eletrônicos.

A tecnologia utiliza a faixa de frequência de 13,56 MHz, largura de banda de 2

MHz, com modulação por chaveamento de amplitude (ASK) e codificação bifásica

de nível e suporta taxa de dados de 106, 212 ou 424 kbit/s. Ele funciona em dois

modelos de comunicação: passivo e ativo.

23

Etiquetas passivas dependem do campo magnético gerado pela antena de

um leitor ativo para funcionar e podem armazenar até 4KB, espaço suficiente para

registrar, por exemplo, detalhes de um produto como: identificação, preço, prazo de

validade, data de fabricação e etc.

Para este trabalho usamos etiquetas de 128 bytes, espaço suficiente para

armazenar um código de 13 algarismos.

Tabela 1: Comparativo entre tecnologia bluetooth x NFC

Bluetooth NFC

Frequência 2,4GHz 13,56MHz

Taxa de dados 1Mbps 424kbps

Alcance 4-10cm 5-10m*

Modo de comunicação Full duplex Half duplex

Pareamento instantâneo Não Sim

Facilidade no uso Fácil Difícil

* Bluetooth 2.0

3.2.2 CÓDIGO DE BARRAS

O código de barras é a representação gráfica de um determinado valor, que

pode ser tanto numérica quanto alfanumérica, dependendo do método empregado.

Esta representação é feita através de uma sequência de barras e espaços. A leitura

do código de barras é feitas através de um dispositivo que emite um feixe de luz que

converte a representação gráfica em uma sequência binária e esta sequência é

convertida por um software em um determinado valor (GS1 Brasil, 2014).

A primeira patente de um código de barras surgiu em 1952 atribuída a

Bernard Silver e Joseph Woodland e os padrões consistiam em circunferências.

24

Figura 7: Primeira patente de código de barras

Fonte: (Woodland e Silver, 1949)

Na década de 1970 a IBM criou um código denominado Universal Product

Code (UPC) a partir de então adotado nos Estados Unidos e Canadá. O código UPC

consiste em uma sequencia de 12 números representados de forma binária em

forma de barras (POLCINO MILIES, 2009).

Mais tarde para permitir uma maior difusão e rastreabilidade do país de

origem do produto criou um novo código de 13 dígitos com o nome European Article

Numbering system (EAN) sendo adotado em outros países com esse ou com outros

nomes (no Brasil utiliza-se a mesma denominação). Este código possui o mesmo

princípio do código UPC, mas a com o acréscimo do dígito adicional.

No Brasil a empresa que administra os códigos é a GS1 Brasil.

Figura 8: Código EAN

25

3.3 DESENVOLVIMENTO DO SISTEMA

O sistema foi desenvolvido para proporcionar duas opções. A primeira permite

a localização do produto no corredor do supermercado, a segunda permite a leitura

do código de barras ou de etiqueta NFC no produto ou na prateleira.

Para selecionar uma das opções a tela do celular foi dividida em duas partes

de tal modo que os deficientes visuais ou pessoas com baixa visão possam escolher

entre elas (localização e identificação).

Assim que o sistema, tema deste trabalho é executado, uma mensagem é

reproduzida dando boas vindas e indicando ao usuário como proceder nos próximos

passos sendo:

Bem-vindo. Selecione entre as duas opções do sistema: busca ou

identificação do produto. Tocando a parte superior da tela você selecionará a opção

“busca produto”, tocando a parte inferior você selecionará a opção identificação do

produto.

Ao pressionar a parte superior da tela é selecionada a opção em que o

dispositivo tem que verbalizar o produto desejado. Caso não identifica a palavra, o

dispositivo verbaliza uma lista com opções a serem selecionadas pelo usuário. Caso

a palavra identificada esteja no banco de dados o dispositivo verbaliza o corredor e

prateleira onde se encontra o produto. Quando pressionado a parte inferior da tela o

aparelho assume a opção leitura do código de barras ou do NFC para a identificação

do produto.

3.3.1 IMPLEMENTAÇÃDO DO SOFTWARE.

O sistema foi desenvolvido utilizando o MIT App Inventor 2 (MIT, 2014). Esta

interface é uma aplicação web com código-fonte aberto desenvolvido pelo Google e

mantido pelo Instituto de Tecnologia de Massachusetts (MIT). A interface é dividida

em duas partes, uma para à concepção da aplicação dedicada e outra para a lógica.

A programação é baseada na linguagem Scheme e o resultado é uma aplicação

para o sistema Android.

26

Para o “design” (figura 9), há na interface uma lista com vários componentes

(como botões e sensores) os quais estão disponíveis na tela do celular. Na lógica de

programação da interface os componentes previamente selecionados são exibidos.

O sistema MIT App Inventor torna a depuração da lógica programada em tempo real

através de um telefone Android conectado anteriormente.

Figura 9: Interface do site MIT Inventor 2.

Fonte: MIT Inventor 2

27

Figura 10: Tela do sistema.

Fonte: MIT Inventor 2

O reconhecimento de voz utilizado é o desenvolvido pelo Google. Tal

ferramenta é vinculada automaticamente pelo sistema quando o menu de

localização é acionado.

3.3.2 DESENVOLVIMENTO DE SISTEMA PARA LOCALIZAÇÃO DE

PRODUTO

Sendo selecionada a opção de localização do produto desejado, o sistema

deve informar o corredor e a altura da prateleira.

Caso o produto desejado não seja reconhecido devido a uma verbalização

diferente do prevista no desenvolvimento, colocamos como opção uma lista de

produtos que o sistema verbaliza para o usuário. Para estabelecer a lista seguimos o

28

método já aplicado pelos supermercados. Agrupando os produtos de acordo com

suas categorias.

Para tanto seguimos as recomendações do SEBRAE do Mato Grosso do Sul

(SEBRAE, 2015) onde as principais seções de um supermercado são:

1 - Alimentos

2 - Produtos de limpeza

3 - Produtos de higiene

4 - Bebidas e sucos

5 - Produtos de bazar e papelaria

6 - Utilidades domésticas diversas

7 – Equipamentos e instalações

8 – Açougue

9 – Recepção/Escritório

Por sua vez a seção de alimentos ainda é subdividida sendo:

1.1 - Cereais/grãos/farináceos

1.2 - Bolachas, biscoitos, torradas, pães e matinais

1.3 - Derivados do leite

1.4 - Conservas e enlatados

1.5 - Doces enlatados

1.6 - Bomboniere

1.7 - Frutas/verduras/hortaliças

1.8 - Congelados/frios/laticínios

1.9 - Carnes

A tabela 1 apresenta a lista com diversos produtos e suas respectivas

classificações que adotamos nesse trabalho.

Tabela 2: Exemplo de subdivisão de produtos em um supermercado

Produto Classificação Produto Classificação

Arroz 1.1 Bolacha 1.2

Feijão (carioca, preto, jalo, etc.) 1.1 Torradas 1.2

Massas em geral 1.1 Pães 1.2

Farinha de mandioca 1.1 Leite em pó 1.3

29

Farinha de trigo 1.1 Leite longa vida 1.3

Fubá 1.1 Queijo ralado 1.3

Amido de milho 1.1 Ervilha 1.4

Milho de pipoca 1.1 Milho verde 1.4

Açúcar 1.1 Salsicha em conserva 1.4

Açúcar refinado 1.1 Leite condensado 1.4

Pó de café 1.1 Creme de leite 1.4

Café solúvel 1.1 Molho de tomate 1.4

Fermento em pó 1.1 Molho inglês 1.4

Gelatina 1.1 Molho de pimenta 1.4

Coco ralado 1.1 Massa de tomate 1.4

Óleo de soja 1.1 Palmito 1.4

Azeite 1.1 Azeitona 1.4

Água mineral 1.1 Legumes em conserva 1.4

Caldo em tablete 1.1 Temperos 1.4

Vinagre 1.1 Goiabada 1.5

Chá mate 1.1 Doce de leite 1.5

Maionese 1.1 Pêssego em calda 1.5

Mostarda 1.1 Bombom em caixa 1.6

Catchup 1.1 Chocolates 1.6

Achocolatado 1.1 Balas 1.6

Pirulitos 1.6 Sabão em barra 2

Goma de mascar 1.6 Sabão em pó 2

Confeitos 1.6 Desinfetantes 2

Ovos 1.7 Amaciantes 2

Batata 1.7 Inseticidas/bactericidas 2

Cebola 1.7 Lustradores/polidores 2

Frutas diversas 1.7 Álcool/removedores/água

sanitária 2

Verduras diversas 1.7 Graxo-derivados 2

Legumes diversos 1.7 Creme dental 3

Requeijão 1.8 Sabonete 3

Queijos 1.8 Desodorante spray 3

Linguiça 1.8 Aparelho de barbear 3

Salsicha 1.8 Xampu 3

Manteiga 1.8 Absorvente higiênico 3

Margarina 1.8 Papel higiênico 3

Iogurte 1.8 Escova de dente 3

Hambúrguer 1.8 Algodão 3

Presunto 1.8 Esponja para banho 3

Mortadela 1.8 Lenço de Papel 3

Frango 1.9 Hidratante para o corpo 3

Carne bovina 1.9 Curativos 3

Carne para feijoada 1.9 Refrigerantes (lata e

garrafa) 4

30

Linguiça calabresa 1.9 Sidra 4

Ceras e abrasivos 2 Vinhos (branco e tinto) 4

Detergentes (líquido e em pó) 2 Vodca 4

Uísque 4 Saco de lixo 6

Suco de frutas 4 Vassoura/Rodo 6

Cerveja (lata e garrafa) 4 Esponja de aço 6

Refresco em pó 4 Esponja sintética 6

Bebidas esportivas 4 Pano de limpeza 6

Vela 5 Baldes (plástico e/ou alumínio) 6

Fósforo 5 Copo de vidro 6

Pilha/Bateria 5 Pratos 6

Lâmpada 5 Panelas 6

Artigos descartáveis para festa 5 Vasilhas (plástico e/ou vidro) 6

Material escolar 5 Conjunto de talheres 6

Escova de roupas 6 Fonte: (SEBRAE, 2015)

3.3.3 DESENVOLVIMENTO DO LEITOR DE CÓDIGO DE BARRAS

Quando é selecionado o menu de identificação de produto, o sistema

automaticamente acessa a opção câmera do celular. Para a leitura do código de

barras o usuário deve posicionar o celular a uma distância de 10 a 35 cm do código

para que seja possível a sua leitura conforme ilustra a figura 12.

Figura 11: Exemplo disposição de um produto na prateleira.

31

Para a leitura da etiqueta NFC o usuário deve encostar a parte traseira do

dispositivo na etiqueta em questão. Caso o número identificado na leitura esteja no

banco de dados, o sistema reproduz uma mensagem de áudio com as

especificações do produto selecionado.

Figura 12: Captura do código de barras em um celular.

A figura 13 apresenta o fluxograma simplificado do sistema.

32

Figura 13: Fluxograma simplificado do sistema.

3.4 MÉTODO PARA TESTES DOS DISPOSITIVOS

3.4.1 SIMULAÇÃO DO AMBIENTE SUPERMERCADO

Os testes foram realizados na biblioteca da universidade, lugar de fácil acesso

e utilizamos seus corredores e prateleiras para simular um ambiente de

supermercado.

A biblioteca (fig. 14) em si possui 15 corredores (fig. 15) e cada um dos lados

dos corredores conta com três prateleiras. Para nossos testes escolhemos dois

corredores e cinco produtos diferentes dispostos nas prateleiras (fig. 16). Os

produtos escolhidos foram: frango, carne, papel, coca-cola e detergente.

Devido a possíveis variações na verbalização desses produtos gravamos no

sistema 11 palavras (tabela 2).

33

Tabela 3: Palavra identificada x mensagem corredor

Palavra identificada Mensagem

Frango Corredor 1, prateleira superior

Frangos Corredor 1, prateleira superior

Frangu Corredor 1, prateleira superior

Carne Corredor 1, prateleira do meio

Carnes Corredor 1, prateleira do meio

Carni Corredor 1, prateleira do meio

Papel Corredor 2, prateleira inferior

Papéis Corredor 2, prateleira inferior

Coca-cola Corredor 3, prateleira do meio

Detergente Corredor 2, prateleira superior

Detergenti Corredor 2, prateleira superior

34

Figura 14: Representação esquemática da biblioteca

Figura 15: Disposição dos produtos

35

3.4.2 TESTE DE POSIÇÃO DO SISTEMA EM RELAÇÃO ÀS ETIQUETAS.

Para determinar as melhores distancia e posição do sistema em relação tanto

ao código de barras quanta as etiquetas NFC testamos várias distâncias entre o

celular e essas indicações assim como diversos modos de apoio na prateleira.

3.4.3 TESTE DE USABILIDADE E DETERMINAÇÃO DO TEMPO DE

BUSCA DE PRODUTO

Para o teste de usabilidade verificamos a eficácia na localização dos cinco

produtos disponíveis no banco de dados do sistema. Dois voluntários vendados

informaram qual produto desejavam dentro dos 5 disponibilizados.

Posicionamos os voluntários no ponto I (fig. 15) e mensuramos o tempo gasto

entre a verbalização do produto desejado e sua localização.

Inicialmente cada voluntário realizou o teste com somente as 5 palavras

gravadas sem as variações. A seguir introduzimos as variações da tabela 3 e

repetimos o teste.

Por último utilizamos a lista verbalizada da tabela 2. Solicitamos que cada

voluntário escolhesse os 5 produtos com o auxilio dessa tabela e mensuramos os

tempos de resposta do sistema.

Quando o voluntário encontrou o corredor e a prateleira indicada pelo sistema

ele procurou encontrar o código de barras. A seguir repetimos o teste com as

etiquetas NFC.

Desenvolvemos um sistema que permite modificar a distância entre o celular

e a etiqueta de centímetro em centímetro (Figura 16).

36

Figura 16: Método para definição da distância entre o código de barras e o celular

37

4. RESULTADOS.

4.1 TESTE DE DISTANCIA E POSICIONAMENTO DO CELULAR.

O celular utilizado para os testes é o Samsung Galaxy S3 (1.4 GHz quad-core

e sistema operacional Android 4.3). Na tabela 4 pode-se verificar que a distância

ideal para um celular com resolução de 5 Megapixels realizar a leitura é de 5 a 15

cm. O aparelho consegue realizar a leitura com outras distâncias, porém, encontra

dificuldade para focalizar o código de barras e demora mais tempo para

identificação.

Os testes realizados para verificar o melhor posicionamento do celular, das

etiquetas e dos códigos de barras mostraram que o melhor modo de leitura foi com

o celular na posição horizontal. Para a leitura das etiquetas NFC a única ressalva é

que estas não podem estar sobrepostas.

Figura 17: Leitura do código de barras com celular posicionado na horizontal.

38

Figura 18: Leitura com celular na vertical.

A porcentagem de leitura dos códigos foi de 100% nas 10 tentativas

realizadas e o tempo necessário para a leitura foi menor do que 2 segundos,

mostrando que a leitura dos produtos não é um problema.

Para ler a etiqueta contendo o código de barras o celular foi posicionado a

uma distância de 10 cm. Para facilitar o manuseio o celular foi colocado no pau de

selfie.

Para que não houvesse problemas com códigos próximos a distância entre

eles deve ser no mínimo de 15 cm, assim não há riscos do dispositivo focalizar dois

códigos. Para os testes com etiquetas NFC o celular precisa encostar-se à etiqueta

como mostrado na figura 19.

39

Figura 19: Teste de leitura de 2 códigos simultâneos

Figura 20: Teste de leitura com celular encostado nas etiquetas NFC

40

Tabela 4: Teste alcance da leitura de códigos de barras

Distância (cm) Código identificado? Tempo de identificação (s)

0 Não -

5 Sim <1

10 Sim <1

15 Sim <1

20 Sim 3s

25 Sim 10s

30 Não -

4.2 TESTE DE IDENTIFICAÇÃO DE PRODUTOS.

Testamos a identificação dos cinco produtos da tabela 2 sem variação de

verbalização. A porcentagem de identificação foi de 50% como mostrado na tabela

5.

Quando forem incluídas as variações no banco de dados, a porcentagem de

identificação foi de 90% considerando 10 tentativas com duas pessoas diferentes

(tabela 6).

Tabela 5: Teste identificação palavras sem variações no banco de dados

Voluntários Palavra identificada Vínculo com banco de dados?

V1 Frango Sim

V2 Frangos Não

V1 Carnes Não

V2 Carni Não

V1 Papel Sim

V2 Papéis Não

V1 Coca-cola Sim

V2 Coca-cola Sim

V1 Detergente Sim

V2 Detergenti Não

41

Tabela 6: Teste identificação palavras com variações no banco de dados

Voluntários Palavra identificada Vínculo com banco de dados?

V1 Frango Sim

V2 Frangos Sim

V1 Carnes Sim

V2 Carni Sim

V1 Papel Sim

V2 Papéis Não

V1 Coca-cola Sim

V2 Coca-cola Sim

V1 Detergente Sim

V2 Detergente Sim

4.3 TESTE DE USABILIDADE.

Nos testes de identificação o sistema leu os códigos de barras (tabela 4,

obedecendo a distância entre 5 e 15 cm) além de todas as etiquetas NFC instaladas,

informando verbalmente as características dos produtos.

Nos testes realizados para localização de produtos a partir da tabela

verbalizada o tempo médio de interação completa do sistema foi de 6 minutos e 09

segundos para 10 tentativas (vide soma dos tempos médios das tabelas 7 e 8). O

tempo foi baixo devido ao perímetro limitado da simulação que não ultrapassou 15

metros.

Neste teste obtivemos uma porcentagem 90% na localização do produto (uma

das 5 tentativas o voluntário desistiu da procura após o tempo da interação

ultrapassar 10 minutos) conforme verificado na tabela 8.

No teste de busca de produto, a partir da lista de produtos verbalizada para o

usuário, o tempo médio para localizar 5 produtos pelos dois voluntários foi 3 minutos

e 50 segundos (tabela 7). Deste teste pudemos observar que a tentativa falha

ocorreu pelo fato do usuário verbalizar de forma prolongada a letra “r” da palavra

“carne”.

42

Verificamos também que a maior dificuldade encontrada pelo usuário no

teste realizado estava na localização do produto no fim do corredor (figura 17). O

voluntário teve que percorrer todo o corredor até encontrar o produto desejado. Tal

dificuldade é a principal causadora na demora da identificação do produto sendo

responsável por quase metade do tempo médio da interação completa do sistema.

Tabela 7

Voluntário Produto procurado

Sequência escolhida pelo voluntário entre as palavras verbalizadas pelo sistema.

Informações Tempo para informação

(Min)

V1 Frango Alimentos Carnes Frango

Corredor 2, prateleira superior

6:37

V1 Carne Alimentos Carnes Carne bovina

Corredor 2, prateleira do meio

8:03

V1 Papel Bazar e papelaria Papel

Corredor 2, prateleira inferior

2:42

V1 Coca-cola Bebidas esportivas Refrigerantes (lata e garrafa)

Corredor 3, prateleira do meio

2:49

V1 Detergente Álcool/removedores/água sanitária

Detergentes (líquido e em pó)

Corredor 2, prateleira superior

2:57

V2 Frango Carnes Linguiça Frango

Corredor 2, prateleira superior

3:18

V2 Carne Alimentos Carne bovina

Corredor 2, prateleira do meio

5:56

V2 Papel Bazar e papelaria Papel

Corredor 2, prateleira inferior

1:18

V2 Coca-cola Sucos de freutas Refrigerantes (lata e garrafa)

Corredor 3, prateleira do meio

2:12

V2 Detergente Desinfetantes Amaciantes Detergentes (líquido e em pó)

Corredor 2, prateleira superior

2:31

Tempo médio 3:50

Tabela 8

Voluntário Produto procurado Tempo entre informação e

localização (min)

V1 Frango Carne Papel Coca-cola Detergente

1:39 1:57 (desistiu)

2:48 3:23 1:21

V2 Frango Carne Papel Coca-cola Detergente

1:58 1:31 2:12 4:34 1:51

Tempo médio 2:19

43

5. DISCUSSÃO

Uma das limitações de nosso sistema é que o usuário com baixa visão

precisa de auxílio para a instalação inicial. Também será necessária a colaboração

do supermercado para proporcionar códigos de barras acessíveis na borda das

prateleiras. Os estabelecimentos de médio porte e bem organizados já adotaram

esse método para se comunicar com os clientes sem limitações visuais.

O dispositivo desenvolvido nessa pesquisa utiliza tecnologia NFC. Há duas

vantagens na utilização da tecnologia NFC em detrimento do RFID que foi utilizado

na literatura: O NFC possibilita leitura e escrita de sua etiqueta, sendo possível

escrever de fato o número do código de barras, enquanto o RFID permite apenas

leitura da etiqueta. Mas a vantagem principal do NFC é seu baixo alcance de

atuação (alguns centímetros).

Dessa maneira o celular tem que ser encostado à etiqueta sendo esse um

dos motivos pelo qual utilizamos essa tecnologia, resolvendo assim o problema da

localização de produto que existe com os RFIDs, os códigos de barras ou as

etiquetas QR. Assim o usuário consiga encontrar uma etiqueta de cada vez. Com o

RFID que possui um alcance maior que o NFC, dependendo da distância das

etiquetas corre-se o risco de duas ou mais estarem dentro do raio de leitura.

As principais diferenças entre o sistema com relação ao Robocart Kulyukin et

al. (2005) ou o dispositivo descrito na patente US6497367 B2 (Kladyoo e Innet,

2007) é que nosso sistema funciona com aplicativos de celular, necessitando

apenas de um leitor de código de barras instalado previamente e utilizando-se do

reconhecimento de voz do Google. Também a patente conta com um dispositivo

específico e nosso sistema pode ser utilizada em qualquer smartphone com sistema

operacional android.

O ShopTalk (NICHOLSON e KULYUKIN, 2007). apenas realiza a leitura de

código de barras dos produtos não resolvendo como localizar esses seja no

supermercado ou na prateleira.

44

6. CONCLUSÃO

Identificamos que a inclusão de variáveis da mesma palavra foi uma decisão

acertada e quanto maior fora a variação na base de dados menor a chance do

sistema não reconhecer a palavra.

O dispositivo foi idealizado para ser utilizado em supermercados.

O teste realizado mostrou que o sistema é viável, pois etiquetas com código

de barras são frequentemente utilizadas em supermercado. As etiquetas NFC, que

formam mais fácil para a identificação do produto pelo usuário, podem ser

implementadas gradativamente para amortizar o custo inicial. (O custo no varejo de

uma etiqueta de NFC é de aproximadamente R$ 4,00). Ambos os métodos de

identificação devem respeitar padrão de tamanho e posicionamento.

A adoção por loja e supermercados do sistema que desenvolvemos para essa

pesquisa, facilitando a localização e identificação de produtos, devera contribuir para

a independência e qualidade de vida das pessoas com limitações visuais.

45

REFERÊNCIAS

Comprar em supermercados, para os cegos, é um esforço acima do normal.

BA TV. 1'55". Disponível em: <https://www.youtube.com/watch?v=c9XXcDZxgb4>.

Consultado em 22 Dez. 2014.

Conzola VC, Cox AR, Ortega KA, Sluchak TJ, inventor; Providing a location and

item identification data to visually impaired shoppers in a site having barcode labels.

United States patent US US6497367 B2. 24 Dez. 2002.

GS1 Brasil. Disponível em: <https://www.gs1br.org/>. Consultado em: 05 Dez. 2014.

IBGE. Censo 2010. Disponível em: <http://www.censo2010.ibge.gov.br/>.

Consultado em: 07 Jun. 2014.

ISO/IEC 18092(ECMA-340): Information technology – Telecommunications and

information exchange between systems - Near Field Communication - Interface and

Protocol (NFCIP-1). Primeira edição, 4 Jan. 2004.

José, João; Farrajota, Miguel; Rodrigues, João M.F.; du Buf, J.M. Hans. The

SmartVision local navigation aid for blind and visually impaired persons, International

Journal of Digital Content Technology and its Applications, 5, 5, pp. 362-375, 2011.

Kahn Shmuel; Portable braille computer device. United States patent US6542623

B1. 7 Set. 1999.

Kladyoo K, Innet S; A HCI Keyboard Layout Design for Blind People. International

Workshop on Advanced Image Technology, January 8-9, 2007, Bangkok, Thailand;

Kladyoo

46

Krishna S, Panchanathan S, Hedgpeth T, Juillard C, Balasubramanian V, Krishnan

NC. A wearable wireless rfid system for accessible shopping environments. 3rd Intl

Conference on BodyNets’08; Tempe, AZ 2008.

Kulyukin V, Gharpure C, Nicholson J. RoboCart: Toward robotassisted

navigation of grocery stores by the visually impaired. In:

Proceedings of the IEEE/RSJ International Conference on

Intelligent Robots and Systems (IROS). Edmonton, Canada: IEEE

Press 2005; pp. 2845-50.

Lanigan PE, Paulos AM, Williams AW, Rossi D, Narasimhan P. Trinetra: Assistive

technologies for grocery shopping for the blind. In: International IEEE-BAIS

Symposium on Research on Assistive Technologies (RAT). Dayton, OH 2007.

Lópes-de-ipiña, D., Lorido, T., Lópes, U.: BlindShopping: Enabling Accessible

Shopping for Visually Impared People through Mobile Technologies. In: The 9th

International Conference on Smart Homes and Health Telematics, Montreal, Canada,

pp. 266-270, 2011.

Ministério da Educação. CNE/CEB. Resolução nº 2 de 11 de setembro

de 2001. Institui Diretrizes Nacionais para a Educação Especial na Educa-

ção Básica. Disponível em: <http://portal.mec.gov.br/cne/arquivos/pdf/

CEB0201.pdf >. Consultado em 30 Dez. 2014.

Ministério da Educação. SEESP. Política Nacional de Educação Especial na

Perspectiva da Educação Inclusiva. 2008. Disponível em:

<http://portal.mec.gov.br/seesp/arquivos/pdf/politica.pdf >. Consultado em 30 Dez.

2014.

Ministério Público do Trabalho - Protocolo de procedimentos conjuntos para a

implementaçao da Lei m. 8.213/91. Disponível em:

<http://www.pgt.mpt.gov.br/publicacoes/pub19.html> Consultado em: 30 Dez. 2014.

47

MIT App Inventor. Disponível em: <http://appinventor.mit.edu/explore/>. Consultado

em: 07 Jun. 2014.

Nicholson J, Kulyukin V. ShopTalk: Independent blind shopping = verbal route

directions + barcode scans. Proceedings of the 30th Annual Conference of the

Rehabilitation Engineering and Assistive Technology Society of North America

(RESNA). Phoenix, Arizona 2007.

Omoby website. Disponível em:

<http://web.archive.org/web/20100722175636/http://omoby.com/pages/index.php>.

Consultado em: 11 Jun. 2014.

POLCINO MILIES, C. A matemática dos códigos de barras. Programa de Iniciação

Científica da OBMEP. Rio de Janeiro: OBMEP, 2009, v., p. 131-179.

Schriever Air Force Base. Disponível em: <http://www.schriever.af.mil/GPS/>.

Consultado em: 10 Jun. 2014.

SEBRAE/MS. Ficha técnica Supermercado. Disponível em: <

http://www2.ms.sebrae.com.br/uploads/UAI/fichastecnicas/supermercado.pdf>.

Consultado em: 24 Jan. 2015.

Woodland NJ, Bernard S, inventor; Classifying apparatus and method. United States

patent US 2612994 A. 20 Out. 1949.