Universidade Tecnológica Federal do Paraná – UTFPR

Departamento Acadêmico de Eletrônica – DAELN

Departamento Acadêmico de Informática – DAINF

Engenharia de ComputaçãoOficina de Integração 3 (IF66J) – S71 – 2016/1

Relatório TécnicoExhibeo: o espelho inteligente para uso

doméstico

Caio C. V. da Silva – caiocvsilva@gmail.com

Lucas M. M. Ribeiro – lucasmmribeiro@outlook.com

Mauro I. Vialich – maurovialich@hotmail.com

Junho de 2016

Resumo

Este trabalho apresenta um dispositivo que integra a um espelho umainterface com o usuário que mostra informações específicas, como ho-rário e tempo, lista de tarefas e notificações. O sistema consiste em umaestrutura de madeira, um vidro insulfilmado, um monitor LCD, uma Rasp-berry B+, sensores piezoelétricos, uma camera USB e um servidor local. Oprojeto Exhibeo alcançou seus objetivos de forma satisfatória, pois todosos requisitos funcionais e não funcionais foram alcançados. Este projetopode servir como base para desenvolvimento de futuros dispositivos, quevisem integrar ainda mais as tecnologias nos ambientes de uso diário daspessoas.

1 Introdução

Com o intuito de facilitar o dia-a-dia dos usuários, decidiu-se criar uma dispo-sitivo que integra à um espelho uma série de funcionalidades de fácil acesso.O Exhibeo representa uma interface de interação com o usuário que mostra,de forma concisa, informações específicas para cada usuário, como horário etempo, lista de tarefas e notificações. Tomou-se como base um projeto similar,desenvolvido na University of Ottawa, Canadá, denominado “Smart Mirror forAmbient Home Environment”, “Espelho inteligente para ambiente doméstico”,em tradução direta, cujo os autores são M. Anwar Hossain, Pradeep K. Atrey andAbdulmotaleb El Saddik [1].

Para sua criação, fez-se o uso de um Raspberry Pi B+ (RPi) que centralizatodo o fluxo de informação do projeto. O aplicativo Android, conectado ao sis-tema embarcado via conexão WiFi, é responsável pelo envio das informaçõesespecíficas de cada usuário cadastrado ao Exhibeo. As informações são mostra-das através de um monitor acoplado ao vidro insulfilmado e o usuário consegue

1

Relatório Técnico: Exhibeo 2

interagir com o espelho pelos sensores piezoelétricos espalhados pela estrutura,assim como pelo dispositivo Android. A figura 1 apresenta a visão geral do pro-jeto.

Figura 1: Visão Geral do Exhibeo.

Requisitos Funcionais:

• O dispositivo deve mostrar o clima, horário, lista de tarefas e notificaçõespersonalizadas do usuário;

• O usuário deve ser capaz de escolher quais notificações deseja ver;

• O usuário deve ser capaz de interagir com as notificações, clima, horárioe lista de tarefas;

• O usuário deve ser capaz de escolher a localidade;

• O usuário deve ser capaz de acrescentar e remover itens da lista de tarefas;

• O dispositivo deve reconhecer o usuário;

• O dispositivo e a interface Android devem ser capazes de adquirir e enviarinformações do servidor local.

Requisitos Não Funcionais:

• A interface do usuário deve ser desenvolvida na plataforma Android;

Relatório Técnico: Exhibeo 3

• As informações devem ser distribuídas nos quatro cantos do dispositivo;

• A estrutura deve ser composta de madeira e vidro;

• O dispositivo deve apresentar uma interface minimalista;

• Os componentes do dispositivo não devem ser percebidos pelo usuário;

• A interação do usuário com o dispositivo deve ser feita por um aparelhoAndroid ou através dos sensores piezoelétricos;

• As fontes e elementos gráficos devem ser brancos;

• As trocas de informações entre o aparelho Android e o dispositivo devemser realizadas através de um servidor local com o uso de WiFi.

2 Sensores, sistema embarcado e espelho

2.1 Sensores Piezoelétricos

A piezoeletricidade é a capacidade que alguns cristais têm de gerarem correnteelétrica quando submetidos à uma pressão mecânica. Os sensores piezoelétri-cos são dispositivos que medem a pressão ou a tensão utilizando esse fenômeno[2].

O sensor piezoelétrico pode converter a força exercida sobre ele por com-preensão, impacto de acelaração ou vibração em um sinal elétrico proporcionalà intensidade da força de deformação do cristal. O sinal elétrico gerado cai ra-pidamente após a força ser aplicada, ou seja, são sensores muito utilizados paramedir forças de curta duração, como força de impacto. Por essa razão, escolheu-se esse tipo de sensor para a elaboração desse projeto.

2.2 Raspberry PI B+

Para o projeto foi utlizada uma versão atualizada do sistema embarcado originalRaspberry Pi. Ele possui 40 pinos de entrada/saída e 4 portas USB 2.0. O arma-zenamento é feito em um cartão micro SD e, apesar de mais recursos, essa placaconsome menos energia do que seus antecessores. A arquitetura é baseada noARM11 com um CPU de 700Mhz e 512MB de SDRAM. Tais requisitos foram osuficiente para execução do programa principal com suporte para todos os pe-riféricos necessários.

2.3 Insulfilm Reflexivo

Um dos materiais base para o espelho foi o uso de um vidro insulfilmado, emque o insulfilme aplicado era do tipo reflexivo/espelhado. Assim como os de-mais modelos de insulfilme, o material apresenta uma característica física, quepermite com que uma certa quantidade de luz o atravesse em um sentido, po-rém toda a luz provinda no sentido oposto é refletida de volta a fonte [3]. Com

Relatório Técnico: Exhibeo 4

esta característica é possível transformar um vidro transparente em um espelho,desde que o ambiente no interior da estrutura do espelho esteja completamenteescuro.

Dessa forma, desenvolveu-se uma estrutura de madeira que impedia a en-trada de luz no interior do espelho e ao mesmo tempo foi desenvolvida uma in-terface gráfica com um fundo predominante preto e letras e imagens em branco.Assim, toda a área preta da interface gráfica mostrada no monitor, serve comoespaço reflexivo para o insulfilme, dando a aparência de espelho. Enquanto queos textos e imagens apresentados em branco, transmitem a luz pelo insulfilmechegando ao campo de visão do usuário, tendo a aparência de serem impressasno espelho.

3 Desenvolvimento

3.1 Estrutura

O envólucro do projeto é parte fundamental para que o mesmo possa ser apre-sentado de forma adequada. Neste projeto, criou-se uma estrutura de madeira,feita por um marceneiro profissional, que junto aos integrantes da equipe, deci-diram qual seria a melhor forma para a disposição dos dispositivos dentro dessaestrutura. Para um melhor acabando da estrutura, colocou-se placas de fórmicabranca coladas sobre a madeira.

Dentro da estrutura de madeira encontra-se um suporte para que o vidrofique apoiado, mas ainda consiga sofrer vibrações para ativar os sensores piezo-elétricos colocados entre o vidro e esse suporte. Para que a vibração não fossetotalmente retida pelo vidro, colocou-se tiras de borrachas entre o espelho e aestrutura para que a mesma pudesse chegar aos piezoelétricos. Ainda nesse su-porte, na parte inferior, o monitor LCD é parafusado, juntamente com a Web-Cam. Internamente, colocam-se o Raspberry Pi B+, as placas com os sensores,cabos e fontes de alimentação.

O monitor adotado é 14 polegadas, com entrada VGA. As dimensões reflexi-vas do Exhibeo são de 45 X 28 cm e as dimensões da estrutura de madeira são 50X 30 X 15 cm. A Figura 3 mostra os detalhes da estrutura. A WebCam utilizadono projeto é da marca Infoscape com resolução 640 x 480.

Relatório Técnico: Exhibeo 5

Figura 2:

(a) Vista Frontal do Exhibeo (b) Parte interna. Pode-se visualizaros principais componentes: senso-res piezolétricos, câmera, circuitos decondicionamento dos sinais dos sen-sores e a placa Raspberry PI B+.

3.2 Sensores

Os sensores utilizados no projeto foram os sensores piezoelétricos. Como expli-cado anteriormente, esses sensores são muito utilizados para medir forças decurta duração, como a força do impacto [2] e por essa razão foram utilizadosnesse projeto. Entretanto, a sensibilidade do sensor para a requerida utiliza-ção era muito baixa e também o sinal elétrico gerado decaia muito rapidamenteapós a força sofrida. Sendo assim, para solucionar esses problemas, fez-se ne-cessário o uso de componentes eletrônicos que além de aumentar a sensibili-dade do sensor, conseguissem com que o sinal recebido (analógico) fosse con-vertido para um sinal digital para então poder ser utilizado pelo RPi.

Para a solução deste problema utilizou-se o circuito de condicionmaneto desinal mostrado no diagrama esquemático da figura 3. O sinal do piezoelétrico ésubmetido a um amplificador não inversor baseado no LM358 e posteriormenteé realizado o enquadramento do sinal utilizando uma porta inversora com Sch-mitt Trigger, 74LS14. Finalmente, o flip-flop D 74LS74 registra o acionamentodo sensor.

Relatório Técnico: Exhibeo 6

Figura 3: Esquemático do circuito dos sensores.

3.3 Dispositivo Android

A comunicação das informações do usuário com o Exhibeo é realizada por meiode um aplicativo Android instalado no telefone do usuário, que se conecta aoRPi pela Wifi local. O aplicativo Android é capaz de recolher todas as notifi-cações recebidas pelo usuário e enviá-las para o servidor local. Além disso, oaplicativo possui uma sessão para inseração das atividades que o usário precisarealizar (ToDo). O aplicativo Android foi desenvolvido com o auxílio da ferra-menta Android Studio, ambiente para criação de aplicativos desenvolvido pelaGoogle [4].

Para a manipulação das notificações do usuário, fez-se a utilização da classeNotification Listener Service, classe própria do Android que possue métodos uti-lizados para verificar notificações recém chegadas, para remover notificaçõesou verificar quando alguma notificação é removida do dispositvo [5]. A figura 4apresenta o fluxograma do aplicativo Android.

Relatório Técnico: Exhibeo 7

Figura 4: Fluxograma do Aplicativo Android

A lista de atividades é criada pelo usuário na interface do aplicativo, queao finalizar e clicar no botão "save", envia também ao servidor local a lista dasatividades que devem ser realizadas pelo usuário. O aplicativo permite que ousuário possa alterar a localização de maneira manual, digitando o nome dacidade em que se localiza ou que deseja saber informações. A figura 5 apresentaa tela principal do aplicativo.

Figura 5: Tela principal do Aplicativo Android

Relatório Técnico: Exhibeo 8

3.4 Servidor

Foi desenvolvido um servidor local que permite o armazenamento dos dadosdos usuários do Exhibeo. Estes dados integram diversos componentes do sis-tema, como a identificação do usuário reconhecido pelo algoritmo de reconhe-cimento facial, e também todos os dados determinados pelo usuário no aplica-tivo Android, lista de atividades, notificações, localidade, etc.

Este servidor serve como ponte entre o dispositivo Android e o sistema em-barcado, permitindo que ambos estejam sincronizados de acordo com as infor-mações dos usuários, tendo em vista que estes dados podem ser manipuladostanto pelo Android quanto pelo espelho.

Este é um servidor Apache, um dos modelos mais difundidos entre os softwa-res livre, apresentando uma facilidade de configuração e um amplo espectro deutilização. Como parte da comunicação, foi permitida a conexão de dispositi-vos externos, desde que os mesmos conheçam o endereço IP do servidor, quese encontra dentro do próprio sistema embarcado [6]. A figura 6 apresenta ofluxograma do software do servidor local.

Figura 6: Fluxograma do software do Servidor Local

Também foi desenvolvido um servidor remoto ao sistema embarcado. Esteservidor externo possui apenas uma função, que é a de registrar qual o endereçoIP do sistema embarcado no momento de sua inicialização. Esta informaçãoé adquirida pelo aplicativo Android, também em sua inicialização, permitindoque o mesmo conheça o endereço do sistema embarcado e possa fazer as trocasde dados, tanto leituras como escritas. Nenhuma outra função foi atribuída aeste servidor remoto, tendo em vista que todas as ações são realizadas no servi-dor local, após ser realizada a conexão entre o mesmo e o dispositivo Android.A figura 7 apresenta o fluxograma do software do servidor remoto.

Relatório Técnico: Exhibeo 9

Figura 7: Fluxograma do software do Servidor Remoto

3.5 Reconhecimento facial

O reconhecimento facial foi implementado utilizando a integração da bibliotecaOpenCV com o RPi. A OpenCV (Open Source Computer Vision Library) é umabiblioteca multiplataforma, totalmente livre ao uso acadêmico e comercial, parao desenvolvimento de aplicativos na área de Visão computacional.

Para que o reconhecimento facial seja possível é necessário realizar um trei-namento prévio. Primeiramente fornece-se uma base de imagens para que oalgoritmo possa formar o seu banco de imagens para comparação. Através demétodos disponíveis dentro da própria bilioteca do OpenCv, detecta-se na ima-gem o que seriam os olhos do usuário e, a partir da distância entre eles, supõe-sequal área da figura seria a face para o usuário em questão. Após este processoocorrer para todas as fotos fornecidas, um banco de imagem é montado paracada usuário que é candidato a ser reconhecido pelo Exhibeo.

É importante salientar que, nos testes realizados pela equipe, quanto maiora quantidade e maior a variação de poses para cada usuáio, melhores foram osresultados para o reconhecimento facial. Entretanto, quanto mais imagens car-regadas para o processo de treinamento maior também o tempo necessário paraque todas as etapas ocorram. Desta forma a equipe tirou uma média de 120fotos por usuário sendo que destas, 70 foram selecionadas para compor cadabanco de imagens.

O reconhecimento facial em si ocorre da seguinte forma, utilizando comobase as imagens obtidas em tempo real através da webcam conectada, o algo-ritmo realiza os mesmos processos iniciais para o treinamento do banco de ima-gens: detectam-se os olhos e estima-se a área da face do usuário. Compara-seentão o resultado obtido com os bancos de imagem criados anteriormente, re-tornando do processo o usuário que mais se assemelha ao detectado na ima-gem da webcam e com qual confiança o algoritmo fornece essa informação.Com os dados obtidos foi implementado então um limiar pela equipe que desta

Relatório Técnico: Exhibeo 10

forma conseguiu afirmar qual usuário está em frente ao Exhibeo no momentoem questão.

3.6 Interface Gráfica

O desenvolvimento da interface gráfica foi realizado em Phython, com o auxíliodos módulos pygame e pywapi. O primeiro se mostrou ideal por apresentar umamaneira simples e bastante versátil de se dispor elementos de forma livre pelatela, já o segundo foi essencial para se obter as informações do clima da regiãoescolhida por cada usuário.

Para início do processo principal da interface gráfica é feita uma leitura dosarquivos do servidor local alocado na RPi, os quais devem informar qual é ousuário, identificado por meio do reconhecimento facial. Em seguida, são ob-tidas as informações a serem apresentadas no espelho por meio do aplicativoAdroid. No menu principal são dispostos quatro elementos em cantos distintosda tela da seguinte forma: dois ícones intuitivos referentes respectivamente anotificações e lista de tarefas do usuário, o horário atual na região determinadapelo usuário e o clima, de forma breve, nesta mesma região.

Há a possibilidade de se expandir as informações de três destes quatro itens.Ao se escolher "clima", uma nova tela exibe mais informações sobre o clima dolocal como temperatura máxima do dia, temperatura mínima e chance de pre-cipitação. Ao se escolher "notificações", a Exhibeo passa a exibir notificaçõesrecolhidas no servidor local oriundas do dispositivo móvel do próprio usuário,sendo possível navegar por tais notificações e remover alguma que seja de inte-resse. Por fim, ao se expandir a lista de tarefas, pode-se também navegar pelositens e remover algum que não precise mais estar ali. Se alguma destas listasestiver vazia e tentar-se acesso a ela, uma mensagem de alerta é mostrada parao usuário e então retorna-se para o menu principal.

O fluxograma de funcionamento da interface gráfica pode ser visualizadona Figura 8. A Figura 9 apresenta um exemplo personalizado do menu principalmostrado no espelho Exhibeo.

Relatório Técnico: Exhibeo 11

Figura 8: Fluxograma do funcionamento da interface gráfica do espelho do sistemaExhibeo.

Relatório Técnico: Exhibeo 12

Figura 9: Exemplo de uma tela da interface gráfica apresentada no espelho do sistemaExhibeo

3.7 Principais dificuldades

3.7.1 Sensores Piezoelétricos

Devido a falta de sensibilidade dos sensores piezoelétricos e o lugar com que ossensores são alocados (embaixo do espelho), a equipe encontrou dificuldadesem sua utilização. Ao longo do desenvolvimento, a pressão sobre o sensor de-veria ser muito forte para que o mesmo pudesse gerar o sinal de saída. Sendoassim, a equipe encontrou duas soluções: a primeira, que foi implementada, foia utilização de circuitos integrados e amplificadores para aumentar a sensibili-dade dos sensores. A segunda solução seria o uso de um sensor capacitivo. Aequipe chegou a investir em um destes sensores para testes iniciais, entretanto,sua utlização não foi necessária.

3.7.2 Processamento no Raspberry Pi B+

Percebeu-se a dificuldade do Raspberry Pi B+ em realizar, simultaneamente, oprocessamento de todas as atividades necessárias para o funcionamento totaldo projeto. Ao realizar a integração do reconhecimento facial com as demaistarefas, o RPi demonstrou um desempenho inferior ao que vinha apresentandoanteriormente.

Desta forma, como solução, a equipe decidiu reduzir ao máximo os efeitosnas interfaces gráficas, verificou todos códigos a fim de diminuir os custos deprocessamento no dispositivo e principalmente controlou a frequência em queo sistema adquiria as imagens provenientes da câmera para realizar o reconhe-cimento facial. Após a realização desta correção, o sistema conseguiu ser exe-

Relatório Técnico: Exhibeo 13

cutado sem grandes demoras, permanecendo fluido e rápido ao usuário, semperder qualquer informação ou funcionalidade do sistema.

3.7.3 Reconhecimento Facial

Para que o reconhecimento facial seja feito de forma correta, é necessário quehaja condições de iluminação ideais, bem como o o fundo da imagem (back-ground) do usuário de ver ser o mais próximo possível daquele utilizado nasimagens de treinamento. Como solução à essa limitação, a equipe realizou otreinamento do reconhecimento facial no ambiente em que será apresentado oprojeto para que o dispositivo funcione da forma esperada.

3.8 Custos

A tabela 1 apresenta o custo de todos os componentes utilizados para a elabora-ção desse projeto.

Tabela 1: CustosDiscriminação R$/un Qte Valor

Raspberry Pi B+ 200,00 1 200,00Vidro 15,00 1 15,00Insufilme 20,00 1 20,00Sensor Piezoelétrico 7,00 4 28,00Tira de Borracha 1,50 4 6,00Câmera USB 30,00 1 30,00Monitor LCD 100,00 1 100,00Estrutura de Madeira 60,00 1 60,00Dongle WiFi 50,00 1 50,00Conversor HDMI x VGA 40,00 1 40,00Outros - - 30,00TOTAL - - 579,00

4 Discussão

Todos os componentes do sistema embarcado, assim como do dispositivo An-droid, foram bem integrados e apresentaram uma boa resposta quando testadosem conjunto. Sendo assim, executaram de forma satisfatória todas as funciona-lidades propostas, cumprindo com todos os requisitos funcionais e não funcio-nais especificados no projeto.

O Exhibeo foi capaz de reconhecer diferentes usuários e apresentar as infor-mações corretas referentes a cada usuário. O Exhibeo permite uma interaçãocom os usuários tanto por meio de toque no espelho, como pelo dispositivo An-droid, o qual possui mais opções de interação como adicionar atividades à lista

Relatório Técnico: Exhibeo 14

de tarefas e mudar o local geográfico de referência que serve como base paraalgumas informações a serem exibidas no espelho.

Algumas limitações foram observadas, como por exemplo o controle do am-biente em que o dispositivo pode ser utilizado, tendo em vista principalmente aprecisão obtida com o reconhecimento facial. Além disso, para a o operação doExhibeo é necessária uma conexão internet sem fio no sistema embaracado, oque pode consistir em uma limitação caso nã haja a disponibilidade deste tipode comunicação.

5 Conclusão

Pode-se concluir que o projeto Exhibeo alcançou seus objetivos de forma sa-tisfatória, pois todos os requisitos funcionais e não funcionais estão presentesno dispositivo desenvolvido. O Exhibeo apresenta características que permitemaos usuários realizarem tarefas cotidianas enquanto checam as suas informa-ções, de forma a facilitar o seu dia-a-dia.

O dispositivo final apresentou uma estrutura de alta qualidade, que se as-semelha muito a um produto para venda no mercado. Todos os aspectos destaestrutura, como a distribuição dos componentes no seu interior, foram pensa-dos de forma a permitir uma boa utilização deste produto. O software, de formageral, apresenta uma boa resposta ao usuário, sem latências consideráveis ou er-ros identificados até o momento (tanto o software embarcado no espelho, comoo software desenvolvido para o aplicativo do sistema Android). Este software jáfoi desenvolvido com a característica da escalabilidade, tendo em vista que omesmo suporta a utilização por diversos usuários, e o mesmo pode ser repli-cado em diversos sistemas semelhantes ao Exhibeo.

Este trabalho pode servir como base para o desenvolvimento de futuros dis-positivos, que visem integrar ainda mais as tecnologias nos ambientes de usodiário dos usuários. Uma possível mudança, é na própria estrutura, ao utilizarcomponentes menores e mais sofisticados, pode-se reduzir a espessura assimcomo o peso do Exhibeo, tornando-o ainda mais portátil.

Agradecimentos

Agradecemos a todos os colegas e familiares que auxiliaram no desenvolvimentodeste projeto compartilhando ideias e soluções para dificuldades encontradasdurante o seu desenvolvimento.

Relatório Técnico: Exhibeo 15

Referências

[1] Abdulmotaleb El. HOSSAIN, M. Anwar e SADDIK. Smart mirror for ambienthome environment. 2007.

[2] Rosa Maria Ribeiro Lucas Ferreira de Souza. Sensores piezoresistivos e sen-sores piezoelétricos. 2012.

[3] Celso Molina, Hernane da Silva Barud, Sidney José Lima Ribeiro, YounesMessaddeq, and Marcelo Nalin. Materiais fotocrômicros de matriz polimé-rica e respectivos método de obtenção e uso. 2011.

[4] Android. Developing app. Download:http://developer.android.com/intl/pt-br/develop/index.html.

[5] Android. Notification listener. Download:https://developer.android.com/reference/android/service/notification/NotificationListenerService.html.

[6] Raspberry. Setting up an apache web server on a raspberry pi.Download:https://www.raspberrypi.org/documentation/remote-access/web-server/apache.md.