Interação baseada em gestos de mãos e cabeça para ...mcabral/defesaMarcio.pdf · Gestos são...

Gestos como forma de interaçãoDetecção e rastreamento de mãos e face

Sistema interativo baseado em gestosResultados Experimentais

Conclusão

Interação baseada em gestos de mãos ecabeça para ambientes de realidade virtual

utilizando visão computacional

Candidato: Marcio Calixto CabralOrientador: Carlos Hitoshi Morimoto

Departamento de Ciência da ComputaçãoInstituto de Matemática e Estatística

Universidade de São Paulo

Defesa de Mestrado

M.C. Cabral 25 de maio de 2005 - Transparência 1



Conclusão

Organização

1 Gestos como forma de interaçãoMotivaçãoObjetivosDesafios

2 Detecção e rastreamento de mãos e faceDefinição do problemaTeoria e algoritmos

3 Sistema interativo baseado em gestosObjetivoDetalhamento

4 Resultados Experimentais

5 Conclusão




Conclusão

Organização





5 Conclusão




Conclusão

MotivaçãoObjetivosDesafios

Outline





5 Conclusão




Conclusão


Motivação

Dispositivos de interação para ambientes de RV namaioria das vezes são invasivos

Mouse e teclado não são adequados para RV

Necessidade de novas formas de interação, naturais efáceis de aprender

Gestos são utilizados de forma natural durante umaconversação




Conclusão


Outline





5 Conclusão




Conclusão


Objetivos

Alternativas mais naturais para interação em ambientes deRV

Criar uma forma não invasiva de interação

Não substituir as interfaces atuais, mas agregar novasformas de interação

Detectar e interpretar gestos em tempo real

Desenvolver um protótipo para testes e avaliação deinterface




Conclusão


Outline





5 Conclusão




Conclusão


Desafios

Grande variedade de movimentos das mãos e cabeça

Sistema não invasivo → câmeras

oclusãodesempenhoiluminação

Desenvolver uma interface baseada em gestos com boausabilidade




Conclusão

Definição do problemaTeoria e algoritmos

Outline





5 Conclusão




Conclusão


Definição do problema

Imagem de entrada → identificar e rastrear mãos e face(sem a utilização de dispositivos ou marcadores) - VisãoComputacional

Utilizar estas informações para criação de uma interface -Interface




Conclusão


Definição do problemaVisão computacional




Conclusão


Definição do problemaInterface




Conclusão


Outline





5 Conclusão




Conclusão


Espaço de cor

Diferentes etnias possuem aproximadamente a mesma corporque a diferença reside na intensidade e não nacromaticidadeYang et al. [1] “as diferenças de intensidade podem serreduzidas normalizando o espaço de cor RGB”Eles também mostram que a cor de pele formaaglomerados que podem ser caracterizados por umadistribuição normal neste espaço RGB normalizado

Espaço RGB-normalizado

r =R

R + G + B(1)

g =G

R + G + B(2)




Conclusão


Distribuição de cor de peleEspaço RGB normalizado




Conclusão


Segmentação de cor de pele

Métodos empíricos e estatísticos

Baseados em comparação de pixels da imagem comvalores obtidos a partir do conjunto de treinamento




Conclusão


Método Empírico

Limiarização da distância do pixel ao modelo de cor depele

A variação de iluminação do ambiente deve ser pequenadurante a fase de treinamento e a fase de segmentação

Parâmetros intrínsecos da câmera devem ser os mesmos:brilho, contraste, abertura e ganho.




Conclusão


Método Empírico

λ(r , g) =

Pele se r + x > r > r − x E g + x > g > g − x ,

Pele caso contrário(3)




Conclusão


Resultados

Threshold x = 0.02 Threshold x = 0.04




Conclusão


Método da máxima verossimilhança

Pode-se aproximar a distribuição de cor de pele por umadistribuição normal

Figura: Aproximando-se cor de pele por uma distribuição normal




Conclusão



A aproximação é feita com os seguintes parâmetros

Média:

r =1N

N∑i=i

ri (4)

g =1N

N∑i=i

gi (5)

Covariância: ∑=

[σrr σrg

σgr σgg

](6)

onde σab é a covariância de a e b.M.C. Cabral 25 de maio de 2005 - Transparência 25



Conclusão



A probabilidade de cada pixel da imagem de entrada sercor de pele é dada através da função de máximaverossimilhança

MV (r , g) = e−0.5(x−m)′P−1(x−m) (7)

onde x =[r g

]e m =

[r g

].




Conclusão


Resultados




Conclusão


Rastreamento

Uma vez detectadas as regiões candidatas a mãos e face,utilizamos filtros de Kalman para o rastreamento destesobjetos na imagem

Para verificarmos se os objetos rastreados realmentecorrespondem a um usuário, o blob correspondente a faceé comparado a um modelo de faces através da técnica deanálise de componentes principais (PCA)




Conclusão


Filtros de Kalman

Dado nosso conhecimento sobre o comportamento de umdeterminado sistema e as nossas medições, qual é amelhor estimativa para o comportamento deste sistema?A definição dada pelo livro de Maybeck [3] diz: é umalgoritmo ótimo para processamento de dados recursivoProcessa todas as medidas disponíveis de forma a estimaro valor corrente das variáveis de interesse com o uso de

conhecimento do sistema e dos dispositivos de medidadescrição estatística de ruídos, erros e incertezascondições iniciais do sistema

xk = Ak−1xk−1 + wk−1, (8)

zk = Hxk + vk , (9)




Conclusão


Reconhecimento de facesUtilizando PCA

Método desenvolvido por Turk et al. [5]Idéia principal

transformar imagens em vetoresutilizar PCA para encontrar o espaço de facesprojetar imagens de entrada neste espaçoverificar se estas imagens estão “perto o suficiente” doespaço




Conclusão


Reconhecimento de facesUtilizando PCA

Fase de treinamentoReunir conjunto de treinamento com imagens de facesCalcular as autofaces deste conjunto, selecionando as commaior autovalor associado. Este subconjunto é chamadode espaço de faces

Reconhecimento de facesProjetar a imagem de entrada no espaço de faces,calculando os pesos wi , que representam a contribuição decada face na representação da imagem de entradaCalcular a distância entre a imagem de entrada e suaprojeção no espaço de faces




Conclusão

ObjetivoDetalhamento

Outline





5 Conclusão




Conclusão


Sistema Interativo baseado em gestos

Implementar protótipo para reconhecer gestos emambientes de RV

Avaliar a usabilidade da interface criada




Conclusão


Outline





5 Conclusão




Conclusão



Método empíricomais robusto a mudança de iluminação do que o espaçoRGBapresentou melhores resultados do que método da máximaverossimilhança

Treinamento utilizando imagens de pessoas de diferentesetnias (16 pessoas utilizadas)

Pré-processamento de imagens com um filtro da medianae um filtro gaussiano

Operadores morfológicos de erosão e dilatação




Conclusão



Resultados

Figura: A partir do canto superior esquerdo em sentido horário:imagem original, segmentação de cor de pele por limiarização,operação de erosão e operação de dilatação.




Conclusão


Rotulação das componentes conexas

Identificação das componentes conexas encontradas nafase de segmentação

Determinação de posições chave para restringir o espaçode busca

Dentro da área delimitada para face, o algoritmo PCA éutilizado para identificar a componente conexa com maiorprobabilidade de ser face

Dentro da área delimitada para as mãos, a componenteconexa com maior área é selecionada




Conclusão


Rotulação das componentes conexas

a b

Figura: Posição inicial do sistema: mãos na altura do peito. a) CAVEb) Quiosque.




Conclusão


Adaptação do modelo de cor de pele

A rotulação permite que o modelo de cor de pele utilizadono treinamento seja refinado

Informações da cor de pele da face do usuário sãoutilizadas

Aumenta a região de cor de pele segmentada




Conclusão


Rastreamento de mãos e face

Iniciado assim que todos os objetos (mãos e face) sãorotulados

Um filtro de Kalman por objeto

Estima a posição do objeto no próximo passo deprocessamento

Não são robustos a oclusão de objetos

Para manter a robustez a oclusão, um grafo deconsistência espaço-temporal é utilizado




Conclusão


Rastreamento de mãos e faceGrafo de consistência

Permite estados de sobreposição e oclusãoAssumimos que estado de oclusão e sobreposição nãoocorrem simultaneamente

Figura: Grafo de consistência espaço-tempo. Os valores dentro decada estado representam os objetos sendo rastreados.M.C. Cabral 25 de maio de 2005 - Transparência 41



Conclusão


Interpretação de gestosInterface

Informações obtidas a partir do rastreamento (posição demãos e face) são utilizadas para a interpretação de gestos

Posições chave podem ser atingidas com as mãos

Gestos pré-definidos são ativados quando as mãosatingem as posições chave




Conclusão


Interpretação de gestos

a b c

Figura: a) Posição Inicial b) Posição Norte c) Posição Leste




Conclusão


Interpretação de gestos

d e

Figura: d) Posição Sul e) Posição Oeste




Conclusão


Interpretação de gestosComandos

Simulação de um interface de “apontar e clicar”

A mão direita controla a posição do mouse

A mão esquerda funciona para a ativação de comandos




Conclusão


Interpretação de gestosComandos

Posição Sul e Descanso não são utilizadas para comando

Posição Norte usada para mudança do modo de controledo cursor

Posição Oeste para mudança de modo dentro um modoespecifico

Posição Leste usada para simular um clique




Conclusão


Interpretação de gestosMapeamento Tela-Imagem

Mapeamento das coordenadas da imagem da câmerapara a telaTraduz a movimentação da mão direita ao lado do corpodo usuário para as coordenadas do ponteiro do mouse(Kjeldsen [2])




Conclusão


Interpretação de gestosRedução de ruídos de movimentação do cursor

Devido a grande área de visão da câmera, pequenosdeslocamentos de um objeto na imagem causam grandesvariações na movimentação do cursor

Pequenos erros de estimação da posição do cursor criamtremores no controle do cursor

Filtro digital de resposta impulsiva finita (Finite ImpulseResponse - FIR) com uma componente de freqüênciaspassa baixas




Conclusão


Interpretação de gestosResultados do FIAR

Figura: Trecho da ordenada x antes da aplicação do filtro e depois daaplicação do filtro.




Conclusão


Vantagens do Sistema

O sistema é robusto a pequenas variações de iluminação;

O fundo pode ser arbitrário;

O usuário pode ter altura ou dimensões anatômicasbastante variáveis;

Não utilização de câmeras especiais;

A câmera não precisa ser calibrada e não precisa estar emaltura ou ângulo específico para o usuário, contanto que ousuário esteja de frente para ela.




Conclusão


Limitações do Sistema

Apenas um usuário pode utilizar o sistema de cada vez;

As mãos e face do usuário devem ser as únicas partes docorpo que podem estar visíveis;

A cor do vestuário não pode se assemelhar com tons decor de pele;

As condições de iluminação iniciais devem ser próximasas usadas para a fase de treinamento de cor;

O usuário deve estar posicionado de frente para a câmera.




Conclusão

Resultados ExperimentaisAspectos de Implementação

Laptop Pentium IV

Câmeras Firewire (640x480@30fps)

Linux

OpenCV Intel




Conclusão

Resultados ExperimentaisExperimentos com a interface baseada em gestos

Experimentos realizados em dois ambientes de RV: CAVEe QuiosqueCAVE: Sistema de multi projeção imersivoQuiosque: Sistema de projeção com apenas uma tela,mais simples que um Powerwall (Regh et al. [4])




Conclusão

Resultados ExperimentaisInterface utilizada nos experimentos - Quiosque

A mão direita (R) controla a posição do cursor;

Quando a mão esquerda (L) se posiciona na posiçãoNorte, o modo de controle é seqüencialmente alterado. Osmodos de controle disponíveis são: escala, rotação etranslação;

Quando (L) se posiciona na posição Oeste, o status domodo de controle atual é seqüencialmente alterado. Porexemplo, se o modo de controle atual for Escala, então ostatus de modo varia entre Escala X-Y, Escala X-Z eEscala Y-Z;

Quando (L) se posiciona na posição Leste, um clique égerado.




Conclusão

Resultados ExperimentaisInterface utilizada nos experimentos - CAVE

A mão direita (R) controla o ponto de vista da câmera;

A mão esquerda (L) controla a translação da câmera.Quando (L) se posiciona na posição Norte, a câmera semovimenta na direção do ponto de vista determinado por(R). Quando (L) se posiciona na posição Sul, a câmera semovimenta ao contrário da direção do ponto de vista.




Conclusão

Resultados ExperimentaisExperimentos

Três experimentos foram realizados para testar ausabilidade do sistema

Comparação da interface de gestos com mouse através daLei de FittsAvaliar a satisfação do usuário com aplicações devisualizaçãoAvaliar a satisfação do usuário com aplicações denavegação




Conclusão

Resultados ExperimentaisExperimento de apontar e clicar

Baseado na Lei de Fitts

T = a + b log2(AW + 1) (10)

T = tempo de execução do movimento

A = amplitude

W = tamanho ou diâmetro do alvo

a e b são determinados empiricamente através deregressão linear.1b = Índice de Desempenho (IP)

log2(AW + 1) = Índice de Dificuldade (ID)




Conclusão


Clicar em botões de diferentes tamanhos,um por vez

Aparecem em locais aleatórios

Sessão de controle com mouse




Conclusão


Media de tempo para mouse = 7,3 segundosMedia de tempo para gestos = 26,1 segundos




Conclusão

Resultados ExperimentaisExperimento de avaliação subjetiva - Visualizador

Avaliar a usabilidade de interfaces baseadas em gestospara ambientes de RVManipular objetos 3D




Conclusão

Resultados ExperimentaisResultados

Sistema robusto

50 % dos usuarios reportaram que o tempo de resposta dosistema é excelente

40 % dos usuarios reportaram a fadiga dos bracos durantea utilização do sistema




Conclusão

Resultados ExperimentaisExperimento de avaliação subjetiva - Navegador

Sistema de gestos substitue joystick e teclado paranavegação em ambientes de RVPermite mudança de ponto de vista e navegação

Figura: Aplicação utilizada para teste na CAVERNA DigitalM.C. Cabral 25 de maio de 2005 - Transparência 62



Conclusão

Resultados ExperimentaisResultados

Sistema menos robusto devido a variação grande deiluminação, intrínseca ao sistema

Liberdade de movimentos

Maior naturalidade




Conclusão

ConclusãoContribuições

Levantamento bibliográfico

Experimentos com segmentação de cor de pele

Desenvolvimento de uma técnica robusta para orastreamento de mãos e face

Desenvolvimento de uma técnica de interação utilizandogestos

Implementação de aplicativos para teste

Experimentos realizados com usuários para avaliação dainterface desenvolvida




Conclusão

ConclusãoAmbiente Quiosque

Apresenta melhores resultados devido as condições deiluminaçãoFundo e arbitrárioPessoas podem permanecer na área de alcance decâmera, após a inicialização do sistema




Conclusão

ConclusãoAmbiente CAVE

Iluminação variável e não controladaRuído elevado na imagemPCA não foi utilizado neste ambiente




Conclusão

Conclusão

Apresentamos uma técnica para reconhecimento degestos baseada em visão computacional

robustanão invasivacom boa usabilidade

Criamos interfaces e aplicativos para teste

Avaliamos de forma analítica e subjetiva a utilização destatécnica




Conclusão

ConclusãoTrabalhos futuros

ImplementaçãoExperimentar câmeras mais robustas a iluminaçãoRealizar experimentos em outros ambientes fora dolaboratório.Rastreamento utilizando mais de uma câmera (3D).Realizar experimentos com um número maior de pessoas,incluindo medidas definidas pelos padrões de usabilidadeem IHC.

AlgoritmosReconhecer gestos de mais de uma pessoa paraaplicações colaborativas.Melhorar a robustez à variação de iluminação para osistema de segmentação de cor de pele.Refinar o algoritmo de PCA




Conclusão

Yang Jie and Waibel Alex.A real-time face tracker.In Proceedings of WACV’96, pages 142–147, 1996.

Frederick Kjeldsen.Visual interpretation of hand gestures as a practicalinterface modality.Phd Thesis - Columbia University, 1997.

Peter Maybeck.Stochastic Models, Estimation, and Control.Academic Press, Inc., 1979.

James Rehg, Maria Loughlin, and Keith Waters.Vision for a smart kiosk.Proc. IEEE Conf. on Computer Vision and PatternRecognition, pages 690–696, 1997.




Conclusão

Matthew Turk and Alan Pentland.Face recognition using eigenfaces.Proceedings of the 1991 Conference on Computer Visionand Pattern Recognition - CVPR, 1991.




Conclusão

PCA

Conjunto de treinamento dado pelas imagensI = [I1, I2...IM ], com tamanho n×n

A imagem média é dada por Ψ = 1M

∑Mn=1 In

E cada imagem difere da média por Φi = Ii −Ψ

Calcular autovalores e autovetores de C = 1M

∑Mn=1 ΦnΦ

Tn




Conclusão

PCA

Projetar a imagem de entrada no espaço de faces com aoperaçãoωk = uk

T (Γ−Ψ) para k = 1, ..., M′, onde Ψ é a imagem

média do conjunto de treinamento, Γ é a imagem deentrada e u são os autovetores calculados a partir doconjunto de treinamento.

Estes pesos, ωi , formam um vetor de padrõesΩT = [w1, w2 . . . wM′ ] que representam a contribuição decada eigenface na representação da imagem Γ.

A distância entre a imagem de entrada ajustada pelaimagem média Φ = Γ−Ψ e sua projeção no espaço defaces é dado por ε2 = ‖ Φ− Φf ‖2


Interação baseada em gestos de mãos e cabeça para ...mcabral/defesaMarcio.pdf · Gestos são...

Documents

Transcript of Interação baseada em gestos de mãos e cabeça para ...mcabral/defesaMarcio.pdf · Gestos são...