Desenvolvendo Aplicativos para o Kinect

57
Kinect Semana Acadêmica de Ciência da Computação - PUCPR Bruno C. de Paula

Transcript of Desenvolvendo Aplicativos para o Kinect

Kinect

Semana Acadêmica de Ciência da Computação - PUCPR

Bruno C. de Paula

2

Quem sou eu? Bruno Campagnolo de Paula

[email protected]

http://www.brunocampagnolo.com

http://twitter.com/bcp

Por que estou aqui?302/05/23

Centro deEngenharia de Sistemas Inteligentes

Interesse em aplicações para a GGJ12!Global Game Jam 2010 e 2011 (Curitiba)

402/05/23

Saiba mais em:http://www.ggjcwb.com/2011/02/relatorio/

ResumoVamos aprender o que é o Kinect;Arquitetura básica;Falar sobre o princípios de funcionamento;Demonstrar ferramentas de desenvolvimento e o SDK oficial.Comentar sobre aplicações e projetos.

Público-alvo da palestraPessoal da computação em geral;Interessados em robótica;Desenvolvedores de jogos;Pesquisadores e desenvolvedores

interessados no futuro dos sistemas de informação;

Educadores (gesture based learning).

602/05/23

O que é o Kinect?Dispositivo de

interação natural;Microsoft;XBOX 360 (jogos); Lançamento:

4/11/2010;8 milhões vendidos

em 60 dias (recorde);10 milhões até

março de 2011;

702/05/23

Motivação para criação do KinectSucesso do Wii;

802/05/23

Wii / Kinect não são tão pioneiros!Dispositivos de interface naturalTrabalhos de Myron Krueger (Video Place),

Activator, EyeToy, Track IR, projetos finais;

Problemas sempre foram: performance e reconhecimento facial.

902/05/23

Kinect não é o único dispositivo moderno de interface natural atualWavi Xtion da Asus

1002/05/23

Kinect não vai ser o único dispositivo futuro de interface naturalWindows 8/9; iOs 6;

1102/05/23

Projeto Natal - OrigemForte P&D;Alex Kipmann -

Diretor de incubação da Microsoft;

PrimeSense;3DV Systems.

1202/05/23

History is about to be rewritten.

This time human beings will be at the centre

-- and the machines will be the ones that adapt. (apresentação do Kinect 2010)

1402/05/23

Se você sabe mover-se você sabe usar o Kinect

1502/05/23

Qualquer tecnologia suficientemente avançada é indistinguível de magia.

Arthur C. Clarke

Arquitetura do Kinect1602/05/23

Arquitetura do Kinect 1702/05/23

Projetor de Luz Infravermelha (invisível)

Câmera RGB (“comum”)

Câmera infravermelha

Conjunto de microfones

Motor

Arquitetura do Kinect1802/05/23

Arquitetura do KinectImage StreamCada pixel representa uma cor;640x480 (30 fps) OU1280x1024 (máximo 15 fps);

1902/05/23

Arquitetura do KinectDepth StreamCada pixel representa a

distância em relação ao objeto;11 bits de precisão (2048

níveis de sensibilidade);1.2 a 3.5 metros;

640x480 (30 fps – sem informação do jogador) e 320x240 (30 fps – com informação do jogador);

2002/05/23

Arquitetura do KinectAudio Stream4 microfones;Anula ruído e eco.Permite gravação de audio;Excelente reconhecimento de fala (em

inglês);

2102/05/23

Arquitetura do KinectMotor27 graus para cima ou para baixo;Não chamar com muita freqüencia;SDK limita em 15 vezes a cada 20

segundos.

2202/05/23

Sensor de profundidade 3d do Kinect2302/05/23

Projetor de Luz Infravermelha

Câmera infravermelhaSensor de Profundidade 3D

Princípio de funcionamento do sensor de profundidade 3DMedição de um “padrão” invisível

projetado no corpo;

2402/05/23

Observação: não é uma câmera estereoscópica!

Informações de esqueleto dos jogadoresDetecta até 6

jogadores;Obtém informação de

esqueleto de 2 jogadores;

Dá para obter a qualidade da captura;

Este é o grande destaque do Kinect na área de Machine Learning.

2502/05/23

O que dá para fazer com tudo isto?Vídeo sobre Os 5 primeiros meses do

Kinect;Antes do lançamento do SDK Oficial!!

2602/05/23

Desenvolvendo para o KinectDrivers abertos (Open Kinect):

Windows XP, Vista, 7;MacOS X;Linux;Open Source;

OpenNI (PrimeSense): Windows, Linux, Mac OS X;

Kinect SDK:Oficial da Microsoft;Apenas para Windows 7;

2702/05/23

Desenvolvendo para o KinectDrivers abertos Após o lançamento foi “hackeado” em

poucos dias;Ele é um dispositivo USB não

criptografado!

Microsoft já estava prevendo usos fora do XBOX;

Open Kinect Contest US$ 3.000,00;

2802/05/23

Desenvolvendo para o KinectOpenNIWrappers para linguagens diversas:

C, C++, Processing, Java, Scratch;Fácil de integrar com o FAAST;O FAAST permite a criação de

programas para o Kinect sem saber programar para o Kinect.

2902/05/23

Desenvolvendo para o Kinect SDK oficial13/junho/2011Windows 7;2GB RAM;DirectX 9.0c;Dual Core 2.66 GHz;Versão Beta;Licença não-comercial (cuidado!!);

3002/05/23

1)Instalação do SensorO Kinect que vem no

Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte);

Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB;

Verifique a versão do Windows (64 / 32 bits).

3202/05/23

3) Criando um projeto Kinect no Visual Studio

3402/05/23

3) Criando um projeto Kinect no Visual Studio

3502/05/23

3) Criando um projeto Kinect no Visual Studio

3602/05/23

*

4) Exibindo a imagem da câmeraVer eventos VideoFrameReady e

DepthFrameReady;

3702/05/23

5) Alterando o ângulo de elevação da câmera nui.NuiCamera.ElevationAngle =

(int)slider1.Value; Máximo de 15 mudanças em 20

segundos; -27 a +27 graus;

3902/05/23

6) Trabalhando com informação de profundidadeCálculo da distância em milímetros:

Depth Image Type;• Bitshift o segundo byte por 8;•Distância = (int) Bits[0] | Bits[1] << 8;

DepthAndPlayerIndex Type:• Bitshift do primeiro por 3 e do segundo por 5;•Distância = (int) Bits[0] | Bits[1] << 5;

O Player Index indica o jogador que está contido naquele ponto;

Máximo de 6 jogadores;

4002/05/23

7) Obtendo informações do esqueleto

4102/05/23

Evento SkeletonFrameReady.

7) Obtendo informações do esqueletoCada joint retorna:

X – Posição horizontal entre -1 e 1Y – Posição vertical entre -1 e 1Z – Distância até o Kinect em metros

Cada joint tem um estado associado:Tracked;Not Tracked: raro;Inferred: oclusão, cortado, baixa

confiança.

4202/05/23

Demos diversos

Skeletal Viewer;ShapeGame;Kinect Mouse Cursor;Kinect NUI;

Demos no Processing e do FAAST (se der tempo!);

4302/05/23

Aplicações e possibilidades do KinectControle de dispositivos através das

mãos (Minority Report);

4402/05/23

Aplicações e possibilidades do KinectControle robótico:

Kits que eram $28.000 agora são $500;

Exemplo com quadricóptero;

4502/05/23

Aplicações e possibilidades do KinectMocap baratíssimo!

4602/05/23

Aplicações e possibilidades do KinectVideo conferência 3D;

4702/05/23

Aplicações e possibilidades do KinectScanner 3D (melhor ainda se integrado

com uma impressora 3D);

4802/05/23

Aplicações e possibilidades do KinectKinect + Realidade Aumentada

4902/05/23

Aplicações e possibilidades do KinectKinect Shopping

5002/05/23

Aplicações e possibilidades do KinectTrocar canal da TV;Adaptação de jogos normais para Kinect;Ensino de idiomas;Ensino em geral;Sistema de navegação para carros;Música;Aplicações médicas;Controle de Apresentação (PowerPoint);COLOQUE A SUA IDEIA AQUI!!!!TENHO INTERESSE EM PROJETOS FINAIS /

EVENTOS USANDO KINECT.

5102/05/23

Mas, não precisa usar o Kinect para tudo...Cliente Twitter usando o Kinect;

5202/05/23

Links RecomendadosKinect Hacks:

http://kinecthacks.net/Portal que centraliza aplicativos e

testes com o Kinect.Kinect Education:

http://www.kinecteducation.com/Usos do Kinect na educação;

5302/05/23

Links RecomendadosKinect SDK:

http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

Portal oficial da Microsoft sobre desenvolvimento para o Kinect;

Coding4Fun Kinect Toolkit:http://c4fkinect.codeplex.com/Bibliotecas extras úteis para uso com

o SDK.

5402/05/23

Links RecomendadosOpenKinect:

http://openkinect.org/wiki/Main_PageDownload dos drivers open source -

libfreenect;OpenNI:

http://www.openni.org/Download dos drivers da PrimeSense.

5502/05/23

Material Extra e Referênciashttp://blogs.msdn.com/b/

uk_faculty_connection/archive/2011/06/21/kinect-for-windows-sdk-event.aspx

http://readwriteweb.com.br/2010/11/09/um-cientista-explica-o-microsoft-kinect/

http://www.kinecteducation.com/http://www.wired.co.uk/magazine/

archive/2010/11/features/the-game-changer?page=all

5602/05/23

57

Obrigado!!

[email protected]

http://www.brunocampagnolo.com http://twitter.com/bcp