Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

78
Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula

Transcript of Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Page 1: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Kinect

Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect

Bruno C. de PaulaBruno C. de Paula

Page 2: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

2

Quem sou eu?

Bruno Campagnolo de Paula

[email protected]

http://www.brunocampagnolo.com

http://twitter.com/bcp

Page 3: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Material deste tutorial

www.brunocampagnolo.com/tutorialkinect2011

Page 4: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Por que estou aqui?411/04/23

Centro deEngenharia de Sistemas Inteligentes

Page 5: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Por que estou aqui?PUCPR;Professor dos cursos de jogos e do curso

de Sistemas de Informação;

Page 6: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

ResumoVamos aprender o que é o Kinect;Arquitetura básica;Falar sobre o princípios de funcionamento;Usar o FAAST para prototipação rápida de aplicativos com o Kinect;Demonstrar ferramentas de desenvolvimento e o SDK oficial.Comentar sobre aplicações e projetos.

Page 7: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Público-alvo da palestra

Pessoal da computação em geral;

Interessados em robótica;Desenvolvedores de jogos;Pesquisadores e desenvolvedores

interessados no futuro dos sistemas de informação;

Educadores (gesture based learning).

711/04/23

Page 8: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

PARTE 1

O que é o Kinect?

Page 9: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

O que é o Kinect?

Dispositivo de interação natural;

Microsoft;XBOX 360 (jogos); Lançamento:

4/11/2010;8 milhões vendidos

em 60 dias (recorde);10 milhões até

março de 2011;

911/04/23

Page 10: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Motivação para criação do Kinect

Sucesso do Wii;

1011/04/23

Page 11: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Wii / Kinect não são tão pioneiros!Dispositivos de interface naturalTrabalhos de Myron Krueger (Video

Place);

Problemas sempre foram: performance e reconhecimento facial.

1111/04/23

Page 12: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Wii / Kinect não são tão pioneiros!Dispositivos de interface naturalActivator, EyeToy, Track IR

Page 13: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Wii / Kinect não são tão pioneiros!Dispositivos de interface naturalNão faça com o Kinect o que uma

câmera normal resolve!Exemplo de projeto final.

Page 14: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Kinect não é o único dispositivo moderno de interface natural atualWavi Xtion da Asus

1411/04/23

Page 15: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Kinect não vai ser o único dispositivo futuro de interface naturalWindows 8/9; iOs 6;

1511/04/23

Page 16: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Projeto Natal - Origem

Forte P&D;Alex Kipmann -

Diretor de incubação da Microsoft;

PrimeSense;3DV Systems.

1611/04/23

Page 17: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

History is about to be rewritten.

This time human beings will be at the centre

-- and the machines will be the ones that adapt.

(apresentação do Kinect 2010)

Page 18: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

1811/04/23

Se você sabe mover-se você sabe usar o Kinect

Page 19: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

1911/04/23

Qualquer tecnologia suficientemente avançada é indistinguível de magia.

Arthur C. Clarke

Page 20: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do Kinect2011/04/23

Page 21: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do Kinect 2111/04/23

Projetor de Luz Infravermelha (invisível)

Câmera RGB (“comum”)

Câmera infravermelha

Conjunto de microfones

Motor

Page 22: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do Kinect2211/04/23

Page 23: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do KinectImage StreamCada pixel representa uma cor;640x480 (30 fps) OU1280x1024 (máximo 15 fps);

2311/04/23

Page 24: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do KinectDepth StreamCada pixel representa a

distância em relação ao objeto;11 bits de precisão

(2048 níveis de sensibilidade);

1.2 a 3.5 metros;640x480 (30 fps – sem

informação do jogador) e 320x240 (30 fps – com informação do jogador);

2411/04/23

Page 25: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do KinectAudio Stream4 microfones;Anula ruído e eco.Permite gravação de audio;Excelente reconhecimento de fala (em

inglês);

2511/04/23

Page 26: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Arquitetura do KinectMotor27 graus para cima ou para baixo;Não chamar com muita freqüencia;SDK, por exemplo, limita em 15 vezes a

cada 20 segundos.

2611/04/23

Page 27: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Sensor de profundidade 3d do Kinect2711/04/23

Projetor de Luz Infravermelha

Câmera infravermelha

Sensor de Profundidade 3D

Page 28: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Princípio de funcionamento do sensor de profundidade 3DMedição de um “padrão” invisível

projetado no corpo;

2811/04/23

Observação: não é uma câmera estereoscópica!

Page 29: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Informações de esqueleto dos jogadoresDetecta até 6

jogadores;Obtém informação de

esqueleto de 2 jogadores;

Dá para obter a qualidade da captura;

Este é o grande destaque do Kinect na área de Machine Learning.

2911/04/23

Page 30: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Informações de esqueleto dos jogadores

Page 31: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

O que dá para fazer com tudo isto?

Vídeo sobre Os 5 primeiros meses do Kinect;

Antes do lançamento do SDK Oficial!!

3111/04/23

Page 32: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Desenvolvendo para o KinectDrivers abertos (Open Kinect):

Windows XP, Vista, 7;MacOS X;Linux;Open Source;

OpenNI (PrimeSense): Windows, Linux, Mac OS X;

Kinect SDK:Oficial da Microsoft;Apenas para Windows 7;

3211/04/23

Page 33: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Desenvolvendo para o KinectDrivers abertos Após o lançamento foi “hackeado” em

poucos dias;Ele é um dispositivo USB não

criptografado!

Microsoft já estava prevendo usos fora do XBOX;

Open Kinect Contest US$ 3.000,00;

3311/04/23

Page 34: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Desenvolvendo para o KinectOpenNIWrappers para linguagens diversas:

C, C++, Processing, Java, Scratch;Fácil de integrar com o FAAST;O FAAST permite a criação de

programas para o Kinect sem saber programar para o Kinect.

3411/04/23

Page 35: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Desenvolvendo para o Kinect SDK oficial13/junho/2011Windows 7;2GB RAM;DirectX 9.0c;Dual Core 2.66 GHz;Versão Beta;

Licença não-comercial (cuidado!!);

3511/04/23

Page 36: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

PARTE 2Prototipação rápida para o Kinect usando o FAAST

Page 37: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

FAASTFlexible Action and Articulated

Skeleton Toolkit;University of Southern California; Permite o mapeamento de

movimentos do corpo em ações de dispositivos tradicionais de interação (mouse e teclado);

Também faz o streaming via VRPN (Virtual Reality Peripheral Network);

Elimina a necessidade de programação;Adequado para prototipação rápida.

Page 38: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

InstalaçãoUsar o Zigfu Dev Bundle;OU:

Instalar OpenNI;Instalar NITE;Instalar sensores.

Veja mais detalhes no texto do tutorial.

Page 39: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Tela inicial do FAAST

Page 40: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Configuração do sensorFull Body: o corpo todo é considerado; Upper Body: apenas a parte

superior do corpo; Lower Body: apenas a parte inferior; Hands Only: apenas as mãos, pode

utilizar um focus gesture para habilitar o reconhecimento das ações;

Smoothing factor: suavização da perturbação do movimento. 0.07~0.08 para controle de mouse preciso.

Page 41: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

CalibraçãoPose de psi;Essencial em aplicação baseada em

OpenNI.

Page 42: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Controle de mouseAssociação da mão esquerda ou

direita à posição do mouse;Controle absoluto: posição do mouse

determinada a partir da posição dentro do bounding rectangle;

Controle relativo: velocidade do mouse determinada a partir da distância até o bounding rectangle;

Page 43: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Controle do mouseForward Threshold: distância que a

mão deve ser extendida à frente para ativar o controle do mouse.

Movement Threshold: valor mínimo em pixels necessário para alterar a posição do mouse;

Speed: no movimento relativo, velocidade máxima nos limiares.

Page 44: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Mapeamento de ações em eventos

nome_ação: nome da pose ou gesto; limiar: mínimo de ativação, depende da

ação;tipo_evento: tipo de evento que será

gerado;nome_evento: evento específico que

será gerado.Ver tabelas 1, 2 e 3 no texto do tutorial!

Page 45: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Exemplo 1

lean_left 20 key_hold left_arrow lean_right 20 key_hold

right_arrow jump 2 key_press space

Page 46: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Exemplo 2 lean_left 20 key_hold a lean_right 20 key_hold d lean_forwards 15 key_hold w lean_backwards 15 key_hold s

Page 47: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Atividade!

Crie controles para os seguintes jogos:Canabalt;Muulti-Muu.Angry Birds;

Page 48: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

PARTE 3Programando para o Kinect

Exemplos em:ProcessingSDK Oficial

Page 49: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Usando o ProcessingProcessing é

uma linguagem voltada para desenho, animação e interação;

Bastante adequada para prototipação rápida de jogos.

Page 50: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Exemplos de uso da biblioteca SimpleOpenNI

exemplo1;exemplo2;Estudo de caso: 3dpht.

Page 51: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

DEMOS do QuickStart do Kinecthttp://channel9.msdn.com/Series/KinectSDKQuickstarts/ 1)Instalação do Sensor / Download do SDK; 2) Configurando o ambiente; 3) Criando um projeto Kinect no Visual Studio; 4) Exibindo a imagem da câmera; 5) Alterando o ângulo de elevação da câmera; 6)

Trabalhando com a informação de profundidade;

7) Obtendo informações do esqueleto 8) Reconhecimento de fala.

5111/04/23

Page 52: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

1)Instalação do Sensor

O Kinect que vem no Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte);

Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB;

Verifique a versão do Windows (64 / 32 bits).

5211/04/23

Page 54: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

3) Criando um projeto Kinect no Visual Studio

5411/04/23

Page 55: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

3) Criando um projeto Kinect no Visual Studio

5511/04/23

Page 56: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

3) Criando um projeto Kinect no Visual Studio

5611/04/23

*

Page 57: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

4) Exibindo a imagem da câmera

Ver eventos VideoFrameReady e DepthFrameReady;

5711/04/23

Page 58: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.
Page 59: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

5) Alterando o ângulo de elevação da câmera nui.NuiCamera.ElevationAngle =

(int)slider1.Value; Máximo de 15 mudanças em 20

segundos; -27 a +27 graus;

5911/04/23

Page 60: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

6) Trabalhando com informação de profundidadeCálculo da distância em milímetros:

Depth Image Type;• Bitshift o segundo byte por 8;•Distância = (int) Bits[0] | Bits[1] << 8;

DepthAndPlayerIndex Type:• Bitshift do primeiro por 3 e do segundo por 5;•Distância = (int) Bits[0] | Bits[1] << 5;

O Player Index indica o jogador que está contido naquele ponto;

Máximo de 6 jogadores;

6011/04/23

Page 61: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

7) Obtendo informações do esqueleto

6111/04/23

Evento SkeletonFrameReady.

Page 62: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

7) Obtendo informações do esqueletoCada joint retorna:

X – Posição horizontal entre -1 e 1Y – Posição vertical entre -1 e 1Z – Distância até o Kinect em metros

Cada joint tem um estado associado:Tracked;Not Tracked: raro;Inferred: oclusão, cortado, baixa

confiança.

6211/04/23

Page 63: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

PARTE 4Aplicações

Page 65: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Controle de dispositivos através das mãos (Minority Report);

6511/04/23

Page 66: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Controle robótico:Kits que eram $28.000 agora são

$500;Exemplo com quadricóptero;

6611/04/23

Page 67: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Mocap baratíssimo!

6711/04/23

Page 68: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Video conferência 3D;

6811/04/23

Page 69: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Scanner 3D (melhor ainda se integrado com uma impressora 3D);

6911/04/23

Page 70: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Kinect + Realidade Aumentada

7011/04/23

Page 71: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do Kinect

Kinect Shopping

7111/04/23

Page 72: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Aplicações e possibilidades do KinectTrocar canal da TV;Adaptação de jogos normais para Kinect;Ensino de idiomas;Ensino em geral;Sistema de navegação para carros;Música;Aplicações médicas;Controle de Apresentação (PowerPoint);COLOQUE A SUA IDEIA AQUI!!!!

7211/04/23

Page 73: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Mas, não precisa usar o Kinect para tudo...Cliente Twitter usando o Kinect;

7311/04/23

Page 74: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Links Recomendados

Kinect Hacks:http://kinecthacks.net/Portal que centraliza aplicativos e

testes com o Kinect.Kinect Education:

http://www.kinecteducation.com/Usos do Kinect na educação;

7411/04/23

Page 75: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Links Recomendados

Kinect SDK:http://research.microsoft.com/en-us/

um/redmond/projects/kinectsdk/Portal oficial da Microsoft sobre

desenvolvimento para o Kinect;Coding4Fun Kinect Toolkit:

http://c4fkinect.codeplex.com/Bibliotecas extras úteis para uso com

o SDK.

7511/04/23

Page 76: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Links Recomendados

OpenKinect:http://openkinect.org/wiki/Main_PageDownload dos drivers open source -

libfreenect;OpenNI:

http://www.openni.org/Download dos drivers da PrimeSense.

7611/04/23

Page 77: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

Material Extra e Referências

http://blogs.msdn.com/b/uk_faculty_connection/archive/2011/06/21/kinect-for-windows-sdk-event.aspx

http://readwriteweb.com.br/2010/11/09/um-cientista-explica-o-microsoft-kinect/

http://www.kinecteducation.com/http://www.wired.co.uk/magazine/

archive/2010/11/features/the-game-changer?page=all

7711/04/23

Page 78: Kinect Adaptando e desenvolvendo jogos para uso com o Microsoft Kinect Bruno C. de Paula.

78

Obrigado!!

[email protected] http://www.brunocampagnolo.com http://twitter.com/bcpwww.brunocampagnolo.com/tutorialkinect2011