Desenvolvendo Aplicativos para o Kinect
-
Upload
bruno-campagnolo -
Category
Technology
-
view
18.278 -
download
2
Transcript of Desenvolvendo Aplicativos para o Kinect
2
Quem sou eu? Bruno Campagnolo de Paula
http://www.brunocampagnolo.com
http://twitter.com/bcp
Interesse em aplicações para a GGJ12!Global Game Jam 2010 e 2011 (Curitiba)
402/05/23
Saiba mais em:http://www.ggjcwb.com/2011/02/relatorio/
ResumoVamos aprender o que é o Kinect;Arquitetura básica;Falar sobre o princípios de funcionamento;Demonstrar ferramentas de desenvolvimento e o SDK oficial.Comentar sobre aplicações e projetos.
Público-alvo da palestraPessoal da computação em geral;Interessados em robótica;Desenvolvedores de jogos;Pesquisadores e desenvolvedores
interessados no futuro dos sistemas de informação;
Educadores (gesture based learning).
602/05/23
O que é o Kinect?Dispositivo de
interação natural;Microsoft;XBOX 360 (jogos); Lançamento:
4/11/2010;8 milhões vendidos
em 60 dias (recorde);10 milhões até
março de 2011;
702/05/23
Wii / Kinect não são tão pioneiros!Dispositivos de interface naturalTrabalhos de Myron Krueger (Video Place),
Activator, EyeToy, Track IR, projetos finais;
Problemas sempre foram: performance e reconhecimento facial.
902/05/23
Kinect não vai ser o único dispositivo futuro de interface naturalWindows 8/9; iOs 6;
1102/05/23
Projeto Natal - OrigemForte P&D;Alex Kipmann -
Diretor de incubação da Microsoft;
PrimeSense;3DV Systems.
1202/05/23
History is about to be rewritten.
This time human beings will be at the centre
-- and the machines will be the ones that adapt. (apresentação do Kinect 2010)
Arquitetura do Kinect 1702/05/23
Projetor de Luz Infravermelha (invisível)
Câmera RGB (“comum”)
Câmera infravermelha
Conjunto de microfones
Motor
Arquitetura do KinectImage StreamCada pixel representa uma cor;640x480 (30 fps) OU1280x1024 (máximo 15 fps);
1902/05/23
Arquitetura do KinectDepth StreamCada pixel representa a
distância em relação ao objeto;11 bits de precisão (2048
níveis de sensibilidade);1.2 a 3.5 metros;
640x480 (30 fps – sem informação do jogador) e 320x240 (30 fps – com informação do jogador);
2002/05/23
Arquitetura do KinectAudio Stream4 microfones;Anula ruído e eco.Permite gravação de audio;Excelente reconhecimento de fala (em
inglês);
2102/05/23
Arquitetura do KinectMotor27 graus para cima ou para baixo;Não chamar com muita freqüencia;SDK limita em 15 vezes a cada 20
segundos.
2202/05/23
Sensor de profundidade 3d do Kinect2302/05/23
Projetor de Luz Infravermelha
Câmera infravermelhaSensor de Profundidade 3D
Princípio de funcionamento do sensor de profundidade 3DMedição de um “padrão” invisível
projetado no corpo;
2402/05/23
Observação: não é uma câmera estereoscópica!
Informações de esqueleto dos jogadoresDetecta até 6
jogadores;Obtém informação de
esqueleto de 2 jogadores;
Dá para obter a qualidade da captura;
Este é o grande destaque do Kinect na área de Machine Learning.
2502/05/23
O que dá para fazer com tudo isto?Vídeo sobre Os 5 primeiros meses do
Kinect;Antes do lançamento do SDK Oficial!!
2602/05/23
Desenvolvendo para o KinectDrivers abertos (Open Kinect):
Windows XP, Vista, 7;MacOS X;Linux;Open Source;
OpenNI (PrimeSense): Windows, Linux, Mac OS X;
Kinect SDK:Oficial da Microsoft;Apenas para Windows 7;
2702/05/23
Desenvolvendo para o KinectDrivers abertos Após o lançamento foi “hackeado” em
poucos dias;Ele é um dispositivo USB não
criptografado!
Microsoft já estava prevendo usos fora do XBOX;
Open Kinect Contest US$ 3.000,00;
2802/05/23
Desenvolvendo para o KinectOpenNIWrappers para linguagens diversas:
C, C++, Processing, Java, Scratch;Fácil de integrar com o FAAST;O FAAST permite a criação de
programas para o Kinect sem saber programar para o Kinect.
2902/05/23
Desenvolvendo para o Kinect SDK oficial13/junho/2011Windows 7;2GB RAM;DirectX 9.0c;Dual Core 2.66 GHz;Versão Beta;Licença não-comercial (cuidado!!);
3002/05/23
DEMOS do QuickStart do Kinecthttp://channel9.msdn.com/Series/KinectSDKQuickstarts/1)Instalação do Sensor / Download do SDK;2) Configurando o ambiente;3) Criando um projeto Kinect no Visual Studio;4) Exibindo a imagem da câmera;5) Alterando o ângulo de elevação da câmera;6)
Trabalhando com a informação de profundidade;
7) Obtendo informações do esqueleto
3102/05/23
1)Instalação do SensorO Kinect que vem no
Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte);
Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB;
Verifique a versão do Windows (64 / 32 bits).
3202/05/23
2) Configurando o ambiente Instalar Visual Studio (pode ser o
Express); Instalar DirectX SDK – Junho 2010; Instalar Runtime do DirectX;Se quiser usar o reconhecimento de
voz:Speech Runtime 10.2;Kinect Speech Platform;Speech SDK;
3302/05/23
5) Alterando o ângulo de elevação da câmera nui.NuiCamera.ElevationAngle =
(int)slider1.Value; Máximo de 15 mudanças em 20
segundos; -27 a +27 graus;
3902/05/23
6) Trabalhando com informação de profundidadeCálculo da distância em milímetros:
Depth Image Type;• Bitshift o segundo byte por 8;•Distância = (int) Bits[0] | Bits[1] << 8;
DepthAndPlayerIndex Type:• Bitshift do primeiro por 3 e do segundo por 5;•Distância = (int) Bits[0] | Bits[1] << 5;
O Player Index indica o jogador que está contido naquele ponto;
Máximo de 6 jogadores;
4002/05/23
7) Obtendo informações do esqueletoCada joint retorna:
X – Posição horizontal entre -1 e 1Y – Posição vertical entre -1 e 1Z – Distância até o Kinect em metros
Cada joint tem um estado associado:Tracked;Not Tracked: raro;Inferred: oclusão, cortado, baixa
confiança.
4202/05/23
Demos diversos
Skeletal Viewer;ShapeGame;Kinect Mouse Cursor;Kinect NUI;
Demos no Processing e do FAAST (se der tempo!);
4302/05/23
Aplicações e possibilidades do KinectControle de dispositivos através das
mãos (Minority Report);
4402/05/23
Aplicações e possibilidades do KinectControle robótico:
Kits que eram $28.000 agora são $500;
Exemplo com quadricóptero;
4502/05/23
Aplicações e possibilidades do KinectMocap baratíssimo!
4602/05/23
Aplicações e possibilidades do KinectVideo conferência 3D;
4702/05/23
Aplicações e possibilidades do KinectScanner 3D (melhor ainda se integrado
com uma impressora 3D);
4802/05/23
Aplicações e possibilidades do KinectTrocar canal da TV;Adaptação de jogos normais para Kinect;Ensino de idiomas;Ensino em geral;Sistema de navegação para carros;Música;Aplicações médicas;Controle de Apresentação (PowerPoint);COLOQUE A SUA IDEIA AQUI!!!!TENHO INTERESSE EM PROJETOS FINAIS /
EVENTOS USANDO KINECT.
5102/05/23
Links RecomendadosKinect Hacks:
http://kinecthacks.net/Portal que centraliza aplicativos e
testes com o Kinect.Kinect Education:
http://www.kinecteducation.com/Usos do Kinect na educação;
5302/05/23
Links RecomendadosKinect SDK:
http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/
Portal oficial da Microsoft sobre desenvolvimento para o Kinect;
Coding4Fun Kinect Toolkit:http://c4fkinect.codeplex.com/Bibliotecas extras úteis para uso com
o SDK.
5402/05/23
Links RecomendadosOpenKinect:
http://openkinect.org/wiki/Main_PageDownload dos drivers open source -
libfreenect;OpenNI:
http://www.openni.org/Download dos drivers da PrimeSense.
5502/05/23
Material Extra e Referênciashttp://blogs.msdn.com/b/
uk_faculty_connection/archive/2011/06/21/kinect-for-windows-sdk-event.aspx
http://readwriteweb.com.br/2010/11/09/um-cientista-explica-o-microsoft-kinect/
http://www.kinecteducation.com/http://www.wired.co.uk/magazine/
archive/2010/11/features/the-game-changer?page=all
5602/05/23