Post on 20-Jul-2015
Criado Por Pedro Queiroz
Sócio – Fundador da Startup Rapps Studio ( Incubatep – ITEP )
Formado em Jogos Digitais
Participação no projeto Aventuras de Bio-Bio
Criado Por Pedro Queiroz
Primeiro Contato Com Realidade Aumentada
Criação do Projeto de Conscientização Ambiental ( MangueTown ) FAIL
Criação do Projeto de Educação com Jogos em RA ( EducAR ) FAIL ?
Criado Por Pedro Queiroz
Projeto Pré-Incubado no Incubatep - ITEP
Prototipação do EducAR ( Versão Mobile )
Inscrição do EducAR no Intel Perceptual Challenge
Criado Por Pedro Queiroz
Adaptação do EducAR Mobile Para Perceptual
Estudo do Perceptual SDK
Desenvolvimento do EducAR Perceptual
Criado Por Pedro Queiroz
Reconhecimento de Voz
Reconhecimento Facial ( Olhos, boca e Nariz )
Posicionamento das Mãos ( 2D e 3D )
Posicionamento dos Dedos ( 2D e 3D )
Reconhecimento de Gestos
Realidade Aumentada
Criado Por Pedro Queiroz
Utilizando o Pipeline!
Criado Por Pedro Queiroz
PXCUPipelineOT.Mode mode = PXCUPipelineOT.Mode.Gesture
PXCUPipelineOT ppot = null;
If (!ppot.Init(mode)){Return;Print(“nao foi possivel iniciar o pipeline”);
}
Ppot.Close();Ppot = null;
Ppot = new PXCUPipelineOT();
Criado Por Pedro Queiroz
Propriedades que podem ser utilizadas para iniciar o Pipeline:
COLOR_VGACOLOR_WXGADEPTH_QVGA
DEPTH_QVGA_60FPSGESTURE
FACE_LOCATIONFACE_LANDMARK
VOICE_RECOGNITION
Criado Por Pedro Queiroz
COLOR_VGA|DEPTH_QVGA|GESTURE|FACE_LOCATION
If (ppot == null) return;
If (!ppot.AcquireFrame(false)) return;
If (!ppot.IsDisconnected()){
UpdateApp();
}
Criado Por Pedro Queiroz
PXCMGesture.Gesture gestureData;
If (ppot.QueryGesture(PXCMGesture.GeoNode.Label.LABEL_ANY, out gestureData)){
}
Print( gestureData.label );
If( string.Compare( gestureData.label.ToString(),”LABEL_POSE_WAVE”) == 0 ){
}
Print( “você fez o Gesto Wave ( Tchau )” );
Criado Por Pedro Queiroz
Gestos Implementados pelo SDK :
LABEL_NAV_SWIPE_LEFTLABEL_NAV_SWIPE_RIGHTLABEL_NAV_SWIPE_UPLABEL_NAV_SWIPE_DOWN
LABEL_HAND_WAVELABEL_HAND_CIRCLE
LABEL_POSE_THUMB_UPLABEL_POSE_THUMB_DOWN
LABEL_POSE_PEACELABEL_POSE_BIG5
Criado Por Pedro Queiroz
PXCMGesture.GeoNode[] primeiraMao = new PXCMGesture.GeoNode[1];
If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY,out primeiraMao)){
}
Cubo.transform.localPosition = new Vector3(-primeiraMao[0].positionWorld.x,primeiraMao[0].positionWorld.z, primeiraMao[0].positionWorld.y);
Cubo.transform.rotation = Quaternion.LookRotation(new Vector3(-primeiraMao[0].normal.x, primeiraMao[0].normal.z,primeiraMao[0].normal.y));
Criado Por Pedro Queiroz
Algumas Propriedades da Captura da mão :
PositionWorld
PositionImage
Normal
Openness
OpennessState LABEL_OPEN LABEL_CLOSE
Criado Por Pedro Queiroz
PXCMGesture.GeoNode[] polegar = new PXCMGesture.GeoNode[1];
If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY |PXCMGesture.GeoNode.Label.LABEL_FINGER_THUMB,out polegar)){
}
CuboPolegar.transform.localPosition = new Vector3(-polegar[0].positionWorld.x, polegar[0].positionWorld.z,polegar[0].positionWorld.y);
Criado Por Pedro Queiroz
Dedos Implementados pelo SDK :
LABEL_FINGER_THUMBLABEL_FINGER_INDEXLABEL_FINGER_MIDDLELABEL_FINGER_RINGLABEL_FINGER_PINKY
Outros Implementados pelo SDK :
LABEL_HAND_UPPERLABEL_HAND_MIDDLELABEL_HAND_LOWER
LABEL_BODY_ELBOW_PRIMARYLABEL_BODY_ELBOW_SECONDARY
Criado Por Pedro Queiroz
PXCMFaceAnalysis.Detection.Data rosto;
If (ppot.QueryFaceLocationData(face, out rosto)){
}
rect = new Rect(rosto.rectangle.x, rosto.rectangle.y, rosto.rectangle.w, rosto.rectangle.h)
PXCMFaceAnalysis.Landmark.LandmarkData[] rosto = new PXCMFaceAnalysis.Landmark.LandmarkData[6];
If (ppot.QueryFaceLandmarkData(face,PXCMFaceAnalysis.Landmark.Label.LABEL_6POINTS,rosto){
}
rect = new Rect(rosto[0].position.x, rosto[0].position.y, 5, 5 )
Criado Por Pedro Queiroz
Pontos de Rosto Identificados pelo SDK :
Rosto[0] = LABEL_LEFT_EYE_OUTER_CORNERRosto[1] = LABEL_LEFT_EYE_INNER_CORNERRosto[2] = LABEL_RIGHT_EYE_OUTER_CORNERRosto[3] = LABEL_RIGHT_EYE_INNER_CORNERRosto[4] = LABEL_MOUTH_LEFT_CORNERRosto[5] = LABEL_MOUTH_RIGHT_CORNERRosto[6] = LABEL_NOSE_TIP
Criado Por Pedro Queiroz
PXCMVoiceRecognition.Recognition audio;
If (ppot.QueryVoiceRecognized(out audio){
}
Print(“ label = ” + audio.label + “ Texto = ” + audio.dictation );
Criado Por Pedro Queiroz
Alertas de Captura de Som:
LABEL_VOLUME_HIGHLABEL_VOLUME_LOWLABEL_SNR_LOWLABEL_SPEECH_UNRECOGNIZABLE
Criado Por Pedro Queiroz
Todos os códigos são fornecidos pelo Demo no SDK
Precisamos Importar os Plugins e os Códigos
Criado Por Pedro Queiroz
Montar a Estrutura no Unity3D
Imprimir o Marcador
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Criado Por Pedro Queiroz
Utilizando o Pipeline e Unity3D você não tem todas as funcionalidades da câmera, Mas dá para fazer muita coisa bacana com tudo isso!
Pedro@Rappstudio.com / contato@Rappstudio.comEmail:
www.rappstudio.com
Apoio: Itep – Incubatep
Agradecimento:
Anthony Lins, Breno Carvalho, Intel, Renato Oliveira , Eric Pessoa
Minha Mãe , Minha avó e My Xuxuzinha Gabriela