Arquitetura Compacta Para Projeto de Robôs Móveis Visando ...
Mapeamento semântico com robôs móveis
description
Transcript of Mapeamento semântico com robôs móveis
![Page 1: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/1.jpg)
Mapeamento semântico com robôs móveis
Fabiano Rogério Corrêa (aluno de doutorado – POLI/PMR)
![Page 2: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/2.jpg)
2
Mapas do ambiente• Mapeamento: artigo do Thrun (2002);
– Modelos espaciais de ambientes físicos;– Um dos problemas mais importantes na busca por
robôs verdadeiramente autônomos;– “Todos” os algoritmos do estado da arte de
mapeamento são probabilísticos;
![Page 3: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/3.jpg)
3
Desafios para o mapeamento• Até a década de 90:
– Mapas visavam auxiliar a navegação e a localização;
– Ambientes internos, estáticos, estruturados e pouco extensos;
– Sensores de ultra-som e de varredura laser;– Alcance limitado dos sensores e fusão de dados
sensoriais incertos;– Mapas: métricos x topológicos;
![Page 4: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/4.jpg)
4
Desafios atuais• Desde então ...
– Representações visando tarefas mais gerais;– Ambientes externos, dinâmicos, não–estruturados e
extensos;– Sensores de varredura laser e sistemas de visão;– Dinâmica do ambiente, grande quantidade de dados de
tipos diferentes (multi-modais);– Mapas: filtro de Kalman x Expectation maximization x
mapa de objetos;
![Page 5: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/5.jpg)
5
Mapa de objetos
• + Mais compactos que os mapas de grades (principalmente em ambientes estruturados);
• + Mais precisos (e expressivos);• + Ambientes dinâmicos;• + Mais próximos à percepção humana
(facilita interação homem-máquina);• - Ambientes simples;
![Page 6: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/6.jpg)
6
Mapas semânticos• Interesse renovado em informação
semântica:– Segmentar e classificar informação espacial;– Mapas topológicos consideram em parte a semântica
do ambiente;– Informação semântica extraída diretamente dos
sensores do robô;– Regiões distinção e reconhecimento de lugares
específicos no ambiente;– Objetos dinâmica;– Restrição do espaço de buscas e entrada do sistema
de navegação: dirigir-se a um lugar determinado;
![Page 7: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/7.jpg)
7
Classificação de mapas semânticos• Ainda pouco explorado;• Mapeamento topológico-semântico:
– Similaridade sensorial;– Com objetos;
• Mapeamento métrico-semântico:– Associação de dados;– Segmentação:
• Dados de distância;• Regiões;• Objetos;
![Page 8: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/8.jpg)
8
Similaridade sensorial• Informação semântica extraída diretamente dos
sensores do robô;• Agrupamento de imagens em constelações que
representam um conceito espacial;• Medida de similaridade;• Consistência geométrica / espacial entre as
imagens;• Aprendizado não-supervisionado;• Teoria de grafos;
![Page 9: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/9.jpg)
9
Fingerprint of places
Tapus, A. Siegwart, R. A cognitive modeling of space using fingerprints of places for mobile robot navigation. In: Proceedings of the IEEE International Conference on Robotics and
Automation (ICRA), 2006.
![Page 10: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/10.jpg)
10
Scene similarity
Posner, I., Schroeter, D., Newman, P. Using scene similarity for place labelling. In: International Symposium on Experimental Robotics (ISER), 2006.
![Page 11: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/11.jpg)
11
Rooms
Zivkovic, Z., Booij, O., Kröse, B. From images to rooms. In: Robotics and Autonomous Systems 55, 2007.
![Page 12: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/12.jpg)
12
Mapeamento topológico com objetos
• Reconhecimento de objetos;• Cada nó do mapa é representado por um
conjunto de objetos;
![Page 13: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/13.jpg)
13
Multi-hierarchical semantic maps
Galindo, C., Saffiotti, A., Coradeschi, S., Buschka, P., Fernández-Madrigal, J.A., González, J. Multi-hierachical semantic maps for mobile robotics. In: Proceedings of the IEEE International
Conference on Intelligent Robots and Systems (IROS), 2005.
![Page 14: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/14.jpg)
14
Cognitive maps
Vasudevan, S., Gächter, S., Nguyen, V., Siegwart, R. Cognitive maps for mobile robots – an object approach. In: Robotics and Autonomous Systems 55, 2007.
![Page 15: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/15.jpg)
15
Associação de dados• Classificação dos dados sensoriais em classes;• Associação de dados usando a informação
semântica;• Redução do espaço de busca;• Mapeamento e localização simultâneos (SLAM);• Aprendizado supervisionado;• Teoria de probabilidades;
![Page 16: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/16.jpg)
16
Matching
Ramos, F., Fox, D., Durrant-Whyte, H. CRF-matching: conditional random fields for feature-based scan matching. In: Proceedings of Robotics Science and Systems (RSS), 2007.
![Page 17: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/17.jpg)
17
Semantic knowledge
Nüchter, A., Wulf, O., Lingemann, K., Hertzberg, J., Wagner, B., Surmann, H. 3D mapping
with semantic knowledge. In: RoboCup International Symposium, 2005.
![Page 18: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/18.jpg)
18
Object recognition
Ramos, F., Nicto, J., Durrant-Whyte, H. Combining object recognition and SLAM for extended map representations. In: International Symposium on Experimental Robotics (ISER), 2006.
![Page 19: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/19.jpg)
19
Segmentação: dados de distância• Primitivos geométricos são classificados por
meio de aprendizado computacional supervisionado;
• Modelos: – AMNs;– Instance-based AMNs;
![Page 20: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/20.jpg)
20
3D scan data
Anguelov, D., Taskar, B., Chatalbashev, V., Koller, D., Gupta, D., Heitz, G. Ng, A. Discriminative learning of markov random fields for segmentation of 3D scan data. In:
Proceedings of the Conference on Computer Vision and Patern Recognition (CVPR), 2005.
![Page 21: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/21.jpg)
21
2D and 3D laser range data
Triebel, R., Schmidt, R., Mozos, O.M., Burgard, W. Instance-based AMN classification for improved object recognition in 2D and 3D laser range data. In: Proceedings of the
International Joint Conference on Artificial Intelligence (IJCAI), 2007.
![Page 22: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/22.jpg)
22
Segmentação: regiões• Baseada em grades de ocupação: células;• Características:
– Perfil geométrico das leituras do sensor de varredura laser mais reconhecimento de objetos - AdaBoost;
– Atividade (dinâmica dos objetos na cena) – SVM, HMM, MRF;
• Categorias:– Calçada e rua;– Fluxo de tráfego;– Corredor, sala e porta;
![Page 23: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/23.jpg)
23
Activity-based ground models
Lookingbill, A., Lieb, D., Stavens, D., Thrun, S. Learning activity-based ground models from a moving helicopter platform. In: IEEE International Conference on Robotics & Automation (ICRA),
2005.
![Page 24: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/24.jpg)
24
Activity-based semantic map
Wolf, D., Sukhatme, G.S., Activity-based semantic mapping of an urban environment. In: International Symposium on Experimental Robotics (ISER), 2006.
![Page 25: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/25.jpg)
25
Semantic labeling of places
Mozos, O.M., Triebel, R., Jensfelt, P., Rottmann, A., Burgard, W. Supervised semantic labeling of places using information extracted from sensor data. In: Robotics and Autonomous
Systems 55, 2007.
![Page 26: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/26.jpg)
26
Segmentação: objetos• Objetos a serem classificados: linhas obtidas do
pré-processamento dos dados dos sensores de varredura laser;
• Classificações: porta, parede (e corredor);• Aprendizado computacional supervisionado:
– Modelo generativo: comportamento e aparência;– RMNs: aparência e relações espaciais;
![Page 27: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/27.jpg)
27
Detecting and modeling doors
Anguelov, D., Koller, D., Parker, E., Thrun, S. Detecting and modeling doors with mobile robots. In: Proceedings of the IEEE International Conference on Robotics and Automation
(ICRA), 2004.
![Page 28: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/28.jpg)
28
Relational object maps
Limketkai, B., Liao, L., Fox, D. Relational object maps for mobile robots. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2005.
![Page 29: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/29.jpg)
29
Conclusão• Extração de informação semântica dos dados
sensoriais;• Emprego da semântica para resolver os
desafios atuais da área de robótica;• Uso de modelos probabilísticos de primeira
ordem:– Inclusão de dependências relacionais;– Melhor precisão na classificação;
![Page 30: Mapeamento semântico com robôs móveis](https://reader033.fdocumentos.com/reader033/viewer/2022051018/56814408550346895db09dd7/html5/thumbnails/30.jpg)
30
Aprendizado estatístico-relacional• BNs Relacionais (RBN) (Jaeger, 1997);• Modelos Probabilísticos Relacionais (PRM) (Koller e
Pfeffer, 1998; Friedman et al., 1999);• PRMs Dinâmicos (DPRM) (Friedman et al., 1998);• MMs Relacionais (RMM) (Anderson et al., 2002);• RNs Relacionais (RMN) (Taskar et al., 2002);• MDPs Relacionais (RMDP) (Guestrin et al., 2003);• Redes de Dependência Relacionais (RDN) (Neville e
Jensen, 2007);