1

1/57

Mapeamento robóticoExemplos de mapas:

Planta do 2o. andar do USC SAL

Mapa: occupancy grid

Ambiente urbano

Mapa: point cloud 3D2/57

Mapeamento semântico

� Semântica consiste em associar significado aos dados.

� A utilização de semântica em mapas robóticos facilita a interpretação e o compartilhamento das informações por robôs, pessoas e outras máquinas.

� Quanto mais informações são incorporadas nos mapas, mais complexas são as tarefas que podem ser executadas pelos robôs.

� Virtualmente, qualquer propriedade do ambiente pode ser representada em um mapa.

Mapeamento semântico consiste na criação de mapas q ue não representam apenas a ocupação métrica do ambiente, mas também o utras propriedades.

3/57

Metodologia

� Nossa metodologia para mapeamento semântico combina algoritmos de mapeamento com técnicas de aprendizado de máquina.

� Aprendizado supervisionado é utilizado para associar automaticamente informações sensorias com os padrões de classificaç ão desejados.

� Técnicas de mapeamento semântico:

� Baseada em modelos ocultos de Markov (HMM)

� Baseada em maquinas de vetores de suporte (SVM)

� Ambas as técnicas foram testadas em dois problemas:

� Mapeamento semântico de terreno

� Mapeamento semântico baseado em atividade

4/57

Modelos ocultos de Markov� Um modelo oculto de Markov (HMM) consiste em um processo de Markov que contém estados desconhecidos e emite saídas observáveis.

� O desafio está em estimar os estados desconhecidos (ocultos) baseado na informação observável.

� O modelo utilizado (distribuição dos estados iniciais e tabela de transição de estados) é aprendido baseado dados manualmente classificados.

� O algoritmo de Viterbi é usado estimar os estados desconhecidos.

� Para corrigir eventuais erros de classificação, uma técnica de segmentação baseada em campos aleatórios de Markov (MRF).

� A classificação de cada elemento é recalculada condicionalmente baseada na classificação dos elementos adjacentes.

5/57

Maquinas de vetores de suporte

SVM executa a classificação de dados estimando hiperplanos em espaços multidimensionais, separando dados de classes diferentes e maximizando a

distância entre o hiperplano e os dados (margem).

6/57

Maquinas de vetores de suporte

Para casos onde os dados não são separáveis linearmente, esses dados são mapeados em outro espaço Euclideano onde eles são linearmente separáveis. Funções kernel são utilizadas para tanto.

Dados em duas dimensões Dados em espaço de mais alta dimensionalidade

2

7/57

Maquinas de vetores de suporte

Quatro tipos de kernels foram utilizados durante os experimentos:

� Linear

� Polinomial:

� RBF:

� Sigmoid:

Obs: O software SVM foi utilizado durante os experimentos de classificação.

Onde s são os vetores de suporte, x são os pontos à serem classificados, e a, b, c, e d são parâmetros

(estimados utilizando-se validação cruzada).

8/57

Outline

� Mapeamento em ambientes externos

� Mapeamento semântico

� Mapeamento de terreno

� Mapeamento baseado em atividade

� Conclusão

9/57

Mapeamento semântico de terrenoO mapeamento semântico de terreno consiste em criar uma representação

tridimensional e classificar o terreno de acordo com sua navegabilidade.

Non navigableNon navigable Navigable

Propriedades do terreno utilizadas na aprendizagem e classificação:

� Altitude relativa: diferença de altitude entre determinado ponto e os pontos adjacentes.

� Altitude absoluta: altitude absoluta de um ponto específico.

Obs: A elevação do terreno é considerada constante durante o mapeamento 10/57

Terrenos mapeados

Calçada Jardim

P1

P2

P3P4

P5

11/57

Non navigableNon navigable Navigable

Mapeamento de terreno: formulação do problema

Formulação do problema utilizando-se HMM:

� Cada leitura do laser (360 medidas) consiste em uma seqüência de dados.

� Existem duas classificações possíveis para cada medida do laser: G (navegável) ou N (não navegável).

� As distribuições de estado inicial e transições são aprendidas baseadas em exemplos manualmente classificados.

� Ao invés de utilizar um conjunto de símbolos de observação, as observações são calculadas baseadas na altitude relativa de cada ponto.

Formulação do problema utilizando-se SVM:

� As propriedades de cada ponto no mapa servem como entradas para a SVM, que classifica cada ponto individualmente.

12/57

Navegação autonoma

3

13/57

Resultados do mapeamento de terreno

HMM HMM + MRF 14/57

Resultados do mapeamento de terreno

Classificação utilizando-se SVM

15/57

Resultados do mapeamento de terreno

Kernel linear Kernel linear+ MRF

Kernel RBF Kernel RBF+ MRF

16/57

Resultados do mapeamento de terreno

Kernel linear Kernel linear + MRF

Kernel RBF Kernel RBF + MRF

17/57

Resultados do mapeamento de terreno

Kernel linear Kernel linear + MRF

Kernel RBF Kernel RBF + MRF 18/57

Resultados do mapeamento de terreno

Classificação correta(referência)

Kernel linear Kernel polinomial

Kernel RBF Kernel sigmoid

4

19/57

Comparação dos métodos

HMM (97.20% + 96.20%) SVM (97.59% + 97.52%)

HMM + MRF (97.40% + 98.50%) SVM + MRF (97.76% + 98.15%) 20/57

Comparação dos métodos

SVM (94.40% + 95.48%)HMM (93.10% + 97.80%)

HMM + MRF (97.60% + 98.90%) SVM (95.34% + 91.21%)

21/57

Outline

� Mapeamento em ambientes externos

� Mapeamento semântico

� Mapeamento de terreno

� Mapeamento baseado em atividade

� Conclusão

22/57

Propriedades do espaço utilizadas para o aprendizado e classificação:

� Atividade: acontece sempre que determinada parte do espaço é ocupada e se torna vazia e vice-versa.

� Ocupação: acontece sempre que determinada parte do espaço é ocupada

� Tamanho máximo : tamanho máximo entre as entidades que ocuparam determinada parte do espaço.

� Tamanho médio: tamanho médio entre as entidades que ocuparam determinada parte do espaço.

Mapeamento semântico baseado em atividade

O mapeamento semântico baseado em atividade consiste em construir um mapa e classificar semanticamente um ambiente urbano baseado na utilização do espaço

pelas entidades móveis.

Área experimentalAtividade captada

pelos sensores

O ambiente é classificado em rua ou calçada baseado no tamanho e na atividade

das entidades móveis.

23/57

Formulação do problema utilizando-se HMM:

� O ambiente é discretizado em células.

� Existem duas classificações possíveis para cada célula: rua (S) e calçada (W).

� Cada linha de células é considerada como uma seqüência de dados.

� As observações são calculadas baseadas nas propriedades do espaço (atividade, ocupação, tamanha máximo e tamanho médio).

� As distribuições de estado inicial e transições são aprendidas baseadas em exemplos manualmente classificados.

Formulação do problema utilizando-se SVM:

� As propriedades de cada célula no mapa servem como entradas para a SVM, que classifica cada célula individualmente.

Mapeamento baseado em atividade

24/57

Resultados do mapeamento baseado em atividade

Classification results

Ground truth

5

25/57

Resultados do mapeamento baseado em atividade

Tamanho médio (HMM)

Tamanho máximo (HMM) Tamanho máximo (HMM + MRF)

Tamanho médio (HMM + MRF)

26/57

Resultados do mapeamento baseado em atividade

Atividade (HMM) Atividade (HMM + MRF)

Ocupação (HMM) Ocupação (HMM + MRF)

27/57

Resultados do mapeamento baseado em atividade

Classificação utilizando-se as 4 propriedades do esp aço

Classificação utilizando-se as propriedades: ativida de e tamanho médio

28/57

Resultados do mapeamento baseado em atividade

Dados de treinamento (referência)

Dados de treinamento (kernel linear)

Dados de treinamento (kernel RBF)

Dados completos(referência)

Dados completos(kernel linear)

Dados completos(kernel RBF)

Classificação utilizando-se as propriedades: atividade e tamanho médio

29/57

Resultados do mapeamento baseado em atividade

Kernel linear

Kernel linear + MRF

Kernel RBF

Kernel RBF + MRF

Kernel polinomial

Kernel polinomial + MRF

Classificação utilizando-se as propriedades: atividade e tamanho médio

30/57

Resultados do mapeamento baseado em atividade

Obs: Kernel linear

Propriedades: (1) atividade, (2) ocupação, (3) tama nho máximo, e (4) tamanho médio

6

31/57

Resultados do mapeamento baseado em atividade

Categoria A

Categoria B

Categoria C

32/57

Comparação dos métodos

SVM (79.64%)

SVM + MRF (79.67%)

(HMM 75.40%)

HMM + MRF (82.72%)

Propriedade: tamanho médio

33/57

Comparação dos métodosPropriedade: tamanho máximo

SVM + MRF (78.88%)

(HMM 78.26%)

HMM + MRF (83.01%)

SVM (78.53%)

34/57

Classificação multi-classes com SVM

Vermelho: ruaVerde: calçadaAzul: áreas estáticasBranco: área sem atividade / ocupação

Áreas estáticas:� Alta ocupação � Baixa atividade

Referência

Resultados da classificação

Propriedades: (1) atividade, (2) ocupação, (3) tama nho máximo e (4) tamanho médio

35/57

Resultados da classificação

Propriedades: 1,2,3

Propriedades: 1,2,4

Propriedades: 1,2,3,4

Propriedades: (1) atividade, (2) ocupação, (3) tamanho máximo e (4) tamanho médio