Extração de Conhecimentos com Interpretabilidade Aumentada Utilizando Modelagem Fuzzy e...

Extração de Conhecimentos com Interpretabilidade Aumentada Utilizando

Modelagem Fuzzy e Otimização Multi-objetivo

Rogério IshibashiOrientador: Cairo L. Nascimento Jr.

Instituto Tecnológico de Aeronáutica16/Dez/2013

Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso:

4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido

5. Conclusões finais

2/58

1. Introdução• Grande quantidade de dados armazenados.

• Necessidade de programas computacionais para a extração de conhecimentos.

• Técnicas comuns utilizadas: modelos fuzzy, redes neurais, árvores de decisão, etc.

• Preocupação na otimização da acurácia e não na interpretação dos modelos.

3/58

1. Introdução: Motivação• Na definição de regras de forma manual a

responsabilidade recai sobre os especialistas.• Depende de especialistas experientes que podem ter

dificuldade para modelar sistemas complexos.• Automatizar a extração de conhecimentos em bases de

dados.• Gerar modelos com boa precisão e interpretáveis para

auxiliar um especialista em sua tomada de decisão.• Vantagens de modelos interpretáveis:– verificação do conhecimento extraído,– aumento da confiança do usuário no modelo.

4/58

1. Introdução: Objetivo

Árvores de Decisão

Lógica Fuzzy

Algoritmos Genéticos

Otimização multi-objetivo

Interpretabilidade

Interpretabilidade

Acurácia

Mecanismo AutomáticoGeração de Regras Fuzzy e Calibração de Funções de

Pertinência

5/58

Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso



6/58

2.1 Revisão: Árvores de Decisão (AD)

• Representação de conhecimento através de uma estrutura em forma de árvore que descreve decisões.

7/58

2.2 Revisão: Lógica Fuzzy

• Temperatura discreta.

• Temperatura fuzzy:– Variáveis linguísticas,– Funções de pertinência,– Grau de pertinência;

• Variável pode assumir infinitos valores entre 0 e 1.• Tratamento de incertezas e imprecisões.• Dois métodos principais: Mamdani e Sugeno.

8/58

2.3 Revisão: Algoritmos Genéticos• Algoritmos de propósito geral que usam os princípios

da evolução natural para buscar soluções aproximadas.

9/58

2.4 Revisão: Sistema Fuzzy Gen. Baseado em Regras

• Sistema Fuzzy Baseado em Regras apoiado por um processo de aprendizagem genético.

RF: Regra Fuzzy, FP: Função de Pertinência

10/58

2.5 Revisão: Otimização multi-objetivo

• Múltiplos objetivos conflitantes são avaliados independentemente através do conceito de dominância.

• Fronteira de Pareto.• NSGA-II (Deb, 2001).

• x1 domina x2 se e somente se:

11/58

2.6 Revisão: Interpretabilidade em Sistemas Fuzzy

• Permite a representação do conhecimento de forma similar aos conceitos compreendidos por seres humanos (Cannone et al., 2009).

• Interpretabilidade e acurácia geralmente são conflitantes. Ex: redes neurais.

• Um modelo fuzzy interpretável é um modelo fácil de ser compreendido, explicado ou descrito por uma pessoa, relacionando o modelo ao seu domínio de conhecimento.

12/58


• Condições para interpretabilidade:– utilização de funções de pertinência (FP) que

façam sentido,– número de regras reduzido,– utilização de regras compactas, com poucas

variáveis.• Como medir interpretabilidade? – características de alto nível: nº de regras, nº de

atributos e nº de FP,– características de baixo nível: formato,

sobreposição e cobertura das FP.

13/58


14/58




15/58

3. Proposta de Solução: MoGFT-I

• MoGFT-I: Multi-objective GFRBS supported by a Decision Tree with improved Interpretability.

• Dois módulos principais e independentes:– Geração de regras,– Ajustes nas funções de pertinência.

• Divididos em 3 fases.

16/58


17/58


• Fase 1: Geração da Árvore de Decisão.• Fase 2: Extração das regras fuzzy.

18/58


• Fase 3: Algoritmo genético multi-objetivo para os ajustes das funções de pertinência.

• Função Objetivo 1: Minimizar a complexidade através do cálculo das penalidades das funções de pertinência.

• Função Objetivo 2: Minimizar erros de aproximação- Depende da aplicação (estudo de caso).

19/58


20/58


• Avaliação + seleção + recombinação + mutação.

21/58

Implementaçãoem Matlab

Implementaçãoem linguagem Java

Banco de Dados

Extração de regras fuzzy

Gerador de Dados

Normalização/Discretização

Recombinação

Mutação

Avaliação

SeleçãoConjunto de soluções/modelos (arquivos .fis)

Modelo de Árvore de Decisão

Regras Fuzzy

Dados

Árvore deDecisão

RemoveRuídos

Dados

Dados

Dados

Curva de Pareto

Weka

<<usa>>

Global Optimization Toolbox (Matlab)

<<usa>>

<<usa>>

0..1

Simulink(Matlab)

<<usa>>

0..1

Simulink(Matlab)

Fuzzy LogicToolbox (Matlab)

<<usa>>

Gera populaçãoinicial

22/58

Implementação emSimulink (Matlab)




23/58

4.1 Estudo de Caso 1: PHM• PHM: Prognostic and Health Management.

• Permite que a confiabilidade de um sistema seja avaliada durante seu ciclo de vida através da predição de seu tempo de vida (RUL – Remaining Useful Life).

• Benefícios:– mitigar os riscos de falha do equipamento,– otimizar o planejamento logístico de manutenção,– aumentar a segurança operacional de aeronaves.

24/58

4.1 Estudo de Caso 1: PHM

25/58

4.1 Estudo de Caso 1: PHM• Função objetivo 1: Minimizar a complexidade através

do cálculo das penalidades.

• Função objetivo 2: Minimizar os erros de aproximação (aumentar a acurácia):

• 10 Regras geradas pelo algoritmo de árvore de decisão C4.5 com confidence factor 10-4.

26/58

4.1 Estudo de Caso 1: PHM• Final da execução do Algoritmo Genético Multi-

objetivo.

27/58

4.1 Estudo de Caso 1: PHM

28/58

4.1 Estudo de Caso 1: PHM• Exemplo de resultado da aplicação de um dos modelos gerados para os

dados de teste.

29/58

4.1 Estudo de Caso 1: PHM• Curvas de Pareto geradas com diferentes configurações de poda.

30/58




31/58

4.2 Estudo de Caso 2: Reconhecimento de imagens

32/58


• Quantidade de regras geradas pelo algoritmo C4.5 para diferentes configurações de poda.

33/58


• Função objetivo 1: minimizar a complexidade através dos cálculos das penalidades.

• Função objetivo 2: minimizar os erros de aproximação.

34/58


• Caracter ‘2’• Sem poda

• 19 Regras• 9 soluções

• Final da execução do algoritmo genético multi-objetivo.

35/58

4.2 Estudo de Caso 2: Reconhecimento de imagens• Combinação de classificadores:

36/58


• Curvas de Pareto geradas para a combinação de classificadores.

37/58


• Imagens com 8% de ruídos. • Imagens com 10% de ruídos.38/58


• Testes com diferentes níveis de ruído em 5% e 8%.

39/58


• Média e desvio padrão das penalidades das 16 soluções.• Distribuição das penalidades das 16 soluções.

40/58




41/58

4.3 Estudo de Caso 3: Controle

• Controle do carro com pêndulo invertido.

• Problema não linear.

• Planta instável.

• Desafio é manter o pêndulo equilibrado na posição vertical e deslocar o carro para a origem.

42/58


• Ângulo do pêndulo ( ).• Velocidade angular do pêndulo ( ).• Posição do carro ( ).• Velocidade do carro ( ).

• Massa do carro (M): 1,0 kg.• Massa do pêndulo (m): 0,1 kg.• Comprimento do pêndulo (2l): 1,0 m.• Gravidade (g): 9,8 m/s2.

43/58


44/58

4.3 Estudo de Caso 3: Controle• Problema de regulação.• Dados de treinamento gerados pelo controlador do Simulink/Matlab.

45/58


• Fase 1: variáveis de entrada e de saída normalizadas e discretizadas em negative, medium, positive.

• Regras geradas pelo algoritmo de AD C4.5:

46/58


• Equações para o cálculo dos erros de aproximação.

,

47/58


• Final da execução do algoritmo genético multi-objetivo.

48/58


49/58

Solução com 0 penalidades Solução com 2 penalidades


• Simulação com estado inicial em = (0o; 0o/s; 1,0 m; 0 m/s).

50/58

Solução com 0 penalidades Solução com 2 penalidades



51/58


• Diagrama de fases com estado inicial em: = (0o; 0o/s; 1,0 m; 0 m/s).

52/58



53/58




54/58

5. Conclusões finais: Principais Contribuições

• Concepção do método MoGFT-I.

• Método com módulos independentes.

• Utilização de algoritmo multi-objetivo para otimização da acurácia e da interpretabilidade.

• Análise através das curvas de Pareto.

• Aplicação em problemas relevantes.

55/58

5. Conclusões finais: Principais Contribuições

• Publicações geradas até o momento:

– Knowledge extraction using a genetic fuzzy rule-based system with increased interpretability. IEEE International Symposium on Applied Machine Intelligence and Informatics, Herl’any, Slovakia, 2012 (IEEE SAMI 2012).

– GFRBS-PHM: A genetic fuzzy rule-based system for PHM with improved Interpretability. IEEE International Conference on Prognostics and Health Management, Gaithersburg, USA, 2013 (IEEE PHM 2013).

56/58

5. Conclusões finais: Considerações Finais

• Os resultados obtidos cumpriram com o objetivo proposto.

• Foi mostrado a relevância da otimização multi-objetivo para avaliar funções conflitantes.

• As capacidades do método MoGFT-I puderam ser demonstradas em diferentes áreas.

• Finalmente, espera-se que esta pesquisa possa servir de inspiração para futuros trabalhos.

57/58

Fim

Obrigado a todos.

58/58

Extração de Conhecimentos com Interpretabilidade Aumentada Utilizando Modelagem Fuzzy e...

Documents

Transcript of Extração de Conhecimentos com Interpretabilidade Aumentada Utilizando Modelagem Fuzzy e...