Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio....

27
Generalização de Regras de Associação Utilizando Taxonomias Após Pós-Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato

Transcript of Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio....

Page 1: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Generalização de Regras de Associação Utilizando Taxonomias Após Pós-Processamento Prévio.Jackson D. N. MourãoPietrângelo V. Ferronato

Page 2: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Processo de Extração de Padrões em Bases

de Dados

Para que serve?

Quem utiliza?

Qual o problema?

Page 3: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Trabalhos Relacionados

Descrição de um Algoritmo para Generalização de Regras de Associação (DOMINGUES, 2004)

Objetivo: filtrar conjunto de regras;Método Adotado: taxonomias;Resultados: redução entre 14,61% e 50,11%;

Influência da Imputação de Valores Ausentes nos Classificadores Descobertos (CALIL, 2008)

Objetivo: imputação de valores ausentes;Método Adotado: árvores de decisão;Resultados: redução na quantidade de regras e na taxa de erro do classificador;

Page 4: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Trabalhos Relacionados

Um Método de Pós-processamento de Regras de Associação com Base nas Relações de Dependência entre os Atributos (BÜRKLE, 2006)

Objetivo: eliminar regras redundantes;Método Adotado: relações de dependência entre atributos;Resultados: bons percentuais de redução nas quatro bases de dados testadas;

Análise do Conhecimento Extraído de Classificadores Simbólicos Utilizando Medidas de Avaliação e de Interessabilidade (GOMES, 2002)

Objetivo: medir os padrões descobertos;Método Adotado: medidas qualitativas e quantitativas;Resultados: algumas regras potencialmente mais interessantes.

Page 5: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Trabalhos Relacionados

Identificação de Regras de Associação Interessantes por meio de Análises com Medidas Objetivas e Subjetivas (SINOARA, 2006)

Objetivo: identificar regras potencialmente mais interessantes;

Método Adotado: medidas objetivas e subjetivas;

Resultados: demonstrou-se que a combinação proposta auxilia na avaliação das regras;

Page 6: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Regras de AssociaçãoConceitos

“Um cliente que compra os produtos (X1,X2, ..., Xn) também irá comprar os produtos (Y1, Y2, ..., Ym) com probabilidade c%”

Padrão AprioriY X Z (50.5%, 80.2%)

Page 7: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Avaliação e Poda de Regras

Conceitos

ObjetivosAvaliar regras geradas;

Reduzir o tamanho do conjunto de regras;

MétodoMedidas objetivas e subjetivas;

Medidas quantitativas e qualitativas;

Identificar regras redundantes ou potencialmente não interessantes;

Page 8: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

ConvicçãoConceitos

Domínio: de zero a infinito;Caso for 1: existe a independência completa entre A e B;

Caso for infinito: A nunca aparece sem B (confiança de 100%);

Page 9: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Generalização de RegrasConceitos

Aplica-se conhecimento de domínio para gerar regras mais representativas e informativas.

“5% dos clientes que compram pão-pullman-light, também compram leite-parmalat-desnatado”

“30% dos clientes que comprar pão, também compram leite”

Page 10: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Técnica da TaxonomiaConceitos

Page 11: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Método PropostoAvaliar e eliminar regras através da medida objetiva Convicção;

Generalizar as regras:– Agrupar por Conseqüente;– Generalizar em Linha;– Agrupar por Antecedente/Taxonomia;– Generalizar em Coluna;– Desfazer Generalizações Não Repetidas;– Concatenar Taxonomias aos Dados– Calcular Suporte e Confiança para as Regras

Generalizadas;– “Desgeneralizar” Regras de Baixa Confiança;– Gerar Arquivo de Saída;

Page 12: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Agrupar por Conseqüente

Método Proposto

Page 13: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Generalizar em LinhaMétodo Proposto

Page 14: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Agrupar por Antecedente

Método Proposto

Page 15: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Agrupar por Antecedente

Método Proposto

Page 16: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Generalizar em ColunaMétodo Proposto

Page 17: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Generalizar em ColunaMétodo Proposto

Page 18: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Desfazer Generalizações não Repetidas

Método Proposto

Page 19: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Concatenar Taxonomias aos Dados

Método Proposto

Page 20: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Calcular Suporte e Confiança

Método Proposto

• Varre a base de dados buscando itens nos registros duplos (linha das respectivas taxonomias e linha original);

Page 21: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

“Desgeneralizar” Regras com Baixa Confiança

Método Proposto

Page 22: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Gerar Arquivo de SaídaMétodo Proposto

Page 23: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Resultados2091 Regras

1062 Regras Podadas (50,8% menor)

958 Regras (7% menor)

1285 Registros

Page 24: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Conclusão

• A eficácia do método depende:

– Do quão generalizáveis são os dados;

– De quanto conhecimento de domínio está disponível;

– Da configuração das taxonomias confeccionadas;

Page 25: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Trabalhos Futuros

• Generalizar conseqüente da regra;

• Agrupar no arquivo de saída as regras que possuem antecedentes de mesma taxonomia;

Page 26: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Referências• BÜRKLE, Paula Yamada. Um Método de Pós-processamento de Regras de Associação com Base nas Relações de

Dependência entre os Atributos. Universidade Federal Fluminense, Niterói, 2006.

• CALIL, Leonardo Aparecido de Almeida. Influência da imputação de valores ausentes nos classificadores descobertos. Universidade Tuiuti do Paraná, Curitiba, 2008.

• CARVALHO, Veronica Oliveira de. Generalização de regras de associação utilizando conhecimento de domínio e avaliação do conhecimento generalizado. Universidade de São Paulo, São Carlos, 2007.

• DOMINGUES, Marcos Aurélio. Generalização de regras de associação. Universidade de São Paulo, São Carlos, 2004.

• GOMES, Alan Keller. Análise do Conhecimento Extraído de Classificadores Simbólicos Utilizando Medidas de Avaliação e de Interessabilidade. Universidade de São Paulo, São Carlos, 2001.

• GONÇALVES, Eduardo Corrêa. Regras de Associação e suas Medidas de Interesse Objetivas e Subjetivas. Universidade Federal Fluminense, Niterói, 2005.

• MELANDA, Edson Augusto. Pós-processamento de Regras de Associação. Universidade de São Paulo, São Carlos, 2004.

• REZENDE, Solange Oliveira. Sistemas Inteligentes – Fundamentos e Aplicações. 1a edição. Barueri – SP Editora Manole, 2003.

• SINOARA, Roberta Akemi. Identificação de regras de associação interessantes por meio de análises com medidas objetivas e subjetivas. Universidade de São Paulo, São Carlos, 2006.

• SOUZA, Viviane Dal Molin; CARVALHO, Deborah Ribeiro. Avaliando a relação entre quão corretas e interessantes podem ser as regras de associação descobertas. Tuiuti: Ciência e Cultura, Curitiba, n.37, p. 9-19, 2005. Disponível em: http://www.utp.br/tuiuticienciaecultura/TCC%5Fonline/. Acesso em: 19 out. 2009.

Page 27: Generalização de Regras de Associação Utilizando Taxonomias Após Pós- Processamento Prévio. Jackson D. N. Mourão Pietrângelo V. Ferronato.

Nova Versão no Site

• http://code.google.com/p/generalizer/downloads/list