APLICAÇÃO DE UM SISTEMA FUZZY PARA CLASSIFICAÇÃO DE OPINIÃO EM

DIFERENTES DOMÍNIOS

Matheus Cardoso de Andrade Silva

Orientador: Prof. Dr. Angelo Loula Co-orientador: Prof Dr. Matheus Giovanni Pires

Mestrado em Ciência da Computação UFBA/UEFS

Defesa de Dissertação de Mestrado

Feira de Santana, 19/10/20151

SUMÁRIO

➤Introdução ➤Metodologia ➤Resultados ➤Referências

2

INTRODUÇÃO: CONTEXTO E MOTIVAÇÃO

➤ Opiniões influenciam o comportamento humano

➤ A internet e a web potencializaram essa influência

➤ Ferramentas foram criadas para expor e registrar opiniões sobre tudo:

➤ Filmes (IMDB)

➤ Produtos (Amazon)

3

INTRODUÇÃO: CONTEXTO E MOTIVAÇÃO

➤ A quantidade e a diversidade de fontes tornou-se muito grande

➤ Opiniões são carregadas de sentimentos

➤ Ex.: É um ótimo celular e tem um acabamento muito bom, mas a bateria é péssima

➤ Para tratar dados impreciso e vagos: Lógica Fuzzy

➤ Contudo, poucos trabalhos foram encontrados aplicando lógica fuzzy em classificação de opinião

4

INTRODUÇÃO: OBJETIVO

➤ Desenvolver e avaliar uma metodologia de classificação do sentimento geral das opiniões em documentos, aplicando um sistema fuzzy automatizado de mineração de opinião associado à extração e seleção de características destes documentos.

5

INTRODUÇÃO

➤ Objetivos específicos:

➤ Selecionar domínios para avaliação da proposta

➤ Levantar e definir características a serem extraídas

➤ Definir e avaliar métodos de seleção de características

➤ Definir metodologia para construção do sistema fuzzy

➤ Definir métodos de raciocínio fuzzy para realizar a classificação dos documentos

6

METODOLOGIA7

METODOLOGIA

➤ "Mineração de opinião é o campo de estudo que analisa as opiniões, sentimentos, avaliações, atitudes e emoções de pessoas direcionadas a entidades ou alvos, como produtos, serviços, organizações, indivíduos, problemas, eventos, tópicos e seus atributos” (Bing, 2012)

8

METODOLOGIA

➤ Em geral, se divide em três níveis de análise:

➤ Nível de análise de documento

➤ Nível de análise de sentenças

➤ Nível de analise de entidades e seus aspectos

➤ "A qualidade de voz desse telefone é muito boa"

9

METODOLOGIA

10

METODOLOGIA : DEFINIÇÃO DO DOMÍNIO

➤ Bases de dados em inglês

➤ Cornell Movies Reviews 2.0 (Pang and Lee, 2004)

➤ you don't want to be like mike . mike has been doing badly . embarrassingly bad .

➤ Amazon Dataset (Baccianella et al., 2010)

➤ "nice camera its really nice camera i had one before and i bought second"

➤ Epinions 1 (Taboada et al., 2011)

➤ "Size: slightly longer than Canon S500 but thinner - so not so bad. Overall the cons are not rightfully bad."

11

METODOLOGIA

12

METODOLOGIA : PRÉ-PROCESSAMENTO

➤ Part of Speech Tagging (POS Tagging)

➤ Definição dos n-grams

➤ Tokenização

"Size: slightly longer than Canon S500 but thinner - so not so bad. Overall the cons are not rightfully bad."

13

METODOLOGIA : PRÉ-PROCESSAMENTO

➤ Part of Speech Tagging (POS Tagging)

➤ Definição dos n-grams

➤ Tokenização

“Size/NN: slightly/RB longer/RB than/IN Canon/NNP S500/NNP but/CC thinner/JJR - so/RB not/RB so/RB bad/JJ. Overall/RB the/DT cons/NNS are/VBP not/RB rightfully/RB bad/JJ."

14

METODOLOGIA : PRÉ-PROCESSAMENTO

➤ Part of Speech Tagging (POS Tagging)

➤ Definição dos n-grams

➤ Adjetivos e advérbios isolados como unigrams (e.g. decent)

➤ Adjetivos seguidos de advérbios como bigrams

➤ Advérbios seguidos de advérbios como bigrams

➤ Adjetivos seguidos de dois advérbios como trigrams

➤ Tokenização

15

METODOLOGIA : PRÉ-PROCESSAMENTO

➤ Part of Speech Tagging (POS Tagging)

➤ Definição dos n-grams

➤ Tokenização

“Size/NN: slightly/RB longer/RB than/IN Canon/NNP S500/NNP but/CC thinner/JJR - so/RB not/RB so/RB bad/JJ. Overall/RB the/DT cons/NNS are/VBP not/RB rightfully/RB bad/JJ."

16

METODOLOGIA : PRÉ-PROCESSAMENTO

➤ Part of Speech Tagging (POS Tagging)

➤ Definição dos n-grams

➤ Tokenização

[slightly/RB longer/RB, thinner/JJR, not/RB so/RB bad/JJ, not/RB rightfully/RB bad/JJ]

17

METODOLOGIA

18

METODOLOGIA : TRANSFORMAÇÃO

➤ Um valor numérico é associado cada n-grams

➤ Uso de dicionários de opiniões

➤ SentiWordNet 3.0 (SWN)

19

METODOLOGIA : TRANSFORMAÇÃO

➤ Uso da abordagem de palavras fora de contexto (Guerrine, 2013)

➤ Polaridade final: média dos escores entre os synsets

➤ A polaridade final dos termos é um valor entre -1 e 1

20

METODOLOGIA : TRANSFORMAÇÃO - UNIGRAMS

➤ Unigrams são buscados em suas formas flexionadas

➤ Múltiplas ocorrências de um termo decresce sua polaridade final

➤ Compensação do enviesamento positivo natural em 50%

[slightly/RB longer/RB, thinner/JJR, not/RB so/RB bad/JJ, not/RB rightfully/RB bad/JJ]

[slightly/RB longer/RB, (thinner/JJR, 0), not/RB so/RB bad/JJ, not/RB awfully/RB bad/JJ]

21

METODOLOGIA : TRANSFORMAÇÃO - BIGRAMS

➤ A polaridade de bigrams e trigrams dependerá dos modificadores

➤ A polaridade de um bigram é calculada da seguinte maneira (Taboada et al., 2011):

➤ Pol(good) = 0,72259; Pol(very good) = 0,90323

➤ Pol(longer) = 0; Pol(slightly longer) = 0

22

METODOLOGIA : TRANSFORMAÇÃO

[slightly/RB longer/RB, thinner/JJR, not/RB so/RB bad/JJ, not/RB rightfully/RB bad/JJ]

[(slightly/RB longer/RB, 0), (thinner/JJR, 0), not/RB so/RB bad/JJ, not/RB rightfully/RB bad/JJ]

23

METODOLOGIA : TRANSFORMAÇÃO

➤ Negação, um caso especial

➤ Inversão

➤ Pol(bad) = -0.44006

➤ Mod(rightfully) = 15%

➤ Pol (rightfully bad) = -0.50036

➤ Trigram (not rightfully bad) = -0.50036 = 0.50036

➤ Deslocamento

➤ Trigram (not rightfully bad) = -0.50036 + 0,75 = 0,24694

24

METODOLOGIA : TRANSFORMAÇÃO

[slightly/RB longer/RB, thinner/JJR, not/RB so/RB bad/JJ, not/RB rightfully/RB bad/JJ]

[(slightly/RB longer/RB, 0), (thinner/JJR, 0), (not/RB so/RB bad/JJ, 0.46491), (not/RB rightfully/RB bad/JJ, 0.37041)]

25

METODOLOGIA

26

METODOLOGIA : EXTRAÇÃO E SELEÇÃO DE CARACTERÍSTICAS

➤ Extraímos características dos documentos utilizando as polaridades dos n-grams da etapa de transformação

➤ 57 características

➤ Três tipos básicos

➤ Somatório

➤ Contagem

➤ E valores máximos

27

METODOLOGIA : EXTRAÇÃO E SELEÇÃO DE CARACTERÍSTICAS

➤ Por exemplo:

➤ Soma (não normalizada), soma normalizada e contagem de:

➤ adjetivos positivos

➤ adjetivos negativos

➤ advérbios positivos

➤ advérbios negativos

➤ Diferença entre as somas:

➤ Positivas e negativas de adjetivos e bigrams compostos por advérbio e adjetivo

28

METODOLOGIA : EXTRAÇÃO E SELEÇÃO DE CARACTERÍSTICAS

[slightly/RB longer/RB, thinner/JJR, not/RB so/RB bad/JJ, not/RB rightfully/RB bad/JJ]

[(slightly/RB longer/RB, 0), (thinner/JJR, 0), (not/RB so/RB bad/JJ, 0.46491), (not/RB rightfully/RB bad/JJ, 0.37041)]

[c1,c2,c3, … ,0.83532, … ,c57]

29

METODOLOGIA : EXTRAÇÃO E SELEÇÃO DE CARACTERÍSTICAS

➤ Reduzir a dimensionalidade dos vetores de características

➤ Menor tempo gasto na classificação

➤ Manter ou melhorar o desempenho do classificador

➤ Dois algoritmos foram utilizados (Cintra, 2008):

➤ c4.5

➤ CFS (Consistency Feature Selection)

➤ Variar a altura da árvore de decisão do c4.5

[c1,c2,c3, … ,0.83532, … ,cn]30

METODOLOGIA

31

METODOLOGIA: CLASSIFICAÇÃO

32

METODOLOGIA: CLASSIFICAÇÃO - MODELAGEM DAS VARIÁVEIS

➤ Eliminação dos outliers

33

METODOLOGIA: CLASSIFICAÇÃO - MODELAGEM DAS VARIÁVEIS

➤ Formato do conjunto fuzzy: triangular

➤ Duas modelagens foram definidas para as variáveis de entrada

➤ B = Baixo, M = Médio, A = Alto

34

METODOLOGIA: CLASSIFICAÇÃO - MODELAGEM DAS VARIÁVEIS

➤ Segunda modelagem: 2 conjuntos fuzzy na entrada

35

METODOLOGIA: CLASSIFICAÇÃO - MODELAGEM DAS VARIÁVEIS

➤ Modelagem para as variáveis de saída

➤ N = Negativo, P = Positivo

36

METODOLOGIA: CLASSIFICAÇÃO

37

METODOLOGIA: CLASSIFICAÇÃO - CONSTRUÇÃO DAS REGRAS

➤ O Método de Wang-Mendel

[c1,c2,c3, … ,0.83532, … ,cn]

+ Regra k

SE antecedentes ENTÃO consequente

Grau Rk

38

METODOLOGIA: CLASSIFICAÇÃO - CONSTRUÇÃO DAS REGRAS

➤ Eliminação de regras duplicadas

➤ Eliminação de regras conflitantes

R1 : SE Antecedentes1 ENTÃO Consequente1

R2 : SE Antecedentes1 ENTÃO Consequente2

GrauR1

GrauR2

39

METODOLOGIA: CLASSIFICAÇÃO

40

METODOLOGIA: CLASSIFICAÇÃO - SISTEMAS DE INFERÊNCIA

➤ Método de Raciocínio Fuzzy Clássico (MRFC)

➤ Método de Raciocínio Fuzzy Geral (MRFG)

➤ Aplicação e avaliação de uso de pesos nas regras na classificação

41

METODOLOGIA: CLASSIFICAÇÃO - SISTEMAS DE INFERÊNCIA

➤ Método de Raciocínio Fuzzy Clássico (MRFC)

42

METODOLOGIA: CLASSIFICAÇÃO - SISTEMAS DE INFERÊNCIA

➤ Método de Raciocínio Fuzzy Clássico (MRFC) C/ Pesos

✕ Peso1

✕ Pesos

43

METODOLOGIA: CLASSIFICAÇÃO - SISTEMAS DE INFERÊNCIA

➤ Método de Raciocínio Fuzzy Geral (MRFG)

44

METODOLOGIA: CLASSIFICAÇÃO - SISTEMAS DE INFERÊNCIA

➤ Método de Raciocínio Fuzzy Geral (MRFG) C/ Pesos

✕ Peso1

Pesos ✕

45

METODOLOGIA

46

METODOLOGIA: AVALIAÇÃO

➤ 10-folds cross validation

➤ Folds estratificados

➤ Medidas (Fawcett, 2006):

➤ Acurácia = (TP + TN) / Total

➤ TPR = TP / (TP + FN)

➤ TNR = TN / (TN + FP)

➤ Wilcoxon signed-rank

➤ Comparação com SVM (Support Vector Machine)

47

RESULTADOS48

RESULTADOS

➤ Para 3 e 2 conjuntos fuzzy, avaliamos:

➤ Os algoritmos de seleção de características

➤ Os métodos de raciocínio fuzzy

➤ Os pesos nas regras

➤ A quantidade dos conjuntos fuzzy na entrada

➤ As características mais selecionados entre as bases

➤ Comparamos com o SVM

➤ Eficiência das regras entre domínios diferentes

49

RESULTADOS: 3 CONJUNTOS FUZZY - BASE CORNELL

50

RESULTADOS: 3 CONJUNTOS FUZZY - BASE AMAZON

51

RESULTADOS: 3 CONJUNTOS FUZZY - MÉTODOS DE SELEÇÃO

➤ Em ambas as bases, o melhor resultado do c4.5 (com altura 1 com MRFG C/ Pesos) é maior que o CFS (com MRFG também com pesos)

➤ Cornell

➤ c4.5: 70.05% de acurácia, 70.4% de TNR e 69.7% de TPR em filmes.

➤ CFS: 67.1% de acurácia, 72,6% de TNR, 61,6% de TPR me filmes

➤ Contudo, há resultados bem ruins com c4.5 em ambas as bases

➤ c4.5 c/ altura 1 e MRFC: 54.4% de acurácia na Cornell

➤ c4.5 c/ altura 1 e MRFC: 54.25% de acurácia da Amazon52

RESULTADOS: 3 CONJUNTOS FUZZY - CARACTERÍSTICAS

➤ Duas características se destacaram

➤ Diferença entre as somas positiva e negativa de adjetivos e bigrams compostos estritamente por advérbio e adjetivo

➤ Diferença entre as somas positiva e negativa de unigrams e bigrams combinados

➤ c4.5 com altura 1 e MRFG c/ pesos em filmes utilizou somente elas e produziu:

➤ 70,05% de acurácia; 70,4% de TNR; 69,7% de TPR

53

RESULTADOS: 3 CONJUNTOS FUZZY - CARACTERÍSTICAS

Distribuição dos valores da característica "A diferença entre as somas positiva e negativa de adjetivos e bigrams compostos estritamente por advérbio e adjetivo" na base de Cornell

54

RESULTADOS: 3 CONJUNTOS FUZZY - CARACTERÍSTICAS

Distribuição dos valores da característica "A diferença entre as somas positiva e negativa de unigrams e bigrams" na base de filmes

55

RESULTADOS: 3 CONJUNTOS FUZZY - CARACTERÍSTICAS

Distribuição dos valores da característica "A diferença entre as somas positiva e negativa de adjetivos e bigrams compostos estritamente por advérbio e adjetivo" na base da Amazon

56

RESULTADOS: 3 CONJUNTOS FUZZY - CARACTERÍSTICAS

Distribuição dos valores da característica "A diferença entre as somas positiva e negativa de unigrams e bigrams" na base da Amazon

57

RESULTADOS: 3 CONJUNTOS FUZZY - SISTEMAS DE INFERÊNCIA

➤ MRFG produz melhores melhores percentuais de acurácia que o MRFC

➤ Contudo, ambos os métodos apresentam altos desvios padrão em TPR e TNR

➤ O uso de pesos:

➤ Diminuiu bastante esses desvios

➤ Aumentou o desempenho em todos os cenários

58

RESULTADOS: 3 CONJUNTOS FUZZY - SISTEMAS DE INFERÊNCIA

➤ Destaque o MRFG, usando pesos e o c4.5 com altura 1:

➤ Cornell

➤ 59,2\% para 70,05\% de acurácia

➤ 53,8% +- 34,96% para 70,4% +- 7,11% de TNR

➤ 64,6% +- 37,08% para 69,7% +- 9,81% de TPR

➤ Amazon

➤ 60,05\% para 70,85\% de acurácia

➤ 44,6% +- 35,73% para 76,8% +- 4,57% de TNR

➤ 75,5% +- 34,8% para 64,9% +- 5,5% de TPR

59

RESULTADOS: 2 CONJUNTOS FUZZY - BASE CORNELL

60

RESULTADOS: 2 CONJUNTOS FUZZY - BASE AMAZON

61

RESULTADOS: 2 CONJUNTOS FUZZY - MÉTODOS DE SELEÇÃO

➤ Os pesos para 3 conjuntos mostrou que o conjunto MÉDIO estava reduzindo o desempenho da classificação

➤ A melhoria dos resultados não foi significativa

➤ A distância dos resultados entre as bases ficou menor

➤ O CFS ainda usou 6 vezes mais características

➤ As mesmas características se destacaram

62

RESULTADOS: 2 CONJUNTOS FUZZY - SISTEMAS DE INFERÊNCIA

➤ Não há diferenças significativas entre MRFC e MRFG

➤ Em alguns casos o MRFC superou o MRFG

➤ c4.5 com altura 2 em ambas as bases

➤ A remoção do conjunto MÉDIO teve o mesmo efeito da aplicação dos pesos

➤ A aplicação dos pesos utilizando 2 conjuntos não melhorou a acurácia final do classificador

➤ Os resultados não foram conclusivos

63

RESULTADOS: AVALIAÇÃO DO USO DE REGRAS ENTRE DOMÍNIOS

➤ Epinions como base de testes

➤ Nenhuma adaptação foi feita às regras ou às características ou aos conjuntos fuzzy

64

RESULTADOS: COMPARAÇÃO COM SVM

Cornell

Amazon

65

CONCLUSÃO66

CONCLUSÃO

➤ Essa pesquisa propôs e avaliou uma metodologia de classificação de sentimento geral de opiniões em documentos, aplicando um sistema fuzzy automatizado de mineração de opinião associado à extração e seleção de características destes documentos.

67

CONCLUSÃO

➤ Os resultados foram promissores de até 72,4\% de acurácia numa validação cruzada de 10 folds.

➤ Talvez um dos primeiros trabalhos a aplicar a Lógica Fuzzy e o método de Wang-Mendel em mineração de opinião

➤ O classificador gerado nessa pesquisa, classifica documentos utilizando regras legíveis para seres humanos

68

CONCLUSÃO

➤ Investigação de características de documentos que podem ser relevantes para descrever e classificar documentos

➤ Uma quantidade muito limitada de características são suficientes para efetuar a classificação de sentimento geral

➤ Uso de pesos em regras fuzzy melhora o desempenho do classificador

➤ Uso de somente dois conjuntos fuzzy nas gerações das regras do SBRF tem forte impacto positivo

69

CONCLUSÃO: TRABALHOS FUTUROS

➤ Construir um conjunto de advérbios melhor, investigar mais a fundo a influência destes sobre adjetivos e avaliar se impactam nos resultados finais;

➤ Melhorar o método de detecção de negação e como lidar melhor com esse fenômeno;

➤ Melhorar como os conjuntos fuzzy são modelados para as variáveis de entrada das características dos documentos;

➤ Investigar mais características que possam representar e classificar melhor os documentos;

70

CONCLUSÃO: TRABALHOS FUTUROS

➤ Avaliar a metodologia proposta em outras línguas, como o português brasileiro, para verificar a influência da língua nos resultados e conclusões;

➤ Experimentar outros tipos de técnicas de seleção de características, para investigar a influência desses métodos na geração de regras fuzzy;

➤ E buscar e experimentar a utilização de outros dicionários de opinião, com o fim de verificar a influência desdes na classificação dos documentos.

71

REFERÊNCIAS

➤ Liu, B. (2012) Sentiment Analysis and opinion miningSynthesis Lectures on Human Language Technologies, 5(1):1-167

➤ Pang, B and Lee, L. (2008)Opinion Mining and sentiment analysisFound. Trends Inf. Retr., 2(1-2):1-135

➤ Baccianella, S., Esuli, A., and Sebastiani, F. (2010)Selection features for ordinal text classificationIn IIR, pages 13-14

➤ Taboada, M., Brooke, J., Tofiloski, M., Voll, K., and Stede, M. (2011) Extraction sentiment as a function of discourse structure and topicality Simon Fraser University School of Computing Science Technical Report

72

REFERÊNCIAS

➤ Fawcett, T. (2006)An introduction of roc analysisPattern recognition letters, 27(8):861-874

73