SentiHealth-Cancer: Uma Ferramenta de Análise de Sentimento ...

UNIVERSIDADE FEDERAL DE GOIÁS

INSTITUTO DE INFORMÁTICA

RAMON GOUVEIA RODRIGUES

SentiHealth-Cancer: Uma Ferramentade Análise de Sentimento para AjudarA Detectar O Humor de Pacientes deCâncer Em Uma Rede Social Online

Goiânia2016

TERMO DE CIÊNCIA E DE AUTORIZAÇÃO PARA DISPONIBILIZAR AS TESES E

DISSERTAÇÕES ELETRÔNICAS (TEDE) NA BIBLIOTECA DIGITAL DA UFG

Na qualidade de titular dos direitos de autor, autorizo a Universidade Federal de Goiás

(UFG) a disponibilizar, gratuitamente, por meio da Biblioteca Digital de Teses e Dissertações

(BDTD/UFG), sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o do-

cumento conforme permissões assinaladas abaixo, para fins de leitura, impressão e/ou down-

load, a título de divulgação da produção científica brasileira, a partir desta data.

1. Identificação do material bibliográfico: [ X ] Dissertação [ ] Tese

2. Identificação da Tese ou Dissertação

Autor (a): Ramon Gouveia Rodrigues

E-mail: [email protected]

Seu e-mail pode ser disponibilizado na página? [x]Sim [ ] Não

Vínculo empregatício do autor

Agência de fomento: Coordenação de Aperfeiçoamen-

to de Pessoal de Nível Superior

Sigla: CAPES

País: Brasil UF: GO CNPJ:

Título: SentiHealth-Cancer: Uma Ferramenta de Análise de Sentimento para Ajudar A

Detectar O Humor de Pacientes de Câncer Em Uma Rede Social Online

Palavras-chave: Análise de Sentimento, Mineração de Opinião, câncer, taxonomia

Título em outra língua: SentiHealth-Cancer: a Sentiment Analysis tool to Help Detect-

ing Mood of Cancer Patients in Online Social Network

Palavras-chave em outra língua: Sentiment Analysis, Mining Opinion, cancer, taxono-

my

Área de concentração: Ciências da Computação

Data defesa: (dd/mm/aaaa) 26/04/2016

Programa de Pós-Graduação: Mestrado em Ciências da Computação

Orientador (a): Prof. Dr. Celso Gonçalves Camilo Junior

E-mail: [email protected]

Co-orientador

(a):*

E-mail: *Necessita do CPF quando não constar no SisPG

3. Informações de acesso ao documento:

Concorda com a liberação total do documento [ x ] SIM [ ] NÃO1

Havendo concordância com a disponibilização eletrônica, torna-se imprescindível o en-

vio do(s) arquivo(s) em formato digital PDF ou DOC da tese ou dissertação.

O sistema da Biblioteca Digital de Teses e Dissertações garante aos autores, que os ar-

quivos contendo eletronicamente as teses e ou dissertações, antes de sua disponibilização,

receberão procedimentos de segurança, criptografia (para não permitir cópia e extração de

conteúdo, permitindo apenas impressão fraca) usando o padrão do Acrobat.

________________________________________ Data: ____ / ____ / _____

Assinatura do (a) autor (a)

1 Neste caso o documento será embargado por até um ano a partir da data de defesa. A extensão deste prazo suscita

justificativa junto à coordenação do curso. Os dados do documento não serão disponibilizados durante o período de

embargo.

RAMON GOUVEIA RODRIGUES

SentiHealth-Cancer: Uma Ferramentade Análise de Sentimento para AjudarA Detectar O Humor de Pacientes deCâncer Em Uma Rede Social Online

Dissertação apresentada ao Programa de Pós–Graduação doInstituto de Informática da Universidade Federal de Goiás,como requisito parcial para obtenção do título de Mestre emComputação.

Área de concentração: Ciências da Computação.

Orientador: Prof. Celso Gonçalves Camilo Junior

Goiânia2016

Ficha catalográfica elaborada automaticamente com os dados fornecidos pelo(a) autor(a), sob orientação do Sibi/UFG.

Rodrigues, Ramon Gouveia SentiHealth-Cancer: Uma Ferramenta de Análise de Sentimentopara Ajudar A Detectar O Humor de Pacientes de Câncer Em UmaRede Social Online [manuscrito] / Ramon Gouveia Rodrigues. - 2016. 143 f.: il.

Orientador: Prof. Dr. Celso Gonçalves Camilo Junior.Dissertação (Mestrado) - Universidade Federal de Goiás, Instituto deInformática (INF) , Programa de Pós-Graduação em Ciência daComputação, Goiânia, 2016. Bibliografia. Inclui lista de figuras, lista de tabelas.

1. Análise de Sentimento. 2. Mineração de Opinião. 3. Câncer. 4.Taxonomia. I. Camilo Junior, Celso Gonçalves, orient. II. Título.

Todos os direitos reservados. É proibida a reprodução total ou parcial dotrabalho sem autorização da universidade, do autor e do orientador(a).

Ramon Gouveia Rodrigues

Bacharel em Sistemas de Informação pelo Instituto de Informática da Univer-sidade Federal de Goiás (UFG) mestrando pela mesma instituição. Bolsistado Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).Possui experiência na área de Ciências da Computação, com ênfase em Inte-ligência Computacional, atuando principalmente na coleta e análise de dadosde Redes Sociais.

Dedico esse trabalho aos meus pais e à minha irmã.

Agradecimentos

Agradeço à toda a minha família pelo apoio que me deram durante todo omestrado. Principalmente aos meus pais, Vaunê João e Iraci Gouveia, e minha irmã,Letícia Gouveia, que sempre me ajudaram nas escolhas e decisões mais difíceis.

Ao meu orientador Prof. Dr. Celso Camilo, que mesmo distante em parte do meumestrado, sempre foi muito prestativo e não deixou de me orientar para que esse trabalhofosse feito.

Ao Prof. Dr. Thierson Couto, que apesar de não ter sido oficialmente meuorientador, sempre se dispôs à colaborar e foi muito prestativo quando precisei.

Ao Prof. Dr. Wellington Martins por ter me apoiado e orientado no ingresso parao mestrado.

Ao Rafael Marques e à Prof. Dr. Gisele Pappa por terem colaborado na escritade artigos durante o meu mestrado.

A todos que colaboraram com as pesquisas utilizadas nos experimentos destetrabalho, entre eles: Bruna Costa, Frederico Mael, Hávilla Hayssa, Jéssica Brito, JoãoBatista, Matheus Ullmann, Nicos Belo, Riane de Souza, Ronaldo Alves, Sávio Salvarino,Thiago de Castro.

A todos os colegas do Instituto de Informática (INF) da Universidade Federal deGoiás (UFG), incluindo os seguranças, recepcionistas, secretários, professores, coordena-dores e companheiros do grupo de pesquisa do qual fiz parte.

À CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior)pelo apoio financeiro dado durante todo o mestrado e que possibilitou a produção destetrabalho.

Enfim, para aqueles que direta ou indiretamente fizeram parte da minha forma-ção, o meu muito obrigado!

“A utopia está lá no horizonte. Me aproximo dois passos, ela se afastadois passos. Caminho dez passos e o horizonte corre dez passos. Por maisque eu caminhe, jamais alcançarei. Para que serve a utopia? Serve para isso:para que eu não deixe de caminhar.”

Fernando Birri,Las palabras andantes.

Resumo

Gouveia Rodrigues, Ramon. SentiHealth-Cancer: Uma Ferramenta de Aná-lise de Sentimento para Ajudar A Detectar O Humor de Pacientes de CâncerEm Uma Rede Social Online. Goiânia, 2016. 141p. Dissertação de Mestrado.Instituto de Informática, Universidade Federal de Goiás.

O câncer é uma doença crítica que afeta milhões de pessoas e famílias em todo o mundo.Em 2012, cerca de 14,1 milhões de novos casos de câncer ocorreram no mundo. Devidoa muitas razões, como a gravidade de alguns casos, os efeitos colaterais de algunstratamentos e morte de alguns pacientes, pessoas com câncer tendem a ser afetadospor graves distúrbios emocionais, por exemplo, a depressão. Assim, o uso de umaferramenta comportamental que auxilie a detecção do humor das pessoas pode contribuirpara o acompanhamento de pacientes e familiares durante o tratamento. Portanto, oobjetivo deste trabalho é desenvolver uma ferramenta de Análise de Sentimento, chamadaSentiHealth-Cancer (SHC), para auxiliar a detecção do estado emocional de pessoasmembros de comunidades virtuais brasileiras de apoio a pacientes de câncer. Foi realizadoum estudo comparativo entre a ferramenta proposta e outras quatro de ferramentas depropósito geral de Análise de Sentimento. Para isso, foram coletadas 789 mensagensde 8 comunidades do Facebook e consideradas 2.574 avaliações de voluntários sobre ossentimentos reais expressos nessas mensagens. Com isso, foram testados os desempenhosdas ferramentas em cada comunidade, com avaliações de psicólogos e não psicólogose, quando possível, com textos em português e traduzidos para o inglês. Os resultadosdemonstraram que, no geral, o desempenho do método proposto neste trabalho é superioràs outras ferramentas, tanto elas analisando textos em português quanto em inglês. Porexemplo, sua acurácia (56.64%) analisando todas as mensagens apresenta um aumentosignificativo de 11.78% em relação à maior acurácia (50.67%) apresentada pelas outrasferramentas.

Palavras–chave

Análise de Sentimento, Mineração de Opinião, câncer, taxonomia

Abstract

Gouveia Rodrigues, Ramon. SentiHealth-Cancer: a Sentiment Analysis toolto Help Detecting Mood of Cancer Patients in Online Social Network.Goiânia, 2016. 141p. MSc. Dissertation. Instituto de Informática, UniversidadeFederal de Goiás.

Cancer is a critical disease that affects millions of people and families around the world.In 2012 about 14.1 million new cases of cancer occurred globally. Because of manyreasons like the severity of some cases, the side effects of some treatments and deathof other patients, cancer patients tend to be affected by serious emotional disorders,like depression. Thus, the use of a behavioral tool that assists the detection of thepeople mood can contribute to the monitoring of patients and family members duringtreatment. Therefore, the objective of this work is to develop a Sentiment Analysis tool,named SentiHealth-Cancer (SHC), to assist the detection of the emotional state of peoplemembers of Brazilian virtual communities for support cancer patients. We conducteda comparative study of the proposed method and a set of general-purpose SentimentAnalysis tools. For this, we collected 789 messages of 8 Facebook communities andconsidered 2.574 reviews of volunteers about the real sentiments expressed in thesemessages. Thus, the performance of the tools were tested in each community, withpsychologists and non psychologists reviews and, where possible, with texts in Portugueseand translated into English. The results showed that, overall, the proposed methodperformance in this work is superior to other tools, both analyzing texts in Portuguese andEnglish. For example, its accuracy (56.64%) analyzing all messages shows a significantincrease of 11.78% compared to the greater accuracy (50.67%) presented by other tools.

Keywords

Sentiment Analysis, Mining Opinion, cancer, taxonomy

Sumário

Lista de Figuras 12

Lista de Tabelas 13

1 Introdução 151.1 Contexto do estudo 161.2 Objetivo geral 181.3 Contribuições e impactos 19

1.3.1 Organização do conhecimento 191.3.2 SentiHealth 20

1.4 Organização do trabalho 22

2 Análise de Sentimento 242.1 Níveis de AS 242.2 Categorias de técnicas de AS 25

2.2.1 Classificação de sentimento 26Uso de informação mútua entre pares de rermos 26Utilizando métodos de classificação de textos 27Atribuição de Pesos aos Termos 27Baseada na contagem das forças sentimentais das palavras 28

2.2.2 Mineração de opinião baseada em características e sumarização 29Objetos, componentes e atributos 29Características explícitas e implícitas 29Opiniões explícitas e implícitas 30Detentores dos sentimentos 30Extração de características 30

2.2.3 Mineração de comparação e relação entre sentenças 322.3 Sentic Computing 34

2.3.1 Principais abordagens para mineração de opinião 352.3.2 De heurística a estrutura de discurso 352.3.3 De alta granularidade à baixa granularidade 352.3.4 De palavras chave a conceitos 36

3 Survey 383.1 Metodologia 393.2 Classificação de sentimento 41

3.2.1 Abordagens baseadas em aprendizado de máquina 41Support Vector Machines (SVM) 42Naïve Bayes 42

AdaBoost 43Artificial Neural Network (ANN) 43Latent Dirichlet Allocation (LDA) 44

3.2.2 Abordagens baseadas em léxico 44Orientação Semântica 44Part-of-Speech Tagging 45Context-based 45Stemming 46Term Frequency 46Emoticons 47

3.3 Origens e domínios dos dados 473.4 Classes de emoções ou polaridade 503.5 Métricas 513.6 Idiomas 533.7 Ferramentas 53

3.7.1 AlchemyAPI 553.7.2 Semantria 563.7.3 SentiStrength 563.7.4 Textalytics 57

3.8 Desafios 583.8.1 Taxonomia 59

4 Taxonomia 604.1 Problema 62

4.1.1 Dados 624.1.2 Tipo de opinião 644.1.3 Classe alvo 654.1.4 Detentor da opinião 664.1.5 Alvo da análise 664.1.6 Domínio 67

4.2 Método 674.2.1 Dependência dos dados 684.2.2 Pré-processamento 684.2.3 Granularidade da análise 704.2.4 Abordagem 71

5 SentiHealth 745.1 Fluxograma 745.2 SentiHealth-Cancer 77

5.2.1 Dicionários 775.2.2 Frases prioritárias 795.2.3 Emoticons e hashtags 795.2.4 Pontos de interrogação, pontos de exclamação, palavras em maiúsculas e

vogais repetidas 795.2.5 N-gram 805.2.6 Exemplo 80

6 Experimentos e resultados 826.1 Questões de pesquisa 826.2 Aquisição dos dados para a avaliação das ferramentas 856.3 Medidas 866.4 Resultados 91

6.4.1 Experimento 1 926.4.2 Experimento 2 936.4.3 Experimento 3 96

Grupo T1 97Grupo A 98Grupo C 99Grupo D 100Grupo E 101Grupo F 102Grupo Ga 103

6.4.4 Experimento 4 105Grupo T2 107Grupo Gb 108Grupo H 109

6.4.5 Eventos inesperados 1116.5 Estudo de caso da taxonomia 112

7 Conclusões e trabalhos futuros 1167.1 Conclusões 1167.2 Trabalhos futuros 121

Referências Bibliográficas 123

Lista de Figuras

3.1 Quantidade de artigos publicados por ano entre os anos de 2012 até 2015. 403.2 Algoritmos mais frequentes utilizados na AS. 423.3 Técnicas mais frequentes utilizados na abordagem léxica de AS. 453.4 Origens de dados mais frequentes utilizadas na AS. 483.5 Domínios de dados mais frequentes na AS. 493.6 Classes de emoções ou polaridades mais frequentes na AS. 503.7 Métricas mais frequentes utilizadas na AS. 513.8 Idiomas mais frequentes utilizadas na AS. 533.9 Ferramentas mais frequentes utilizadas na AS. 54

4.1 Quantidade de artigos de AS publicados entre os anos de 2010 até 2015,buscando pelo título, na base de dados da IEEE Xplore. 60

4.2 Taxonomia proposta. 63

5.1 Fluxograma do algoritmo do método SentiHealth. 75

6.1 Sistema web para avaliação das polaridades das mensagens coletadas. 896.2 Porcentagem dos sentimentos reais nos grupos do Facebook coletados. 90

Lista de Tabelas

2.1 Padrões para extrações de frases [186]. 26

6.1 Porcentagem de precisão (Pr); revocação (Re); F1; acurácia (Ac); médiadas classes positivo, negativo e neutro (Média 1) e média das classespositivo e neutro (Média 2) da SHC v1 em todos os grupos. 92

6.2 Primeira iteração do experimento das relevância das características doSentiHealth. 95

6.3 Última iteração do experimento das relevância das características doSentiHealth. 95

6.4 Porcentagem de ganhos ou perdas das características do SentiHealth. 966.5 Desempenho das ferramentas na classe negativo nos grupos que pos-

suem poucas mensagens dessa classe. 976.6 Comparação no grupo T1 das ferramentas que suportam o idioma portu-

guês. 976.7 Comparação no grupo T1 da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 986.8 Comparação no grupo A das ferramentas que suportam o idioma português. 986.9 Comparação no grupo A da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 996.10 Comparação no grupo C das ferramentas que suportam o idioma português.1006.11 Comparação no grupo C da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 1006.12 Comparação no grupo D das ferramentas que suportam o idioma português.1016.13 Comparação no grupo D da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 1016.14 Comparação no grupo E das ferramentas que suportam o idioma português.1026.15 Comparação no grupo E da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 1026.16 Comparação no grupo F das ferramentas que suportam o idioma português.1036.17 Comparação no grupo F da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 1036.18 Comparação no grupo Ga das ferramentas que suportam o idioma portu-

guês. 1046.19 Comparação no grupo Ga da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 1046.20 Valor P da significância estatística de F1 da SHC-pt em relação às outras

ferramentas. 105

6.21 Comparação no grupo T2 das ferramentas que suportam o idioma portu-guês. 107

6.22 Comparação no grupo T2 da melhor ferramenta para analisar textos emportuguês com as ferramentas que suportam o idioma inglês. 108

6.23 Comparação no grupo Gb das ferramentas que suportam o idioma portu-guês. 108

6.24 Comparação no grupo Gb da melhor ferramenta para analisar textos emportuguês com as ferramentas que suportam o idioma inglês. 109

6.25 Comparação no grupo H das ferramentas que suportam o idioma português.1096.26 Comparação no grupo H da melhor ferramenta para analisar textos em

português com as ferramentas que suportam o idioma inglês. 1106.27 Médias de F1 apresentadas pelas ferramentas nos grupos de teste. 1106.28 Exemplos de artigos classificados na taxonomia proposta (Parte 1/2). 1136.29 Exemplos de artigos classificados na taxonomia proposta (Parte 2/2). 114

CAPÍTULO 1Introdução

A Análise de Sentimento (AS) busca analisar a opinião de uma pessoa sobrealgum alvo, por exemplo, um produto ou serviço. Ela é muito utilizada por organizaçõespara saberem como seus produtos ou serviços são vistos pela sociedade. Com a AS épossível descobrir, por exemplo, quais características de um determinado produto sãobem aceitas pelos consumidores e quais não são.

Não há um único método para se aplicar a AS. Há, por exemplo, trabalhos queadotam técnicas baseadas em aprendizagem de máquina [90, 204] e, outros que utilizamléxicos [202, 49].

A rápida expansão e o caráter multidisciplinar da área, têm resultado em umaconfusão e falta de padronização dos conceitos e nomenclaturas dessa área, o que dificultaa correta interpretação de cada conceito e, até mesmo, a distinção do que é adotado emcada trabalho.

Apesar da falta de organização dos conhecimentos dessa área, ela continuacrescendo e podem ser encontrados trabalhos aplicando AS para descobrir o sentimentodo público sobre os mais diversos produtos ou serviços, como, filmes, vídeos, dispositivosmóveis (celulares, smartphones, tablets, e-readers) e livros. Porém, poucos estudoscientíficos utilizam a AS para classificar o estado emocional do autor do texto. No entanto,é possível saber se uma pessoa tem pensamentos mais positivos ou negativos analisandoseus textos [98]. Por exemplo, se a maior parte de seus textos são negativos em uma janelade tempo, esta pessoa provavelmente se encontra em um estado emocional negativo.

Analisar o estado emocional de pessoas pelo que ela escreve pode ser útil parafazê-la se sentir-se melhor. Isso pode ser aplicado em pessoas enfermas, por exemplo, comdoenças crônicas. De acordo com [145], técnicas de AS aplicadas em comunidades online

de câncer podem ser usadas não apenas para detectar o estado emocional pessimista, mastambém para detectar mudanças em um estado de espírito da pessoa como consequênciade suas interações com outros pacientes da comunidade. Quem escreve um texto semo propósito específico de relatar o seu estado emocional pode acabar revelando, semintensão, se ela está mais positiva ou negativa. Assim, isto pode ser usado para dar apoioemocional aos pacientes.

1.1 Contexto do estudo 16

1.1 Contexto do estudo

Câncer, de acordo com a American Cancer Society, é o nome dado a um conjuntode mais do que 100 doenças que têm em comum o crescimento descontrolado de célulasmalignas que invadem os tecidos e órgãos e podem se espalhar (metástase) para outraspartes do corpo [171].

A Organização Mundial da Saúde (OMS) estima que no ano de 2012, havia 14.1milhões de novos casos de câncer e 8.2 milhões de mortes devido a esta doença no mundo[59]. Especificamente no Brasil, de acordo com o Instituto Nacional do Câncer JoséAlencar Gomes da Silva (INCA), aproximadamente 576.580 novos casos eram esperadospara o ano de 2014. Estima-se que até 2030, o número de novos casos de câncer será de21.4 milhões e 13.2 milhões de mortes por câncer no país [80].

De acordo com [21], entre os efeitos colaterais mais comuns durante o tratamentodo câncer, estão a fadiga, problemas de sono, depressão e transtorno. Esses sintomas cau-sam perturbações significativas na qualidade de vida do paciente e podem ter implicaçõessobre a adesão ao tratamento.

Entre as potenciais formas de minimizar esses problemas, a rede social podeajudar a estabelecer vínculos positivos que contribuam para o tratamento da doença, comoa troca de experiências entre pessoas com a mesma doença [194]. Por essa razão, muitaspessoas que estão em tratamento de doenças crônicas recorrem a grupos ou comunidadesem redes sociais para se sentirem melhores e para acompanharem as novidades sobre suasdoenças [156, 101, 17, 6, 196, 188].

Como exemplos de benefícios que a internet pode trazer aos pacientes, ela émuito utilizada por diabéticos [13] e por mulheres com câncer de mama [42] para saberemmais sobre suas doenças. Há sites com o propósito de ajudar pessoas a pararem de fumar[53] ou a perderem peso [53] e, por fim, a rede social Facebook é amplamente utilizada porpais e cuidadores de crianças com Transtorno do Espectro Autista (TEA) para buscaremapoio social [168].

Existem várias redes sociais nas quais as pessoas podem interagir entre si. Amais utilizada é o Facebook. Em março de 2015, a rede continha 936 milhões de usuáriosativos, onde um membro ativo é aquele que realizou o log-in nos últimos 28 dias e tambémtem pelo menos um amigo adicionado à sua rede [54]. A população mundial, também em2015, foi de aproximadamente 7.3 bilhões de pessoas [199]. Assim, o total de usuáriosnessa rede social é equivalente a 12% da população mundial. Restringindo as pessoas com13 anos ou mais, esse percentual é ainda maior.

Um dos fatores que contribuem para esse grande número de usuários no Face-book é o conceito de “grupos” ou “comunidades”, onde várias pessoas podem interagirentre si para compartilhar um conteúdo de um tema em comum.

1.1 Contexto do estudo 17

Aplicando-se AS em uma rede social grandiosa como o Facebook, onde podehaver uma grande quantidade de pessoas compartilhando mensagens sobre uma doençaem comum, pode ser útil para ajudar a descobrir o estado emocional de seus membrose fazer com que eles se sintam melhor, por exemplo, com a intervenção de médicos ouenfermeiros.

Entretanto, a grande maioria dos métodos existentes de AS não são desenvol-vidos para um contexto específico e não buscam descobrir o estado emocional de quemescreve o texto. Portanto, este trabalho busca descobrir se a seguinte hipótese é válida:um método de AS, de abordagem léxica, adaptado para o contexto de câncer e para textosde comunidades virtuais brasileiras, apresenta melhor desempenho para analisar o estadoemocional do autor do texto do que outros métodos de AS.

Como existem vários “grupos” ou “comunidades” sobre doenças crônicas, comoo câncer, no Facebbok, essa rede social foi escolhida para ser abordada neste trabalho.O conceito de grupo é útil pelo fato de que quem está em um grupo, geralmente escrevesobre questões relacionadas a ele, assim, postagens de um grupo tendem a ser muitorelacionadas com o assunto do grupo.

Outra vantagem de se utilizar essa rede social é que muitos de seus usuários sãoativos e produzem bastante conteúdo. Isso contribui para que se tenha muitos textos aserem analisados.

Este trabalho considera grupos de apoio para pacientes com câncer para aplicara AS, pois, além da grande relevância da doença, grupos de câncer possuem uma boaquantidade de membros ativos, o que facilita a obtenção de conteúdo para ser utilizado napesquisa. Todos os grupos pesquisados são brasileiros e, consequentemente, seus usuáriosescrevem postagens em português.

São possíveis muitas outras maneiras de coletar dados para analisar o estadoemocional de pacientes em tratamento de câncer. Alguns deles são: observação etnográ-fica, entrevistas e questionários, mas esses métodos apresentam algumas dificuldades.Uma delas reside no fato de entrevistas e observações etnográficas requererem muitotempo para que possam ser feitas, tornando esses métodos onerosos. Além disso, os paci-entes mais felizes fornecem informações com maior facilidade do que pessoas infelizes.Isso pode produzir resultados tendenciosos [146].

Outra dificuldade está relacionada com a granularidade temporal: a coleta dedados em tempo real usando esses métodos se torna extremamente complicado, pois essascoletas são sempre dependentes da disponibilidade do usuário para fornecer informações[146].

Além disso, segundo [117], uma pessoa pode ter seu comportamento alteradoquando ela sabe que está fazendo parte de uma pesquisa, o que acontece quando se utilizaentrevistas e questionários. Sendo assim, a AS de uma pessoa feita em textos publicados

1.2 Objetivo geral 18

por ela em uma rede social on-line, sem ela saber que está fazendo parte de uma pesquisa,tende a ser mais precisa do que a análise feita em textos onde ela sabe que está fazendoparte de uma.

Devido à esses problemas e aos benefícios do Facebook, é utilizada essa redesocial como forma de coleta de mensagens de pessoas relacionadas ao câncer para queseja possível analisar o sentimento de quem as escreve e, consequentemente, verificar sea hipótese apresentada é válida. Essas mensagens são públicas e, portanto, não há invaçãoà privacidade de quem as postaram.

1.2 Objetivo geral

O objetivo geral deste trabalho é desenvolver uma ferramenta de AS, chamadaSentiHealth-Cancer (SHC), para auxiliar a detecção do estado emocional de pessoasmembros de comunidades virtuais brasileiras de apoio a pacientes de câncer.

Para atender ao objetivo geral exposto acima, este trabalho possui os seguintesobjetivos específicos:

1. Avaliar o desempenho de métodos já existentes de AS quando utilizados paraanalisar o estado emocional de autores de mensagens em português de comunidadesvirtuais brasileiras de câncer;

2. Descobrir se uma ferramenta que suporta os idiomas português e inglês apresentamelhor desempenho quando ela utiliza textos em português ou quando utiliza textostraduzidos do português para o inglês;

3. Avaliar se a análise feita por ferramentas utilizando textos traduzidos do portuguêspara o inglês apresenta maior desempenho do que a análise feita por uma ferramentadesenvolvida especificamente para o idioma português.

4. Avaliar se o uso de um dicionário léxico adaptado para o contexto de câncer podemelhorar o desempenho de um método de AS quando aplicado nesse contexto.

5. Avaliar se o uso de elementos característicos do estilo de comunicação da internetpode melhorar o desempenho de um método de AS quando aplicado em textos daweb.

6. Avaliar se o desempenho do método de AS é significativamente impactado quandose altera a comunidade sob análise.

7. Avaliar se o desempenho da técnica de AS é o mesmo quando avaliado porpsicólogos e não psicólogos.

8. Propor uma organização do conhecimento da área de AS que padronize os conceitose facilite o estudo nessa área.

1.3 Contribuições e impactos 19

Na Seção 6.1 deste trabalho são mostradas as questões de pesquisa elaboradaspara que todos esses objetivos possam ser atingidos.

1.3 Contribuições e impactos

Esta seção discute os trabalhos correlatos tanto para a organização do conheci-mento em AS quanto para o desenvolvimento do método SentiHealth. Além disso, citaquais contribuições e impactos este estudo proporciona para a literatura.

1.3.1 Organização do conhecimento

Uma maneira de reduzir os problemas relacionados às confusões conceituaisexistentes na literatura é organizar o seu conhecimento em uma taxonomia, onde termossemelhantes são colocados sob a mesma classe e diferentes conceitos dão origem a clas-ses distintas. A taxonomia é comumente conhecida como uma classificação hierárquicado conhecimento [14]. No entanto, para [73], uma taxonomia é qualquer forma de orga-nização do conhecimento e uma taxonomia hierárquica é apenas um delas. Partindo desseprincípio, vocabulários controlados, enciclopédias e ontologias também são consideradastaxonomias.

Um vocabulário controlado é uma lista restrita de termos ou palavras de umaárea específica. Ele pode ser utilizado para indexar ou categorizar artigos de uma área.Portanto, essa lista deve ser controlada para evitar que termos errados ou ambíguosdificultem a busca por itens [73].

Uma taxonomia hierárquica é um vocabulário controlado onde seus termos sãoorganizados em uma estrutura hierárquica. Cada termo, a menos que seja um termos donível mais alto da hierarquia, está ligado a um termo de nível superior e pode ter váriosoutros termos de um nível inferior conectados a ele [73].

Como exemplo e benefícios das taxonomias, em [150] é proposta uma taxono-mia para arquiteturas de redes, mostrando suas vantagens e desvantagens. Também em[27] é proposta uma taxonomia especificamente sobre mecanismos de energia para redesde sensores sem fio. Por fim, um outro estudo [37] apresenta uma taxonomia criada pormeio de um survey de repositórios de softwares. Esse trabalho utilizou as métricas expres-sividade e efetividade para mensurar sua taxonomia. Expressividade mede a quantidadede conceitos diferentes considerados pela taxonomia e efetividade, o quão boa ela é paradistinguir o que foi adotado em cada trabalho.

Apesar dos benefícios da taxonomia, não foram encontrados trabalhos quetenham como principal objetivo uma taxonomia para a AS. As classificações encontradasna literatura estão contidas em surveys que não tiveram o foco na produção de uma


taxonomia, mas sim na organização de um levantamento de trabalhos existentes sobre ASem um determinado período. Por isso, normalmente, eles possuem pouca expressividadepor serem focados em áreas muito específicas da AS.

O foco em uma área específica não é um demérito, mas uma consequência e pre-tensões dos surveys de AS, pois há um grande quantidade de artigos de AS de diferentessubáreas. Como exemplos, a pesquisa [86] é focada nas técnicas independentes de do-mínio. A pesquisa em [94] adota apenas abordagens não supervisionadas utilizadas paraextração de entidades. A pesquisa em [193] considera apenas os artigos que trabalhamno nível de sentença para analisar os sentimentos. Esse artigo é mais geral e consideraartigos de diferentes subáreas da AS. Por outro lado, as taxonomias são mais expressivaspor considerarem um maior número de conceitos diferentes.

A organização feita em alguns surveys também são diferentes umas das outrasem alguns aspectos. Por exemplo, segundo [63], os níveis de AS podem ser de quatrotipos: nível de documento, nível de sentença, nível de aspecto, nível de frase. Já em [193],artigo publicado no mesmo ano, os níveis são três: nível de documento, nível de sentençae nível de frase. Essas divergências nas classificações são causadas pelos diferentes filtrosusados por ambos trabalhos para coletar artigos para suas pesquisas.

Sendo assim, a organização da área de AS em uma taxonomia hierárquica contri-bui para um claro entendimento do que se trata cada um de seus conceitos e comparaçãoentre os artigos existentes na área. Isso tem grande impacto em pesquisas futuras por fa-cilitar os pesquisadores a buscarem artigos que lhe são relevantes, compararem um artigocom outros e entenderem, com maior clareza, os conceitos da AS.

Além disso, a padronização das nomenclaturas existentes na taxonomia evitaque pesquisadores futuros criem novas terminologias para conceitos já existentes, o queaumentaria ainda mais a confusão da área. Essa taxonomia pode ser facilmente evoluídacom o acréscimo de classes para conceitos novos ou ainda não explorados.

Assim, a taxonomia proposta neste trabalho contribui para um entendimentomais claro dos conceitos de AS, busca de artigos da área, comparação do que se tratacada artigo e evita que surjam novos conceitos conflitantes.

1.3.2 SentiHealth

Apesar da AS ser uma boa opção para analisar automaticamente o humor deenfermeiros, familiares e os próprios pacientes com câncer, a maioria dos trabalhosde AS avalia opiniões sobre um alvo que é diferente do autor que emite a opinião[35, 112, 30, 161, 173]. Além disso, poucos estudos focam na AS de pacientes com câncere seus familiares que, por passarem por experiências fortes, geralmente, são influenciadosemocionalmente pelo contexto em que se encontra o paciente [145, 2]. Por fim, são poucos


os trabalhos que focam em soluções de AS específicas de um contexto para obter umamelhor classificação dos sentimentos [36, 10, 56]. Na maioria dos casos, as técnicas sãogeneralista e, como tal, não possuem um bom desempenho em contextos específicos.

O trabalho apresentado em [32] faz a comparação de nove ferramentas de AS:AchemyAPI, Lymbix, MLAnalyzer, Repustate, Semantria, Sentigem, Skytle, Textalyticse Textprocessing. Para calcular a acurácia de cada uma delas, foram coletados textos dediferentes fontes (notícias, comentários e tweets). As ferramentas que apresentaram maioracurácia foram Textalytics (75%), Skytle (73%) e Semantria (68%).

Em outro trabalho, [1], vinte ferramentas de AS foram comparadas: quinzestand-alone1 (SentiStrength, Chatterbox, Sentiment140, Textalytics, Intridea, AiApplied,ViralHeat, Lymbix, SentimentAnalyzer, TextProcessing, Semantria, uClassify, MLAnaly-zer, Repustate e uma última referenciada como Anonymous pelos autores2) e cinco work-

bench3 (BPEF, Lightside, FRN, EWGA e RapidMiner). Os textos usados para analisaras ferramentas são tweets relacionados aos temas: telecomunicações, farmacêutico, se-gurança, tecnologia e consumo de produtos do varejo. Entre as ferramentas stand-alone,a que obtive maior acurácia foi a SentiStrength (67%). Entre as de workbench, a BPEFapresentou melhor média de acurácia (71%).

Outro estudo é [185]. Esse testou a AlchemyAPI, OpenAmplify e Texterra. Aúltima foi uma nova ferramenta proposta pelo artigo e apresentou acurácia de 79%,superior à AlchemyAPI (42%) e à OpenAmplify (57%). Nesse estudo, foram realizadosexperimentos usando textos escritos em inglês e russo. Os textos em inglês são de temasgerais, políticos e comentários de filmes. Os textos em russo são comentários sobre filmes,livros e câmeras.

As ferramentas AlchemyAPI, Semantria, SentiStrength e Textalytics são utiliza-das nos experimentos deste trabalho por terem apresentado bons resultados nos trabalhoscorrelatos. Além disso, elas fornecem acesso à API (Application Programming Interface)Java [34] (o que facilita a integração em uma aplicação) e permitem analisar textos arbi-trários. A ferramenta Texterra, que de acordo com [185] é mais precisa do que as outras,não é considerada neste trabalho por ter apresentado falhas de acesso durante os experi-mentos.

A AlchemyAPI utiliza algoritmos de aprendizagem de máquina para fazer aanálise estatística e linguística do texto para determinar o seu sentimento [4]. Já aSemantria, primeiramente, identifica padrões de frases sentimentais, depois atribui pesossentimentais às palavras por meio de um dicionário léxico, aplica intensificadores de

1Ferramentas que exclusivas de AS.2Os autores informaram que devido à restrições de termos de uso, eles não puderam revelar o nome do

software3Ferramentas que não são exclusivas de AS.


sentimentos e, por fim, utiliza um classificador próprio para determinar o sentimentodo texto [104]. Por outro lado, a SentiStrength adota procedimentos de decodificaçãode textos (intensificadores de sentimentos, correção ortográfica, palavras de negação) emétodos não convencionais de aprendizagem de máquina para dar forças sentimentais àspalavras e, com isso, determinar a polaridade do sentimento do texto [164]. Por fim, aTextalytics primeiro reconhece as polaridades de certas sentenças do texto e, em seguida,determina o sentimento de todo o texto. Para isso, ela utiliza técnicas de PLN [118].

Sendo assim, diferente dos trabalhos correlatos, este estudo contribui para áreade AS apresentando um método de AS específico para o contexto de câncer e idiomaportuguês. Esse método adota uma abordagem léxica que considera textos extraídos decomunidades na internet e utiliza o próprio autor do texto como o alvo da análise dosentimento. Também é desenvolvida uma ferramenta como instância desse método parapoder compará-la com as ferramentas já existentes na literatura.

Assim, o presente trabalho tem uma importante contribuição para a área de AS,pois apresenta um novo método para analisar sentimentos de textos em português da web,de um tema específico e que considera o alvo do sentimento analisado como o próprioautor da mensagem. O método (SentiHealth) é um tipo de heurística e usa referênciaslexicais para atingir seus objetivos. Características adotadas no presente método, assimcomo a sua ordem de execução, podem ser utilizadas em pesquisas futuras. Além disso,as técnicas de personalização adotadas podem ser facilmente aplicadas à outros grupos dedoenças existentes no Facebook, podendo-se, inclusive, beneficiar-se das nuances lexicaispresentes nesses grupos.

Por fim, este estudo também tem impacto no domínio em que ele é aplicado.Pacientes, amigos, familiares, equipe médica, entre outros envolvidos com o câncerpodem ser beneficiados com a ferramenta proposta. Por exemplo, pacientes, amigos efamiliares que estiverem com sentimentos negativos podem ser auxiliados por psicólogos,médicos e assistentes sociais para que tenham um melhor estado emocional.

1.4 Organização do trabalho

Para a descrição deste estudo, este trabalho está dividido da seguinte maneira: oCapítulo 2 apresenta os conceitos de AS baseado em dois autores [108, 24] e um survey

abordando os conceitos mais recentes da área.No Capítulo 3 é apresentado o survey proposto neste trabalho que apresenta o

que mais está sendo adotado na AS nos últimos anos.No Capítulo 4 é proposta uma taxonomia para facilitar a compreensão dos

conceitos e terminologias existentes em AS e a comparação das abordagens adotadaspelos artigos dessa área.


No Capítulo 5 é apresentado o método (SentiHealth) e uma instância dessemétodo (SentiHealth-Cancer) para analisar o sentimento de autores de mensagens degrupos de câncer do Facebook.

No Capítulo 6 são apresentados os resultados de experimentos que comparam odesempenho do método proposto em relação a outras ferramentas existentes na literatura.Além disso, é apresentado um estudo de caso da taxonomia proposta.

Por fim, no Capítulo 7 são apresentadas as conclusões obtidas e quais os possí-veis trabalhos futuros derivados das propostas apresentadas neste trabalho.

CAPÍTULO 2Análise de Sentimento

Este capítulo apresenta conceitos da AS segundo os principais livros existentesdessa área. Portanto, o objetivo deste capítulo é explicar em que consiste a AS e como elapode ser aplicada segundo a visão de diferentes autores.

Organizações possuem interesses em saber as opiniões do público a respeito deseus produtos. Além disto, o próprio público quer saber as opiniões dos consumidoresantes de adquirir um determinado produto ou serviço. Estas opiniões estão presentes emvários sítios na internet, como redes sociais, fóruns de discussão, microblogs e sites espe-cíficos para comentários sobre produtos (Epinios1, ProductReview2, ConsumerSearch3,ConsumerReports4, etc.).

Durante muitos anos, as pesquisas relacionadas às emoções foram conduzidasapenas por filósofos e psicólogos que chegaram a definir um pequeno conjunto de teoriasemocionais que são utilizadas por pesquisadores até hoje. Os primeiros pesquisadores arelacionarem textos com emoções foram filósofos sociais e antropólogos que buscaramidentificar similaridades em comunicações de pessoas de diferentes culturas [138]. Ape-nas nos anos 80 foi que dois pesquisadores, Later e Turkle [93], começaram a questionarcomo a computação poderia ser útil nos estudos das emoções e, com isso, no início dosanos 90 surgiram as primeiras pesquisas sistemáticas sobre o assunto.

2.1 Níveis de AS

As técnicas existentes de AS podem ser divididas em três categorias, dependendodo nível em que a análise é feita no texto [179, 106, 204]: nível de documento, nível desentença e nível de entidade/aspecto.

No nível de documento, a opinião em um documento pode ser classificada comopositiva, negativa ou neutra. Nesse tipo de análise não é possível classificar um documento

1http://www.epinions.com/ (último acesso em 09 de julho de 2015)2http://www.productreview.com.au/ (último acesso em 09 de julho de 2015)3http://www.consumersearch.com/ (último acesso em 09 de julho de 2015)4http://www.consumerreports.org/ (último acesso em 09 de julho de 2015)

2.2 Categorias de técnicas de AS 25

que aborde mais de uma entidade, pois cada documento é interpretado como sendo umtexto que referencia apenas uma entidade [106].

Diferentemente disso, a análise em nível de sentença classifica uma opiniãoem três classes: positiva, negativa ou neutra, e cada sentença do documento é analisadaseparadamente [106].

Tanto a análise em nível de documento quanto a em nível de sentença usamsomente a construção da linguagem para classificar uma opinião. Assim, a análise emnível de entidade e aspecto considera que para toda opinião existe um alvo. Com isso, elaprocura identificar o alvo de cada opinião existente no texto. Isso permite analisar maisque uma opinião em uma mesma sentença [106]. Por exemplo, a frase “Embora possuauma mal atendimento, eu ainda gosto daquele restaurante.” tem uma opinião mais positivado que negativa sobre o restaurante, mas ela possui, na verdade, dois aspectos avaliados:o atendimento e o próprio restaurante em si. Esses são os alvos da opinião.

2.2 Categorias de técnicas de AS

Segundo Liu [109], existem três categorias de técnicas para avaliar as opiniõesem textos. A primeira, Classificação de sentimentos, busca identificar qual sentimentoprevalece em todo o texto, mas não são identificados detalhes do que é positivo ounegativo no texto, todo o documento é classificado como sendo de um único sentimento.Para isso, podem ser utilizadas análises em nível de documento ou em nível de sentença. Ométodo proposto neste trabalho se encontra nessa categoria e é feito em nível de sentença.

A segunda categoria de técnicas é a Mineração de opinião baseada em caracte-rísticas e sumarização. Diferente da primeira, ela busca identificar, não somente o senti-mento expresso sobre o alvo como um todo, mas também os sentimentos expressos sobreos aspectos do alvo. Para isso, é utilizada sumarização e análise de em nível de entidadee aspecto. A análise de sentimento em nível de entidade e aspecto permite identificarsentenças com opiniões de aspectos específicos do alvo em análise e a sumarização pos-sibilita sumarizar os diferentes sentimentos encontrados durante todo o texto sobre ummesmo aspecto.

A terceira técnica é a Mineração de comparação e relação entre frases. Neste tipode avaliação de sentimento são comparados diretamente um objeto com outros existentesno mesmo texto e, a partir disso, descobertas em quais características um alvo é melhordo que o outro. Por exemplo, na frase “A vida da bateria da câmera A é muito menor doque a da câmera B” é possível extrair os objetos câmeras A e B da frase e compará-lospara descobrir qual câmera é a mais recomendada.


2.2.1 Classificação de sentimento

A Classificação de sentimento é similar a classificação baseada em tópicosexistente na Mineração de dados, onde termos específicos ajudam a descobrir a qualtópico (política, ciência, esporte, etc.) um determinado texto pertence. A diferença é quena Classificação de sentimentos são utilizados termos sentimentais (bom, ótimo, mal,ruim, etc.) para classificar todo o texto como positivo ou negativo ou cada uma de suasfrases como positiva, negativa ou neutra. As subseções a seguir mostram algumas dastécnicas utilizadas em Classificação de sentimento.

Uso de informação mútua entre pares de rermos

O método utilizado aqui para descrever a classificação do sentimento de um textoé o proposto por Turney [186], projetado para classificar comentários de consumidores.

Esse método utiliza uma técnica de Processamento de Linguagem Natural (PLN)chamada de rotulação ou marcação Part-of-Speech (POS) que classifica cada termo deacordo com sua classe sintática ou morfológica.

O algoritmo desse método consiste em três etapas. Na primeira, são extraídas asfrases do texto que possuem adjetivos ou advérbios por esses serem bons indicadores deopiniões e subjetividades.

Adjetivos apresentam orientações de sentimentos (positivo ou negativo) diferen-tes dependendo do contexto em que eles estão inseridos. Por exemplo, a palavra “im-previsível” pode ter uma orientação de sentimento negativo quando, inserida no contextode direção de automóveis, e uma orientação positiva, quando no contexto de roteiros defilmes. Por isso, nesse algoritmo são extraídas duas palavras consecutivas: um adjetivoou advérbio e uma outra palavra que identifique o contexto. Essas palavras são extraídasseguindo os padrões mostrado na Tabela 2.1, de acordo com as rotulação fornecidas peloPOS:

Primeira Palavra Segunda PalavraAdjetivo SubstantivoAdvérbio AdjetivoAdjetivo AdjetivoSubstantivo AdjetivoAdvérbio Verbo

Tabela 2.1: Padrões para extrações de frases [186].

Assim, no texto “Esta câmera reproduz lindas fotos” são extraídas as palavras“lindas” e “fotos” por elas obedecerem o primeiro padrão da Tabela 2.1, ou seja, umadjetivo seguido por um substantivo.


Na segunda etapa é utilizado Pontuação da Informação Mútua (Pointwise mutual

information - PMI) para calcular a Orientação Semântica (Semantic Orientation - SO) dasfrases extraídas que possuem advérbio ou adjetivo:

PMI(Ci,seed j) = log2C(Ci,seed j)·NC(Ci)·C(seed j)

,

onde C(Ci,seed j) ·N indica a probabilidade das palavras Ci e seed j co-ocorreremem uma mesma sentença com N palavras. C(Ci) e C(seed j) são as quantidades de vezesem que Ci e seed j co-ocorrem, respectivamente, em um corpus.

Assim, a SO de uma frase é calculada subtraindo o PMI da frase com uma palavrade referência de sentimento positivo (“excelente”) com o PMI da frase com uma palavrade referência de sentimento negativo (“ruim”):

SO( f rase) = PMI( f rase,“excelente′′)−PMI( f rase,“ruim′′),

Na terceira etapa é calculada a média de todas as orientações sentimentais detodas as frases extraídas do texto. Se essa média for acima de zero, o comentário éclassificado como positivo e negativo, caso contrário.

Segundo os experimentos realizados por Turney [186], a acurácia deste algoritmofoi de 84% no domínio de automóveis e de 66% no domínio de filmes.

Utilizando métodos de classificação de textos

Nesta abordagem, o problema de AS é tratado como um problema de classifica-ção de texto baseado em tópico. Assim, qualquer algoritmo de classificação de texto podeser utilizado (Naïve Bayesian, Support Vector Machines - SVM, k-Nearest Neighbors -KNN).

Essa abordagem foi experimentada por Pang et. al. [139] em um domínio defilmes com 700 comentário positivos e 700 negativos considerando unigramas (termosisolados) e apresentou melhores acurácias quando foi utilizado Naïve Bayesian (81%) ouSVM (82.9%) com 3 vezes validação cruzada. Não foi utilizado radicalização dos termos(stemming) e nem remoção de stopwords, palavras que ocorrem com muita frequência.

Atribuição de Pesos aos Termos

Este método de análise de sentimento foi originário de Dave et al. [40] e possuiduas etapas: a primeira consiste em treinar a pontuação do sentimento de cada termoutilizando a seguinte fórmula:

Score(ti) =Pr(ti|C)−Pr(ti|C

′)

Pr(ti|C)+Pr(ti|C′)


onde ti é um termo, C é uma classe, por exemplo, positivo, e C′é o complemento

de C. Pr(ti|C) é a probabilidade do termo ti ocorrer em textos da classe C computada peladivisão da frequência absoluta do termo ti na classe C dividida pela soma das frequênciasabsolutas de todos os termos que ocorrem na classe C.

Na segunda etapa, para cada documento, é somada a pontuação de cada um deseus termos em relação a cada uma das classes e o resultado final define a qual classeaquele documento pertence. Se a soma da pontuação for maior que zero, pertence à classepositivo e se menor que zero, à classe negativo.

Dave et. al. [40] realizaram experimentos considerando mais de 1.300 comen-tários de 7 tipos diferentes de produtos. Os resultados mostraram acurácias entre 84.6 e88.3% em dois conjuntos de dados distintos.

Modificações linguísticas usando um dicionário sentimental léxico, stemming,negação de termos e arranjo de termos também foram experimentados, porém nãocolaboraram significativamente para o aumento da acurácia.

Baseada na contagem das forças sentimentais das palavras

Outra técnica existente para descobrir o sentimento do texto é contando asforças sentimentais dos termos existentes no texto utilizando algum dicionário. Essa forçasentimental consiste em um valor que indica o quanto um termo é positivo ou negativo.Geralmente, quanto mais acima de zero for esse valor, mais o termo será positivo e quantomais abaixo de zero, mais ele será negativo.

As palavras sentimentais podem ser geradas por meio de bootstrapping. Sãoinicialmente procurados manualmente termos positivos e negativos, chamados de palavrassementes, que ajudarão a identificar outras palavras sentimentais no texto. Todos ossinônimos e antônimos dessas palavras sementes são reunidos em conjuntos de termospositivos e negativos com a ajuda de algum dicionário de termos já existente, por exemploo WordNet [109].

Por fim, é feita uma inspeção manualmente nos conjuntos gerados para removerpalavras incorretas. Algumas expressões idiomáticas possuem sentimentos positivos ounegativos e, portanto, podem também ser adicionadas ao conjunto de palavras sentimen-tais [109].

Durante a análise do sentimento do texto, cada sentença pode ser classificadacomo positiva ou negativa de acordo com as palavras sentimentais nela presentes. Emcada sentença, são somadas as pontuações das palavras sentimentais e o resultado finaldetermina o seu sentimento: acima de zero, positivo e abaixo de zero, negativo. Se otexto analisado possui alguma conjunção adversativa (mas, entretanto, contudo, porém)seu sentimento pode ser invertido [109].


2.2.2 Mineração de opinião baseada em características e sumariza-ção

A análise de sentimento em nível de sentença deixa um pouco a desejar pornão considerar os aspectos de um objeto referenciado em um texto que são positivos ounegativos. Um comentário negativo sobre um aspecto de um objeto não significa que oautor do texto não goste de todos os aspectos daquele objeto.

Sendo assim, para fazer uma AS que permita saber quais aspectos são positivos enegativos sobre uma entidade em mesmo texto, pode-se utilizar a AS em nível de entidadee aspecto.

Nesta seção são definidos alguns conceitos necessários para realizar esse tipode análise, como objetos, opiniões explícitas e implícitas, componentes, atributos edetentores do sentimento ou da opinião. Entretanto, o cálculo sentimental da sentença quepossui uma característica pode ser feito utilizando as técnicas citadas na seção anterior.

Objetos, componentes e atributos

As opiniões podem ser expressas sobre produtos, serviços, organizações, pes-soas, eventos, tópicos. Na AS, estes são vistos como os alvos ou objetos do sentimento epodem ser compostos por outros componentes ou partes e possuir atributos ou proprieda-des.

Por exemplo, considerando o objeto como sendo uma câmera digital, ela podeser composta pelos componentes bateria, lente, visor eletrônico e possuir característicascomo peso, tamanho e qualidade das fotos. Por sua vez, o componente bateria pode sertratado como um outro objeto e que também possui suas próprias características, comovida útil, peso e tamanho. Na literatura, o termo “característica” é utilizado para se referirtanto aos componentes quanto aos atributos de um objeto [109].

Características explícitas e implícitas

As características podem ser explícitas ou implícitas. Explícitas se forem citadasno texto e implícitas, caso contrário. Por exemplo, em “A vida útil da bateria desta câmeraé muito pequena.”, a característica “vida útil da bateria” está explícita no texto. Já em“Esta câmera é muito grande.”, a característica ”tamanho da câmera” não aparece notexto, mas está implícita [109].

É importante perceber que podem ser necessárias mais de uma sentença paraexpressar a opinião de uma característica ou objeto, por outro lado, em uma mesmasentença podem estar expressas opiniões de mais de uma característica ou objeto.


Opiniões explícitas e implícitas

Sentimentos também podem estar explícito ou implícito nos textos. Sentimentosexplícitos estão presentes em sentenças subjetivas e expressam um sentimento positivoou negativo sobre algo. Já sentimento implícitos estão presentes em sentenças objetivasque podem, implicitamente, expressar uma opinião positiva ou negativa sobre algo. Porexemplo, na frase “A câmera parou de funcionar após dois dias de sua compra.” não há umsentimento explícito, mas é possível deduzir um sentimento negativo pelo fato da câmerater parado de funcionar tão cedo [109].

Detentores dos sentimentos

Na AS o detentor do sentimento ou da opinião, geralmente, é quem escreve otexto. Entretanto, alguns autores citam ou repetem as opiniões de outras pessoas. Porexemplo, em “John falou que a foto da câmera possui uma péssima qualidade.”, o detentordo sentimento é John, e não o autor do texto [109].

Definidos os conceitos de AS em nível de entidade e aspecto, para se realizara mineração de opinião baseada em características e sumarização, são realizadas asseguintes tarefas:

1. Extração das características mencionadas no texto que possuem alguma opinião;2. Análise de cada característica como positiva, negativa ou neutra;3. Agrupamento de sinônimos de características. Diferentes palavras podem ser utili-

zadas para se referir a uma mesma característica.

Assim, supondo que uma empresa de câmeras digitais queira saber quais carac-terísticas de uma determinada câmera A são positivas e quais são negativas, ela teria queextrair, dos textos coletados, todas as características e seus sinônimos que são pertinentesà essa câmera e, para cada sentença que possua alguma dessas características, analisarsua orientação sentimental como positiva, negativa ou neutra. Por exemplo, na frase “Aqualidade da foto da câmera A é muito boa.” é possível extrair a característica “qualidadeda foto” do objeto “câmera A” e classificar o seu como positivo [109].

Nas seções seguintes são descritas algumas maneiras de, através de um texto,extrair características de objetos e classificar os sentimentos em relação a essas caracte-rísticas.

Extração de características

Para a extração de características é importante considerar a forma como o textoestá estruturado. Existem basicamente três tipos de formatação de texto:


1. Uma parte separada do texto contendo as características positivas e negativas sobreo objeto de forma direta e objetiva, e outra parte contendo mais detalhes sobre essascaracterísticas;

2. Descrição das características positivas e negativas de forma separada, porém em umtexto mais elaborado, não tão direto.

3. Texto descritivo com características positivas e negativas unidas em um mesmotexto.

Liu e Hu [107, 76] propuseram uma extração de característica utilizando LSR(Label Sequential Rules) que é um tipo de mineração de padrões sequenciais baseada emaprendizagem supervisionada.

LSR considera uma sequência de termos no texto e os rotula de acordo comsuas classes morfológicas (POS). Por exemplo, da frase “memória é pequena” é gerado aseguinte sequência:

<{memória, SUBSTANTIVO}{é, VERBO}{pequena, ADJETIVO}>

O motivo por considerar uma sequência de termos no lugar da sentença com-pleta é que muitas características podem ser encontradas em uma mesma sentença. Osexperimentos realizados por Hu e Liu mostraram que uma sequência de três termos (tri-grama) é uma boa quantidade para identificar uma característica. Após isso, os termos querepresentam características são substituídos por $característica, ficando:

<{$característica, SUBSTANTIVO}{é, VERBO}{pequena, ADJETIVO}>

Aplicando LSR em uma base de treino, tem-se um conjunto de sequências queajudam a encontrar características durante os testes. Durante a extração de características,ao ser encontrado algum conjunto igual a uma sequência gerada na base de treino, hágrandes chances desse conjunto possuir uma característica. A utilização de stemming, porreduzir os termos para suas formas não flexionadas, também ajuda a identificar uma maiorquantidade de características com uma mesma sequência [107, 76].

Para extração de características implícitas, uma alternativa é mapear, manual-mente, estruturas de características implícitas geradas na base de treino e aplicar assequências geradas em outros textos do mesmo domínio da base de treino.

LSR é mais recomendado em textos com a formatação onde há uma parte dotexto contendo as características positivas e negativas do objeto, desconsiderando a parteque detalha as características. Para os textos com outras formatações, por possuir maisinformações irrelevantes, é mais recomendado a utilização de frequência de termos epalavras sentimentais [75].

As características costumam estar mais presentes nos substantivos e frasesnominais mais frequentes no texto. Isto se deve ao fato dessas características, quando


de um mesmo domínio, convergirem para um mesmo vocabulário, enquanto que asinformações irrelevantes, são frequentemente diversificadas durante texto [109].

Já as características não muito frequentes podem ser encontradas utilizandopalavras sentimentais. Muitas dessas palavras são adjetivos e advérbios que descrevempositivamente ou negativamente uma característica. Encontrando palavras sentimentaisno texto, pode-se descobrir quais características elas estão qualificando. Além disto, umamesma palavra sentimental pode ser utilizada para qualificar mais de uma característica[109].

2.2.3 Mineração de comparação e relação entre sentenças

As análises de opiniões como sendo positivas ou negativas é apenas uma formade interpretar as opiniões sobre um objeto. Outra maneira é através de comparações.Comparando um objeto com outro pode-se saber em quais aspectos um é melhor queo outro.

Existem quatro tipos de comparações divididas entre graduáveis e não graduáveis[109]:

1. Graduável sem igualdade: comparação de dois objetos indicando que um é melhorou pior que o outro.

2. Equitativa: comparação de dois objetivos igualando-os em alguma característica.3. Superlativa: comparação indicando que um objeto é o melhor ou o pior em relação

a todos os outros objetos comparados.4. Não graduável: comparação de características de dois ou mais objetos, mas sem

indicar qual é melhor ou pior. Suas variações são:

(a) Uma característica de um objeto pode ser semelhante ou diferente à de outroobjeto. Exemplo: “O refrigerante A tem gosto diferente do B.”;

(b) A característica de um objeto pode ser substituída por outra característicade outro objetivo. Exemplo: “PCs desktop usam aulo-falantes externos, maslaptops usam alto-falantes internos.”;

(c) Um objeto tem uma característica que outro não tem. Exemplo: “O celular Atem fone de ouvido, mas o B não tem.”.

A mineração de comparação é feita em duas tarefas: primeiro são identificas asfrases comparativas no texto e depois são extraídas suas palavras-chaves de comparação,características que estão sendo comparadas, entidades comparadas e o tipo da comparaçãofeita utilizando a seguinte estrutura [109]:

(<palavra-chave>, <características>, <entidade1>, <entidade2>, <tipo>)


Por exemplo, com a frase “A bateria da câmera digital A é melhor do que as daB e C.” seria gerado:

(melhor, {bateria}, {A}, {B, C}, graduável sem igualdade)

Algumas palavras-chaves ajudam a identificar se uma frase é de comparação,como: mais, menos, melhor, pior, igual, similar. Além disto, as frases comparativas geral-mente seguem um padrão [88]. Por exemplo, na língua inglesa, sentenças comparativas,geralmente, possuem adjetivos e advérbios terminados com “er” ou “est”, modificadores“less” e “more” antes dos adjetivos e advérbios e podem conter o termo “than”. Umamaneira de se descobrir esses padrões é utilizando CSR (Class Sequential Rule).

CSR é um tipo de mineração de padrões sequenciais no qual cada exemplo detreinamento é um par (si, yi), onde si é uma sequência de termos e yi indica a classe destasequência [109].

As palavras-chaves de comparações ajudam a formar os padrões sequenciaisa serem utilizados pela CSR. Quando alguma delas é encontrada, ela é considerada opivô da sequência e é determinada uma quantidade r de palavras a serem extraídas desua esquerda e outras r de sua direita para formar a sequência. Por exemplo, na frase“Essa câmera produz significativamente mais ruído na foto do que as câmeras A e B.”,considerando a palavra-chave “mais” e um r = 3, tem-se:

(<{câmera}{produz}{significativamente}{mais}{ruído}{na}{foto}>)

Após isso, cada termo da sequência, exceto a palavra-chave, é substituído peloseu rótulo POS. Isso é feito porque, apesar do conteúdo de uma sequência poder possuirpalavras diferentes, a forma como o padrão é identificado é o mesmo. A palavra-chavenão é substituída, ela é apenas unida à sua POS por ela poder ajudar a identificar seuma sequência é ou não comparativa. Definido o padrão sequencial, o próximo passo éidentificar a qual classe pertence este padrão: comparativa ou não comparativa, de acordocom as palavras-chaves. Considerando a frase do exemplo anterior, o par (si, yi) obtido é:

(<{SUBSTANTIVO}{VERBO}{ADVÉRBIO}{mais/ADJETIVO}

{SUBSTANTIVO}{PREPOSIÇÃO}{SUBSTANTIVO}>, comparativa)

Depois de feito o treinamento e identificados os padrões, existem duas maneirasde se classificar uma sentença. A primeira é, ao ser extraída uma frase, procurar qualpadrão essa frase mais se assemelha e, com isso, definir a classe da frase como sendoa mesma da classe do padrão. A segunda maneira é prever a classe da frase utilizandoalgum classificador, por exemplo Naïve Bayesian [109].

Os tipos das sentenças comparativas (graduável sem igualdade, equitativa, su-perlativa e não graduável) são definidos apenas através de palavras-chaves utilizando

2.3 Sentic Computing 34

aprendizagem de máquina. Se uma sentença tem alguma palavra-chave do conjunto deatributos, o valor do atributo correspondente é 1, caso contrário, é 0 [109].

Em suma, considerando as três abordagens de classificação de sentimentos apre-sentadas anteriormente, a classificação em nível de documento possui algumas desvan-tagens. Analisando o comentário de uma pessoa sobre um produto, não é possível saberquais aspectos ela gostou ou não sobre o produto. São analisados apenas sentimentos po-sitivos e negativos de todo o documento, não considerando quais aspectos são positivosou negativos. Além disso, a classificação de sentimentos considera que o texto todo éopinativo, o que nem sempre acontece em textos de fóruns e blogs. Sendo assim, há umacerta dificuldade em analisar o sentimento desses textos por ser necessário ter que e extrairapenas as frases que possuem uma orientação sentimental.

2.3 Sentic Computing

Esta seção apresenta a visão de Cambria e Hussain no livro Sentic Computing -

Techniques, Tools and applications [22] sobre as técnicas exsitentes de AS.A Sentic Computing é uma abordagem de AS multidisciplinar que considera

áreas da computação e das ciências sociais para um melhor reconhecimento, interpretaçãoe processamento de opiniões e sentimentos existentes na internet [138]. O termo sentic

surgiu pela primeira vez com o neurocientista e músico Manfred Clynes se referindo aosaspectos físicos da expressão da emoção [64]. Sentic é derivada do Latin sentire (raiz depalavras como “sentimento” e “sensação”) e sensus (capacidade de sentir e senso comum).

Pertier, em [142], faz a distinção entre as terminologias “emoção” e “senti-mento”. A primeira é utilizada ao se referir a manifestações físicas involuntárias da emo-ção, enquanto a segunda se refere a uma experiência emocional, ou seja, tudo aquilo que apessoa consegue perceber conscientemente de seu próprio estado emocional. Pertier pre-fere utilizar a expressão “experiência emocional” do que “sentimento” por esta poder tersentido ambíguo com sentimentos sensoriais, por exemplo, de alfinetadas.

A Sentic Computing envolve técnicas de Inteligência Artificial (IA) e WebSemântica para representação de conhecimento e inferência; matemática para realizaçãode tarefas como mineração de grafo e redução de multidimensionalidade; psicologia paramodelagem cognitiva e afetiva; sociologia para entendimento da dinâmica de redes sociaise influências sociais; ética para entendimento de questões relacionadas sobre a naturezada mente e criação de máquinas emocionais [138].


2.3.1 Principais abordagens para mineração de opinião

Muitas abordagens de AS ou MO foram criadas para, dado um determinadotexto, classificá-lo em categorias de sentimento predefinidas ou atribuir a ele um númerorepresentativo do grau de polaridade do seu sentimento. Entretanto, essas abordagense seus resultados são muito dependentes do idioma e do domínio para os quais foramdesenvolvidas. A maioria das técnicas existentes são para a língua inglesa e mesmoadaptando uma abordagem para um outro idioma, ela ainda pode ser dependente dodomínio. Algumas destas abordagens são citadas a seguir.

2.3.2 De heurística a estrutura de discurso

Muitas abordagens de aprendizado não supervisionado utilizam um dicionárioléxico para determinar o grau de subjetividade de uma unidade de texto. Neste dicionário,cada um de seus termos ou expressões recebem uma pontuação para sua polaridade desentimento. Com isso, é possível determinar qual a polaridade, ou subjetividade, predo-minante de uma unidade de texto. Muitos trabalhos utilizam heurísticas para determinarqual o grau de polaridade cada termo ou expressão do dicionário deve receber para se teruma melhor acurácia [22].

Já outros trabalhos adotaram técnicas como: atribuição das polaridades de pala-vras sementes aos seus sinônimos ou palavras que co-ocorrem com elas [10]; extração eanálise de características do alvo em análise [47]; informações do discurso que ajudam nainferência do relacionamento entre atributos e produtos [169]; técnicas de regressão paraprever o grau de subjetividade em textos opinativos [138].

Assim, é possível perceber que existem diferentes aspectos que podem serconsiderados para a AS. Elas podem ser combinadas para que se tenha uma maior eficáciana análise.

2.3.3 De alta granularidade à baixa granularidade

Além de existirem diferentes técnicas de análise de sentimento, elas podemvariar também na profundidade da análise utilizada. As primeiras abordagens de ASforam em nível de documento, onde ele era classificado como positivo ou negativo, oucategorizado dentro de uma faixa de pontuação, por exemplo, de 1 a 5.

Entretanto, trabalhos posteriores passaram a adotar a AS em nível de sentença.Com isso, é possível distinguir quais partes de um texto são subjetivos ou não. Em[142] foi utilizada uma classificação baseada nas estruturas sintáticas de frases quepodem expressar opiniões. Já em [92] foi utilizado um dicionário léxico com palavrassentimentais para encontrar frases subjetivas que contenham essas palavras ou suas


derivações. Trabalhos como em [157, 96] utilizaram regras de associação para analisarcaracterísticas de comentários sobre produtos. Quem escreve um comentário sobre umproduto não costuma ficar alternando entre frases subjetivas e objetivas, sendo assim,em [131] foi utilizado um conjunto de sentenças subjetivas próximas para atribuir osentimento de todo o texto.

Todas essas abordagens de AS são ainda incapazes de determinar com exatidãoo sentimento real de um texto. Isto se deve ao fato delas serem dependentes de uma basede conhecimento semântica que é ainda muito limitada. Além disto, mesmo com umaanálise com um nível de granularidade maior, por exemplo, em nível de sentença, aindaassim é difícil extrair o real sentimento, já que uma mesma frase pode possuir mais de umsentimento [22].

2.3.4 De palavras chave a conceitos

Com algumas exceções, a maioria das abordagens de análise de sentimentopodem ser agrupadas em três categorias principais: palavras-chave, afinidade léxica emétodos estatísticos [22].

A procura por palavras-chave é a mais comum por ser facilmente acessível e semgrandes custos. Um exemplo dessa abordagem é mostrado em [50], onde foi consideradoum dicionário com palavras-chaves sentimentais, modificadores de intensidade sentimen-tal (extremamente, moderadamente, pouco), além de expressões que podem indicar umafrase sentimental (fez isso, queria).

Essa abordagem possui duas fraquezas principais [22]. A primeira é a dificuldadeem reconhecer sentimentos em frases de negação e a segunda é a dependência decaracterísticas da estrutura do texto. Como exemplo destas duas fraquezas, na frase “Meumarido pediu divórcio e quer levar meus filhos longe de mim”, apesar de ser uma frasenegativa é difícil classificá-la nesse sentimento considerando apenas sua estrutura e suaspalavras, pois não há palavras sentimentais e o sentimento existente é implícito.

A outra abordagem leva em consideração a afinidade léxica de palavras a deter-minadas emoções. Por exemplo, a apalavra “acidente” pode possuir 75% de probabili-dade de ser uma palavra negativa, como em “machucou em um acidente” ou “acidente decarro”. Afinidade léxica é utilizada em trabalhos como em [176, 151, 85] e são treinadasem um corpora linguístico.

Essa abordagem também possui duas fraquezas: a primeira é que, analisandoapenas as afinidades de palavras, pode haver alguns equívocos, como em “Eu evitei umacidente de carro” e “Eu conheci minha namorada por acidente”. Essas duas frases podemter sentimentos positivos, mas por possuírem a palavra “acidente” com afinidade maisnegativa, podem ser classificadas erroneamente. O segundo problema é que as afinidades


sentimentais das palavras são treinadas geralmente em textos de um único domínio, o quepode prejudicar a análise de textos de outros domínios.

Trabalhos, como em [139, 75, 111] utilizaram os métodos estatísticos Latent

Semantic Analysis (LSA) e Support Vector Machine (SVM) para classificar os textos.Nessa abordagem, a utilização de aprendizagem de máquina utilizando um enorme corpuspode descobrir, não somente a melhor pontuação de sentimento para palavras-chave, mastambém a importância de pontuações e co-ocorrências de palavras na classificação dosentimento. Entretanto, essa abordagem é semanticamente fraca, pois, com exceção depalavras com um valor sentimental obvio, outros elementos lexicais e co-ocorrência emum modelo estatístico têm pouco valor preditivo individualmente. Isso faz com que essaabordagem só tenha uma boa acurácia quando utilizados textos longos [22].

CAPÍTULO 3Survey

Como existem vários métodos para analisar o sentimento, este capítulo expõe osurvey proposto neste trabalho que apresenta o que mais está sendo adotado na AS nosúltimos anos.

Com o exposto nas seções anteriores, é possível perceber que os livros que tratamde AS utilizam artigos existentes na literatura para descrever como a AS pode ser feita.Não existe uma sequência de passos obrigatória a serem seguida para se descobrir osentimento de um texto, cada pesquisador pode elaborar sua própria estratégia e descobrirse ela é ou não adequada para o contexto e idioma do texto utilizado. Assim, para facilitaro entendimento, nesta seção é apresentado um survey de AS que identifica outras técnicas,além das citadas nos livros, para se descobrir sentimentos em textos.

Na literatura há várias nomenclaturas que se remetem à Análise de Sentimento(AS), a principal delas é a Mineração de Opinião (MO), mas existem diversas outras,como: Análise de Atitude, Análise de Emoção, Mineração de Comentário, Mineração ouExtração de Avaliação, Extração de Opinião, Classificação de Sentimento, Mineração deSentimento e Análise Subjetiva.

Sendo assim, existem várias abordagens de AS na literatura e a quantidadede artigos publicados nessa área vem crescendo a cada ano. Esses artigos podem sediferenciar em vários aspectos, como ferramentas utilizadas, idioma em que é feita a AS,domínio dos dados coletados, classificação das emoções e métricas utilizadas. Isto cria anecessidade de se ter um estudo que sumarize as principais pesquisas existes nos últimosanos sobre AS e aponte quais as tendências dessa área para os próximos anos.

Alguns trabalhos já fizeram isso em anos anteriores. Em [192] foram abordadasas origens dos dados, técnicas de classificação de sentimento, aplicações e ferramentas. Jáem [120] foi apresentada uma visão geral do que foi mais utilizado em AS entre os anosde 2010 a 2013 e resumidas as metodologias, polaridades, domínios dos dados, origensdos dados e linguagens mais utilizadas. Outros surveys são mais específicos, como em[86], que é focado mais em técnicas de AS independentes de domínio e em [94], quesumariza apenas abordagens não supervisionadas utilizadas para extração de entidades.

3.1 Metodologia 39

Este survey tem como objetivo sumarizar abordagens de AS mais utilizadas nosúltimos anos. Suas principais contribuições são:

• Muitos surveys de AS são específicos de uma única abordagem [3, 82] ou nãoapresentam uma gama maior de abordagens existentes [46, 132, 11]. Neste survey

são apresentados abordagens já apresentadas em outros survey e também novas quesurgiram nos últimos anos.• Além disto, muitos surveys de AS existentes sumarizam apenas alguns aspectos

como abordagens, aplicações e ferramentas mais frequentes utilizadas em AS.Este survey é mais completo por sumarizar as abordagens, algoritmos, métricas,ferramentas, domínios dos dados coletados, bases de dados, idiomas e classes deemoções ou polaridades mais utilizadas em AS pela literatura.

3.1 Metodologia

Para a elaboração deste survey foram pesquisados assuntos referentes à AS embases de dados de artigos científicos utilizando as seguintes palavras-chaves:

• Mining {Emotion, Feeling, Sentiment, Opinion, Personality, Subjectivity};• Extraction {Emotion, Feeling, Sentiment, Opinion, Personality, Subjectivity};• Lexical Affinity;• {Attitude, Subjectivity, Emotion, Feeling, Sentiment, Emotional, Opinion, Persona-

lity, Affective Detection, Identification, Analysis, Classification, Lexicon};• Sentic Computing.

Para que essas palavras-chaves fossem abordadas na pesquisa, foram criadas asseguintes strings de busca:

• ((“Emotion” OR “Feeling” OR “Sentiment” OR “Opinion” OR “Personality” OR“Subjectivity”) AND (“Mining” OR “Extraction”));• ((“Attitude” OR “Subjectivity” OR “Emotion” OR “Feeling” OR “Sentiment” OR

“Emotional” OR “Opinion” OR “Personality” OR “Affective”) AND (“Detection”OR “Identification” OR “Analysis” OR “Classification” OR “Lexicon”));• (“Sentic Computing”).

Essas strings de busca foram utilizadas tanto no título quanto no resumo dosartigos buscados. As fontes utilizadas para a coleta dos artigos foram:

• ACM Digital Library1;

1http://dl.acm.org/ (último acesso em 18 de março de 2015)

3.1 Metodologia 40

• IEEE Xplore2;• Google Scholar3;• ScienceDirect4;• SpringerLink5;• Web of Science6;• CiteSeer7.

Apesar da necessidade de se adaptar as strings de busca para o mecanismo debusca de cada fonte utilizada, o sentido lógico não foi alterado.

Foram coletados artigos entre os anos de 2005 até 2015. Desses, foram retiradosmanualmente os surveys, short papers, duplicados, não pertencentes à área de Ciênciasda Computação e considerados irrelevantes por pouca contribuição. Como mostrado naFigura 3.1, restaram 98 artigos, sendo 26 de 2012, 36 de 2013, 33 de 2014 e 3 de 2015.

Figura 3.1: Quantidade de artigos publicados por ano entre osanos de 2012 até 2015.

De 2012 para 2013 a quantidade de publicações aumentou. Entretanto, de 2013para 2014 a quantidade de artigos foi quase a mesma, com 2014 tendo 3 artigos a menosdo que 2013. Essa pequena diferença pode ser resultado dos artigos retirados após afiltragem realizada. Em 2015, foram encontrados poucos artigos publicados porque apesquisa foi feita no início do ano, em fevereiro. Isso mostra que são muitas as pesquisasrelacionadas à AS e elas tendem crescer ainda mais.

2http://ieeexplore.ieee.org/ (último acesso em 18 de março de 2015)3https://scholar.google.com.br/ (último acesso em 18 de março de 2015)4http://www.sciencedirect.com/ (último acesso em 18 de março de 2015)5http://link.springer.com/ (último acesso em 18 de março de 2015)6http://apps.webofknowledge.com/ (último acesso em 18 de março de 2015)7http://citeseerx.ist.psu.edu/ (último acesso em 18 de março de 2015)

3.2 Classificação de sentimento 41

Para saber o que cada artigo considerou para a AS, foi utilizada a ferramentaMendley8. Ela possibilita o gerenciamento e organização de arquivos em PDF, além depermitir criar tags para classificar os arquivos. Com isso, para cada artigo pesquisado,foram atribuídas tags dos critérios adotados pelo artigo. Ao final, pesquisando por tags,foi possível contabilizar o que é mais utilizado em AS.

As tags utilizadas foram: “abordagem:”, “algoritmo:”, “métrica:”, “ferramenta:”,“domínio:”, “origem:”, “idioma:” e “emoção:”.

As contagens realizadas foram anotadas em uma planilha .xlsx para facilitar avisualização dos dados através de gráficos.

3.2 Classificação de sentimento

Existem várias técnicas de classificação de sentimentos. As mais utilizadas sãoabordagens baseadas em aprendizado de máquina ou abordagens baseadas em léxicos.Nesta seção são citados os principais algoritmos adotados por cada uma dessas aborda-gens.

3.2.1 Abordagens baseadas em aprendizado de máquina

Os algoritmos utilizados em aprendizado de máquina podem ser supervisionadose não supervisionados. Nos supervisionados já são conhecidas as classes nas quais asinstâncias serão classificadas, enquanto nos não supervisionados serão formados gruposque depois poderão ser rotulados como classes. Como na AS já são predefinidas as classesdesejáveis, ou seja, as classes de emoções ou polaridades, os algoritmos de aprendizadode máquina mais utilizados em AS são do tipo supervisionados. Os mais frequentes sãomostrados na Figura 3.2

Como mostrado na Figura 3.2, foi identificado nos artigos pesquisados queos algoritmos mais frequentes utilizados na AS são: Support Vector Machines (SVM)[202, 79, 77, 56, 91, 71, 29], Naïve Bayes [160, 200, 175], Adaboost [145, 210, 209, 26],Artificial Neural Network (ANN) [126, 211, 2, 26] e Latent Dirichlet Allocation (LDA)[174, 145, 69, 33]. Entretanto, os seguintes algoritmos também são utilizados: Hidden

Markov Model (HMM), Conditional Random Fields (CRF), K-Nearest Neighbors (KNN),Joint Sentiment Topic (JST), Kappa Index, Maximum Entropy, Fuzzy Logical, Active

Deep Network, Active Learning, Logistic Regression, Decision Tree, Contextual Entropy,Fuzzy C-Means, Feature Relation Netowrk (FRN), Mutual Reinforcement Clustering,Dependence Parcing, J48, Random Tree.

8http://www.mendeley.com/ (último acesso em 18 de fevereiro de 2015)


Figura 3.2: Algoritmos mais frequentes utilizados na AS.

Nas subseções seguintes são descritos os algoritmos mais frequentes (Figura 3.2)utilizados na AS.

Support Vector Machines (SVM)

SVM é um algoritmo de classificação que usa um hiperplano para dividir as ins-tâncias em duas classes. Em um conjunto de dados com n características, o hiperplano terán−1 dimensões para separar os dados. Assim, se existirem apenas duas características, ohiperplano será representado por uma linha. O objetivo do SVM é traçar o hiperplano detal forma que ele tenha a maior distância entre as suas instâncias mais próximas [45].

SVM é um classificador binário, portanto, para problemas que envolvem maisde duas classes, múltiplos SVM podem ser combinados. Nesse caso, cada classe poderáser separada de todas as outras classes ou elas poderão ser separadas em pares de classes[45]. Na AS, o SVM é utilizado para realizar a separação entre textos positivos e negativos[79, 77, 56, 91, 71, 29] ou entre textos objetivos e subjetivos [202].

Naïve Bayes

Naïve Bayes é um simples classificador probabilístico baseado no teorema deBayes que considera independência entre as características, ou seja, o valor de umacaracterística não influencia em outra. Esse algoritmo tem como objetivo prever a classeque uma instância deverá pertencer. Para isso, são calculadas as probabilidades deocorrência da instância para cada classe e a que possuir maior probabilidade será a classea qual pertencerá a instância [45].

Em [160] é utilizado Naïve Bayes para calcular a probabilidade de um documentoser da classe positiva ou negativa dependendo do contexto. Já em [128] é testada a acuráciado algoritmo original do Naïve Bayes com uma de suas versões alteradas, (Bernoulli Naïve


Bayes, considerando palavras de negações, alteração no tamanho do n-gram utilizado eseleção de características). O algoritmo que apresentou melhor acurácia foi o que utilizouseleção de características. Naïve Bayes também é utilizado na construção de léxicos:em [200], ele é utilizado na classificação de palavras positivas e negativas e em [175]é utilizado para classificar as palavras em medo, raiva, surpresa, felicidade e surpresa.

AdaBoost

Em alguns cenários, apenas um único algoritmo de aprendizado de máquina nãoé suficiente para apresentar bons resultados. Sendo assim, existem técnicas que utilizamum conjunto de algoritmos de aprendizado de máquina para que um melhor resultado sejaalcançado. Algumas destas técnicas são random forest, bagging, bootstrap e AdaBoost

[45].AdaBoost (abreviação de Adaptative Boosting) é a variação mais conhecida de

algoritmos do tipo boosting. Nesse algoritmo, inicialmente, os classificados recebem ins-tâncias aleatórias, mas distribuídos uniformemente entre eles. A cada nova iteração, asinstâncias são distribuídas proporcionalmente a dificuldade apresentada pelos classifica-dores na iteração anterior [45].

Em [209], o AdaBoost é utilizado para classificar os textos em positivos enegativos de acordo com suas características léxicas. Para cada texto, é estimada suaprobabilidade de ser da classe positiva na iteração posterior. Se essa probabilidade formaior que um limiar estabelecido, o texto é classificados como positivo, caso contrário,como negativo.

Em [210] é utilizado o AdaBoost para classificar os textos em seis classes deemoções. Porém é feita uma variação do AdaBoost. No lugar de utilizar a melhor carac-terística de uma iteração anterior para melhorar um classificador fraco, é utilizado umacombinação de características para melhorar um classificador mediano. O classificadorforte final representa a soma ponderada desses classificadores medianos.

Artificial Neural Network (ANN)

Artificial Neural Network (ANN) utiliza um conjunto artificial de neurônios co-nectados para processar informações não-lineares e transformá-las em saídas pretendidas.Esses neurônios são reunidos em camadas e são chamadas de unidades escondidas, ondea atividade de cada unidade escondida é determinada pela composição de suas entradas epesos. Assim, a ANN procura ajustar esses pesos para minimizar o erro da classificação[45].

ANN é utilizado na AS por [126] para classificar textos em positivos e negativos.Foi utilizado a rede tradicional feed-forward com uma única camada escondida. Os dados


foram treinados três vezes com diferentes conjuntos de pesos escolhidos aleatoriamente.Foi utilizado o algoritmo back-propagation para esses treinos.

Já em [2] é utilizado a rede neural Self Organizing Maps (SOM) para classificarpostagens em positivas e negativas. SOM representa dados de alta dimensão comosendo de baixa dimensão. Pesos similares são atribuídos para neurônios similares. Comomedidas de validação, foram utilizadas medidas de quantificação e erros topográficos. Oprimeiro é resultado da distância média entre cada vetor de entrada e seu melhor neurôniocorrespondente (BMN). Já o segundo é calculado de acordo com a proporção dos pesosentre primeiro e o segundo BMN.

Latent Dirichlet Allocation (LDA)

Latent Dirichlet Allocation (LDA) é um algoritmo não supervisionado e baseadoem tópicos. O termo “Latent” significa capturar a significância do texto através daidentificação de tópicos nele existentes. A estrutura de tópico no texto é identificadausando estrutura de co-ocorrência de termos. O LDA é representado por três camadashierárquicas, onde tópicos são associados com documentos e palavras são associadas comtópicos [82].

Em [167] é utilizada uma variação do LDA chamada Join Sentiment-Topic (JST)que adiciona uma camada adicional entre documentos e tópicos que permite portabilidadeentre domínios diferentes. No JST sentimentos são associados com documentos, tópicossão associados com sentimentos e palavras são associadas com sentimentos e tópicos.

Já em [174] o LDA não é utilizado na classificação de sentimentos diretamente,mas sim para agrupar tweets em tópicos. Para isso, são calculadas as probabilidades depalavras associadas a certos tópicos.

3.2.2 Abordagens baseadas em léxico

Nesse tipo de abordagem é utilizado um léxico para a AS. Alguns artigosutilizam léxicos já existentes, enquanto outros produzem seu próprio léxico. Esse últimocaso é mais utilizado quando se deseja ter um léxico para um determinado idioma oudomínio que não são atendidos pelos léxicos convencionais. Existem várias técnicasque podem ser adotadas para descobrir o sentimento de uma frase utilizando léxico. Asprincipais e mais utilizadas são mostradas na Figura 3.3.

Orientação Semântica

Como já explicado na Subseção 2.2.1, PMI pode ser utilizado na AS para calculara força de co-ocorrência relativa de palavras de uma frase com palavras sementes positivasou negativas e, assim, determinar se a frase contém mais palavras positivas ou negativas.


Figura 3.3: Técnicas mais frequentes utilizados na abordagem lé-xica de AS.

Part-of-Speech Tagging

Para analisar o sentimento em nível de entidade e aspeto é necessário identificaras entidades alvo do sentimento. Para isto, uma técnica bastante utilizada em AS é aPart-of-Speech (POS) Tagging. Com ela, cada termo de cada sentença é classificadosmorfologicamente facilitando na identificação do que é alvo e o que é sentimento no texto.Alvos geralmente são representados por substantivos ou frases nominais, já sentimentossão expressos através de adjetivos ou frases adjetivas.

Em [161], após classificar os termos de uma frase utilizando POS, é utilizadoum léxico com palavras positivas e negativas. Cada POS pode ser pontuada positiva ounegativamente dependendo do que ela for no léxico. Por exemplo, se em uma frase possuirum adjetivo (peso = 1) e um advérbio (também com peso = 1) e ambos forem positivosde acordo com o léxico, o peso desta frase será igual a 2. A frase com o maior pesorepresentará o sentimento de todo o documento.

A POS Tagging é utilizada para extrair padrões de frases sentimentais [187], porexemplo, frases que contenham um adjetivo seguido de um substantivo, e atribuir pesospara palavras dependendo de sua classe morfológica [102, 74].

Context-based

Algumas pesquisas procuraram fazer uma AS independente de domínio e con-sideraram o contexto em que as palavras estão inseridas para descobrir seu significado[10, 36].

Em [20] é proposto um classificador de sentimento que permite ser alternadoentre o domínio de origem e o de destino. Para isso, foi adotado um classificador de


sentimentos que usa um dicionário de sinônimos de palavras sentimentais (Sentiment

Sensitive Thesaurus) que são automaticamente extraídas do domínio.Para superar o problema de incompatibilidade de recurso na classificação de sen-

timentos de domínios diferentes, foram utilizados dados rotulados de múltiplos domíniosde origem e dados não rotulados de domínios de origem e de destino para calcular a se-melhança dos recursos e construir o Sentiment Sensitive Thesaurus. Em seguida, esse foiutilizado para expandir o vetores de recursos durante o treino de um classificador binárioque classifica os dados em positivos e negativos.

Em [67] é proposto o algoritmo Topical Correspondence Transfer (TCT) queidentifica informações específicas de cada domínio e unifica os domínios em tópicoscomuns a eles. Com isto, subtópicos de tópicos comuns entre os domínios podem serutilizados como um meio para reduzir a diferenças entre os domínios.

Stemming

Stemming é uma técnicas de Processamento de Linguagem Natural (PLN) quebusca reduzir palavras derivadas ou flexionadas para uma base comum. Por exemplo,a palavra cars se torna car. Para fazer isso, geralmente, o Stemming usa um processoheurístico que corta o final da palavra ou remove afixos [72].

Na AS, Stemming é muito utilizado na etapa de pré-processamento para que aspalavras de uma frase possam ser mais facilmente encontradas com base em um léxico[202, 49]. Para fazer isso são utilizadas ferramentas já existentes, como a StanfordNLP ea OpenNLP, ambas citadas na subseção 3.7.

Term Frequency

Frequência do Termo (Term Frequency - TF) é utilizado para saber quais termosde determinadas classes sentimentais estão mais presentes nas frases analisadas [113, 30].

Uma maneira mais complexa de se calcular essa frequência é usando a Frequên-cia do Termo-Inverso da Frequência nos Documentos (Term Frequency–Inverse Docu-

ment Frequency - TF-IDF). A TF é a frequência de um determinado termo em um docu-mento em relação ao total de termos do documento. Já a IDF mede a raridade de um termoem um conjunto de documentos. TF-IDF é a multiplicação dessas duas medidas [72]:

T F− IDF(t) = T Ft,d · log Nd ft

,

onde T Ft ,d é a razão entre a quantidade de vezes em que um termo t aparece emum documento d e o total de termos do documento, N é a quantidade total de documentose d ft é a quantidade de documentos que contém o termo t.

3.3 Origens e domínios dos dados 47

Assim, o valor TF-IDF de uma palavra aumenta à medida em que ela ocorre emum documento, mas como é comum algumas palavras ocorrerem com maior frequência doque outras, o TF-IDF é equilibrado pela frequência da palavra no conjunto de documentos.

Emoticons

Emoticons são fortes indicadores de sentimentos e também são utilizados para aAS em pesquisas como [178, 208].

Para a classificação de sentimento em tweets, foi adotado em [178] um léxicode palavras separadas por emoções (felicidade, tristeza, raiva, surpresa, medo e neutro) eoutro léxico específico para emoticons também separados pelas emoções.

Para determinar a relevância de cada emoticon em cada sentimento foi utilizadaa seguinte fórmula:

Si(e j) =∑k co_ f req(e j,swi j)

∑k ∑l co_ f req(e j,swlk)· log10( f req(e j)),

O primeiro multiplicador representa o fator qualidade, enquanto que o segundorepresenta o fator quantidade. f req(e j) é a frequência do emoticon e j no corpus eco_ f req(e j,swik) é a frequência que uma emoticon e j e uma palavra emocional swik deuma mesma emoção co-ocorrem em uma mensagem no corpus.

Em [124] foi utilizado uma plataforma de crowdsourcing para gerar um léxicoassociando emoções às palavras. Esse léxico foi utilizado para quantificar as palavrasemocionais contidas em cartas de amor, e-mails de ódio e cartas de suicídio. Isto permitiusaber quais emoções foram mais presentes em cada tipo de texto. Entretanto, para saberquais palavras contribuíram para uma certa emoção foi calculada a Relative Salience decada palavra associada a esta emoção:

RelativeSalience(w|T1,T2) =f1N1− f2

N2,

onde w representa a palavra, T1 e T2 dois textos de tipos diferentes, f1 afrequência da palavra em T1, f2 a frequência da palavra em T2 e N1 e N2 a quantidadede termos nos textos T1 e T2, respectivamente.

As regras de alteração da emoção utilizadas foram: um termo de negação juntocom outro de felicidade implica em uma frase de tristeza, um termo de negação junto comoutro de tristeza implica em uma frase neutra e um termo de negação junto com outro deraiva implica em uma frase neutra.

3.3 Origens e domínios dos dados

A AS utiliza textos para analisar o sentimento expresso sobre determinado alvono texto. Os alvos, geralmente, são produtos e os textos utilizados para as análises são


opiniões sobre esses produtos ou sobre suas características específicas. Por exemplo, aanálise de um comentário de uma câmera digital pode identificar uma opinião positivasobre a sua cor, mas outra negativa sobre o seu preço.

Existem diferentes fontes para se coletar textos para a AS, como questionáriose entrevistas, mas a principal delas é a internet. A quantidade de usuários que usam ainternet vem crescendo a cada ano e com o advento das redes sociais, o volume de textosopinativos é enorme. Além disto, a grande maioria das opiniões expressas na internetsão feitas de forma voluntária, não sendo necessário solicitar às pessoas para que elasexpressem suas opiniões.

Como mostrado na Figura 3.4, existem alguns sítios na internet que são maisutilizados para a coleta dos dados para a AS. O principal deles é o Amazon9, seguidopelo IMDb10, Twitter11, Facebook12 e Tripadvisor13, respectivamente. O site da Amazoncontém uma grande quantidade de comentários sobre diversos produtos, enquanto queo IMDb é específico para avaliações de filmes. Já o Twitter é um microblog onde seususuários possuem interconexões entre si e compartilham comentários com um limite de140 caracteres. Facebook é a rede social mais utilizada no mundo e permite que seususuários compartilhem e comentem conteúdos. Por fim, o Tripadvisor é um site ondeusuários podem dar dicas, comentários e avaliações sobre hotéis e viagens.

Figura 3.4: Origens de dados mais frequentes utilizadas na AS.

Os sites citados na Figura 3.4 são os mais utilizados pela AS, mas existem muitos

9http://www.amazonreviews.com/ (último acesso em 18 de fevereiro de 2015)10http://www.imdb.com/ (último acesso em 18 de fevereiro de 2015)11https://twitter.com/ (último acesso em 18 de fevereiro de 2015)12https://www.facebook.com/ (último acesso em 18 de fevereiro de 2015)13http://www.tripadvisor.com/ (último acesso em 18 de fevereiro de 2015)


outros de onde pode-se extrair textos, como Epinion14, YouTube15, fóruns16 e sites deprojetos universitários que disponibilizam dados gratuitamente para fins acadêmicos17.

Os principais domínios de dados utilizados para a aplicação da AS são mostradosna Figura 3.5. Comentários e avaliações de filmes ou vídeos, dispositivos móveis (celu-lares, smartphones, tablets, e-readers) e livros são os mais utilizados na AS nos últimosanos.

Uma técnica desenvolvida para um certo domínio pode não ter uma boa eficáciaem outros domínios. O que é caracterizado como positivo em um domínio pode não ser emoutro. ter uma polaridade neutra no domínio de doenças de câncer, mas ter uma polaridadenegativa fora dele. Sendo assim, algumas pesquisas, como em [206, 16, 189, 30, 67] sãovoltadas para a criação de léxicos independentes de domínio.

Figura 3.5: Domínios de dados mais frequentes na AS.

Os domínios dos dados estão relacionados com suas origens. Comparando asFiguras 3.5 e 3.4 é possível perceber isso. O IMDb é específico para avaliações defilmes e a Amazon, Twitter e Facebook também possibilitam comentários de filmes, issocontribui para que esse domínio seja o mais utilizado pelas pesquisas em AS. Dispositivosmóveis e livros também possuem uma grande quantidade de comentários no site daAmazon, a principal fonte de dados para as pesquisas de AS. Por fim, muitos dos dadosreferentes a hotéis e viagens são coletados do Tripadvisor. voltadas para a criação deléxicos independentes de domínios [206, 16, 189, 30, 67].

14http://www.epinions.com/ (último acesso em 18 de fevereiro de 2015)15https://www.youtube.com/ (último acesso em 18 de fevereiro de 2015)16http://csn.cancer.org/ (último acesso em 18 de fevereiro de 2015)17http://www.cs.cornell.edu/people/pabo/ (último acesso em 18 de fevereiro de 2015)

3.4 Classes de emoções ou polaridade 50

3.4 Classes de emoções ou polaridade

A AS busca identificar as emoções ou polaridades (positiva ou negativa) nostextos analisados. Como mostrado na Figura 3.6, a maioria dos artigos não classifica ostextos em emoções, mas sim de acordo com sua polaridade. Assim, eles são classificadoscomo positivos se possuírem um valor maior do que um limiar estabelecido e negativo,caso contrário.

Os artigos que classificam textos como positivos também os classificam comonegativos. Por isso, como mostrado na Figura 3.6, a quantidade de artigos que classificamos textos tanto como positivos quanto negativos é a mesma.

Para classificar um texto como positivo ou negativo é necessário primeiro iden-tificar se ele é um texto é subjetivo ou objetivo. Se for subjetivo, ele poderá ter umapolaridade positiva ou negativa. Se for objetivo, poderá ser classificado como neutro.

Alguns artigos, como em [202], apenas classificam o texto como subjetivo ouobjetivo. Já outros possuem uma granularidade maior e classificam o texto de acordocom a intensidade da polaridade, por exemplo, muito positivo, positivo, neutro, negativoe muito negativo [38]. Essas classes são delimitadas por limiares preestabelecidos.

Figura 3.6: Classes de emoções ou polaridades mais frequentes naAS.

Outros artigos fazem uma classificação maior dos textos e utilizam para isso, asemoções [114, 129, 210, 133, 16, 18, 203, 130, 175]. As principais são raiva, medo,desgosto, felicidade, surpresa e tristeza. De acordo com Dalgleish [39], estas são asemoções básicas do ser humano. As demais emoções são variações delas. Por esse motivo,entre as emoções, essas são as mais utilizadas para classificar textos em AS.

3.5 Métricas 51

3.5 Métricas

A Figura 3.7 mostra as métricas mais utilizadas para avaliar a AS. Nesta seção éexplicada cada uma delas.

Figura 3.7: Métricas mais frequentes utilizadas na AS.

A acurácia mede a porcentagem de textos classificados corretamente. Sua fór-mula é

Acuracia(T ) = 100 · |Instacerto(T+)||Insttotal(T+)| ,

onde Instacerto(T+) é a quantidade de instâncias (textos) classificados correta-mente pela técnica T e Insttotal(T+) é o total de instâncias utilizadas para a análise. NaAS, para saber quais textos foram classificados corretamente é muito utilizada as classi-ficações realizadas por opinião humana. Assim, essas são confrontadas com as classifica-ções realizadas pela máquina para saber qual a acurácia do método utilizado.

Já a precisão e a revocação são métricas utilizadas em classes. Na AS, elas sãoutilizadas nas classes de emoções ou polaridades. Em mineração de dados, a precisão é afração de instâncias buscadas que são relevantes, enquanto que a revocação é a fração deinstâncias relevantes que foram buscadas. A fórmula da precisão é:

Precisao(C) = 100 · |Instclasse(C+)⋂

Instreal(C+)||Instclasse(C+)| ,

onde Instclass(C+) é a quantidade de instâncias classificadas pela máquina comosendo pertencentes à classe C e Instreal(C+) e a quantidade de instâncias que deveriam serclassificadas como pertencentes à classe C. Utilizando as mesmas variáveis de precisão, afórmula de revocação é:

Revocacao(C) = 100 · |Instclasse(C+)⋂

Instreal(C+)||Instreal(C+)|

3.5 Métricas 52

F1 é uma média harmônica entre precisão e revocação. Uma precisão muito altatende a ter uma revocação baixa e vice-versa. Senso assim, uma média harmônica entreelas é útil para mensurar a real eficácia de um método. Sua formula é:

F1 = 2 · (Precisao·Revocacao)(Precisao+Revocacao)

Para mensurar a eficiência da técnica utilizada para a AS, muitos artigos medemo tempo de processamento. Em [160] foi medido o tempo de execução do classificadorNaïve Bayes considerando conjuntos de termos (n-grams) de diferentes tamanhos. Em[126] foi medido o tempo de treinamento dos dados de três algoritmos: Support Vector

Machines, Naïve Bayes e Artificial Neural Networks. Já [62] mediu o tempo de proces-samento do classificador linear Confidence-Weighted alterando a quantidade de dadosutilizados.

Entropia e pureza são métricas utilizadas para avaliar a qualidade de grupos(cluster). Em um mesmo grupo podem conter várias instâncias de uma mesma classe desentimento. Assim, a pureza mede o tamanho do grupo em relação a sua classe dominante.A pureza de um grupo C é definida por:

P(C) = 1nmax

h(n(h)),

onde n é o número de instâncias do grupo C e nh é o número de instâncias de C

que pertencem à classe h.Já a entropia mede o quão desordenado é um grupo de acordo com suas classes.

Utilizando as mesmas variáveis da fórmula de pureza e c representando a quantidade declasses, a entropia é calculada como:

H(C) =− 1logc ∑

ch=1

n(h)n log(n(h)

n )

Quanto menor o valor da entropia, menos heterogêneo é o grupo formado e,consequentemente, maior qualidade ele possui.

Na AS, pureza e entropia não avaliam diretamente a eficácia das classificaçõesdos textos, mas são utilizadas em atividades de pré-processamento. Em [89], antes deser realizada a AS, são extraídas características do alvo citado no texto. Assim, purezae entropia são utilizados para avaliar a qualidade de grupos de características formados.Já em [207], essas métricas são utilizadas durante a construção do léxico. Termos quepossuem emoções similares devem ser agrupados em um mesmo grupo e as métricaspureza e entropia são utilizados para avaliar a qualidade destes grupos.

3.6 Idiomas 53

3.6 Idiomas

Assim como algumas técnicas de AS são dependentes do domínio, elas tambémpodem ser dependentes do idioma em que os textos se encontram. Isto se deve ao fato danecessidade de se entender o significado de um termo para pontuar sua polaridade. Apesardisso, algumas pesquisas buscam desenvolver uma AS que suporte mais de um idioma.

Em [71, 70] foram utilizados textos de múltiplas fontes de linguagens e adotadoaprendizado semi-supervisionado para traduzi-los. Já [141] utilizou ontologia para reali-zar a MO baseada em características de forma independente do domínio e do idioma dotexto. A Figura 3.8 mostra todos os idiomas encontrados nos artigos pesquisados para osquais a AS foi desenvolvida.

Figura 3.8: Idiomas mais frequentes utilizadas na AS.

A maioria dos artigos que consideram outro idioma, não o fazem de formaisolada, consideram também o inglês. Isto faz com que a quantidade de artigos queutilizam o idioma inglês seja bem maior do que os que utilizam outros idiomas.

3.7 Ferramentas

Existem muitas ferramentas que podem ajudar na AS. Algumas são específicasda AS e classificam os textos em polaridades ou emoções. Já outras apoiam a AScom atividades de pré-processamento, como tradução e radicalização dos termos. Asferramentas mais utilizadas na AS são citadas na Figura 3.9.

Entre as ferramentas desenvolvidas especificamente para AS, as mais utilizadaé a SentiWordNet18. Ela classifica o texto em três classes: positivo, negativo e objetivo

18http://sentiwordnet.isti.cnr.it/ (último acesso em 18 de fevereiro de 2015)

3.7 Ferramentas 54

Figura 3.9: Ferramentas mais frequentes utilizadas na AS.

(neutro). Para essa classificação é utilizado o WordNet19, um grande banco de dadosléxico para o idioma inglês muito adotado pelas ferramentas de AS. A licença daSentiWordNet permite que ela seja utilizada em aplicações comerciais.

O MATLAB20 é um software pago de linguagem de alto nível e ambienteinterativo que pode ser utilizado pela AS para implementar algoritmos de aprendizadode máquina.

O WEKA21 é um software gratuito desenvolvido em Java que possibilita utilizartécnicas de aprendizado de máquina para tarefas de mineração de dados.

Já o RapidMiner22 é um software também gratuito e possui um ambiente inte-grado para aprendizado de máquina, mineração de dados, mineração de textos, análisepreditiva e análise de negócio. O RapidMiner é utilizado pela AS para tarefas de pré-processamento dos textos, como tokenization, radicalização, remoção de palavras muitofrequentes (stop words) e representação em vetor.

Como muitas ferramentas já existentes de AS foram construídas para o idiomainglês, ao querer utilizá-las em textos com outro idioma é necessário traduzir os textos.Para isso a ferramenta mais utilizada é o Google Translator23. Ela é paga e possui umlimite de uso de dois milhões de caracteres traduzidos por dia.

StanfordNLP24 e OpenNLP25 são conjuntos de ferramentas gratuitas utilizadaspara o Processamento Natural de Linguagem (PNL). Os softwares suportados pela Stan-

19http://wordnet.princeton.edu/ (último acesso em 18 de fevereiro de 2015)20http://www.mathworks.com/products/matlab (último acesso em 18 de fevereiro de 2015)21http://www.cs.waikato.ac.nz/ml/weka/ (último acesso em 18 de fevereiro de 2015)22https://rapidminer.com/ (último acesso em 18 de fevereiro de 2015)23https://translate.google.com/ (último acesso em 18 de fevereiro de 2015)24http://nlp.stanford.edu/ (último acesso em 18 de fevereiro de 2015)25https://opennlp.apache.org/ (último acesso em 18 de fevereiro de 2015)

3.7 Ferramentas 55

ford NLP são, em sua maioria, escritos em Java. Mas por ser de código aberto, algumasdelas já são utilizáveis em outras linguagem, como Python, Ruby, Perl, Javascript e F#.

O OpenNLP é da Apache Software Fundation e, assim como o Stanford NLP, éde código aberto e oferece suporte à linguagem Java. Entre as tarefas que estas ferramentaspodem executar, estão: Tokenization, segmentação de sentença, Part-Of-Speech (POS)Tagging, extração de entidade, Parsing e resolução de correferência.

Mechanical Turk da Amazon26 é um mercado de trabalho para tarefas queexigem inteligência humana. Uma organização que deseja obter resultados de tarefas queo ser humano ainda executa melhor do que máquinas, pode utilizar esse serviço paraacessar milhares de operadores que podem executar essas tarefas com um baixo custo, altaqualidade e rapidez. Esse serviço é utilizado pela AS para seres humanos classificaremtextos através de suas opiniões e, com isso, ser possível mensurar o quão eficaz é uma ASfeita por máquina.

As subseções a seguir citam alguns exemplos de ferramentas que possibilitam aAS. Elas são utilizadas para comparação com a ferramenta proposta neste trabalho.

3.7.1 AlchemyAPI

A AlchemyAPI possibilita analisar sentimentos, mas não se restringe a isso,com ela é possível também extrair informação de imagens, identificar idiomas, identificarentidades e aplicar outras técnicas de Processamento de Linguagem Natural (PLN) [4].

Ela tem suporte para os idiomas inglês e alemão e pode ser usada por aplicaçõesdesenvolvidas em Java, C/C++, C#, Perl, PHP, Python, Ruby, Javascript e também podeser utilizada por aplicativos Android OS [4].

Apesar de sua documentação não ter uma descrição completa de como a ASé feita, a AlchemyAPI utiliza análise linguística para compreender como as palavras efrases se conectam no texto e análise estatística para compreender os termos escritos deforma diferente da usual. Assim, essa última análise é útil para compreender textos deredes sociais, tais como blogs, fóruns, artigos de notícias, tweets e postagens no Facebook. Ela utiliza algoritmos de aprendizagem de máquina para analisar o sentimento de umtexto em nível de documento, entidade ou palavra.

Os resultados da análise podem ser produzidos nos formatos XML, JSON ouRDF [5]. A sua versão gratuita permite, por meio do uso de um token de acesso limitado,executar até mil transações diárias e cinco solicitações simultâneas [4].

26https://www.mturk.com/mturk/welcome (último acesso em 18 de fevereiro de 2015)

3.7 Ferramentas 56

3.7.2 Semantria

A Semantria permite pesquisar ou categorizar textos. Ela possibilita buscas nostextos, classificação de seu conteúdo, reconhecimento de entidades, remoção de termosde acordo com uma lista negra e identificação dos sentimentos em frases [104].

Essa ferramenta suporta os idiomas inglês, francês, português, espanhol, alemão,mandarim e italiano. Ela fornece muitas bibliotecas para várias linguagens de programa-ção: C++, Java, PHP, .NET, Python, Ruby e JS. Sua versão gratuita permite até dez miltransações [103].

Para determinar o sentimento de um texto, a Semantria primeiro identificafrases sentimentais por meio de padrões, depois utiliza um léxico para atribuir pessossentimentais às palavras, modifica esses pesos com intensificadores de sentimentos e, porfim, utiliza um classificador próprio para classificar o sentimento do texto.

Uma escala logarítmica é utilizada para essa classificação. Ao contrário daescala linear, onde a diferença entre dois valores consecutivos é uma constante, na escalalogarítmica o valor seguinte tem um aumento exponencial [103].

Duas pontuações diferentes podem ser utilizadas pela Semantria dependendodo que está sendo analisado, se é um componente ou um documento. Componentes sãotemas, tópicos e entidades que recebem uma pontuação de -10 a 10. Enquanto a pontuaçãode documentos varia de -2 a 2. Para determinar se o sentimento no documento é neutro,ele deve ter uma pontuação superior a -0.45 e menor do que 0.5. Enquanto para umcomponente, a pontuação deve variar entre -0.05 e 0.22 para que ele seja neutro [103].

A Semantria analisa os sentimento de textos curtos e longos de forma diferente.O tamanho do texto é automaticamente verificado e a AS é feita de acordo com o tamanhodo documento. Em [103] é dito que a Semantria pode conseguir uma precisão entre 60 e65% em textos curtos e entre 70 e 75% em textos longos.

Ela permite o processamento de uma fila de documentos, cada documento sendoprocessado de forma independente. As requisições devem conter objetos XML ou JSONe podem ter três parâmetros: ID do documento, texto do documento e uma tag opcional narequisição POST [104]. Sendo uma ferramenta paga, os limites de solicitações dependemdo plano adquirido pelo usuário, que vão desde USD $749 até USD $2.999 por mês [105].

3.7.3 SentiStrength

A SentiStrength é uma API feita em Java e utiliza várias técnicas diferentespara extrair, simultaneamente, forças sentimentais positivas e negativas de textos emmeios digitais. Entre as técnicas estão: lista de forças de palavras sentimentais, correçãoortográfica, palavras que alteram a força sentimental de outras palavras, palavras denegação que invertem os sentimentos, caracteres repetidos que intensificam o sentimento,

3.7 Ferramentas 57

lista de emoticons, pontuações repetidas que aumentam ou diminuem o sentimento,sentimentos ignorados em sentenças interrogativas [181].

Essa ferramenta suporta os idiomas: inglês, finlandês, alemão, holandês, espa-nhol, russo, português, francês, árabe, polonês, persa, sueco, grego, galês, italiano e turco.Ela pode ser utilizada com as seguintes linguagens de programação: Java, Python e Ruby[181].

Ao analisar um texto, a SentiStrength separa cada palavra do texto e, se umadelas for encontrada na lista de termos, a força sentimental do termo da lista é atribuídaao termo do texto. Depois de todas as palavras do texto terem sido consideradas, apenasa força mais positiva e a mais negativa do texto são somadas e o resultado é usado paraclassificar o texto. Ele é classificado, de acordo com o sinal do resultado, como positivoou negativo. Se o resultado for igual a zero, o texto é classificado como neutro.

Os procedimentos de decodificação dos textos e os métodos não convencionaisusados para dar forças sentimentais às palavras fizeram com que a SentiStrength apre-sentasse melhores resultados do que os métodos padrões de aprendizagem de máquina(regressão logística simples, SVM, SMO, árvore de classificação J48, classificador base-ado em regras JRip, AdaBoost, Multilayer Perceptron, Naïve Bayes) [164].

De acordo com [181], a acurácia da SentiStrength foi avaliada por três progra-madores. Um sistema on-line (não descrito em [181]) mostrou os textos para eles quejulgaram, em uma escala de 1 a 5, as forças positivas e negativas existentes em cada texto.A média dos julgamentos dos três programadores foi calculada e arredondada para sercomparada com os julgamentos feitos pela ferramenta e, assim, descobrir de quanto foi aacurácia da ferramenta.

O SentiStrength é livre para a pesquisa acadêmica e seus arquivos utilizados naanálise são fornecidos separadamente, o que torna a sua personalização mais fácil. Issopermite adicionar, remover ou traduzir os termos desses arquivos a fim de ter uma análisecom um resultado melhor [164].

3.7.4 Textalytics

A Textalytics, além de identificar a polaridade do sentimento do texto, tambémoferece outros serviços: identificação do alvo do sentimento, tema do texto, intenção oudesejo de comprar um produto, perfil do autor e relação entre pessoas e empresas [119].

Os idiomas suportados dependem do serviço que está sendo utilizado. Para aAS, os idiomas inglês, espanhol e francês são suportados. A Textalytics pode ser utilizadacom as linguagens de programação Java, PHP, Python e Visual Basic. Além disso, elatem uma extensão para o Excel que permite analisar textos semanticamente utilizandoplanilhas [119].

3.8 Desafios 58

A análise é executada em nível de sentença. Assim, a Textalytics primeiro reco-nhece as polaridades de certas sentenças do texto e, em seguida, com essas polaridades,determina o sentimento global do texto [118].

Além disso, ela usa técnicas de PLN para descobrir a relação entre sentimentos eentidades encontradas no texto. Por exemplo, a Lemmatization reduz a forma flexionadadas palavras, POS Tagging classifica os termos de acordo com suas classes morfológicase a análise sintática representa os termos em uma árvore de sintaxe onde as folhas são oselementos mais básicos [118].

As polaridades dos sentimentos variam de -1 e 1 e são classificados pela Tex-talytics como: P+ (muito positivo), P (positivo), NEU (neutro), N (negativo) e N+ (muitonegativo).

As análises são feitas através de solicitações HTTP ou HTTPS usando osmétodos GET ou POST. Os pedidos devem especificar o formato do retorno esperado(XML ou JSON) e uma chave de acesso fornecida com o registo no site [119]. No planogratuito, essa chave é válida por aproximadamente 1 ano, permite 500.000 créditos pormês (2 palavras equivalem a 1 crédito) e suporta até 5 requisições por segundo.

3.8 Desafios

As dificuldades mais percebidas nos artigos pesquisados e que podem servircomo pesquisas futuras estão relacionadas à dependência de domínio e de idioma. Comoa AS utiliza textos, eles podem ter significados diferentes dependendo do contexto em queestão inseridos e é necessário que as ferramentas empregadas consigam processá-los emum determinado idioma, o que nem sempre é possível devido à grande variação léxica,sintática e semântica entre as linguagens.

Muitas abordagens empregadas pela AS não apresentam bons resultados. Issodeve-se ao fato da dificuldade em compreender o real significado expresso no texto.Muitas delas contém ironia ou sarcasmo que, se não percebidos, geram significadoscontrários do real. Além disto, por serem textos coletados em meios digitais (redes sociais,micro blogs, fóruns), muitos deles estão com grafia diferentes da correta, seja por enganodo autor ou por abreviações comumente utilizadas na internet. Isto exige um bom pré-processamento dos textos antes de serem analisados.

Novas pesquisas estão utilizando outros recursos para analisar o real sentimentoexpressos por pessoas: em [210, 18, 122, 144] são utilizados recursos visuais para aidentificação de expressões faciais; [57], além de utilizar expressões faciais, tambémconsidera a forma como as teclas do teclado do computador são utilizadas; [28, 159]consideram os sinais fisiológicos e [203], além de utilizar expressões faciais, tambémconsidera o áudio da pessoa.

3.8 Desafios 59

3.8.1 Taxonomia

Um outro desafio da área de AS é a clara compreensão de seus conceitose nomenclaturas. Devido ao seu grande crescimento nos últimos anos, vários autorescriaram novos conceitos enquanto outros, deram novos nomes à conceitos já existentes.Isto cria uma confusão dos conceitos de AS que pode prejudicar ou até mesmo impedir oentendimento claro do que cada trabalho de AS aborda. Assim, uma forma de organizar oconhecimento nessa área é a adoção de uma hierarquia que organize a AS em níveis.

Por isso, o capítulo seguinte apresenta uma proposta de taxonomia hierárquicaque possibilita um entendimento mais claro dos conceitos e terminologias existentes naárea. Essa taxonomia é mais expressiva e eficaz do que qualquer outra classificação detécnicas de AS já existentes na literatura.

CAPÍTULO 4Taxonomia

Por sua multidisciplinaridade e sua vasta aplicação, a AS está atraindo cada vezmais o interesse dos pesquisadores. Por exemplo, uma busca em junho de 2015 na baseIEEE Xplore por artigos publicados entre 2010 e 2015, usando palavras-chave relaciona-das como Sentiment Analysis, Opinion Mining, Emotion Identification e Feeling Detection

— ((“Emotion” OR “Feeling” OR “Sentiment” OR “Opinion” OR “Personality” OR

“Subjectivity”) AND (“Mining” OR “Analysis” OR “Identification” OR “Detection”)

OR (“Sentic Computing”)) — é possível perceber o rápido crescimento da área de AS.Como mostrado na Figura 4.1, o número de artigos aumentou de 92 em 2011 para 206 em2014, um aumento de 124%.

Figura 4.1: Quantidade de artigos de AS publicados entre os anosde 2010 até 2015, buscando pelo título, na base dedados da IEEE Xplore.

Os temas de pesquisas em AS podem ser de diferentes comunidades e elas podemcomunicar-se entre si. Por exemplo, o trabalho em [124] é da comunidade ComputaçãoLinguística e usa abordagem léxica para analisar sentimentos em cartas de amor, e-mailsde ódio e cartas de suicídio no nível de palavra. O trabalho em [160] usa técnicas dacomunidade de Aprendizagem de Máquina para analisar o sentimento em comentários

61

de filmes no nível de sentença. Já outros trabalhos combinam ambos, ComputaçãoLinguística e Aprendizado de Máquina [56, 203, 49]. Isso pode levar à uma confusãoe disseminação dos conceitos de AS.

Os trabalhos de AS podem ser dependentes de domínios ou linguagens. Osdomínios incluem livros, filmes, produtos eletrônicos [36, 30], biologia [28, 28, 122].Como as técnicas de AS são fortemente dependentes das palavras e sentenças dos textos,linguagens distintas também levam à abordagens distintas. Consequentemente, há umavariedade de pesquisas baseadas em idiomas como o inglês [112, 97, 128], o chinês[201, 110, 178] e outros.

O foco da AS também é diversificado. Por exemplo, existem trabalhos queclassificam os textos em sentimentos [84, 205, 30]), enquanto outros, em emoções [114,159, 178]. As emoções são definidas como expressões pré-conscientes do sentimento epodem influenciar outras culturas [19]. Os sentimentos são formados pela experiênciade várias emoções. Experiências de emoções passadas podem causar um sentimento emuma pessoa [127]. Diferente de emoção, sentimento é universal. Além disso, emoção émomentâneo e sentimento é duradouro.

A proliferação de artigos e a variedade de temas e objetivos da AS levaram àduplicação de conceitos com diferentes nomenclaturas ou o desenvolvimento de conceitosmuito semelhantes. Como um exemplo, o nome da área propriamente dita não é umconsenso. A maioria dos autores se referem a ela como Análise de Sentimento ouMineração de Opinião, enquanto outros usam termos diferentes, como Mineração deSentimento [136], Análise de Atitude [130], Análise de Emoção [15], entre outros.Neste trabalho, essa área é referenciada como Análise de Sentimento (AS) por ser anomenclatura mais usada na literatura.

A falta de uma organização afeta as revisões da literatura, a compreensão doestado da arte da AS e as comparações de soluções. Assim, vários outros conceitos eclassificações relacionadas à AS têm sido criadas sem considerar termos previamente jádefinidos na literatura. Como consequência, há muitos termos redundantes ou mesmoconflitantes entre os trabalhos de pesquisa dessa área.

Considerando a necessidade de organizar as pesquisas de AS, este trabalhopropõe uma taxonomia que visa importantes contribuições:

• Suporte à indexação, pois auxilia na classificação de trabalhos antigos e novos emSA.• Suporte à pesquisa, pois os termos hierarquicamente organizados permitem pesqui-

sar por termos mais amplos ou mais restritos da área. Combinando esses termos, ousuário pode encontrar um tema específico com maior precisão.• Maior expressividade, por abranger uma gama maior de conceitos e definições

encontradas na literatura.

4.1 Problema 62

• Maior efetividade, por oferecer uma categorização mais exata dos termos e concei-tos dessa área, facilitando a comparação dos trabalhos nela existentes.

Para a elaboração desta taxonomia foi realizada uma pesquisa de duas etapas.A primeira foi uma pesquisa em largura, buscando identificar uma quantidade maisabrangente de temas da área. Para essa etapa foram considerados surveys publicados nosanos de 2013 até 2015 como ponto de partida. A pesquisa focou em artigos survey poreles tenderem a apresentar uma visão geral de uma área, introduzindo terminologias etambém apresentando uma organização das soluções dos problemas. Além dos surveys,artigos referenciados por eles também foram coletados. A coleção final contém 3.513diferentes artigos variando de 1990 até 2015. As fontes utilizadas foram: ACM DigitalLibrary, IEEE Xplore, Google Scholar, ScienceDirect, SpringerLink, Web of Science eCiteSeer.

Na segunda etapa foram identificados e organizados hierarquicamente os assun-tos encontrados nos artigos coletados na primeira etapa. Os assuntos de maior nível foramidentificados e referenciados como facetas, correspondendo ao primeiro nível da hierar-quia. Duas principais facetas foram identificadas nessa etapa: Problema e Método. Elassão mostradas na Figura 4.2 e descritas nas subseções seguintes.

4.1 Problema

A primeira faceta identificada refere-se ao conceitos relacionados aos problemasabordados em AS. São conceitos que definem melhor o problema e mostram a razão dese aplicar AS.

4.1.1 Dados

A entrada mais comum usada para solucionar um problema com AS é o texto.No entanto, as soluções em AS diferem em como elas esperam a formatação dos dadospara analisar o sentimento do texto. Em geral, as entradas são classificadas em dados nãoestruturados, semi-estruturados, ou estruturados (Figura 4.2).

A maioria das soluções em AS propostas na literatura esperam entrada de dadosnão estruturados, o que significa que eles trabalham diretamente com os textos brutosfornecidos na entrada. De acordo com um estudo conduzido por IDC [61], mais de 90%dos dados existentes na web são não estruturados. A maioria dos dados usados em ASsão extraídos da web [152] e textos opinativos contidos na web são tipicamente nãoestruturados [95]. Assim, os dados usados em AS são não estruturados na maioria doscasos.

4.1 Problema 63

Figura 4.2: Taxonomia proposta.

No entanto, algums trabalhos esperam que o texto de entrada seja pré-processadopara que se tenha dados no formato semi-estruturado ou até mesmo estruturado. Dadossemi-estruturados não seguem um padrão, uma estrutura pré-definida. Cada dado é

4.1 Problema 64

composto por um conjunto de atributos (que impõem uma estrutura mínima para o dado),mas esse conjunto pode ser distinto do conjunto de atributos de outro dado na coleção[51].

O trabalho em [135] é um exemplo de solução que requer entrada semi-estruturada. Nesse trabalho, a entrada esperada é um gráfico onde os nós correspondemàs palavras do texto original de entrada e as arestas são as polaridades existentes entre aspalavras. Assim, uma sentença que comece com um sentimento positivo pode tornar-senegativa quando é encontrada uma palavra que possa mudar todo o sentimento dela.

Em uma coleção de dados estruturados, cada dado é composto pelo mesmo con-junto de atributos fixos. Esse é o caso de bancos de dados relacionais, onde cada registro(dado) em uma tabela é formado pelo mesmo conjunto de atributos [51]. Muitos trabalhosem AS [87, 154, 183] exigem que o texto bruto seja pré-processado e armazenado em umbanco de dados estruturado.

4.1.2 Tipo de opinião

Analisar opiniões buscando por subjetividade é apenas uma maneira direta parainterpretar as opiniões sobre um objeto. Outra maneira é por meio de comparações [88].Confrontando um objeto com um outro é possível saber qual é o melhor. Esse tipo deanálise pode fornecer mais informação do que apenas a análise positiva ou negativa dotexto, pois quando alguém diz que algo é bom, uma comparação deve ter sido feita antes.Assim, segundo Liu [106], existem quatro tipos de comparações:

1. Graduável sem igualdade: comparação de dois objetos indicando que um é melhorou pior que o outro.

2. Equitativa: comparação de dois objetivos igualando-os em alguma característica.3. Superlativa: comparação indicando que um objeto é o melhor ou o pior em relação

a todos os outros objetos comparados.4. Não graduável: comparação de características de dois ou mais objetos, mas sem

indicar qual é melhor ou pior. Suas variações são:

(a) Uma característica de um objeto pode ser semelhante ou diferente à de outro.Exemplo: “O refrigerante A tem gosto diferente do B.”;

(b) A característica de um objeto pode ser substituída pela característica de outro.Exemplo: “PCs desktop usam aulo-falantes externos, mas laptops usam alto-falantes internos.”;

(c) Um objeto tem uma característica que o outro não tem. Exemplo: “O celularA tem fone de ouvido, mas o B não tem.”.

Assim, embora seja comum analisar opiniões buscando por subjetividades, asopiniões também podem ser analisados utilizando comparações que ajudam a identificarpontos positivos e negativos de uma entidade em relação à outra.

4.1 Problema 65

4.1.3 Classe alvo

Os artigos analisados classificam os textos pela polaridade ou pela emoção(Figura 4.2). A maioria do artigos de AS classificam os textos de acordo com suaspolaridades [65, 2]. Assim, eles são classificados como positivos se possuirem um valorde sentimento maior do que um limiar, caso contrário, são classificados como negativos.

Um texto pode ser classificado como positivo ou negativo se ele for um textosubjetivo. Mas existem sentenças objetivas que não expressas subjetividade. Assim, antesde classificar as sentenças de um texto como positivas ou negativas, deve-se identificarquais são as sentenças subjetivas no texto. Como exemplo, o trabalho em [202] apenasclassifica o texto como subjetivo ou objetivo, sem considerar a polaridade.

Há trabalhos que não consideram somente as classes positivo e negativo, eclassificam o texto de acordo com sua intensidade, por exemplo: muito positivo, positivo,neutro, negativo e muito negativo [170, 38]. Essa intensidade pode variar entre trabalhose são, geralmente, delimitadas por algum limiar preestabelecido.

Outros artigos fazem uma classificação maior dos textos e utilizam para issoas emoções [114, 16, 175]. Existem na Psicologia ao menos seis definições de emoçõesbásicas utilizadas pelos artigos que classificam os textos por emoções:

1. Plutchik [143]: aceitação, raiva, antecipação, desgosto, alegria, medo, tristeza esurpresa;

2. Tomkins [163]: desejo, felicidade, interesse, surpresa, admiração e tristeza;3. Frijda [60]: desejo, felicidade, interesse, surpresa, admiração e tristeza;4. Ekman [48]: raiva, nojo, medo, alegria, tristeza e surpresa;5. Izard [81]: raiva, desprezo, nojo, angústia, medo, culpa, interesse, alegria, vergonha

e surpresa;6. Parrot [140]: raiva, medo, alegria, amor, tristeza e surpresa.

Um aspecto bastante diverso nos trabalhos encontrados é sobre o que está sendoanalisado: se é a polaridade de uma atitude, sentimento, opinião ou emoção.

Segundo [19], atitude é simplesmente uma avaliação sobre uma entidade. Ela écomposta pela entidade que está sendo avaliada, uma avaliação e um agente que pratica aavaliação. Assim, uma pessoa pode ter uma atitude crítica em relação a alguma entidadee se expressar positivamente ou negativamente sobre ela.

Já emoções são definidas como expressões pré-conscientes de sentimentos e sãoinfluenciadas pela cultura. Uma emoção é difícil de ser descoberta por meio de textosdevido à dificuldade em se encontrar os indícios que podem caracterizar uma emoção:comentário cognitivo, reações internas (aceleração do batimento cardíaco, aumento daadrenalina, etc.) e externas (expressões corporais, transpiração, etc.) do corpo, sentimento

4.1 Problema 66

e tendências de ações específicas da emoção [127]. Devido a essas características, umaemoção pode ser identificada por outra pessoa, entretanto, essa emoção pode ser falsa.

O sentimento é formado por experiências de várias emoções. Diferente deemoção, sentimento é universal e não é influenciado pela cultura. Além disto, a emoçãoé momentânea e o sentimento é duradouro. Experiências de emoções passadas podemprovocar um sentimento em uma pessoa [127]. Partindo desse conceito, seria um equívocoo nome dado à área de Análise de Sentimento, uma vez que nela o sentimento não é vistocomo uma consequência de várias emoções passadas. Apesar disso, por convenção daárea, essa nomenclatura é utilizada neste artigo.

Além disso, sentimento pode ser expresso em inglês como “Sentiment” ou“Feeling”. Apesar deles serem muitas vezes usados para o mesmo propósito, há umasutil diferença: “Sentiment” refere-se a uma emoção específica, enquanto “Feeling” dizrespeito às emoções de um modo geral. Um exemplo de uma frase correta com osdois termos seria: “The sentiment with which she spoke touched my feelings.” [78] (“Osentimento com o qual ela falou, tocou meus sentimentos.”).

Por fim, opiniões são interpretações pessoais sobre uma entidade que podemou não serem associadas a uma emoção ou sentimento. Com isso, pode-se concluir queMO deveria ser voltada para a extração de opiniões, independente se elas contêm ou nãoemoções ou sentimentos [127].

4.1.4 Detentor da opinião

Quando uma opinião é detectada, uma problema é a identificação do detentor daopinião. Normalmente, ele é o autor do texto, mas também pode ser uma outra pessoareferenciada pelo autor no texto. Por exemplo, o detentor da opinião na sentença “Eu

gosto da qualidade das novas câmeras digitais” é o autor do texto. No entanto, nasentença “Meu amigo gosta da qualidade das novas câmeras digitais”, o detentor daopinião é o amigo do autor.

Existem artigos de AS que abordam técnicas específicas para a identificaçãoda detentores de opinião. Em [198] procuraram identificar quais características léxicassão mais relevantes para a extração de detentores de opiniões. Já em [31] propuseramidentificar o detentor da opinião usando Conditional Random Fields (CRFs) com váriosrecursos linguísticos definidos manualmente.

4.1.5 Alvo da análise

Um detentor de opinião expressa sua subjetividade sobre algum alvo. Comomostrado na Figura 4.2, existem, basicamente, os seguintes tipos de alvos em AS: pessoa,objeto e organização.

4.2 Método 67

Quando o alvo é uma organização, geralmente, o objetivo é identificar como ela évista pela sociedade. Para isso, pode-se analisar opiniões tanto da empresa propriamentedita quanto de seus produtos ou serviços. A AS também permite analisar o sentimentoexpresso sobre qualquer objeto, sem necessariamente referenciá-lo à alguma organização.O alvo pode ser também uma pessoa física. Geralmente, a pessoa é alguém sendoreferenciada no texto ou o próprio autor.

Qualquer que seja o alvo da análise, geralmente, em um texto opinativo, sãoutilizadas características do alvo como base da subjetividade. Por exemplo, ao citar quecerto produto é ruim, como fundamento, algumas de suas características devem ter sidoutilizadas para essa avaliação.

4.1.6 Domínio

Muitos recursos derivados dos dados de entrada podem ser relevantes para a AS.Eles são classificadas como mostrado na Figura 4.2.

As características dos dados para as análises podem estar relacionadas à origemdos dados utilizada. A principal origem utilizada em AS é a web.

A grande maioria dos artigos de AS coleta textos de redes sociais, fóruns,e-commerces, blogs, micro blogs ou de sites de avaliação. Entretanto, apesar de sermais fácil coletar uma grande quantidade de textos opinativos da web, textos tambémpodem ser fornecidos por organizações. É possível, por exemplo, que uma organizaçãoarmazene em um banco de dados corporativo, as avaliações de seus consumidores sobreum determinado produto.

A origem dos dados coletados pode estar relacionada com o domínio de aplica-ção. Por exemplo, se for utilizado um site de avaliação de hotéis e viagens, o domínio deaplicação dos textos coletados será o de turismo.

Outro aspecto importante que pode ser extraído é o tempo. As opiniões esentimentos podem ser alterados com o tempo. Sendo assim, a extração de informaçõestemporais são úteis para analisar o sentimento sobre um alvo [149, 43, 184].

Os sentimentos também podem variar de acordo com o espaço geográfico. Comojá citado anteriormente, a emoção é algo que pode ser influenciada pela cultura. [142].

Assim, os fatores citados nessa seção são úteis para definir melhor o problema econtribuir para uma AS mais efetiva.

4.2 Método

Nesta seção são descritos os vários aspectos que podem ser usados por diferentesmétodos de AS (Figura 4.2): dependência dos dados, técnicas de pré-processamento,

4.2 Método 68

granularidade da análise e abordagens.

4.2.1 Dependência dos dados

A natureza textual de muitos dos dados utilizados em AS faz com que ela sejaespecífica para um contexto e idioma. Assim, isso deve ser considerado pelo método deAS para alcançar bons resultados.

A maioria das técnicas de aprendizado de máquina e algumas abordagens léxicasnão consideram o domínio dos textos. Isso pode reduzir a precisão da AS, pois umapalavra pode ter um significado diferente em outro contexto. Assim, alguns trabalhos[10, 56] procuram identificar o domínio em que o texto pertence para a analisar ossentimentos do texto.

Algo que poderia ser interpretado como positivo em um contexto, pode nãoser em outro. Por exemplo, o termo “câncer” pode ter uma conotação negativa em umcontexto, mas não ter conotação sentimental nenhuma no contexto de literatura médica[145].

Como mostrado na Figura 4.2, os métodos existentes de AS podem também serdependentes do idioma do texto. Isso deve-se ao fato da necessidade de compreender osignificado de um termo para poder pontuar sua polaridade.

Embora a maior parte das técnicas de AS seja dependente de um idioma e deum domínio, há pesquisas que desenvolveram técnicas que suportam mais que um deles.Hajmohammad et al. [71, 70] propôs uma AS que não é específica de um único domínioe idioma. Para isso, múltiplas fontes de idiomas diferentes foram utilizadas e um métodode aprendizado de máquina semi-supervisionado foi adotado para traduzir os textos paraum único idioma.

Concluindo, na busca em se alcançar uma maior precisão na análise, a maioriados trabalhos de AS são específicos de um domínio e idioma. No entanto, existemtrabalhos que buscam alcançar bons resultados considerando mais de um idioma oudomínio.

4.2.2 Pré-processamento

Normalmente, o texto a ser processado em soluções de AS tem de ser pré-processados em alguns aspectos para facilitar a análise. Esta etapa é conhecida como pré-processamento e pode ser a mais onerosa no processo de AS. Seu resultado tem grandeimpacto sobre a classificação do sentimento final.

Na Figura 4.2 podem ser vistas as técnicas de pré-processamento utilizadas.Tanto Stemming quanto Lemmatization tentam reduzir os termos para suas formas flexio-nadas. Por exemplo, de “cars” para “car”. Porém, Stemming utiliza heurística para tentar

4.2 Método 69

remover os afixos e sufixos dos termos, enquanto que em Lemmatization usa dicionárioou análise morfológica para identificar a forma básica do termo [115].

Lowercase consiste em transformar todo ou parte do texto em letras minúsculas[58, 24, 71]. Isso é útil para não contar uma mesma palavra que algumas vezes apareceem caixa alta (geralmente no início da sentença) e outras vezes aparece em caixa baixano mesmo texto. Por exemplo, depois de aplicado Lowercase, os termos “Computação” e“computação” são tratados como um único termo (“computação”).

Tokenization divide uma sequência de strings em partes menores chamadastokens, bigramas, trigramas, etc. Essa divisão pode ser feita por meio de espaços embranco, pontuações ou quebras de linha como separadores de tokens. Essa técnica éutilizada para extrair os elementos do texto que possam ser analisados.

A Filtragem pode ocorrer por meio da remoção de caracteres especiais, stop

words, informações não textuais, tags HTML, nomes, datas, URLs. Por exemplo, em[7, 71], foram removidos símbolos especiais e outros caracteres desnecessários, como"+", "=", "∼"e "$".

Extração de características permite classificar o texto analisando a frequênciade seus termos. Para isso, podem ser utilizados: Frequência do Termo (Term Frequency

- TF), Inverso da Frequência nos Documentos (Inverse Document Frequency - IDF) eFrequência do Termo-Inverso da Frequência nos Documentos (Term Frequency–Inverse

Document Frequency - TF-IDF).Muitas ferramentas existentes de AS são específicas de determinados idiomas,

principalmente o inglês e o chinês [179]. Assim, uma maneira de se analisar textoscom idiomas diferentes dos suportados pelas ferramentas é traduzindo-os. Tradução podeser feita de forma manual ou automática. Como a quantidade de dados coletados émuito grande, traduzir manualmente pode ser inviável para uma única pessoa. Assim,pode-se usufruir de crowdsourcing, como os da Amazon1, MicroWorkers2, ShortTask3

e ClickWorker4 que possibilitam uma tarefa grandiosa ser realizada por meio da contri-buição de várias pessoas [125]. Entretanto, existem serviços na web, como o MicrosoftTranslator API que traduzem textos automaticamente 5.

Técnicas de Tagging (Marcação) também podem ser utilizadas na etapa de Pré-processamento. Tagging é frequentemente utilizado para catalogar os termos de umasentença de acordo com sua classe morfológica [10]. Isto é conhecido como Part-Of-

Speech (POS) Tagging e pode ser utilizado para propósitos como identificação de frases

1https://www.mturk.com/mturk/welcome (último acesso em 18 de fevereiro de 2015)2https://microworkers.com/ (último acesso em 18 de fevereiro de 2015)3http://shorttask.com/ (último acesso em 18 de fevereiro de 2015)4http://www.clickworker.com/ (último acesso em 18 de fevereiro de 2015)5https://www.microsoft.com/en-us/translator/translatorapi.aspx (último acesso em 18 de fevereiro de

2015)

4.2 Método 70

sentimentais [44, 74, 10], identificação do alvo do sentimento e quem é o detentor daopinião [75], atribuição de pesos sentimentais às palavras de acordo com suas classesgramaticais [52] e identificação de datas, ULRs e Hashtags que possam auxiliar na AS[166].

Named Entity Recognizer (NER) é um tipo de Tagging de identificação deentidades, como pessoas, organizações ou lugares por meio de nomes [83]. NER podeser utilizada em AS para a identificação do detentor da opinião ou a entidade alvo dosentimento.

Em suma, existem muitas técnicas de pré-processamento que podem ser utiliza-das em AS. Elas podem variar de trabalho para trabalho dependendo de como se encon-tram os dados coletados e quais os objetivos pretendidos. Apesar dessa etapa poder seronerosa, ela tem grande influência no resultado final do método e pode reduzir o tempode processamento na etapa de análise com o fornecimento apenas de dados relevantes.

4.2.3 Granularidade da análise

As técnicas de AS existentes podem ser divididas de acordo com o nível emque a análise é feita no texto. No entanto, existem várias classificações referentes àgranularidade da análise na literatura: nível de documentos, sentenças, sub-sentenças,frases, palavras, parágrafos, entidade e aspecto. A classificação adotada pela taxonomiaproposta utiliza a nomenclatura mostrada na Figura 4.2.

No nível de documento, a opinião sobre um documento é classificada comopositiva, negativa e, em algums trabalhos, como neutra. Nesse tipo de análise, não épossível identificar opiniões sobre mais que uma entidade no documento. Isso deve-seao fato da análise identificar a polaridade de todo o texto. Assim, cada documento éinterpretado como tendo apenas uma única entidade [190, 179, 3].

Para resolver este problema, Ferguson et al. [58] propôs uma análise em nívelde parágrafo por acreditar que os sentimentos são expressos através de pequenas seçõesnos textos. Assim, são unidos os sentimentos de parágrafos que tratam de uma mesmaentidade, permitindo analisar os sentimentos de mais de uma entidade em um mesmodocumento.

Ao contrário de análise em nível de documento, na análise em nível de sentença(ou nível cláusula [179, 3]), cada sentença do documento é analisada separadamente. Issopermite analisar mais de uma entidade em um mesmo texto.

Também há a análise no nível de frase [85, 177] (ou nível de sub-sentenças[131]), onde as frases de uma sentença são analisadas separadamente. Isto permiteidentificar mais de uma opinião na mesma sentença.

4.2 Método 71

A análise em nível de aspecto (ou nível de entidade e aspecto [182, 191, 8], nívelde característica [153, 90, 148] ou nível de atributo [158, 134]) considera que, para cadaopinião há um alvo e, portanto, procura identificar o alvo de cada análise no texto. Assim,como no nível de frase, a análise em nível de aspecto também identifica mais de umaopinião na mesma sentença. De acordo com o [63], a diferença entre o nível de sentençae o nível de aspecto é que a primeira é dedicada à primeiro identificar frases dentro desentenças e, em seguida, analisar os sentimentos sobre características do alvo, enquantoque o segundo identifica diretamente os sentimentos sobre as características do alvo, semdividir sentenças em frases menores.

Há trabalhos de AS que consideram apenas palavras individuais. Sayeed et al.[162] considerou as estruturas sintáticas de palavras do texto e a relação das palavrasde opinião com suas palavras próximas para analisar o sentimento do texto. Em [197]as subjetividades de palavras de um corpora foram identificadas utilizando métodos deagrupamento.

Não há uma nomenclatura consensual sobre a granularidade entre os artigos queforam coletados para propor essa taxonomia. Alguns níveis de granularidade são citadosde formas diferentes pelos artigos. A taxonomia proposta neste trabalho identifica assimilaridades e diferenças entre elas e propõe uma nomenclatura padrão. Entre os termossinônimos, foram escolhidos para a taxonomia aqueles mais adequados considerando osignificado do termo e o que realmente a técnica faz. Por exemplo, o nível de sub-sentençae o nível frase usam a mesma abordagem utilizando frases, assim foi padronizado nataxonomia proposta como sendo nível de frase. Nível de entidade e aspecto tambémé conhecido como nível de característica, nível de atributo ou nível de aspecto, nataxonomia foi padronizado para nível de aspecto.

4.2.4 Abordagem

Na literatura existem alguns surveys que propõem classificações das abordagensusadas em AS. Entretanto, essas classificações utilizam diferentes nomenclaturas e al-gumas consideram classes que não são consideradas em outras. Assim, a proposta dataxonomia deste estudo é resultante da união e adaptação das classificações já existentesna literatura.

Apesar da AS poder considerar diferentes formatos de dados, a taxonomia pro-posta considera apenas tipos de analises em textos. Isso foi adotado porque a quantidadede técnicas existentes para cada formato é enorme, o que causaria uma taxonomia con-fusa. Além disso, ela é baseada em classificações já encontradas na literatura, ou seja, ostrabalhos correlatos também consideram apenas textos em suas classificações.

Joshi e Itkat [90] propuseram uma classificação apenas dos algoritmos de Apren-

4.2 Método 72

dizagem de Máquina, dividindo-os em: Supervisionado, Não supervisionado e Semi-supervisionado. Essa é a mesma classificação adotada pela taxonomia proposta, apenasfoi alterado o nome de Aprendizagem de Máquina para Baseada em Modelo para terconsistência com as nomenclaturas Baseado em Léxico e Baseado em Conceito.

Em [120] é proposta uma classificação mais completa das abordagens, dividindo-as em Aprendizagem de Máquina (exceto Semi-supervisionado) e Baseada em Léxico.

Um léxico é uma coleção de termos com suas respectivas pontuações sentimen-tais. Termos que compõem um léxico são conhecidos como palavras sentimentais, emo-cionais, afetivas ou de opinião. Abordagens Baseada em Léxico podem ser divididas emtécnicas Baseada em Dicionário e Baseada em Corpus, ambas utilizam um léxico.

Técnicas Baseada em Dicionário utilizam dicionários sentimentais, como oSentiWordNet [9] para calcularem o sentimento do texto de acordo com seus termos ousinônimos existentes nos dicionários [102, 99, 195]. Uma dificuldade dessa abordagemé que ela não considera o contexto em que os textos estão inseridos. Uma alternativa éutilizar técnicas Baseadas em Corpus.

Técnicas Baseadas em Corpus usam padrões sintáticos e sementes de palavrassentimentais para encontrarem outras palavras sentimentais em um corpus. Essas semen-tes são palavras com polaridades já conhecidas que se espalham para outras palavras quesão sinônimo ou co-ocorrem com frequência [138]. Técnicas Baseadas em Corpus podemser divididas em abordagens Estatística e Semântica.

Na abordagem Estatística (Figura 4.2), se uma palavra é mais comum em textospositivos, ela vai ter um peso sentimental positivo. Além disso, a co-ocorrência pode serutilizada para derivar pesos sentimental: se duas palavras co-ocorrem frequentemente,elas podem ter a mesma polaridade [120].

A abordagem Semântica identifica a polaridade dos termos de acordo com asemelhança entre elas. Assim, palavras semanticamente semelhantes também recebemum peso sentimental similar. Essa abordagem é largamente utilizada para construir léxicossentimentais e, geralmente, é combinada com a abordagem Estatística [120].

Cambria et al. [23] propôs uma classificação ainda mais ampla e dividiu asabordagens de AS em quatro classes: Identificação de Palavras-chaves, Afinidade Léxica,Métodos de Estatística e Baseada em Conceito.

Tanto a Identificação de Palavras-chaves quanto a Afinidade Léxica se adequamà classe Baseada em Léxico proposta por [120], enquanto Métodos de Estatística seadequam à classe Aprendizagem de Máquina. Assim, o que há de novo na classificaçãoproposta por [23] é a abordagem Baseada em Conceito que pode conter Ontologias ouRedes Semânticas (Figura 4.2).

Um mecanismo de extração de ontologia foi proposto por [100] para adquirirconhecimento sentimental sobre diversos produtos avaliados no site Amazon.com. Foi

4.2 Método 73

utilizado Keyword Classifier (KC) para identificar palavras-chaves positivas, negativas eneutras. Em [155] foi proposto um sistema baseado em técnicas de PLN e Semantic Web

para extrair gráficos RDF (Resource Description Framework) de textos. Semantic Web

foi utilizado para reconhecer o detentor da opinião, alvos, relacionar alvos com eventosrelevantes e situações em que eles tenham sido referenciados, e avaliar o sentimentoexpresso sobre eles utilizando abordagem Baseada em Léxico.

Portanto, com as diversas classificações de abordagens em AS encontradas naliteratura, é possível perceber que algumas são mais completas do que outras e há clas-sificações iguais com nomenclaturas diferentes. A taxonomia proposta neste trabalho éresultado da união das diversas classificações encontradas na literatura com a padroniza-ção de suas nomenclaturas.

CAPÍTULO 5SentiHealth

Este capítulo apresenta o método SentiHealth proposto neste trabalho que utilizainformações do contexto da aplicação e do estilo de comunicação da web para melhoraro desempenho da classificação. Por isso, caracterizado como um método léxico.

Como instância do método Sentihealth, também é apresentada (Seção 5.2) nestecapítulo, a ferramenta SentiHealth-Cancer. Ela permite que o método seja automatizadoe avaliado.

5.1 Fluxograma

Nesta seção é explicada a lógica e as características adotadas pelo métodoSentiHealth. Seu fluxograma pode ser visto na Figura 5.1.

O método proposto se inicia com a coleta das mensagens da rede social Face-book. Algumas dessas mensagens não possuem texto da pessoa que faz a postagem oupossuem apenas 1 caractere. Por isso, elas devem ser filtradas para que se tenha umabase adequada para realizar a AS. Além disso, antes de analisar a mensagem, o SentiHe-alth verifica se existe qualquer URL nele. Se assim for, todas as URLs são removidas dotexto. Isso é feito porque as URLs são formadas por muitos caracteres sem significadosentimental.

Após isso, para cada mensagem coletada, o método procura por frases quepossam resumir todo o sentimento que o autor está demonstrando em sua mensagem, sãoas chamadas frases prioritárias. Elas possuem determinadas características que fazem comque elas sejam prioritárias: presença de emoticon , hashtag, n-grams específicos, ponto deexclamação, vogais repetidas ou palavra em maiúscula. Um n-gram é um conjunto determos de tamanho n. Assim, um unigram (n-gram de tamanho 1) é um conjunto com umúnico termo, bigram é um conjunto de dois termos, e assim por diante [41].

Por acreditar que as frases prioritárias resumem todo o sentimento que o autor ex-pressa no texto, são utilizadas apenas elas para classificar toda a mensagem, descartandoas outras frases. Isso faz com que o tempo de processamento seja menor e o sentimentoda mensagem não seja afetado pelo sentimento de frases que não querem expressar o real

5.1 Fluxograma 75

Figura 5.1: Fluxograma do algoritmo do método SentiHealth.

5.1 Fluxograma 76

sentimento do autor. Mas caso não haja frases prioritárias na mensagem, todas as frasessão utilizadas para a AS.

Sendo assim, o cálculo utilizado pelo método para calcular o sentimento expressona mensagem é diferente quando há frases prioritárias. Na presença de alguma delas,são utilizados os dicionários de n-grams, termos, emoticons e hashtags. Mas na ausênciadelas, são utilizados apenas os dicionários de n-grams e de termos.

Cada um desses dicionários possui termos e um numeral indicando as forçassentimentais de cada termo para que, quando encontrado eles no texto, suas forçassentimentais possam ser somadas e, com o resultado, descobrir a polaridade do sentimentoexistente no texto: positivo, neutro ou negativo.

O dicionário de n-grams possui outros dois parâmetros para cada um de seustermos. Um número boolean, indicando se o n-gram é um dos que define a frase comoprioritária e outro boolean indicando se variações deste n-gram são também consideradasou não. Por exemplo, o n-gram “feliz” com uma força sentimental igual a 4 e com umnúmero 1 indicando que suas variações são também consideradas, faz com que os n-grams “felicidade”, “infelicidade”, “felizmente” também possuam uma força sentimentaligual a 4.

Considerando que não haja frases prioritárias na mensagem, podem haver termosdo dicionário de n-grams que são os mesmos do dicionário de termos. Entretanto, aprincipal diferença entre esses dois dicionários é que os de n-grams possuem forçassentimentais adaptadas ao contexto das mensagens. Por esse motivo, caso haja termosiguais nesses dois dicionários, é dada prioridade para o termo do dicionário de n-grams.

Para que isso seja possível, todas as forças sentimentais dos n-grams são somadase eles são descartados do texto para que possam ser somadas as forças sentimentais dosoutros termos do dicionário de termos presentes na mensagem.

Ao final da somatória das forças sentimentais dos termos e n-grams existentes namensagem, tem-se um valor que, se for maior do que zero, classifica a mensagem comopositiva, igual a zero, como neutra e abaixo de zero, como negativa.

Por outro lado, considerando que haja frases prioritárias na mensagem, o cálculoé diferente. Cada frase prioritária é classificada como positiva, negativa ou neutra. Paraesse cálculo, se existir algum emoticon do dicionário de emoticons na frase, apenas elessão considerados para a classificação da frase. Caso não exista, é verificado se existealgum hashtag do dicionário de hashtags, se sim, apenas eles são utilizados. Isso faz comque os emoticons tenham prioridade sobre os hashtags. Isso é adotado por acreditar queo que mais resume o sentimento expresso pelo autor são os emoticons que ele escreve emseu texto e, na ausência desses, os hashtags.

Caso não haja nem emoticons e nem hashtags na frase, são então utilizados osdicionários de n-grams e o de termos, dando prioridade ao dicionário de n-grams, assim

5.2 SentiHealth-Cancer 77

como feito no cálculo do sentimento quando não há frases prioritárias na mensagem. Adiferença é que no cálculo da frase prioritária, a força sentimental da palavra é dobradaquando ela está em maiúscula ou possui vogal repetida. Além disso, a força sentimentalde toda a frase prioritária também é dobrada quando há algum ponto de exclamação nela.

Embora seja possível classificar frases interrogativas como positivo, negativo ouneutro pela soma das pontuações de seus termos, essas frases costumam não expressarnenhum sentimento. Portanto, para o SentiHealth, frases interrogarivas são classifcadascomo neutras.

Após calculado o valor da polaridade de cada frase prioritária da mensagem, seesse valor for maior do que zero, ela é classificada como positiva, se igual a zero, comoneutra e se abaixo de zero, como negativa. Portanto, para saber qual a polaridade de todaa mensagem, são contabilizadas as quantidades de frases prioritárias positivas, negativase neutras. A polaridade com maior quantidade, será a polaridade de toda a mensagem.

Porém, se ao menos uma frase prioritária é classificada como positiva ou nega-tiva, a quantidade de frases prioritárias neutras na mensagem é considerada zero. Isso éfeito porque quando uma pessoa não quer mostrar sentimentos positivos ou negativos emuma mensagem, ela, normalmente, não escreve qualquer frase com esses sentimentos, ouseja, ele permanece neutra do início ao fim da mensagem. Assim, por exemplo, se umamensagem tem duas frases prioritárias positivas, uma neutra e uma negativa, o sentimentodessa mensagem é classificado como positivo.

Se ocorrer empate na quantidade dos sentimentos das frases prioritárias, amensagem é novamente analisada, mas desconsiderando que há frases prioritárias nela.Ou seja, é considerado o cálculo de análise de toda a mensagem utilizando apenas osdicionários de n-grams e de termos.

5.2 SentiHealth-Cancer

Para instanciar o método proposto e poder avaliá-lo, é apresentada nesta seçãocomo as características do SentiHealth foram instanciadas pela ferramenta SentiHealth-Cancer (SHC). Ela segue a mesma lógica do método SentiHealth e seu dicionário éespecífico para o contexto de câncer. No Capítulo 6 são mostrados os resultados dosexperimentos realizados com essa ferramenta (SHC v1) e como ela pôde ser aprimorada.

5.2.1 Dicionários

Para instanciar o método SentiHealth, são utilizados arquivos .txt como sendoseus dicionários. São eles: “dicionario.txt”, “emoticon.txt”, “hashtags.txt” e “ngrams.txt".


Cada um desses arquivos tem em cada linha, um termo ou um conjunto de termos einformações sobre eles separadas por espaço em branco ou dois pontos (":").

O “diconario.txt” é o mesmo dicionário de termos em português usado pelaSentiStrength e tem 1.964 termos. Em cada linha, existe uma palavra e a força sentimentaldessa palavra indicada por um número que varia de 5 a -5. Quanto maior for este número,mais positivo é o sentido da palavra, e quanto menor, maior a sua negatividade.

O “emoticon.txt” contém os mesmos emoticons textuais e suas forças sentimen-tais utilizadas pela ferramenta SentiStrength. Um exemplo de um emoticon positivo é: “(:1”, onde “(:” é o emoticon e “1” é a sua força sentimental positiva. A diferença do dici-onário da SentiStrength para o utilizado nesse trabalho é que também foi considerado oponto de interrogação como um emoticon com uma força sentimental igual a zero (“? 0”)no dicionário utilizado pelo SentiHealth.

O arquivo “hashtags.txt” tem 6 hashtags utilizados em grupos de câncer emredes sociais, como o “#obrigadodeus” e “#obrigadodoador”. A força sentimental desseshashtags são separados por um espaço em branco.

O arquivo “ngrams.txt” contém 86 n-grams e tem quatro informação em cadalinha: um n-gram; a sua força sentimental adaptado para o contexto de câncer; umnúmero 1 ou 0, indicando se o n-gram é ou não prioridade e um outro número 1 ou 0indicando se variações deste n-gram são também consideradas ou não. Por exemplo, alinha “feliz:4:1:0” indica que o n-gram “feliz” tem uma força sentimental igual a 4, éprioridade e são consideradas suas variações (felicidade, infelicidade, felizmente) na AS.O fato de um n-gram ser ou não prioritário é utilizado pela lógica do SentiHealth paradecidir quais são as frases prioritárias para a AS.

Durante a AS, é verificado se os termos ou conjuntos de termos de cada uma daslinhas dos arquivos mencionados acima estão presentes no texto que está sendo analisado.Se assim for, a força sentimental desse termo é contabilizada na pontuação do sentimentogeral do texto. Por exemplo, o arquivo “dicionario.txt” tem uma linha como “ótimo 5”.Supondo que no texto há também a palavra “ótimo” e a pontuação sentimental do textoatualmente for 0, a sua pontuação transforma-se em 5 devido à força sentimental dapalavra “ótimo".

Foi avaliado, por opinião humana e heurística, qual deve ser a força sentimentaldos termos nos arquivos “ngrams.txt” e “hashtags.txt”. Para isso, considerou-se o contextode câncer em que os textos estavam inseridos. A força sentimental dos termos de outrosarquivos foram mantidos as mesmas das utilizadas pela SentiStrength.


5.2.2 Frases prioritárias

Na SHC, frases prioritárias são definidas como aquelas que têm algumas dasseguintes características: emoticon do “emoticon.txt”, hashtag do “hashtags.txt”, pontode exclamação, palavra em maiúscula ou algum n-gram estabelecido como prioritário noarquivo “ngrams.txt”.

Caso não existam frases prioritárias na mensagem, toda ela é considerada paracalcular o sentimento utilizando apenas os arquivos “ngrams.txt” e “dicionario.txt”. Paraisso, cada palavra da mensagem é pontuada de acordo com as respectivas pontuaçõesencontradas nos arquivos e a pontuação de toda a mensagem é a soma das pontuações desuas palavras. Por fim, seguindo o método SentiHealth, o sentimento da mensagem seráclassificado como positivo se a soma for maior do que zero; negativo, se menor que zeroe neutro, caso contrário.

Quando uma mensagem possui frases prioritárias, somente essas são conside-radas para analisar o sentimento de toda a mensagem utilizando os dicionários “emoti-con.txt”, “hashtags.txt”, ‘ngrams.txt” e “dicionario.txt”. Consequentemente, são descar-tadas as frases não prioritárias quando há pelo menos uma frase prioritária na mensagem.Cada frase prioritária é classificada separadamente como pertencente à uma das seguintesclasses: positivo, negativo e neutro. Após isso, a mensagem é classificada de acordo coma classe de frases prioritárias mais presente, como mostrado no fluxograma do métodoSentiHealth (Fluxograma 5.1).

5.2.3 Emoticons e hashtags

Para calcular o sentimento de cada frase prioritária é verificado se qualqueremoticon no arquivo “emoticons.txt” está contido na frase. Se estiver, apenas essesemoticons são considerados para definir o sentido de toda a frase. A SHC também segueum procedimento semelhante com hashtags: se houver qualquer hashtag na frase quetambém ocorra em “hahstags.txt”, os outros termos da frase são desconsiderados e sóos hashtag são utilizados para classificar a frase como positivo, negativo ou neutro. Seambos, emoticons e hashtags, estiverem presentes na frase, apenas os emoticons sãoconsiderados.

5.2.4 Pontos de interrogação, pontos de exclamação, palavras emmaiúsculas e vogais repetidas

Seguindo a lógica do SentiHealth, as frases interrogativas são classificadas comoneutras. Para que isso sejá possível, considerando que quando há um emoticon em umafrase, só ele é considerado na classificação do sentimento, foi adicionado um ponto de


interrogação no arquivo “emoticons.txt” com força sentimento igual a zero para que frasesinterrogativas sejam classificadas como neutro.

Se existir algum ponto de exclamação na frase, a pontuação do sentimento é du-plicada. Essa mesma multiplicação é realizada cada vez que é encontrada uma palavra emmaiúsculas, por exemplo, “AMOR”, ou com vogais repetidas, por exemplo,“amooooor”.

5.2.5 N-gram

Caso um mesmo termo esteja contido nos arquivos “ngrams.txt” e “diciona-rio.txt", é dada prioridade à força sentimental do unigram do arquivo “ngrams.txt” paraa classificação do sentimento da frase. Isso é feito porque as forças sentimentais dos n-grams do arquivo “ngrams.txt” são adaptadas para um contexto de câncer.

Um termo qualquer em “dicionario.txt” pode ser parte de algum n-gram commais de um termo no arquivo “ngrams.txt”. Isso faria com que houvessem duas pontua-ções na frase: uma por causa do n-gram em “ngrams.txt” e outra por causa do termo em“dicionario.txt”. Para impedir isso, depois de encontrado um n-gram, a sua força senti-mental é utilizada para calcular a pontuação do sentimento e, em seguida, ele é remo-vido da mensagem para evitar a dupla contagem quando for utilizado o arquivo “diciona-rio.txt”.

A ordem em que os n-grams estão no arquivo “ngrams.txt” também deve serconsiderada para uma pontuação adequada. Um menor n-gram pode ser parte de outromaior. Por exemplo, “Câncer” faz parte de “lutar e vencer o câncer”. Assim, na frase “Euquero lutar e vencer o câncer”, o algoritmo pode encontrar primeiro o n-gram “Câncer”,considerar sua força sentimental e removê-lo da frase, ficando “Eu quero lutar e vencer”.Isso tornaria impossível o real n-gram “lutar e vencer o câncer” ser considerado. Por essemotivo, n-grams com uma maior quantidade de termos são analisados primeiro. Para isso,os n-grams maiores devem anteceder os menores no arquivo “ngrams.txt”.

5.2.6 Exemplo

Como exemplo do funcionamento da SHC, suponha que a seguinte mensagemtenha sido coletada de um grupo sobre câncer do Facebook:

“PESSOAL, VCS SABIAM DESSA? O uso de computador nas pernas pode cau-sar câncer nos testículos. Vamos evitar isso! http://www.hardmob.com.br/hardwhat/361040-uso-extensivo-de-notebook-causar-cancer-nos-testiculos.html. Tenham um bom dia efiquem bem :)”

Essa mensagem possui uma URL, portanto, primeiramente, a SHC a removeda mensagem. Após isso, a mensagem é dividida em frases e são buscadas as que sãoprioritárias. Assim, a mensagem é dividida nas seguintes frases:


• “PESSOAL, VCS SABIAM DESSA?”;• “O uso de computador nas pernas pode causar câncer nos testículos.”;• “Vamos evitar isso!”;• “Tenham um bom dia e fiquem bem :)”.

A primeira, terceira e quarta frases são prioritárias. A primeira por possuir pelomenos uma palavra em maiúscula e um ponto de interrogação representando um emoticon,a terceira por possuir um ponto de exclamação e a quarta por possuir um emoticon “:)”.Assim, inicialmente, apenas essas frases prioritárias são utilizadas para classificar toda amensagem.

A primeira possui um ponto de interrogação que é interpretado pelo arquivo“emoticons.txt” como um sendo um emoticon de polaridade 0. Portanto, é utilizadoapenas esse emoticon no cálculo da polaridade dessa frase, fazendo com que ela sejaclassificada como neutra.

Já a terceira, não possui emoticons e nem hashtags, logo, são utilizados osarquivos “ngrams.txt” e “dicionario.txt” para calcular sua polaridade. O “ngrams.txt” nãopossui nenhuma linha com qualquer n-gram dessa frase, já o “dicionario.txt” possui alinha “evitar -2” com o termo “evitar”. Consequentemente, a polaridade dessa frase seráigual a -2, mas como ela possui um ponto de exclamação, essa força sentimental é dobradapara -4, ou seja, essa frase é classificada como negativa.

A quarta frase possui um emoticon, sendo assim, é utilizado apenas ele paraclassificar a frase. O arquivo “emoticons.txt” possui a linha “:) 1”, o que indica que aforça sentimental do emoticon dessa frase é igual a 1. Portanto, ela frase é classificadacomo positiva.

Das três frases prioritárias, uma é neutra, outra negativa e a outra positiva. Logo,não há uma quantidade de sentimentos das frases prioritárias que seja maioria. Se tivesse,a mensagem seria classificada como sendo a desse sentimento. Dessa forma, a SHC agoraconsiderará todas as frases da mensagem para tentar classificar seu sentimento utilizandoapenas os arquivos “ngrams.txt” e “dicionario.txt”.

Assim, o único termo da mensagem que está no arquivo “ngrams.txt” é o“câncer” com uma força sentimental igual a 0 (“câncer:0:0:0”). Já no “dicionario.txt”, ostermos e suas forças sentimentais são “bom 2”, “bem 2”, “câncer -4” e “evitar -2”. Comoa palavra “câncer” está nos dois arquivos e é dada prioridade ao arquivo “ngrams.txt”,primeiro são contabilizadas as forças sentimentais dos n-grams de “ngrams.txt”, emseguida eles são removidos da mensagem para só depois poder contabilizar as forçassentimentais dos termos de “dicionario.txt”. Assim, a polaridade da mensagem será 0 + 2+ 2 + (-2) = 2, o que classifica a mensagem como positiva.

CAPÍTULO 6Experimentos e resultados

Os experimentos deste capítulo dizem respeito tanto ao método quanto à taxo-nomia proposta. Em relação ao método, são apresentados resultados de experimentos uti-lizando a ferramenta SHC como sua instância. Já para verificar a taxonomia sugerida, éapresentando um estudo de caso classificando artigos já existentes na literatura.

As outras ferramentas escolhidas para os experimentos são: AlchemyAPI 1.1.4v[5], Semantria 3.0.67v [104], SentiStrength 0.1v [164] and Textalytics 2.0v [119]. Elasforam escolhidas por serem citadas como as de maior desempenho por artigos quecompararam ferramentas de AS.

Foram utilizadas mensagens extraídas de grupos de câncer do Facebook para re-alizar os experimentos com as ferramentas. Como só a SentiStrenght [164] e a Semantria[104] suportam o idioma português, para testar as ferramentas que suportam o idiomainglês, as mensagens foram automaticamente traduzidas para esse idioma.

Este trabalho é parte de um projeto avaliado e aprovado pelo Comitê de Ética sobo número 31191214.7.0000.5083/UFG. Todos os dados coletados a partir da rede socialonline foram publicados pelo usuário como sendo textos públicos de grupos públicos. Umaplicativo em Java foi desenvolvido para se conectar com a API da rede social e coletaras mensagens dos grupos escolhidos. Os dados foram coletados entre março de 2014 efevereiro de 2015.

6.1 Questões de pesquisa

Os experimentos realizados neste trabalho são utilizados para validar a seguintehipótese: um método de AS, de abordagem léxica, adaptado para o contexto de câncere para textos de comunidades virtuais brasileiras, apresenta melhor desempenho paraanalisar o estado emocional do autor do texto do que outros métodos de AS. Além disso,também é realizado outro experimento para avaliar a taxonomia proposta. Portanto, osexperimentos realizados podem responder as seguintes questões de pesquisa:

6.1 Questões de pesquisa 83

1. Qual é o desempenho das ferramentas AlchemyAPI, Semantria, SentiStrengthe Textalytics quando utilizadas para analisar o estado emocional de autores demensagens em português de grupos online de câncer?

2. A análise de textos traduzidos do português para o inglês apresenta melhor de-sempenho do que analisá-los em português quando a ferramenta suporta os doisidiomas?

3. A análise de textos em português por uma ferramenta desenvolvida especificamentepara esse idioma apresenta maior desempenho do que a análise feita por umaferramenta utilizando textos traduzidos do português para o inglês?

4. O uso de um dicionário léxico adaptado para o contexto de câncer pode melhorar odesempenho de um método de AS quando aplicado nesse contexto?

5. O uso de elementos característicos do estilo de comunicação da internet podemelhorar o desempenho de um método de AS quando aplicado em textos da web?

6. O desempenho do método de AS é significativamente impactado quando se altera acomunidade sob análise?

7. O desempenho da técnica de AS é o mesmo para avaliadores psicólogos ou não?8. Como o conhecimento da área de AS pode ser organizado e padronizado?

Para responder essas questões de pesquisa são realizados experimentos em duasbases de dados, uma para treino e outra para teste. Elas estão melhor definidas naSeção 6.3. Assim, o primeiro experimento diz respeito ao desempenho da ferramentaSentiHealth-Cancer v1 (SHC v1) proposta neste trabalho nas bases de treino e de teste.Posteriormente, para descobrir se as características adotadas pelo método dessa ferra-menta são realmente relevantes e se estão empregadas em uma ordem correta, são reali-zados experimentos, apenas na base de treino, variando-se suas características. Com isso,é descoberta a melhor combinação das características do método proposto e criada a fer-ramenta SentiHealth-Cancer v2 (SHC v2) como sua instância. Essa ferramenta é entãocomparada com as demais na base de teste. Nessa comparação varia-se o idioma do textoe o público que avaliou as mensagens.

Portanto, os experimentos realizados são:

• Experimento 1: desempenho da SHC v1 nas bases de treino e de teste;• Experimento 2: descoberta da melhor combinação possível das característica ado-

tadas pelo SentiHealth para a criação da SHC v2 utilizando-se a base de treino;• Experimento 3: comparação das ferramentas com as mensagens da base de teste

avaliadas pelo público geral. Quando possível, são utilizadas mensagens em portu-guês e também traduzidas do português para o inglês.• Experimento 4: comparação das ferramentas com as mensagens da base de teste

avaliadas por psicólogos. Quando possível, são utilizadas mensagens em portuguêse também traduzidas do português para o inglês.

6.1 Questões de pesquisa 84

Sendo assim, os experimentos 3 e 4, utilizando textos em português e eminglês, são realizados para responder à primeira e à segunda questões de pesquisa. Dessemodo, para facilitar o entendimento, as ferramentas são referenciadas neste trabalho porabreviações de acordo com o idioma em que elas são aplicadas. Portanto, as abreviaçõesdas ferramentas analisando textos em português são:

1. SHC v2: SHC-pt;2. Semantria: SEM-pt;3. SentiStrength: SST-pt.

Já as ferramentas analisando textos em inglês são abreviadas como:

1. AlchemyAPI: ACM-en;2. Semantria: SEM-en;3. SentiStrength: SST-en;4. Textalytics: TAY-en.

Com os experimentos 3 e 4, tem-se os resultados das ferramentas Semantria,SentiStrength, AlchemyAPI e Textalytics que podem responder a primeira questão depesquisa. Essas ferramentas são analisadas utilizando textos em inglês e, quando possível,também em português. Portanto, a segunda questão de pesquisa pode ser respondidacomparando-se o desempenho dessas ferramentas nesses dois idiomas.

Também nos experimentos 3 e 4 são comparados os resultados da melhorferramenta que suporta o idioma português com os resultados das ferramentas quesuportam o idioma inglês. Isso permite responder à terceira questão de pesquisa, ou seja,se a tradução do texto para o inglês e o uso de uma ferramenta de AS para esse idioma éuma boa alternativa para analisar sentimentos de textos em português.

Atendendo à quarta questão de pesquisa, uma das características testadas noexperimento 2 é a utilização um dicionário léxico adaptado para o contexto de câncer.Assim, o ganho que se tem quando o sentimento de uma mensagem relacionada ao cânceré descoberto aplicando-se esse dicionário pode responder essa questão de pesquisa.

Outras características adotadas pela SHC estão relacionados ao estilo de comu-nicação da internet, como emoticons, hashtags, vogais repetidas, palavras em caixa alta epontos de exclamação. Com isso, os ganhos obtidos no experimento 2 com a SHC quandocada uma dessas características é considerada, podem responder a quinta questão de pes-quisa, ou seja, se os uso de elementos característicos do estilo de comunicação da internetmelhoram o desempenho de um método de AS quando aplicado em textos da web.

Para responder à sexta questão de pesquisa, os experimentos 3 e 4 são executadosem diferentes grupos do Facebook e também com todos os grupos unidos. Com isso, é

6.2 Aquisição dos dados para a avaliação das ferramentas 85

possível saber se mensagens de diferentes comunidades impactam no desempenho dométodo proposto.

Um dos grupos coletados sofreu avaliações de dois públicos diferentes: de quemnão é psicólogos (experimento 3) e de quem é psicólogo (experimento 4). Portanto,respondendo à sétima questão, para saber se o desempenho da técnica de AS é o mesmopara avaliadores psicólogos ou não, são os resultados dos experimentos 3 e 4.

Por fim, para atender à oitava questão, é apresentado um estudo de caso ondeartigos de AS foram classificados nos níveis propostos pela taxonomia. Isso permite umadistinção mais clara do que se trata cada artigo.

6.2 Aquisição dos dados para a avaliação das ferramen-tas

As mensagens do Facebook foram coletadas utilizando a API do Facebook4j[55]. Ela é uma biblioteca Java que permite aos desenvolvedores usarem a API doFacebook, a Graph API. Os dados coletados foram armazenados em uma tabela em umservidor de banco de dados remoto utilizando o Sistema de Gestão de Bases de Dados(SGBD) PostgreSQL 8.3 [66].

Nessa tabela, cada mensagem armazenada, tem as seguintes informações: seusentimento real, a classificação dada pela ferramenta, sua tradução para o inglês, a qualgrupo do Facebook ela pertence, as opiniões dos avaliadores sobre o seu real sentimentoe quem são os avaliadores.

Os critérios para a escolha de quais grupos seriam coletadas as mensagensforam: grande quantidade de membros, muitas mensagens postadas, mensagens postadaspor diferentes membros, pouca quantidade de spams e mensagens em português. Foramcoletadas mensagens dos seguintes grupos:

• Grupo A: TODOS CONTRA O CÂNCER: possui 292 membros e foi criado em2012;• Grupo B: Lutar e Vencer O Câncer: possui 28.215 membros e foi criado em 2012;• Grupo C: LUTA CONTRA O CANCER: possui 803 membros e foi criado em 2013;• Grupo D: LIGA FEMININA DE COMBATE AO CANCER: possui 2.434 membros

e foi criado em 2012;• Grupo E: Liga de Prevenção e Combate ao Câncer - LPCCEERP - USP: possui 148

membros e foi criado em 2012;• Grupo F: Liga de Combate ao Câncer: possui 543 membros e foi criado em 2011;• Grupo G: COMBATE AO CÂNCER: possui 2.100 membros e foi criado em 2013;• Grupo H: VÍTIMAS DO CÂNCER: possui 160 membros e foi criado em 2015.

6.3 Medidas 86

Os grupos G foi avaliado por psicólogos e quem não é psicólogo. Já o grupoH foi avaliado apenas por psicólogos. Sendo assim, para facilitar o entendimento dosexperimentos realizados neste capítulo, são adotadas as seguintes nomenclaturas:

• Grupo Ga: grupo G avaliado pelo público geral;• Grupo Gb: grupo G avaliado pelos psicólogos;• Grupo T1: conjunto dos grupos avaliados pelo público geral (A, C, D, E, F e G);• Grupo T2: conjunto dos grupos avaliados pelos psicólogos (G e H).

Com exceção do grupo H, os grupos não foram escolhidos de forma tendenciosapara uma determinada classe de sentimento. Apenas após os sentimentos dos grupos A àG serem descobertos e identificada a pouca quantidade de mensagens negativas, é que foibuscado um grupo com uma maior quantidade de mensagens com sentimentos negativos,o grupo H.

Mesmo escolhido grupos com poucos spams, ainda foi necessário filtrar asmensagens coletadas. Das 789 mensagens coletadas, foram filtradas 9 do grupo A, 27do D, 13 do E e 34 do G. Portanto, restaram 706 mensagens no total.

As mensagens do Facebook podem ter três campos de texto: a mensagem doautor e, se for um compartilhamento, título e descrição do que está sendo compartilhado.Um critério adotado para a coleta dos dados foi coletar somente as mensagens do autor,pois o sentimento contido no texto do que está sendo compartilhado (título e descrição)nem sempre é coerente com o sentimento de quem compartilha. Por exemplo, umapessoa pode compartilhar uma notícia aparentemente boa, mas escrever uma mensagemde indignação no compartilhamento dessa notícia.

6.3 Medidas

Para mensurar o desempenho das ferramentas de AS, a precisão, revocação, F1 eacurácia são medidas em cada uma das três classes de sentimento utilizadas: positivo,negativo e neutro. A acurácia é mensurada por meio da quantificação de mensagensclassificadas corretamente.

Para calcular a precisão de uma ferramenta em uma classe C de sentimento, éutilizada a seguinte fórmula:

Precisao(C) = 100∗ |Instclass(C+)⋂

Instreal(C+)|/|Instclass(C+)+ Instinde f (C+)|,

onde Instclass(C+) é a quantidade de instâncias (mensagens) classificadas pelaferramenta como pertencente à classe C, Instreal(C+) é o número de instâncias que devemser classificadas como pertencentes à classe C de acordo com as classificações feitas

6.3 Medidas 87

por opiniões humanas e Instinde f (C+) é o número de mensagens classificadas comoindefinidas, que são mensagens cujos sentimentos não puderam ser identificados pelaferramenta.

Por outro lado, a revocação, utilizando as mesmas variáveis da precisão, écalculada com a seguinte fórmula:

Revocacao(C) = 100∗ |Instclass(C+)⋂

Instreal(C+)|/|Instreal(C+)|.

Com a revocação é possível medir o quanto uma ferramenta é capaz de classificarcorretamente o total de mensagens de uma dada classe. Já com a precisão é possívelmedir, do total das mensagens classificadas como pertencentes a uma determinada classepela ferramenta, quantos são realmente dessa classe. Assim, uma ferramenta com umarevocação muito alta tende a ter uma precisão baixa e vice-versa. Por esta razão, é maisadequado comparar as ferramentas utilizando uma média harmónica dessas duas medidas.Neste trabalho é utilizada a F1 para isso:

F1(C) = 2∗ |Precisao(C)∗Revocacao(C)|/|Preciso(C)+Revocacao(C)|.

Para calcular a acurácia de cada ferramenta F, considerando as três classes desentimento, é utilizada a seguinte fórmula:

Acuracia(F) = 100∗ |Instacerto(F+)|/|Insttotal(F+)|,

onde Instacerto(F+) é a quantidade de mensagens classificadas corretamentepela ferramenta F de acordo com a opinião humana e Insttotal(F+) é a quantidade demensagens utilizadas.

Também são calculadas as médias aritméticas simples da precisão, revocaçãoe F1 nas classes de sentimento. Com isso, é possível determinar a ferramenta maisapropriada quando é desejável identificar textos em mais de uma classe.

Para saber se uma determinada ferramenta obteve um ganho significativo consi-derando as medidas citadas acima, é adotado o teste t pareado [123]. Com ele é possívelcalcular a diferença entre os resultados das medições de um par de ferramentas em cadagrupo do Facebook escolhido e determinar se a média dessas diferenças é estatisticamentesignificativa. Para esse teste, há duas hipóteses [123]:

1. Hipótese nula:

(a) H0 : µd = µ0: a média das diferenças na base de teste (µd) é igual à médiahipotética das diferenças (µ0).

2. Hipótese alternativa:

6.3 Medidas 88

(a) H1 : µd 6= µ0: a média das diferenças na base de teste (µd) não é igual à médiahipotética das diferenças (µ0).

(b) H1 : µd > µ0: a média das diferenças na base de teste (µd) é maior do que amédia hipotética das diferenças (µ0).

(c) H1 : µd < µ0: a média das diferenças na base de teste (µd) é menor do que amédia hipotética das diferenças (µ0).

Para comprovar uma hipótese, é calculado o teste t pareado utilizando-se afórmula [172]:

t = Σd√n(∑d2)−(∑d)2

n−1

,

onde d é a diferença dos resultados das medições de duas ferramentas em umgrupo do Facebook e n é a quantidade de medições ou quantidade de diferenças. Oresultado de t é utilizado na consulta da tabela de distribuição t para determinar o valorP em uma determinada confiança. A confiança adotada nesse trabalho é de 95% paradeterminar se H1 : µd 6= µ0. Assim, pode-se confirmar essa hipótese alternativa se o valorP for menor ou igual a 0.05.

Para mensurar os dados, é necessário saber quais são os reais sentimentos dasmensagens coletadas. Para isso, é utilizada opinião humana. Foi desenvolvido um sistemaweb1 que permite voluntários avaliarem a polaridade dos sentimentos expressos nasmensagens em positivo, negativo ou neutro.

A avaliação de sentimentos é algo relativo e muito subjetivo. Além de podervariar facilmente de uma pessoa para outra, uma mesma pessoa pode mudar sua opiniãosobre uma mensagem ao analisá-la novamente. São vários fatores que podem impactarnessas opiniões, como a idade, região geográfica, nível educacional, estado emocional,experiências vividas.

Por esse motivo, cada mensagem foi avaliada por três pessoas diferentes e,como mostrado na Figura 6.1, possui duas opções: a primeira para o avaliador indicaro sentimento que ele acredita que o autor teve ao escrever a mensagem e a segunda, paraser utilizada caso o avaliador tenha dúvidas entre dois sentimentos.

Os grupos de A à G foram avaliados pelo público geral. Como são 3 avaliaçõespor mensagens e há 739 mensagens nesses grupos, foram necessárias 2.217 avaliações.O grupo H foi avaliado por psicólogos e, para fins de análises, o grupo G também foiavaliado por eles. Isso resulta em um total de 119 x 3 = 357 avaliações de psicólogos.Portanto, ao todo, foram necessárias 2.217 + 357 = 2.574 avaliações de voluntários. Houve

1http://ic1.inf.ufg.br/AnaliseSentimentoQuestionario/

6.3 Medidas 89

28 voluntários do público geral e 3 psicólogas. Cada um do público geral avaliou ummínimo de 50 mensagens e cada uma das psicólogas avaliou 119 mensagens.

Todas as psicólogas são da área clínica. Uma não possui especialização, a outraestá se especializando em Terapia Cognitivo-Comportamental (TCC) e a última já éespecialista em TCC.

O cálculo do sentimento real da mensagem é feito dando prioridade para aprimeira opção (Figura 6.1) considerando a maioria das votações dadas nela pelos trêsavaliadores. Caso ocorra empate nas votações, por exemplo, o primeiro avalie comopositivo, o segundo como negativo e o terceiro como neutro, é considerada a maioriadas votações na segunda opção.

Entretanto, pode acorrer de um avaliador marcar na segunda opção a mesma quemarcou na primeira, “Não tenho dúvida” ou não marcar nada. Nesses casos, a segundaopção é considerada como sendo a que ele marcou na primeira. Se mesmo assim ocorrerempate nas votações, a mensagem é descartada dos experimentos.

Figura 6.1: Sistema web para avaliação das polaridades das men-sagens coletadas.

Considerando esse cálculo das votações, a Figura 6.2 mostra a distribuição dasclasses dos sentimentos em cada grupo avaliado pelo público geral. Desconsiderando asmensagens que deram empate, é possível perceber que são consideradas 54 mensagensdo Grupo A, 200 do B, 180 do C, 89 do D, 109 do E, 111 do F, 66 do Ga, 69 do Gb e 49do H.

Todos os grupos, com exceção do B, são utilizados para a base de teste. É adotadoo grupo B como sendo a base de treino para os experimentos realizados neste trabalho pordiversos motivos. O primeiro é que ele possui a melhor distribuição das três classes desentimento entre todos os grupos coletados (Figura 6.2). Isso permite treinar a ferramentaquando são consideradas todas as três classes de sentimento, não sendo específica apenasde uma.

O segundo é que ele foi avaliado por um público não especialista. Encontrarvoluntários desse grupo é mais fácil e rápido do que encontrar voluntários de um públicoespecialista. Além disso, cada público pode classificar as mensagens de forma diferente,

6.3 Medidas 90

Figura 6.2: Porcentagem dos sentimentos reais nos grupos do Fa-cebook coletados.

portanto, treinar a ferramenta com mensagens classificadas por opiniões de diversospúblicos pode ser mais adequado.

O terceiro motivo é que ele é grupo com a maior quantidade de mensagens, oque possibilita uma maior base para treinar a ferramenta. Quanto maior a base, maioressão as chances da ferramenta treinada acertar em uma mensagem que não é de sua basede treino. Nenhuma mensagem desse grupo fui descartada por ter ocorrido empate nasclassificações dos voluntários.

Por fim, o quarto motivo é que ele foi o primeiro grupo a ter todas as suasavaliações finalizadas. Isso possibilitou saber qual o comportamento inicial da ferramentaproposta neste trabalho nas mensagens desse grupo.

Os grupos possuem boas quantidade de mensagens positivas e neutras, porém aporcentagem de mensagens negativas é muito baixa na maioria dos grupos (Figura 6.2),isso inviabiliza saber se a SHC-pt possui algum ganho significativo em comparação comas outras ferramentas quando são avaliadas mensagens negativas desses grupos.

Para descobrir os ganhos significativos da SHC-pt, foram realizados pares deexecução em que um dos elementos do par é a SHC-pt e, o outro, uma das variaçõesdas ferramentas utilizadas nos experimentos. Cada par foi executado em todos os gruposdo Facebook adotados. Isso gerou dois vetores: um com os resultados da SHC-pt emcada grupo e outro com os resultados da outra ferramenta também em cada grupo. Comisso, foi utilizado o teste t pareado para calcular a média das diferenças dos resultadosdas ferramentas em cada grupo e descobrir em quais casos a ferramenta proposta nestetrabalho apresenta ganhos significativos com uma confiança de 95%.

As ferramentas Semantria e SentiStrength suportam os idiomas português einglês, por isso, elas foram executadas nesses dois idiomas. Por outro lado, a AlchemyAPIe a Textalytics suportam o idioma inglês, mas não o português, então seus experimentos

6.4 Resultados 91

foram realizados só no idioma inglês. A ferramenta SentiHealth-Cancer proposta nestetrabalho só é executada no idioma português por ela ser específica desse idioma.

Para traduzir textos do português para o inglês foi utilizada a API em Java doBing Translator [121]. Por essas traduções serem automáticas, muitas palavras não pude-ram ser traduzidas corretamente, o que gerou ruído nos textos a serem analisados. Issopode influenciar negativamente as ferramentas que suportam o idioma inglês. Entretanto,nesse trabalho, são separadas as comparações feitas por ferramentas que suportam o idi-oma português das que suportam o inglês.

Outro ponto importante sobre como os dados foram mensurados, é o modo comocada ferramenta atribui pontuação aos termos para classificar um texto como positivo,negativo ou neutro. A AlchmeyAPI e a Textalytics classificam uma frase em um intervalode -1 a 1, a Semantria de -2 a 2 e a SentiHealth-Cancer de -6 a 4.

A SentiStrength atribui duas pontuações ao texto: uma negativa que varia de -1 a-5 e outra positiva que varia de 1 a 5 [164]. A soma dessas duas pontuações é o valor quedefine a classe do texto.

A AlchemyAPI, SentiStrength, SentiHealth-Cancer e Textalytics-Cancer classi-ficam um texto como neutro se a pontuação do sentimento dado é zero, positivo se oresultado for acima de zero e negativo se o resultado for abaixo de zero. Por sua vez, aSemantria classifica um texto neutro se a pontuação dada é entre -0.45 e 0.5. Acima dessafaixa o texto é classificado como positivo e abaixo, como negativo [103].

Para analisar os resultados dos experimentos realizados com as ferramentasabordadas neste estudo, foi desenvolvido um aplicativo em Java que integra todas elas,executada os experimentos e gera, automaticamente, uma planilha no formato .xls coma precisão, revocação, F1 e acurácia de cada experimento. O teste t pareado é calculadoutilizando a fórmula Amostra Dupla Pareada para Médias (T-test: Paired Two Sample for

Means) do Excel. Assim, as questões de pesquisa aqui propostas são respondidas com osresultados apresentados por essas planilhas.

Para avaliar a taxonomia proposta são adotadas as mesmas métricas utilizadaspor [37] para avaliar sua taxonomia: expressividade e efetividade. Expressividade medea quantidade de conceitos diferentes que a taxonomia consegue abranger e efetividade, oquanto ela possibilita a distinção e categorização desses conceitos.

6.4 Resultados

Nesta seção são mostrados os resultados obtidos em cada um dos experimentosrealizados neste trabalho. Primeiro são apresentados os experimentos realizados apenascom a SHC. Depois, é feita a comparação dessa ferramenta com as demais. Essas

6.4 Resultados 92

comparações são divididas por grupos e pelos públicos que avaliaram as mensagens(público geral e psicólogos).

Como há duas versões da SHC, a SHC v1, que consiste da versão original dométodo proposto e SHC v2, que é a sua versão melhorada, os resultados dos experimentosrealizados com essas duas versões são mostrados a seguir.

6.4.1 Experimento 1

O algoritmo proposto pelo SentiHealth foi elaborado adotando característicasléxicas utilizadas pela literatura da AS. Além disso, esse algoritmo utiliza dicionáriosléxicos adaptados para o contexto de câncer. Para mensurar o seu desempenho, foiutilizada a ferramenta SHC v1 como sua instância.

Como pode ser visto na Tabela 6.1, a SHC, em sua primeira versão, já conseguebons resultados para classificar as mensagens. Ela se destaca principalmente nas mensa-gens positivas, onde chega a apresentar uma média de F1 de 72.16%.

Grupo A Grupo B Grupo C Grupo D Grupo E Grupo F Grupo Ga Grupo Gb Grupo H

PositivoPr 61.9 67.3 67.39 73.17 66.66 80 75 78.57 53.84Re 43.33 77.77 68.88 68.18 48.27 57.14 54.54 46.8 70F1 50.98 72.16 68.13 70.58 55.99 66.66 63.15 58.66 60.86

NegativoPr 0 33.33 37.5 6.66 5.55 0 0 33.33 75Re 0 50 60 50 50 0 0 14.28 9.67F1 0 40 46.15 11.76 10 0 0 19.99 17.14

NeutroPr 33.33 82.6 75 75.75 55.1 46.51 46.66 28.94 18.75Re 30 54.28 60 58.13 55.1 50 66.66 73.33 75F1 31.57 65.51 66.66 65.78 55.1 48.19 54.9 41.5 30

Média 1Pr 31.74 61.08 59.96 51.86 42.44 42.17 40.55 46.95 49.19Re 24.44 60.68 62.96 58.77 51.12 35.71 40.4 44.8 51.55F1 27.51 59.22 60.31 49.38 40.36 38.28 39.35 40.05 36

Média 2Pr 47.62 74.95 71.2 74.46 60.88 63.25 60.83 53.8 36.3Re 36.67 66.02 64.44 63.16 51.69 53.57 60.6 60.1 72.5F1 41.28 68.84 67.4 68.18 55.55 57.43 59.03 50.08 45.43Ac 35.18 65.55 64.44 62.92 51.37 54.05 57.57 49.27 32.65

Tabela 6.1: Porcentagem de precisão (Pr); revocação (Re); F1;acurácia (Ac); média das classes positivo, negativo eneutro (Média 1) e média das classes positivo e neutro(Média 2) da SHC v1 em todos os grupos.

A maioria dos grupos coletados possuem poucas mensagens negativas, o quedificulta descobrir o comportamento da SHC v1 nessa classe. Portanto, a Tabela 6.1mostra quais são as médias da SHC v1 quando consideradas as três classes e quandoconsideradas apenas as classes positivo e neutro. É possível perceber que suas médias deF1 são maiores quando consideradas as classes positivo e neutro, logicamente, porque osvalores apresentados pela SHC v1 avaliando uma quantidade insignificante de mensagensnegativas faz com que sua média nas três classes seja prejudicada.

Neste experimento, apenas o grupo H possui uma grande quantidade de mensa-gens negativas, porém, apenas um grupo não é o ideal para avaliar o comportamento da

6.4 Resultados 93

SHC v1, melhor seria possuir uma maior quantidade de grupos com mais mensagens ne-gativas. Como exemplo, apesar da SHC v1 ter um resultado não tão satisfatório no grupoA para classificar mensagens neutras (31.74%), ela consegue resultados acima de 40%em todos os outros grupos, atingindo até mesmo 61.08% no grupo B.

A Tabela 6.1 também mostra que as chances da SHC v1 classificar corretamentemensagens de grupos avaliados por diferentes públicos continua sendo alta. Suas médiasde F1 (classes positivo e neutro) no grupo G avaliado pelo público geral (Ga) e nessemesmo grupo avaliado por psicólogos (Gb) são, respectivamente, 59.03% e 50.08%.

6.4.2 Experimento 2

O experimento realizado anteriormente (Tabela 6.1) considera algumas carac-terísticas julgadas úteis para um algoritmo de AS baseada em abordagem léxica. Paradescobrir se essas características são realmente relevantes, esta seção mostra os resulta-dos da SHC, na base de treino (grupo B), variando-se suas diferentes características e,quando possível, a ordem em que elas são aplicadas. A SHC v2 é o resultado da melhorcombinação encontrada.

As medidas utilizadas são as médias de F1 nas três classes de sentimento e a F1em cada classe. Assim é possível descobrir qual é a melhor combinação de característicaspara cada classe e para as três classes juntas.

Para facilitar o entendimento, as características estão enumeradas como se segue:

1. Consideração de toda a mensagem para o cálculo do sentimento;

1.1. Remoção de URLs da mensagem;1.2. Utilização de “ngram.txt” no cálculo do sentimento de toda a mensagem;1.3. Utilização de “dicionario.txt” no cálculo do sentimento de toda a mensagem;1.4. Utilização de “ngram.txt” primeiro para depois utilizar o “dicionario.txt” no

cálculo do sentimento de toda a mensagem;1.5. Utilização de “dicionario.txt” primeiro para depois utilizar o “ngram.txt” no

cálculo do sentimento de toda a mensagem;

2. Consideração de frases prioritárias.

2.1. Multiplicação da força sentimental de um termo por dois quando ele possuivogais repetidas;

2.2. Multiplicação da força sentimental de um termo por dois quando ele está emcaixa alta;

2.3. Multiplicação da força sentimental de uma frase por dois quando ela possuiponto de exclamação;

2.4. Adoção apenas de “emoticons.txt” quando é identificado algum emoticon nafrase;

6.4 Resultados 94

2.5. Adoção apenas de “hashtags.txt” quando é identificado algum hashtag nafrase;

2.6. Utilização de “ngram.txt” no cálculo do sentimento da frase;2.7. Utilização de “dicionario.txt” no cálculo do sentimento da frase;2.8. Utilização de “emoticons.txt” primeiro para depois utilizar o “hashtags.txt”

no cálculo do sentimento da frase;2.9. Utilização de “hashtags.txt” primeiro para depois utilizar o “emoticons.txt”

no cálculo do sentimento da frase;2.10. Utilização de “ngram.txt” primeiro para depois utilizar o “dicionario.txt” no

cálculo do sentimento da frase;2.11. Utilização de “dicionario.txt” primeiro para depois utilizar o “ngram.txt” no

cálculo do sentimento da frase;2.12. Quantidade de frases neutras na mensagem é igual à zero na existência de

alguma frase positiva ou negativa;

Para esse experimento, é comparado o resultado da SHC v1 padrão (com todasas caraterísticas ativadas) com os resultados da SHC v1 desativando cada uma de suascaracterísticas manualmente. Isso permite saber a relevância de cada característica e se épossível obter um melhor resultado com uma combinação diferente delas.

São realizadas iterações de combinações das características até ser encontradaa combinação que apresenta o melhor resultado. Ou seja, cada vez que é identificadauma combinação que apresenta um melhor resultado, ela é adotada como sendo a versãopadrão da SHC v1 e cada uma de suas características são novamente retiradas na iteraçãoseguinte. As iterações continuam até não serem identificadas mais combinações commelhores resultados. Assim, foram necessárias apenas duas iterações (Tabelas 6.2 e 6.3)para descobrir a melhor combinação.

A Tabela 6.2 mostra que a desconsideração da característica 1.3 (utilização de“dicionario.txt”’ no cálculo do sentimento de toda a mensagem) apresentou o melhorresultado da média de F1. Mas também mostrou que a desconsideração da característica2.3 (multiplicação da força sentimental de uma frase por dois quando ela possui ponto deexclamação) apresenta melhor média de F1 do que a combinação padrão do algoritmo.Porém, por essas características serem interdependentes, o fato de desconsiderar umacaracterística e apresentar bom resultado em uma combinação não implica que a suadesconsideração em outra combinação também apresentará um bom resultado.

Assim, para a segunda iteração (Tabela 6.3), foi adotado como o algoritmopadrão apenas o com a remoção da característica 1.3. Já nessa segunda iteração foipossível perceber que não há combinações com um melhor resultado de média de F1,pois as remoções de cada uma das outras características, uma por uma, não apresentaramuma média de F1 superior à 68.23%. Portanto, não foram necessárias mais iterações.

6.4 Resultados 95

1

1.1 x x x x x x x x x x x x x x x1.2 x x x x x x x x x x x x x x x1.3 x x x x x x x x x x x x x x x1.4 x x x x x x x x x x x x x1.5 x

2

2.1 x x x x x x x x x x x x x x2.2 x x x x x x x x x x x x x x2.3 x x x x x x x x x x x x x x x2.4 x x x x x x x x x x x x x x x2.5 x x x x x x x x x x x x x x x2.6 x x x x x x x x x x x x x x x2.7 x x x x x x x x x x x x x x x2.8 x x x x x x x x x x x x x2.9 x

2.10 x x x x x x x x x x x x x2.11 x2.12 x x x x x x x x x x x x x x x

F1 Positivo 82.64 80.34 82.64 80.99 82.35 81.3 82.64 65.26 75 82.64 73.21 78.94 63.63 81.66 75 82.35 76.1F1 Negativo 55.55 59.09 55.55 43.75 55.55 59.45 55.55 44.89 41.17 55.55 40.9 51.42 30.18 52.94 45.83 57.14 46.8

F1 Neutro 65.11 56.41 65.11 68.08 66.66 60 65.11 60.71 66.66 65.11 63.63 62.74 25.45 60.86 60 65.21 60Média de F1 67.77 65.28 67.77 64.27 68.19 66.92 67.77 56.95 60.94 67.77 59.25 64.37 39.75 65.15 60.27 68.23 60.97

Tabela 6.2: Primeira iteração do experimento das relevância dascaracterísticas do SentiHealth.

1

1.1 x x x x x x x x x x x x x1.2 x x x x x x x x x x x x x1.31.41.5

2

2.1 x x x x x x x x x x x x2.2 x x x x x x x x x x x x2.3 x x x x x x x x x x x x x2.4 x x x x x x x x x x x x x2.5 x x x x x x x x x x x x x2.6 x x x x x x x x x x x x x2.7 x x x x x x x x x x x x x2.8 x x x x x x x x x x x2.9 x

2.10 x x x x x x x x x x x2.11 x2.12 x x x x x x x x x x x x x

F1 Positivo 82.35 76.78 78.99 78.99 80 80.99 82.35 61.05 73.39 82.35 73.21 77.87 82.35 81.35 74.54F1 Negativo 57.14 55 40 40 57.14 57.14 57.14 36.36 45.71 57.14 39.02 49.99 57.14 52.94 40

F1 Neutro 65.21 58.33 66.66 66.66 64 59.09 65.21 62.29 60.71 65.21 63.82 61.81 65.21 62.49 50Média de F1 68.23 63.37 61.88 61.88 67.04 65.74 68.23 53.23 59.94 68.23 58.68 63.23 68.23 65.59 54.84

Tabela 6.3: Última iteração do experimento das relevância dascaracterísticas do SentiHealth.

Apesar de nos experimentos das Tabelas 6.2 e 6.3 existirem combinações decaracterísticas que apresentaram melhores resultados de F1 em classes específicas. Oobjetivo do SentiHealth é conseguir um bom resultado nas três classes de sentimento,por isso, foi adotado apenas a média de F1 para determinar a melhor combinação.

A Tabela 6.4 mostra de quanto é o ganho ou perda quando consideradas cada umadas características do algoritmo padrão. As características 1.4, 2.9 e 2.11 não estão nestatabela porque elas representam as ordens em que as caraterísticas já estão adotadas noalgoritmo padrão, ou seja, em relação às ordens das características, devem ser mensuradasapenas as diferenças quando elas são invertidas. Porém, essas características não sãoomitidas das tabelas 6.2 e 6.3 para facilitar o entendimento de qual a ordem utilizadaem cada combinação.

Para todas as classes, a característica que fez o algoritmo obter o maior ganho deF1 foi a 1: 29.88% de ganho na classe positivo, 84.06% na negativo, 155.83% na neutro e

6.4 Resultados 96

média de 70.49%. Outra característica que apresentou bons resultados em as classes foi a2.6: 26.63% de ganho na classe positivo, 23.75% na negativo, 7.25% na neutro e 19% namédia.

Característica 1 1.1 1.2 1.3 1.5 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.10 2.12F1 Positivo 29.88 1.2 10.19 0.35 8.59 2.86 0 2.04 0.35 1.65 0 26.63 10.19 0 12.88 4.69F1 Negativo 84.06 4.93 21.21 -2.78 18.7 -5.99 0 26.97 0 -6.56 0 23.75 34.93 0 35.82 8.03F1 Neutro 155.83 6.98 8.52 -0.15 8.52 15.42 0 -4.36 -2.33 8.52 0 7.25 -2.33 0 2.33 3.78Média de F1 70.49 4.02 12.44 -0.67 11.15 3.81 0 5.45 -0.62 1.27 0 19 11.21 0 14.38 5.28

Tabela 6.4: Porcentagem de ganhos ou perdas das característicasdo SentiHealth.

As características 2.1, 2.5 e 2.8 não afetaram o desempenho do algoritmo emnenhuma classe. Já a 2.3 não afetou na classe negativo, mas reduziu em 2.33% na neutro,o que fez com que a média fosse reduzida 0.62%. A característica que mais afetounegativamente algoritmo foi a 1.3, ela reduziu o F1 na classe negativo em 2.78% e naclasse positivo, 0.15%. Portanto, essa característica foi a que mais reduziu a média de F1nas três classes, sua redução foi de 0.67%.

Assim, os experimentos apresentados nesta subseção mostram que a melhorcombinação do algoritmo é apenas removendo a característica 1.3. Portanto, é essacombinação adotada pela SHC v2.

6.4.3 Experimento 3

Os experimentos mostrados nesta subseção utilizam todos os grupos da base deteste. Para cada grupo, são comparadas as ferramentas que suportam o idioma portuguêse a melhor ferramenta dessa comparação, com as que suportam o inglês. Ao final,são confrontadas as medidas de F1 da SHC-pt (SHC v2) em todos os grupos com asmedidas de F1 das outras ferramentas para descobrir em quais casos ela apresenta ganhossignificativos.

As ferramentas SEM-pt, SEM-en e TAY-en são não determinísticas, ou seja,podem apresentar um resultado diferente a cada execução. Portanto, para poder compararelas com as outras ferramentas, cada uma delas foi executada 30x em cada grupo e osvalores das medidas apresentadas por elas nas comparações são as médias dessas 30execuções.

Uma distribuição ideal das três classes de sentimento em um conjunto de men-sagens é de 33.33% para cada classe. Portanto, uma classe é desconsiderada quando elarepresenta menos de 10% do total de mensagens que estão sendo analisadas.

Os grupos A, D, E, F e Ga apresentam uma quantidade menor do que 10%de mensagens negativas. O desempenho apresentado pelas ferramentas nesses grupospara classificar mensagens negativas podem ser vistas na Tabela 6.5. Portanto, como aquantidade é pequena, uma ferramenta pode apresentar valores muito elevados quando

6.4 Resultados 97

acerta uma mensagem ou muito baixos quando ela erra. Assim, para isso não prejudicar aanálise quando são consideradas as três classes juntas, esses valores são descartados dascomparações das ferramentas.

SHC-pt SEM-pt SST-pt SEM-en ACM-en SST-en TAY-en

Grupo APr 8.33 0.51 ± 1.61 7.31 4.62 ± 2.8 9.37 8.51 1.86 ± 1.7Re 25 3.33 ± 10.85 75 34.17 ± 20.22 75 100 14.17 ± 12.6F1 12.5 0.88 ± 2.79 13.33 8.14 ± 4.91 16.66 15.68 3.29 ± 2.98

Grupo DPr 6.66 0.07 ± 0.39 0 0 0 0 1.15 ± 1.31Re 50 1.67 ± 9.13 0 0 0 0 23.33 ± 25.37F1 11.76 0.14 ± 0.74 0 0 0 0 2.18 ± 2.49

Grupo EPr 5.55 1.73 ± 1.69 0 0.28 ± 0.72 10.52 0 0.49 ± 0.65Re 50 26.67 ± 25.37 0 6.67 ± 17.29 100 0 18.33 ± 24.51F1 10 3.24 ± 3.15 0 0.53 ± 1.39 19.04 0 0.95 ± 1.28

Grupo FPr 0 0 0 0.11 ± 0.61 0 0 0Re 0 0 0 3.33 ± 18.26 0 0 0F1 0 0 0 0.22 ± 1.18 0 12.5 0

Grupo GaPr 33.33 0 12.5 3 ± 2.74 0 100 0Re 100 0 100 56.67 ± 50.4 0 22.22 0F1 50 0 22.22 5.7 ± 5.19 0 0

Tabela 6.5: Desempenho das ferramentas na classe negativo nosgrupos que possuem poucas mensagens dessa classe.

Os experimentos utilizando todas as mensagens do grupo T1 e, posteriormente,em cada um dos grupos A, C, D, E, F e Ga podem ser vistos a seguir.

Grupo T1

As tabelas 6.6 e 6.7 mostram os resultados dos experimentos analisando todas as519 mensagens do grupo T1: 291 positivas, 20 negativas e 208 neutras.

SHC-pt SEM-pt SST-pt

PositivoPr 73.7 21.19 ± 9.62 66.49Re 53.95 13.29 ± 7.76 43.64F1 62.3 15.91 ± 8.55 52.69

NeutroPr 54.97 29.7 ± 4.62 51.42Re 61.05 63.12 ± 6.66 34.61F1 57.85 40.05 ± 4 41.37

MédiaPr 64.34 25.45 ± 6.04 59Re 57.5 38.21 ± 3.77 39F1 60.08 27.98 ± 5.38 47.03Ac 56.64 32.37 ± 5.59 39.88

Tabela 6.6: Comparação no grupo T1 das ferramentas que supor-tam o idioma português.

A Tabela 6.6 compara os resultados obtidos pelas ferramentas que analisam tex-tos em português. A SHC-pt apresenta os melhores resultados em todas as casses. Des-considerando a classe negativa por ela representar apenas 3.85% do total de mensagens,a média de F1 da SHC-pt nas outras duas classes (60.08%) é 27.74% superior à segundamelhor ferramenta, a SST-pt (47.03%).

A Tabela 6.7 compara a melhor ferramenta, SHC-pt do experimento anterior,com os resultados apresentados pelas ferramentas que analisaram os textos traduzidospara o inglês. Apesar da SHC-pt (62.3%) apresentar um resultado um pouco inferior à

6.4 Resultados 98

SHC-pt SEM-en ACM-en SST-en TAY-en

PositivoPr 73.7 37.62 ± 8.5 62.5 65.27 22.53 ± 3.67Re 53.95 33.89 ± 5.72 72.16 48.45 31.98 ± 5.44F1 62.3 35.27 ± 6.19 66.98 55.62 26.31 ± 4.06

NeutroPr 54.97 26.83 ± 5.4 49.42 56.75 10.77 ± 5.08Re 61.05 38.73 ± 9.9 20.67 30.28 17.36 ± 7.79F1 57.85 31.43 ± 6.49 29.15 39.49 13.05 ± 5.67

MédiaPr 64.34 32.22 ± 5.58 55.96 61 16.65 ± 3.44Re 57.5 36.31 ± 7.62 46.42 39 24.67 ± 4.59F1 60.08 33.35 ± 5.97 48.07 47.56 19.68 ± 3.82Ac 56.64 35.36 ± 6.97 50.67 40.84 25.27 ± 4.23

Tabela 6.7: Comparação no grupo T1 da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

ACM-en (66.98%) em F1 na classe positivo, ainda assim ela mostrou ser a melhor porapresentar as melhores médias quando consideradas as classes positivo e neutro: 64.34%de Pr, 57.5% de Re e 60.08% de F1.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt,SEM-en, ACM-en e TAY-en classificaram, respectivamente, 21.22, 22.86, 16 e 47.11mensagens como indefinidas.

Os experimentos das tabelas 6.6 e 6.7 mostraram que a SHC-pt foi superior àsoutras ferramentas quando consideradas as mensagens de todos os grupos da base de teste.As subseções seguintes mostram o desempenho da SHC-pt em cada grupo.

Grupo A

As tabelas 6.8 e 6.9 mostram os resultados dos experimentos analisando as 54mensagens do grupo A: 30 positivas, 4 negativas e 20 neutras.


PositivoPr 68.75 14.93 ± 7.96 75Re 36.66 6.33 ± 4.14 20F1 47.82 8.45 ± 4.3 31.57

NeutroPr 42.3 26.62 ± 5.25 40Re 55 60.67 ± 13.18 10F1 47.82 36.97 ± 7.54 16

MédiaPr 55.53 20.77 ± 5.64 57.5Re 45.83 33.5 ± 5.93 15F1 47.82 22.71 ± 4.02 23.79Ac 42.59 26.23 ± 4.04 20.37

Tabela 6.8: Comparação no grupo A das ferramentas que supor-tam o idioma português.

Na Tabela 6.8 é possível perceber que, dentre as ferramentas que suportam oidioma português, a SHC-pt apresentou melhores resultados de F1 nas classes positivo(47.82%) e neutro (47.82%). Assim, considerando a média nessas duas classes, a a SHC-pt atingiu mais do que o dobro da média de F1 (47.82%) do que a segunda melhorferramenta, a SST-pt (23.79%).

6.4 Resultados 99


PositivoPr 68.75 37.64 ± 14.81 81.25 100 25.97 ± 6.57Re 36.66 26.66 ± 7.53 43.33 20 36.44 ± 6.78F1 47.82 30.96 ± 10.12 56.52 33.33 30.26 ± 6.65

NeutroPr 42.3 21.7 ± 8.14 33.33 0 5.87 ± 4.41Re 55 25.83 ± 8.72 10 0 7.67 ± 4.69F1 47.82 23.43 ± 8.23 15.38 0 6.56 ± 4.42

MédiaPr 55.53 29.67 ± 10.4 57.29 50 15.92 ± 5.05Re 45.83 26.25 ± 6.46 26.67 10 22.05 ± 4.65F1 47.82 27.2 ± 7.86 35.95 16.67 18.41 ± 4.88Ac 42.59 26.91 ± 6.79 33.33 18.51 24.13 ± 4.99

Tabela 6.9: Comparação no grupo A da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

Comparando a SHC-pt, a melhor ferramenta do experimento anterior, com asferramentas analisando textos em inglês, é possível perceber pela Tabela 6.9 que a SHC-pt perdeu em Pr (68.75%), Re (36.66%) e F1 (47.82%) para a ACM-en (81.25% de Pr,43.33% de Re e 56.52% de F1) na classe positivo. Porém, a SHC-pt foi a que apresentoumelhor desempenho em Ac (42.59%) e na média de F1 da classe positivo e neutro(47.82%).

Portanto, considerando que uma ferramenta de AS deve ser capaz de classificartextos nas três classes de sentimento e que esse grupo inviabiliza analisar a classe negativapor ter uma quantidade insignificante de mensagens dessa classe, a ferramenta maisrecomendada segundo esse experimento é a SHC-pt por ela ter apresentado maior médiade F1 das classes positivo e neutro. O bom desempenho da SHC-pt também mostrou queé melhor utilizar ela para analisar textos em português do que traduzi-los para o inglês eutilizar uma fermenta que suporte esse idioma.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt,SEM-en e TAY-en classificaram, respectivamente, 10.6, 12.63 e 24.93 mensagens comoindefinidas.

Grupo C

As tabelas 6.10 e 6.11 mostram os resultados dos experimentos analisando as180 mensagens do grupo C: 90 positivas, 20 negativas e 70 neutras.

No grupo C, que possui uma distribuição melhor das classes das mensagens,a SHC-pt apresentou os melhores resultados de todas as medidas em todas as classes(Tabela 6.10). Sua média de F1 nas três classes (60.31%) foi 77% maior do que a segundamelhor ferramenta entre as que suportam o português, a SST-pt, com média de F1 de34.07%.

Na Tabela 6.11, comparando a SHC-pt com as ferramentas que suportam oidioma inglês, ela novamente apresentou os melhores resultados em todas as classes. Suamédia de F1 das três classes (60.31%) é 71.33% superior à segunda melhor ferramenta, a

6.4 Resultados 100


PositivoPr 67.39 18.25 ± 8.11 56.25Re 68.88 13.62 ± 4.77 40F1 68.13 15.47 ± 5.89 46.75

NegativoPr 37.5 1.99 ± 2.18 11.76Re 60 6 ± 6.75 40F1 46.15 2.96 ± 3.24 18.18

NeutroPr 75 27.71 ± 5.64 45.83Re 60 58.09 ± 11.39 31.42F1 66.66 37.51 ± 7.53 37.28

MédiaPr 59.96 15.98 ± 4.45 37.94Re 62.96 25.9 ± 4.64 37.14F1 60.31 18.65 ± 4.15 34.07Ac 64.44 30.07 ± 5.71 36.66

Tabela 6.10: Comparação no grupo C das ferramentas que supor-tam o idioma português.


PositivoPr 67.39 27.7 ± 8.82 53.22 51.61 21.72 ± 5.44Re 68.88 29.7 ± 7.93 73.33 35.55 34.66 ± 7.71F1 68.13 28.6 ± 8.3 61.68 42.1 26.68 ± 6.34

NegativoPr 37.5 5.44 ± 3.34 21.73 7.31 2.8 ± 1.46Re 60 19.67 ± 10.98 50 30 13.67 ± 7.18F1 46.15 8.48 ± 5.06 30.3 11.76 4.63 ± 2.41

NeutroPr 75 21.08 ± 6.98 33.33 44.44 8.29 ± 4.27Re 60 31.04 ± 9.33 8.57 22.85 12.57 ± 5.23F1 66.66 25.06 ± 7.93 13.63 30.18 9.95 ± 4.62

MédiaPr 59.96 18.07 ± 5.78 36.09 34.45 10.93 ± 2.97Re 62.96 26.8 ± 7.64 43.96 29.47 20.3 ± 4.05F1 60.31 20.71 ± 6.19 35.2 28.01 13.75 ± 3.28Ac 64.44 29.11 ± 7.63 45.55 30 23.74 ± 4.53

Tabela 6.11: Comparação no grupo C da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

ACM-pt (35.2%). Isso novamente indica que é melhor analisar textos em português coma SHC-pt do que tentar analisar os textos traduzindo-os para o inglês.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt, SEM-en, ACM-en e TAY-en classificaram, respectivamente, 24.66, 26.56, 2 e 43.26mensagens como indefinidas.

Grupo D

As tabelas 6.12 e 6.13 mostram os resultados dos experimentos analisando as 89mensagens do grupo D: 44 positivas, 2 negativas e 43 neutras.

O grupo D possui apenas duas mensagens negativas, portanto, como mostrado naTabela 6.12, considerando apenas as classes positivo e neutro, a SHC-pt apresenta maiormédia de F1 (64.6%) entre as ferramentas que suportam o português, 33.85% superior àsegunda melhor ferramenta SST-pt (48.26%). Além disso, ao comparar a SHC-pt com asoutras ferramentas nesse experimento, é possível perceber novamente que ela apresentaos maiores valores de todas as medidas, independentemente da classe.

Na Tabela 6.13, confrontando a SHC-pt com as ferramentas que suportam oidioma inglês, ela perde somente em Re (59.09%) para a ACM-en (70.45%) na classe

6.4 Resultados 101


PositivoPr 72.22 18.44 ± 6.82 60Re 59.09 11.06 ± 2.29 40.9F1 65 13.62 ± 3.2 48.64

NeutroPr 68.42 37.32 ± 5.92 60.71Re 60.46 63.56 ± 9.51 39.53F1 64.19 47.03 ± 7.29 47.88

MédiaPr 70.32 27.88 ± 5.99 60.4Re 59.78 37.31 ± 5.07 40F1 64.6 30.32 ± 4.71 48.26Ac 59.55 36.21 ± 4.79 39.32

Tabela 6.12: Comparação no grupo D das ferramentas que supor-tam o idioma português.


PositivoPr 72.22 36.47 ± 9.86 49.2 53.84 24.32 ± 7.96Re 59.09 40.91 ± 7.96 70.45 47.72 38.4 ± 10.98F1 65 38.47 ± 8.93 57.94 50.6 29.75 ± 9.22

NeutroPr 68.42 35.73 ± 8.66 66.66 68.18 20.36 ± 8.07Re 60.46 45.04 ± 8.14 23.25 34.88 25.65 ± 7.24F1 64.19 39.78 ± 8.48 34.48 46.15 22.56 ± 7.64

MédiaPr 70.32 36.1 ± 9.1 57.93 61 22.34 ± 7.63Re 59.78 42.97 ± 7.54 46.85 41 32.03 ± 7.75F1 64.6 39.13 ± 8.44 46.21 48.38 26.16 ± 7.76Ac 59.55 41.98 ± 7.37 46.06 40.44 31.9 ± 7.74

Tabela 6.13: Comparação no grupo D da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

positivo. Porém, ela apresenta uma melhor média harmônica entre a Pr e Re nessa classe,com F1 de 65%. Isso mostra a importância de se calcular o F1 para saber qual a ferramentamais indicada para classificar mensagens de uma determinada classe, pois apesar deferramenta ter boa Re, ela pode ter uma Pr tão baixa que faça com ela apresente umvalor de F1 também baixo.

Considerando as demais medidas, a SHC-pt apresenta os maiores resultados,indicando novamente que é ela é melhor do que as ferramentas que suportam o inglês.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt, SEM-en, ACM-en e TAY-en classificaram, respectivamente, 19, 20.63, 2 e 41.73mensagens como indefinidas.

Grupo E

As tabelas 6.14 e 6.15 mostram os resultados dos experimentos analisando as109 mensagens do grupo E: 58 positivas, 2 negativas e 49 neutras.

No grupo E também há apenas duas mensagens negativas, portanto, os resultadosapresentados nessa classe são irrelevantes. A Tabela 6.14 mostra que, entre as ferramentasque suportam o português, a SHC-pt, apesar de perder em Pr (53.83%) para a SST-pt(64%) na classe neutro, apresenta os melhores resultados de F1 (média harmônica entrePr e Re) em todas as classes e melhores médias de Pr e Re nas classes positivo e neutro.A SHC-pt também apresenta os melhores resultados nas demais medidas (Tabela 6.14).

6.4 Resultados 102


PositivoPr 66.66 27.05 ± 7.29 55.81Re 44.82 23.21 ± 4.93 41.37F1 53.6 24.92 ± 5.83 47.52

NeutroPr 53.84 32.15 ± 5.57 64Re 57.14 55.17 ± 8.88 32.65F1 55.44 40.61 ± 6.8 43.24

MédiaPr 60.25 29.6 ± 6.04 59.9Re 50.98 39.19 ± 5.83 37F1 54.52 32.76 ± 5.69 45.38Ac 50.45 37.64 ± 5.63 36.69

Tabela 6.14: Comparação no grupo E das ferramentas que supor-tam o idioma português.


PositivoPr 66.66 29.45 ± 8.01 61.53 55.17 15.76 ± 3.78Re 44.82 31.43 ± 6.33 82.75 55.17 24.65 ± 5.59F1 53.6 30.33 ± 7.14 70.58 55.17 19.22 ± 4.48

NeutroPr 53.84 26.84 ± 9.24 83.33 68.42 8.14 ± 3.92Re 57.14 33.26 ± 9.21 20.4 26.53 12.38 ± 5.19F1 55.44 29.65 ± 9.31 32.78 38.23 9.8 ± 4.42

MédiaPr 60.25 28.14 ± 8.44 72.43 62 11.95 ± 3.25Re 50.98 32.35 ± 7.26 51.58 41 18.51 ± 4.01F1 54.52 29.99 ± 7.93 51.68 46.7 14.51 ± 3.59Ac 50.45 31.8 ± 7.03 55.04 41.28 19.02 ± 3.86

Tabela 6.15: Comparação no grupo E da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

Comparando a SHC-pt com as ferramentas que suportam o inglês (Tabela 6.15),a SHC-pt (53.6%) perde em F1 para a ACM-en (70.58%) e para a SST-en (55.17%) naclasse positivo, mas ganha em F1 na neutro e na média de F1 das classes positivo e neutro.Isso mostra que a SHC-pt é a mais equilibrada para classificar mensagens positivas eneutras, pois, apesar de ela perder em uma dessas classes, apresenta melhor desempenhoquando são consideradas as duas classes.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt,SEM-en e TAY-en classificaram, respectivamente, 29.8, 31.3 e 65.33 mensagens comoindefinidas.

Grupo F

As tabelas 6.16 e 6.17 mostram os resultados dos experimentos analisando as111 mensagens do grupo F: 70 positivas, 1 negativas e 40 neutras.

O grupo F, assim como a maioria dos grupos, possui uma quantidade insigni-ficante de mensagens negativas, apenas uma. Portanto, analisando apenas as classes po-sitivo e neutro, entre as ferramentas que analisaram textos em português, a que mostroumaior desempenho foi a SHC-pt, com uma média de F1 de 59.98% e Ac de 57.65%. Essegrupo é o que possui maior quantidade de mensagens (111), isso indica que a SHC-ptapresenta um bom comportamento mesmo com uma quantidade maior de mensagens.

6.4 Resultados 103


PositivoPr 81.63 37.56 ± 10.58 79.62Re 57.14 21.38 ± 2.82 61.42F1 67.22 27.05 ± 4.85 69.35

NeutroPr 47.05 30.07 ± 4.55 54.16Re 60 67.92 ± 9.56 32.5F1 52.74 41.68 ± 6.17 40.62

MédiaPr 64.34 33.81 ± 7.3 66.9Re 58.57 44.65 ± 5.66 47F1 59.98 34.36 ± 5.19 54.99Ac 57.65 37.95 ± 4.64 50.45

Tabela 6.16: Comparação no grupo F das ferramentas que supor-tam o idioma português.


PositivoPr 81.63 44.98 ± 9.51 74.66 75.92 24.94 ± 10.72Re 57.14 34.57 ± 5.56 80 58.57 30.71 ± 10.64F1 67.22 39.04 ± 7.09 77.24 66.12 27.47 ± 10.72

NeutroPr 47.05 29.45 ± 6.2 45 57.14 10.7 ± 5.86Re 60 48.17 ± 8.61 22.5 30 19.08 ± 6.9F1 52.74 36.51 ± 7.19 30 39.34 13.6 ± 6.39

MédiaPr 64.34 37.21 ± 7.56 59.83 67 17.82 ± 8.06Re 58.57 41.37 ± 6.37 51.25 44 24.9 ± 8.08F1 59.98 37.78 ± 6.71 53.62 52.73 20.54 ± 8.21Ac 57.65 39.18 ± 5.96 58.55 47.74 26.24 ± 8.6

Tabela 6.17: Comparação no grupo F da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

Comparando a SHC-pt com as ferramentas que suportam inglês, novamente,apesar de ela apresentar um resultado de F1 (67.22%) um pouco inferior à ACM-en(77.24%) na classe positivo, sua média de F1 (59.98%) é 11.86% melhor do que a segundamelhor ferramenta, ACM-en, com F1 de 53.62%. Isso indica novamente que é melhoranalisar texto em português com a SHC-pt do que analisar com outra ferramenta com ostextos traduzidos para o inglês.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt,SEM-en, ACM-en e TAY-en classificaram, respectivamente, 22, 23.2, 5 e 60.3 mensagenscomo indefinidas.

Grupo Ga

As tabelas 6.18 e 6.19 mostram os resultados dos experimentos analisando as 66mensagens do grupo Ga: 44 positivas, 1 negativas e 21 neutras.

No grupo Ga, entre as ferramentas que analisaram os textos em português, aSHC-pt novamente apresentou os melhores resultados de todas as medidas em todasclasses, seja analisando classe por classe ou a união delas. Sua média de F1 das classespositivo e neutro (62.21%) é 24.14% maior do que a segunda melhor ferramenta, SST-ptcom F1 de 50.11%.

Como o grupo Ga possui apenas uma mensagem negativa, são consideradosapenas as medidas das classes positiva e neutra da Tabela 6.19. Diferentemente dos outros

6.4 Resultados 104


PositivoPr 85.18 10.95 ± 4.13 75Re 52.27 4.16 ± 1.34 40.9F1 64.78 5.96 ± 1.89 52.94

NeutroPr 47.22 24.31 ± 3.73 38.23Re 80.95 73.33 ± 11.16 61.9F1 59.64 36.51 ± 5.59 47.27

MédiaPr 66.2 17.63 ± 3.45 56.6Re 66.61 38.75 ± 5.62 51F1 62.21 21.23 ± 3.13 50.11Ac 62.12 26.11 ± 3.66 48.48

Tabela 6.18: Comparação no grupo Ga das ferramentas que su-portam o idioma português.


PositivoPr 85.18 49.46 ± 13.03 69.04 89.28 22.46 ± 6.61Re 52.27 40.07 ± 8.08 65.9 56.81 27.04 ± 6.27F1 64.78 44.19 ± 10.09 67.44 69.44 24.5 ± 6.42

NeutroPr 47.22 26.19 ± 7.69 36 50 11.24 ± 5.01Re 80.95 49.04 ± 12.51 42.85 71.42 26.82 ± 10.42F1 59.64 34.12 ± 9.55 39.13 58.82 15.82 ± 6.75

MédiaPr 66.2 37.83 ± 10.15 52.52 70 16.85 ± 5.37Re 66.61 44.56 ± 9.85 54.38 64 26.93 ± 7.15F1 62.21 39.15 ± 9.54 53.29 64.13 20.16 ± 5.93Ac 62.12 43.18 ± 9.24 57.57 62.12 26.56 ± 6.36

Tabela 6.19: Comparação no grupo Ga da melhor ferramentapara analisar textos em português com as ferramen-tas que suportam o idioma inglês.

experimentos, a SST-en foi a que apresentou melhor média de F1 dessas duas classes(64.13%), enquanto que a segunda melhor média foi a da SHC-pt (62.21%). Porém, oganho obtido pela SHC-pt na classe neutro (F1 de 59.64% contra 58.82% da SST-en)fez com que essa diferença fosse de apenas 6%. Além disso, essas duas ferramentasapresentam a mesma Ac (62.12%). Isso torna necessário um cálculo estatístico para saberqual ferramenta obteve ganho significativo e onde houve ± .


Para comprovar se os ganhos obtidos da SHC-pt nos experimentos desta sub-seção são significativos, é adotado o teste t pareado considerando os resultados de F1de todas as ferrametnas em todos os grupos. Assim, para comparar a SHC-pt com outraferramenta, foram armazenados em um vetor os resultados de F1 da SHC-pt obtidos emcada grupo e, em outro vetor, os resultados também obtidos da outra ferramenta em cadagrupo. Os dois vetores foram comparados utilizando o teste t pareado para se descobrir ovalor P.

Os resultados onde a SHC-pt obteve ganhos significativos, com valor P menor doque 0.05, podem ser vistos na Tabela 6.20. Não foi comparada a significância estatísticana classe negativo por ela possuir uma representatividade baixa nos grupos analisados.

Em suma, a SHC-pt obteve ganhos significativos na classe neutro comparada

6.4 Resultados 105

Positivo Neutro MédiaSHC-pt x SEM-pt 0.000170 0.001831 0.000264SHC-pt x SST-pt 0.020061 0.003751 0.005842SHC-pt x SEM-en 0.000477 0.000562 0.000323SHC-pt x ACM-en 0.338604 0.001706 0.022098SHC-pt x SST-en 0.148095 0.023430 0.040016SHC-pt x TAY-en 0.000211 0.000012 0.000021

Tabela 6.20: Valor P da significância estatística de F1 da SHC-ptem relação às outras ferramentas.

com todas as outras ferramentas, com destaque para a diferença com a TAY-en, ondeo P foi de 0.000012. Na classe positivo, a Tabela 6.20 mostra que apenas não houvediferenças significativas da SHC-pt com a ACM-en e SST-en, mas em comparação comas outras ferramentas, a SHC-pt também obteve ganhos reais.

Já em relação à média dessas duas classes, a SHC-pt novamente apresenta ganhossignificativos em relação a todas as ferramentas. Isso comprova que os ganhos obtidospela SHC-pt nos experimentos anteriores são reais e indica que ela possa se comportarassim quando aplicada em mensagens de outros grupos de câncer do Facebook.

Como destaque negativo dos experimentos, as ferramentas SEM-pt, SEM-en,ACM-en e TAY-en foram as únicas que classificaram mensagens como indefinidas. Entreelas, estão as que são não determinísticas (SEM-pt, SEM-en e TAY-en). Destaque paraa TAY-en, que foi a que mais classificou mensagens como indefinidas e obteve pioresresultados em todos os experimentos.

6.4.4 Experimento 4

Nos experimentos das subseções anteriores foi possível perceber que haviampouquíssimas mensagens negativas. Na tentativa de descobrir se um público diferente dogeral classificaria as mensagens de forma diferente, foi escolhido um dos grupos da basede teste para ser classificado por psicólogos.

A dificuldade de se conseguir psicólogos voluntários é maior do que a deencontrar voluntários do público geral. Sendo assim, o grupo G foi o escolhido por possuirapenas uma mensagem negativa e por ter uma quantidade de mensagens que seja aceitávelpara psicólogos voluntários quererem avaliar.

Além disso, foi feita uma nova busca nos grupos de câncer no Facebook, masdessa vez, sendo tendencioso e procurando encontrar um grupo que tenha uma maiorquantidade de mensagens negativas. Foi encontrado o grupo H, que pelo seu nome"VÍTIMAS DO CÂNCER", supostamente possuiria muitas mensagens negativas. Assim,juntamente com o grupo G, foi solicitado para os psicólogos avaliarem também o grupoH.

Cada mensagem foi avaliada por 3 psicólogos e foi adotado o mesmo calculo dosgrupos anteriores para descobrir a real polaridade das mensagens. Ao todo, 3 psicólogos

6.4 Resultados 106

foram voluntários, portanto, cada um deles avaliou todas as 119 mensagens dos grupos Ge H. A Figura 6.2 mostra como é a distribuição das classes de sentimento nesses grupossegundo as opiniões dos psicólogos.

A Figura 6.2 mostra que realmente o grupo H possui uma maior quantidade demensagens negativas (63.26%), o que possibilita avaliar o desempenho das ferramentasnessa classe.

Analisando as classificações feitas pelo público geral e pelos psicólogos no grupoG, 20 mensagens foram classificadas de forma diferente. Três delas foram desconsidera-das das análises com as ferramentas por terem recebido empates nas votações dadas pelopúblico geral. Como exemplos, são mostradas abaixo 5 dessas mensagens:

1. “Meninas as fotos como prometi.bjs”;2. “A última palavra é de Deus”;3. “Nossos sentimentos a família, que Deus lhes dê mta força!”; Com certeza o Léo

está nos braços do Pai, ele era um anjinho...sofreu, lutou, mas Deus quis assim. Umguerreiro!!”;

4. “Estou fazendo o impossível e contando com muito mais voluntários que vocêsestão esperando.”;

5. “Oi, alguém tem algum vídeo explicativo sobre leucemia? Quero colocar na minhapágina, mas não estou achando um bom, achei um, mas to quase chorando aqui,muito triste, queria um mais suave”.

A primeira mensagem foi classificada como positivo pelo público geral, pro-vavelmente por eles terem interpretado que o autor da mensagem está contente por termostrado as fotos como ela havia prometido. Além de terminar com uma forma de des-pedida carinhosa (“bjs”). Já segundo a opinião dos psicólogos, o autor está apenas sendocordial e não realçou sentimentos positivos e nem negativos, ele está neutro.

Na segunda houve empata nas classificações feitas pelo público geral, cadaum dos avaliadores avaliou a mensagem de uma forma diferente. Já os psicólogosconsideraram que a religiosidade mostrada pelo autor é algo positivo para ele.

A terceira mensagem foi interpretada como positiva pelo público geral, possivel-mente por entenderem que o autor compreendeu o falecimento da pessoa citada no texto eque ela esteja em um lugar melhor. Para os psicólogos, o autor está abalado negativamentecom a ida de seu conhecido e, portanto, eles classificaram a mensagem como negativa.

Na quarta novamente os avaliadores do público geral não chegaram a umconsenso sobre o real sentimento do autor do texto. Já para os psicólogos, o autor podeestar otimista por estar conseguindo uma grande quantidade de voluntários.

Por fim, na quinta mensagem, o público geral entendeu que o autor do texto estásendo neutro ao solicitar um vídeo explicativo para os outros membros do grupo. Mas

6.4 Resultados 107

para os psicólogos, o autor pode ter demostrando um estado emocional negativo no finalda mensagem quando ele afirma estar quase chorando ou muito triste.

Portanto, analisando essas mensagens, é possível perceber que a percepçãodesses dois públicos é diferente em alguns casos. Mas como isso é muito subjetivo,não há quem esteja certo ou errado, são apenas opiniões sobre o estado emocional doautor do texto que podem ser afetadas por diversos motivos, até mesmo pelo próprioestado emocional de quem esteja avaliando. Entretanto, também foi possível notar que asopiniões dadas pelos psicólogos tendem mais a não empatar do que as opiniões dadas porquem é do público geral.

As comparações realizadas a seguir utilizam os grupos Gb e H com os sentimen-tos de suas mensagens segundo as opiniões dos psicólogos.

Grupo T2

As tabelas 6.21 e 6.22 mostram os resultados dos experimentos analisando as118 mensagens do grupo T2: 57 positivas, 38 negativas e 23 neutras.


PositivoPr 70.73 13.86 ± 5.89 52.38Re 50.87 13.75 ± 14.03 38.59F1 59.18 12.72 ± 10.31 44.44

NegativoPr 57.14 15.54 ± 21.97 48Re 10.52 6.5 ± 9.2 31.57F1 17.77 9.02 ± 12.75 38.09

NeutroPr 24.28 14.81 ± 2.6 23.52Re 73.91 68.97 ± 6.79 52.17F1 36.55 24.38 ± 3.95 32.43

MédiaPr 50.72 14.73 ± 8.42 41.3Re 45.1 29.74 ± 5.48 40.78F1 37.84 15.37 ± 6.37 38.32Ac 42.37 21.09 ± 3.46 38.98

Tabela 6.21: Comparação no grupo T2 das ferramentas que supor-tam o idioma português.

Unindo os grupos Gb e H, a representatividade de mensagens negativas é de32.2%. Portanto, considerando as três, entre as ferramentas que analisaram as mensagensem português, a que se saiu melhor ainda foi a SHC-pt, com média de F1 de 47.87% e Acde 42.37%.

Comparando a SHC-pt com as ferramentas que suportam o idioma inglês, aTabela 6.22 mostra que, apesar da pouca diferença, é mais indicado utilizar a ferramentaACM-en analisando textos em inglês do que utilizar a SHC-pt com textos em português.Sua média de F1 nas três classes foi de 57.6%, enquanto que a da SHC-pt foi de 37.84%.


6.4 Resultados 108


PositivoPr 70.73 34.55 ± 18.54 56.25 78.37 18.08 ± 0.09Re 50.87 39.2 ± 2.08 63.15 50.87 22.79 ± 1.24F1 59.18 35.04 ± 9.93 59.5 61.7 19.92 ± 0.12

NegativoPr 57.14 28.66 ± 17.4 57.14 70.27 16.48 ± 20.64Re 10.52 38.11 ± 16.8 52.63 68.42 12.45 ± 0.78F1 17.77 28.17 ± 5.24 54.79 69.33 10.64 ± 10.46

NeutroPr 24.28 11.79 ± 10.48 18.18 31.81 10.13 ± 4.02Re 73.91 33.94 ± 26.79 26.08 60.86 45.3 ± 26.68F1 36.55 17.46 ± 15.12 21.42 41.79 16.5 ± 7.19

MédiaPr 50.72 25 ± 3.87 43.85 60.15 14.89 ± 8.19Re 45.1 37.08 ± 13.84 47.29 60.05 26.85 ± 9.56F1 37.84 26.89 ± 6.6 45.24 57.6 15.69 ± 5.92Ac 42.37 34.8 ± 10.55 52.54 58.47 22.71 ± 1.17

Tabela 6.22: Comparação no grupo T2 da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

Grupo Gb

As tabelas 6.23 e 6.24 mostram os resultados dos experimentos analisando as 69mensagens do grupo Gb: 47 positivas, 7 negativas e 15 neutras.


PositivoPr 78.57 9.69 ± 4.37 72Re 46.8 3.82 ± 1.62 38.29F1 58.66 5.43 ± 2.23 50

NegativoPr 33.33 0 ± 0 25Re 14.28 0 ± 0 28.57F1 19.99 0 ± 0 26.66

NeutroPr 28.94 16.65 ± 2.76 27.77Re 73.33 73.77 ± 12.25 66.66F1 41.5 27.17 ± 4.51 39.21

MédiaPr 46.95 8.78 ± 1.96 41.59Re 44.8 25.86 ± 4.1 44.51F1 40.05 10.86 ± 1.73 38.62Ac 49.27 18.64 ± 2.84 43.47

Tabela 6.23: Comparação no grupo Gb das ferramentas que su-portam o idioma português.

Utilizando as opiniões dos psicólogos no grupo G, a quantidade de mensagensnegativas foi de 10.14%, bem superior aos 1.51% das opiniões do público geral. Assim,analisando as três classes com textos em português, a SHC-pt obteve as melhores médiasde F1 nas classes positivo (58.66%) e neutro (41.5%), mas foi inferior na classe negativa(19.99%) em relação à SST-pt (26.66%). Entretanto, ao considerar a média das trêsclasses, a SHC- pt apresenta a melhor média de F1 (40.05%).

Já comparando as ferramentas com textos em inglês, a que obteve melhor médiade F1 nas três classes (62.05%) foi a SST-en: 68.42% na positivo, 66.66% na negativa e51.06% na neutro. A SHC-pt ficou com a segunda melhor média de F1 (40.05%): 58.66%na positivo, 19.99% na negativa e 41.5% na neutro.

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt, SEM-en, ACM-en e TAY-en classificaram, respectivamente, 17, 16.53, 7 e 43.06mensagens como indefinidas.

6.4 Resultados 109


PositivoPr 78.57 47.66 ± 10 65.11 89.65 18.14 ± 4.15Re 46.8 37.73 ± 5.96 59.57 55.31 21.91 ± 5.07F1 58.66 42.06 ± 7.5 62.22 68.42 19.84 ± 4.53

NegativoPr 33.33 16.35 ± 8.32 21.42 62.5 1.88 ± 1.8Re 14.28 49.99 ± 17.5 42.85 71.42 11.9 ± 11.31F1 19.99 24.46 ± 11.18 28.57 66.66 3.24 ± 3.1

NeutroPr 28.94 19.2 ± 4.38 23.07 37.5 7.29 ± 2.7Re 73.33 52.89 ± 10.92 40 80 26.44 ± 9.98F1 41.5 28.15 ± 6.2 29.26 51.06 11.42 ± 4.24

MédiaPr 46.95 27.74 ± 7.05 36.54 63.21 9.1 ± 1.78Re 44.8 46.87 ± 9.67 47.47 68.91 20.08 ± 4.75F1 40.05 31.55 ± 7.52 40.02 62.05 11.5 ± 2.25Ac 49.27 42.27 ± 6.76 53.62 62.31 21.88 ± 3.75

Tabela 6.24: Comparação no grupo Gb da melhor ferramentapara analisar textos em português com as ferramen-tas que suportam o idioma inglês.

Grupo H

As tabelas 6.18 e 6.19 mostram os resultados dos experimentos analisando as 49mensagens do grupo H: 10 positivas, 31 negativas e 8 neutras.


PositivoPr 53.84 18.02 ± 11.86 23.52Re 70 23.67 ± 9.64 40F1 60.86 20.01 ± 10.33 29.62

NegativoPr 75 31.07 ± 15.68 58.82Re 9.67 13 ± 3.64 32.25F1 17.14 18.03 ± 5.78 41.66

NeutroPr 18.75 12.98 ± 3.56 13.33Re 75 64.17 ± 16.65 25F1 30 21.58 ± 5.87 17.39

MédiaPr 49.19 20.69 ± 9.77 31.89Re 51.55 33.61 ± 8.38 32.41F1 36 19.87 ± 6.49 29.56Ac 32.65 23.53 ± 5.72 32.65

Tabela 6.25: Comparação no grupo H das ferramentas que supor-tam o idioma português.

No grupo H, a quantidade de mensagens positivas, negativas e neutras é, respecti-vamente de 20.4%, 63.23% e 16.32%. Portanto, considerando as três classes de sentimen-tos, a SHC-pt é a que apresenta os melhores resultados analisando textos em português.Apesar de ela obter um F1 (17.14%) menor do que a SST-pt (41.66%) na classe negativo,considerando as três classes juntas, sua média de F1 (36%) foi 21.78% superior à SST-pt(29.56%).

Comparando a SHC-pt com as ferramentas que analisaram textos em inglês,a Tabela 6.26 mostra que a SHC-pt apresenta a maior F1 na classe positivo (60.86%)e neutro (30%). Já analisando a classe negativa, a SST-en se saiu melhor, com F1 de69.99%. Esse ganho da SST-en fez com que ela obtivesse a melhor média de F1 quandoconsideradas as três classes (41.11%).

Analisando as classificações desconhecidas, em média, as ferramentas SEM-pt,SEM-en e TAY-en classificaram, respectivamente, 10.13, 8.86 e 27.2 mensagens como

6.4 Resultados 110


PositivoPr 53.84 21.44 ± 7.69 38.09 37.5 10.56 ± 3.33Re 70 40.67 ± 13.63 80 30 37.33 ± 10.48F1 60.86 28.02 ± 9.78 51.61 33.33 16.46 ± 5.02

NegativoPr 75 40.96 ± 9.06 80.95 72.41 18.21 ± 4.66Re 9.67 26.23 ± 4.77 54.83 67.74 20.64 ± 5.06F1 17.14 31.88 ± 6.08 65.38 69.99 19.33 ± 4.79

NeutroPr 18.75 4.37 ± 2.11 0 16.66 2.37 ± 2.39Re 75 15 ± 7.63 0 25 10 ± 10.06F1 30 6.77 ± 3.3 0 20 3.83 ± 3.86

MédiaPr 49.19 22.26 ± 5.09 39.68 42.19 10.38 ± 2.29Re 51.55 27.3 ± 5.67 44.94 40.91 22.65 ± 5.17F1 36 22.22 ± 4.67 38.99 41.11 13.21 ± 2.84Ac 32.65 27.34 ± 4.6 51.02 53.06 22.31 ± 4.22

Tabela 6.26: Comparação no grupo H da melhor ferramenta paraanalisar textos em português com as ferramentas quesuportam o idioma inglês.

indefinidas.Como resumo dos experimentos apresentados acima, tanto nos grupos avaliados

pelo público geral, quanto nos avaliados pelos psicólogos, a Tabela 6.27 mostra as médiasde F1 apresentadas pelas ferramentas em cada grupo. A média nos grupos A, D, E, F e Gaconsidera apenas a classe positivo e neutro. Já as médias nos outros grupos consideram astrês classes por ter uma quantidade maior do que 10% de mensagens negativas.

SHC-pt SEM-pt SST-pt SEM-en ACM-en SST-en TAY-enGrupo A 47.82 22.71 ± 4.02 23.78 27.2 ± 7.86 35.95 16.66 18.41 ± 4.88Grupo C 60.31 18.65 ± 4.15 34.07 20.71 ± 6.19 35.2 28.01 13.75 ± 3.28Grupo D 64.59 30.32 ± 4.71 48.26 39.13 ± 8.44 46.21 48.37 26.16 ± 7.76Grupo E 54.52 32.76 ± 5.69 45.38 29.99 ± 7.93 51.68 46.7 14.51 ± 3.59Grupo F 59.98 34.36 ± 5.19 54.98 37.78 ± 6.71 53.62 52.73 20.54 ± 8.21Grupo Ga 62.21 21.23 ± 3.13 50.1 39.15 ± 9.54 53.28 64.13 20.16 ± 5.93Grupo Gb 40.05 10.86 ± 1.73 38.62 31.55 ± 7.52 40.02 62.05 11.5 ± 2.25Grupo H 36 19.87 ± 6.49 29.56 22.22 ± 4.67 38.99 41.11 13.21 ± 2.84

Tabela 6.27: Médias de F1 apresentadas pelas ferramentas nosgrupos de teste.

A Tabela 6.27 mostra que, entre os grupos avaliados pelo público geral, a SHC-ptapresenta as melhores médias de F1 na maioria dos grupos, ela só foi 3% inferior a SST-en no Grupo Ga. Em relação aos grupos avaliados por psicólogos, a SHC-pt apresentaa segunda melhor média no grupo Gb (40.05%) e a terceira melhor no H (36%). Noentanto, é importante notar que a SHC-pt foi treinada em um grupo segundo a avalição dopúblico geral (grupo B), não de psicólogos. Mesmo assim, ela ainda consegue apresentarresultados melhores do que a maioria das variações das ferramentas utilizadas. Se foremanalisadas apenas mensagens em português, a SHC-pt apresenta a melhor média de F1em todos os grupos.

Com essa tabela também é possível visualizar as variações dos desempenhos dasferramentas com mensagens de diferentes grupos. Entre os grupos avaliados pelo públicogeral, a SHC-pt foi a que se manteve mais estável, ficando em segundo lugar em apenasum dos grupos e com pouca diferença do melhor resultado. Já as outras ferramentas não

6.4 Resultados 111

foram tão regulares. A ACM-en ficou em segundo nos grupos A, C e E, a SST-en emsegundo no D e a SST-pt em segundo no F e primeiro no G.

Em suma, os experimentos mostrados nesta seção indicam que a SHC-pt é amais indicada para classificar o estado emocional de autores de mensagens relacionadasao câncer da web. Ela foi superior em todos os experimentos quando comparada comtextos em português e, na maioria dos casos, também melhor quando comparada com asferramentas que utilizaram textos em inglês. Apesar de algumas ferramentas apresentarembons resultados em classes específicas em alguns experimentos, uma boa ferramenta deAS deve ser capaz de analisar textos nas três classes de sentimento, não apenas emuma delas. Por exemplo, a identificação de sentimento positivo em pessoas que erampessimistas é um indicador de que ela está se tornando mais otimista.

Também é possível perceber com os experimentos desta seção que cada públicotem uma opinião específica. Os textos analisados pelo público geral e por psicólogosresultou em 20 mensagens com classificações diferentes de um total de 69. Comosentimento é algo subjetivo, não há um público ideal para saber quais os verdadeirossentimentos dos autores das mensagens coletadas. O próprio autor pode não saber seu realestado emocional e, se forem utilizados psicólogos conseguirem identificar isso, seriamnecessárias mais informações sobre o autor, como idade, sexo, experiências vividas,condições físicas, etc.

6.4.5 Eventos inesperados

Durante o desenvolvimento deste trabalho aconteceram alguns eventos inespe-rados, mas todos foram resolvidos. São eventos relacionados à aquisição dos dados e aodesenvolvimento do método proposto.

O primeiro evento inesperado aconteceu na seleção dos dados que seriam usadosnos experimentos. No projeto, inicialmente, foi previsto que os grupos relacionados aocâncer teriam apenas os dados que seriam importantes para a investigação, mas foramencontradas muitas postagens compartilhadas que não tinham mensagens do autor, apenasdo conteúdo compartilhado. A solução nesse caso foi realizar uma pesquisa na Facebookpara encontrar grupos que tivessem muitas mensagens com texto do próprio autor. Aconsequência disso foi um pequeno atraso na coleta dos dados.

O segundo evento foi a baixa eficácia das ferramentas existentes quando osexperimentos foram executados com os dados sobre o tema “câncer". A razão encontrada,após vários experimentos, é que esses softwares foram desenvolvidos para textos gerais,não específicos para o contexto de câncer. Além disso, essas ferramentas analisamsentimentos do autor do texto sobre um alvo externo a ele. Esse evento serviu de

6.5 Estudo de caso da taxonomia 112

inspiração para melhorar ainda mais a eficácia do método desenvolvido para a AS depessoas envolvidas com a câncer.

O terceiro evento foi o limite por usuário de uso da API da Semantria eBing Translator. Para contornar isso, foram realizados novos registros nos sites dessasferramentas usando diferentes contas de e-mail.

O quarto evento foi a distribuição muito heterogêna das classes de sentimento nosgrupos do Facebook. Os grupos de A à G foram coletados sem saber quais sentimentosteriam suas mensagens, ou seja, não foi feita uma busca por grupos que teriam grandequantidade de mensagens positivas, negativas ou neutras. No entanto, as avalições dosvoluntários mostraram que esses grupos possuem, em sua maioria, uma quantidade muitabaixa de mensagens negativas, o que inviabiliza analisar o desempenho de uma ferramentanessa classe. Para minimizar esse problema, foi feita uma nova busca no Facebook,mas dessa vez buscando identificar um grupo que teria muitas mensagens negativas.Foi encontrado o grupo H e que, segundo as opiniões dos voluntários, a maioria desuas mensagens são negativas. Isso permitiu ter um indício dos comportamentos dasferramentas nessa classe.

Por fim, um último evento inesperado foi em relação ao estudo da área deAS para encontrar características que poderiam ser utilizadas no método que estavasendo desenvolvido. Muitas dessas características são referenciadas de diferentes formaspelos mais diversos artigos científicos da área. No entanto, a taxonomia proposta nestetrabalho ajudou a compreender o que cada artigo considera por meio da padronização danomenclatura utilizada.

6.5 Estudo de caso da taxonomia

Como uma contribuição adicional deste trabalho, também é proposta uma taxo-nomia de AS que permite um melhor entendimento dos conceitos e terminologias de AS.Isso foi feito por ter sido identificado uma confusão dos conceitos existentes que dificul-taram um claro entendimento dessa área. Essa taxonomia também permite uma distinçãomais precisa do que cada artigo de AS considera em sua pesquisa. Assim, como estudode caso, esta seção apresenta uma instanciação da taxonomia proposta com a categori-zação de 20 artigos (Tabelas 6.28 e 6.29). Esses artigos foram escolhidos por terem ummaior grau de diversidade entre eles, o que permite ter exemplos para as várias classes dataxonomia com uma menor quantidade de artigos.

Este estudo de caso mostra como a taxonomia proposta é expressiva. Ela temcategorias que permitem classificar, com facilidade, todos os artigos de exemplo em cadauma de suas facetas (primeiro nível da taxonomia). Essa expressividade também contribuipara que ela seja eficaz, pois a grande quantidade de aspectos diferentes ajuda a distinguir


Turn

eyet

al,

2002

[186

]

Liu

etal

,200

5[1

07]

Shan

etal

,200

7[1

65]

Gun

eet

al,2

007

[68]

Lau

etal

,200

9[1

00]

Ferg

uson

etal

,20

09[5

8]

Bal

ahur

eTu

rchi

,20

12[1

2]

Kov

acev

icet

al,

2012

[129

]

Tan

etal

,201

2[1

77]

Cam

bria

etal

,20

12[2

4]

Aná

lise

deSe

ntim

ento

Prob

lem

a

Dad

oE

stru

tura

dox

Sem

i-es

trut

urad

ox

Não

Est

rutu

rado

xx

xx

xx

xx

Tipo

deO

pini

ãoD

iret

ax

xx

xx

xx

xx

Com

para

tiva

x

Cla

sse

Alv

oPo

lari

dade

Com

Inte

nsid

ade

xx

Sem

Inte

nsid

ade

xx

xx

xE

moç

ãox

xx

Det

ento

rda

Opi

nião

Aut

ordo

Text

ox

xx

xx

xx

Terc

eira

Pess

oax

x

Alv

oda

Aná

lise

Pess

oax

xx

xx

Obj

eto

xx

xx

Org

aniz

ação

x

Dom

ínio

Tem

pox

xx

xE

spaç

oG

eogr

áfico

Mét

odo

Dep

endê

ncia

dos

Dad

osD

omín

iox

xx

xx

xL

ingu

agem

xx

xx

xx

x

Pré-

proc

essa

men

to

Term

oFl

exio

nado

Lem

mat

izat

ion

xx

Stem

min

gx

xLo

wer

case

xx

xx

Toke

niza

tion

xx

xx

Filtr

agem

xC

orre

ção

Ort

ográ

fica

xTa

ggin

gx

xx

xx

Trad

ução

x

Ext

raçã

ode

Car

acte

ríst

ica

TF

IDF

TF-

IDF

xx

Aná

lise

deG

ranu

lari

dade

Fras

ex

xSe

nten

çax

xx

Asp

ecto

xPa

rágr

afo

xPa

lavr

ax

xD

ocum

ento

x

Abo

rdag

em

Bas

eada

emL

éxic

oB

asea

doem

Dic

ioná

rio

xx

Bas

eado

emC

orpu

sE

stat

ístic

ax

Sem

ântic

ax

Bas

eada

emC

once

itoO

ntol

ogia

xR

ede

Sem

ântic

a

Bas

eada

emM

odel

oN

ãoSu

perv

isio

nado

xSu

perv

isio

nado

xx

xx

xx

Sem

i-su

perv

isio

nado

Tabe

la6.

28:E

xem

plos

dear

tigos

clas

sific

ados

nata

xono

mia

pro-

post

a(P

arte

1/2)

.


Leo

nget

al,2

012

[102

]

Pala

nisa

my

etal

,20

13[1

37]

Cam

bria

etal

,20

13[2

5]

Mor

aes

etal

,20

13[1

26]

Bag

heri

etal

,20

13[1

0]

Aka

yet

al,2

014

[2]

Haj

moh

amm

adi

etal

,20

14[7

1]

Mar

rese

-Ta

ylor

etal

,201

4[1

16]

Tang

etal

,201

4[1

78]

Terr

ana

etal

,20

14[1

80]

Aná

lise

deSe

ntim

ento

Prob

lem

a

Dad

oE

stru

tura

dox

Sem

i-es

trut

urad

ox

Não

Est

rutu

rado

xx

xx

xx

xx

Tipo

deO

pini

ãoD

iret

ax

xx

xx

xx

xx

xC

ompa

rativ

a

Cla

sse

Alv

oPo

lari

dade

Com

Inte

nsid

ade

Sem

Inte

nsid

ade

xx

xx

xx

xx

Em

oção

xx

Det

ento

rda

Opi

nião

Aut

ordo

Text

ox

xx

xx

Terc

eira

Pess

oax

xx

xx

Alv

oda

Aná

lise

Pess

oax

xx

xO

bjet

ox

xx

xx

xO

rgan

izaç

ãox

Dom

ínio

Tem

pox

xx

Esp

aço

Geo

gráfi

cox

Mét

odo

Dep

endê

ncia

dos

Dad

osD

omín

iox

xx

xx

xL

ingu

agem

xx

xx

xx

xx

x

Pré-

proc

essa

men

to

Term

oFl

exio

nado

Lem

mat

izat

ion

Stem

min

gx

xx

xLo

wer

case

xTo

keni

zatio

nx

xx

xx

xFi

ltrag

emx

Cor

reçã

oO

rtog

ráfic

ax

Tagg

ing

xx

xx

Trad

ução

x

Ext

raçã

ode

Car

acte

ríst

ica

TF

xx

xID

FT

F-ID

Fx

x

Aná

lise

deG

ranu

lari

dade

Fras

eSe

nten

çax

xA

spec

tox

xx

xPa

rágr

afo

Pala

vra

xD

ocum

ento

xx

Abo

rdag

em

Bas

eada

emL

éxic

oB

asea

doem

Dic

ioná

rio

xx

xx

Bas

eado

emC

orpu

sE

stat

ístic

ax

xx

Sem

ântic

a

Bas

eada

emC

once

itoO

ntol

ogia

Red

eSe

mân

tica

xx

x

Bas

eada

emM

odel

oN

ãoSu

perv

isio

nado

Supe

rvis

iona

dox

xx

Sem

i-su

perv

isio

nado

x

Tabe

la6.

29:E

xem

plos

dear

tigos

clas

sific

ados

nata

xono

mia

pro-

post

a(P

arte

2/2)

.


os artigos uns dos outros. Assim, nas Tabelas 6.28 e 6.29 é possível visualizar em quaisaspectos um artigo é diferente de outro e também ter uma visão geral de cada trabalho,sabendo o que foi utilizado em cada um deles.

Por exemplo, apenas visualizando a classificação dada pela taxonomia, sem anecessidade de ler os artigos, é possível distinguir os artigos [186] e [107] em algunsaspectos. Enquanto [186] apresenta uma combinação de aprendizado de máquina etécnicas baseadas em léxico para descobrir opiniões diretas sem intensidades, ou seja,apenas positivas e negativas, [107] tentou fazer o mesmo, mas utilizando aprendizagemde máquina supervisionado, mas buscando opiniões comparativas.

Em suma, este estudo de caso permite mostrar que a taxonomia proposta podeeliminar a confusão dos conceitos e terminologias de AS e identificar com maior faci-lidade o que foi adotado em cada trabalho de AS. Ela é bastante expressiva e eficaz osuficiente para cobrir todos os artigos em seus aspectos principais e diferenciá-los unsdos outros.

CAPÍTULO 7Conclusões e trabalhos futuros

Este capítulo trata das conclusões obtidas com esta pesquisa e sugere outraspossíveis extensões que poderão ser abordadas em pesquisas futuras.

7.1 Conclusões

Na Seção 6.1 foram apresentadas as principais questões de pesquisa que puderamser respondidas com esse trabalho. A primeira é sobre a eficácia das ferramentas existentesde AS (AlchemyAPI, Semantria, SentiStrength e Textalytics) para analisar o estadoemocional de autores de mensagens em português de grupos online de câncer. Entreelas, a ferramenta que mais se destacou foi a AlchemyAPI na maioria dos experimentos.Considerando todas as mensagens (Tabela 6.7), sua média de F1 é de 48.07%, a segundamelhor é a SentiStrength, com média de F1 de 47.56% analisando textos em inglês.

A SHC-pt foi a única que conseguiu classificar o sentimento de todas as mensa-gens, as outras classificaram algumas das mensagens como indefinidas em vários expe-rimentos. A Textalytics foi a que teve o maior número de mensagens indefinidas e a queapresentou os resultados mais baixos em todos os experimentos. Sua média de F1 em umdos experimentos chegou a 13.75% (Tabela 6.11).

Os experimentos foram executados com textos tanto em português quanto eminglês. Todas as ferramentas já existentes na literatura suportam o idioma inglês, masapenas a Semantria e a SentiStrength suportam o português. Portanto, foi utilizado o Bing

Translator para traduzir os textos do português para o inglês automaticamente. Comopode ser visto nas tabelas da Subseção 6.4.3, a eficácia das ferramentas que utilizaram ostextos traduzidos foi, na maioria dos casos, maior do que quando elas analisaram textosem português.

Como exemplo, os desempenhos da Semantria e da SentiStrength foram, respec-tivamente, aproximadamente 19.19% e 1.12% maior quando todas as mensagens foramanalisadas em inglês (Tabelas 6.6 e 6.7). Isso responde a segunda questão de pesquisa,ou seja, é mais indicado analisar textos traduzidos do português para o inglês do queanalisá-los em português quando essas ferramentas suportam os dois idiomas.

7.1 Conclusões 117

Entretanto, no geral, o desempenho da SHC-pt é superior às outras ferramentas,tanto elas analisando textos em português, quanto em inglês. Como pode ser visto naTabela 6.7. Sua acurácia analisando todas as mensagens (56.64%) é 11.78% superior àmaior acurácia (50.67%) apresentada pelas outras ferramentas.

A Tabela 6.20 mostra que os ganhos obtidos pela SHC-pt são significativos,aplicando o teste t pareado com uma significância de 95%, ela apresentou valor P menordo 0.05 quando comparada com as médias de todas as outras ferramentas, chegando aatingir 0.000021 quando comparada com a Textalytics. Portanto, respondendo a terceiraquestão de pesquisa, é melhor utilizar uma ferramenta desenvolvida especificamente parao idioma português, no caso, a SHC-pt, do que tentar traduzir os textos para o inglês eutilizar uma ferramenta que suporte esse idioma.

A quarta e quinta questões de pesquisa dizem respeito a se o uso de um dicionárioléxico adaptado para o contexto de câncer e de elementos característicos do estilo decomunicação da internet podem ajudar a melhorar a eficácia de um método de ASpara classificar mensagens da web relacionadas ao câncer. Essas duas característicassão adotadas pela SentiHealth-Cancer, portanto, essas questões de pesquisa podem serrespondidas analisando-se os resultados dos experimentos das características utilizadaspela SHC v1.

Com os experimentos executados foi possível perceber que, no contexto especí-fico de mensagens de grupos de câncer do Facebook, o uso de dicionários léxico especí-ficos para esse contexto melhora consideravelmente o desempenho da AS. A Tabela 6.4mostra que a característica que mais contribuiu para o bom desempenho da SHC v1 foiconsiderar um dicionário adaptado para o contexto de câncer com a utilização do arquivo“ngram.txt”. Na média de F1, o ganho obtido foi de 19%. Assim, respondendo a quartaquestão de pesquisa, o uso de um dicionário léxico adaptado para o contexto de câncermelhora o desempenho de um método de AS quando aplicado nesse contexto.

Em relação a quinta questão de pesquisa, os experimentos também mostraramque o uso de estilos de comunicação da internet melhoram o desempenho de um métodode AS quando aplicado em textos da web. Especificamente, o método proposto nesse tra-balho deu ênfase para frases contendo emoticons, hashtags e alguns estilos de escrita paraenfatizar palavras, como vogais repetidas e palavras em maiúsculas. Essas característi-cas, quando presentes em uma frase, são tão importantes para determinar a polaridade desentimento da mensagem, que foram descartadas as outras frases que não as continham.Frases com essas características são chamadas de frases prioritárias neste trabalho.

Como exemplo, a consideração de frases prioritárias apresentou um ganho de3.81% e a de palavras em caixa alta, de 5.45%, na média de F1 das três classes. Aconsideração de vogais repetidas e hashtags não afetou o algoritmo. No entanto, essascaracterísticas foram mantidas por acreditar que elas possam melhorar o desempenho da

7.1 Conclusões 118

SHC na existência de textos com uma maior quantidade de hashtags ou vogais repetidas.A sexta questão da pesquisa é sobre a influência da origem dos textos de uma

rede social online para a eficácia da AS. Para responder essa pergunta, foram coletadasmensagens de 8 grupos de câncer do Facebook. A SHC-pt apresenta valores altos emtodos grupos. Ao se analisar os grupos que foram avaliados pelo público geral, sua médiade F1 é só 3% inferior ao segundo melhor resultado em apenas um grupo, nos outrosgrupos ela se mantém como a ferramenta com as melhores médias de F1.

Já as outras ferramentas possuem pequenas variações de desempenho. Por exem-plo, analisando as classificações das ferramentas, a ACM-en ficou em segundo nos gruposA, C e E, a SST-en em segundo no D e a SST-pt em segundo no F e primeiro no G. Por-tanto, respondendo a sexta questão, há indícios de que o desempenho de um método deAS possa ser afetado quando aplicado para analisar textos de origens diferentes. No en-tanto, o método proposto neste trabalho apresenta um bom comportamento para analisartextos de diferentes grupos do Facebook.

A sétima questão de pesquisa é se o desempenho da técnica de AS é o mesmopara opiniões de psicólogos e opiniões de quem não é psicólogo. Para responder essapesquisa, um dos grupos coletados foi avaliado tanto por psicólogos quando por quemé do público geral. Para determinar o sentimento real do autor em uma mensagem comas avaliações de um público, foi considerada a maior votação dada por três indivíduosdesse público. Os resultados mostraram que de um total de apenas 69 mensagens, 20(29%) foram classificadas de forma diferente. Isso indica que um método de AS treinadosegundo a opinião de um público pode ser prejudicado quando aplicado em uma base comtextos classificados por outro público.

Foi possível perceber que, por possuírem pessoas de perfis muito diferentes nopúblico geral, 3 mensagens não tiveram uma maioria de votações em uma classe desentimento. Isto é, os avaliadores não chegaram em um consenso de qual o real estadoemocional do autor do texto. Já as votações dadas pelos psicólogos foram mais unânimese, portanto, não houve empates entre as classes de sentimento em nenhuma mensagem.

São vários os fatores que podem fazer com que uma pessoa apresente opiniõesdiferentes das outras, como idade, sexo, experiências vividas, região geográfica onde vive,escolaridade e etc.. Além disso, ela também pode ser diferente em uma mesma pessoa pelosimples estado emocional em que ela se encontre ou por uma leitura mais cuidadosa dotexto.

Como este trabalho visa identificar o estado emocional do autor do texto, nãohá um especialista ideal para classificar isso analisando apenas texto. Possíveis públicosseriam o próprio autor do texto, pessoas que já enfrentaram o câncer, amigos com pessoascom câncer, médicos e cuidadores em geral. Porém, o próprio autor pode não saberseu real estado emocional ou não querer informar e os demais não teriam informações

7.1 Conclusões 119

suficientes para classificar o estado emocional do autor apenas lendo seu texto. Portanto,um método de AS treinado pelo público geral, como é o caso do SentiHealth, pode ser omais adequado por abranger opiniões de diferentes públicos.

A última questão diz sobre como o conhecimento da área de AS pode serorganizado e padronizado. Para isso, foi proposta uma taxonomia hierárquica. Não háoutras classificações na literatura tão expressivas e eficazes quanto a proposta nestetrabalho. Foi realizado um estudo de caso, onde foram selecionados e classificados artigosde AS de acordo com as categorias presentes na taxonomia. Isso permitiu identificaras semelhanças e diferenças de cada artigo, podendo visualizar com maior clareza osproblemas e métodos adotados por cada um.

Com todas as questões de pesquisa respondidas por meio de experimentos, éconfirmar que a hipótese apresentada neste trabalho é verdadeira, ou seja, um métodode AS, de abordagem léxica, adaptado para o contexto de câncer e para textos decomunidades virtuais brasileiras, apresenta melhor desempenho para analisar o estadoemocional do autor do texto do que outros métodos de AS.

Um dos principais benefícios da ferramenta proposta neste trabalho é a suaboa capacidade de analisar os sentimentos expressos em textos do domínio câncer. Astécnicas de personalização utilizadas pela ferramenta foram de fundamental importânciapara melhorar essa habilidade. Essa ferramenta é útil para tratamentos de pessoas comcâncer, pois ajuda a melhorar a sua qualidade de vida. Por exemplo, se um paciente estivercom um estado emocional negativo, podem ser aplicadas técnicas para que ela passe a sermais positiva e tenha uma melhor qualidade de vida.

Outro ponto forte deste estudo é o uso da rede social Facebook para coletartextos escritos por pessoas envolvidas com câncer. Por serem textos originários decomportamento digital e não haver qualquer perturbação de seus autores para a coleta,espera-se uma maior confiança das informações obtidas. Por fim, por eles já estarem emmídia digital, o método usado para coletar textos foi mais rápido do que outros métodos,como a observação etnográfica e entrevistas.

Uma limitação do método criado é a falta de suporte para gírias, textos incorretos,ironia, sarcasmo e outras formas de expressão bastante presentes em textos de redessociais. Outra limitação é que ele não reconhece todos os emoticons existentes, apenasos mais usuais.

Sobre a taxonomia, seu ponto forte é a sua capacidade de organizar os conceitosrelacionados à AS. Para essa organização foi necessária a identificação do que consistecada conceito e a padronização das nomenclaturas que eram conflitantes.

Como uma limitação da taxonomia, pode-se citar a falta de categorias paraconceitos de AS existentes da literatura. Apesar de ter sido realizada uma vasta pesquisa,com vários artigos de onde foram extraídos os conceitos de AS, é provável que exista

7.1 Conclusões 120

algum conceito que não está presente nos artigos pesquisados e que, portanto, não estárepresentado na taxonomia.

O método e a taxonomia proposta apresentam benefícios diferentes. O método ébenéfico para a área da informática e da saúde. Para a informática, há a criação de um novométodo para analisar sentimentos de textos web em português sobre um tema específicoe considerando o autor do texto como o alvo do sentimento. O método é uma espéciede heurística e usa referências lexicais para atingir seus objetivos. No campo da saúde,esta pesquisa adiciona benefícios para a avaliação de pessoas durante o tratamento docâncer por apresentar uma ferramenta especifica para esse grupo de doenças. Psicólogos,médicos e assistentes sociais podem melhorar suas decisões ao monitorar o estadoemocional de pacientes e seus familiares.

Já a taxonomia apresenta benefícios para pesquisadores da área de AS. Elapermite a navegação entre os conceitos e termos existente em AS e facilita a busca eindexação de trabalhos já publicados. Isso permite um pesquisador entender melhor o queconsiste cada conceito e poder comparar os artigos, sabendo em que eles se diferem.

Este trabalho apresenta riscos em relação ao método e a taxonomia. Um dosriscos do método é que algumas das ferramentas utilizadas para os experimentos podemter sido aplicadas de forma errada. Para evitar isso, todas as ferramentas foram integradasem uma aplicação Java utilizando o mesmo algoritmo sugerido no site de cada uma dasferramentas. Além disso, todo o código foi inspecionado.

Outro risco é a manipulação equivocada dos resultados de cada experimento.Como mitigação, a mesma aplicação que integra as ferramentas é utilizada para gerarautomaticamente as planilhas dos experimentos. Foi utilizada uma API do Excel quepermite manipular como os dados serão armazenados nas planilhas.

Um terceiro risco do método é que os avaliadores podem não ter compreendidomuito bem como avaliar as mensagens. Portanto, foi criada uma aplicação web1 queconsiste em um questionário com as mensagens e as opções de classificação de cadauma delas para que ficasse mais fácil para o avaliador. Além disso foi feito um vídeoexplicativo2 sobre o objetivo do questionário e como ele deve ser preenchido. Essevídeo, juntamente com a explicação textual, foi fornecido aos avaliadores. Também ouveexplicação pessoalmente para muitos dos avaliadores.

Entre os riscos da taxonomia, está a consideração de conceitos apresentadosem artigos de baixa qualidade. Para evitar isso, foram procurados outros artigos queapresentassem os mesmos conceitos. Quando não era encontrado e o artigo era dequalidade muito baixa, o conceito não era considerado.

1http://ic1.inf.ufg.br/AnaliseSentimentoQuestionario/2https://www.youtube.com/watch?v=3RXYV5HdVpQ

7.2 Trabalhos futuros 121

Outro risco é ter uma pesquisa insuficiente de artigos para a taxonomia. Comomitigação, a busca por artigos partiu de surveys, o que possibilita ter uma maior quanti-dade de artigos que abordem diferentes assuntos.

Um último risco é o entendimento equivocado de conceitos. Para evitar isso,foram buscadas mais de uma fonte para entender melhor os conceitos. Na existência deconceitos divergentes, foi pesquisada a origem do conceito. Quando não encontrada, foidada prioridade ao conceito mais presente em diferentes fontes.

7.2 Trabalhos futuros

AS informações apresentadas neste trabalho para analisar o sentimento de umapessoa são úteis para ajudar a forma de monitorar como uma pessoa se sente durante otratamento do câncer. Portanto, como uma futura extensão deste, é possível propor reco-mendações que visem melhorar o estado emocional dessa pessoa. Essas recomendaçõespodem ser, por exemplo, novos lugares, amizades ou até mesmo uma música específica.Por exemplo, o trabalho apresentado em [147] identifica quais interações entre os mem-bros de um fórum da internet sobre câncer contribuem para o sentimento deles seremalterados para positivo.

Este trabalho considerou apenas o contexto da doença do câncer e da rede socialonline Facebook. Assim, é possível também estender esta pesquisa considerando outrasdoenças crônicas e outras redes sociais. Uma quantidade maior de dados podem sercoletados quando são considerados mais de uma rede social. Uma pessoa pode preferirexpressar seus sentimentos mais em uma rede social específica do que em outras. Alémdisso, o método proposto é específico para o português, trabalhos futuros podem estendereste método para outros idiomas.

Há também a possibilidade de analisar o comportamento do usuário na redesocial online para definir melhor seu sentimento. Por exemplo, indicações de que umapessoa gostou de certas mensagens ou de perfis na rede social online podem ajudar adescobrir, mais precisamente, qual o real sentimento dessa pessoa.

Neste trabalho, os sentimentos foram classificados apenas em positivo, negativoe neutro. Com isso, é possível estender este trabalho para considerar uma categorizaçãomaior de sentimentos. Isso torna possível a AS estabelecer multiníveis de sentimentos quedescrevem mais claramente as emoções da pessoa.

Em relação à taxonomia proposta, foram consideradas apenas as técnicas apli-cáveis em textos. Como trabalho futuro, esta taxonomia pode ser evoluída considerandotécnicas apropriadas para outras mídias, como áudio e vídeo.

Devido à evolução da área de AS e MO, novos conceitos surgirão ao longodo tempo. Portanto, a taxonomia proposta neste artigo também pode ser estendida em

7.2 Trabalhos futuros 122

trabalhos futuros apenas com o acréscimo de categorias para os novos conceitos criados.

Referências Bibliográficas

[1] ABBASI, M. A. Understanding social media users via attributes and links. ACM

SIGWEB Newsletter, (Summer 2015):1–1, 2015.

[2] AKAY, A.; DRAGOMIR, A. Network-Based Modeling and Intelligent Data Mining

of Social Media for Improving Care. IEEE Journal of Biomedical and Health

Informatics, 2194, 2014.

[3] AL-MAIMANI, M.; SALIM, N.; AL-NAAMANY, A. M. Semantic and fuzzy aspects

of opinion mining. Journal of Theoretical and Applied Information Technology,

63(2):330–342, 2014.

[4] ALCHEMYAPI. Sentiment Analysis API. http://www.alchemyapi.com/

products/alchemylanguage/sentiment-analysis/, acessado em março de

2016, 2014.

[5] ALCHEMYAPI. Sentiment Analysis API. http://www.alchemyapi.com/api/

sentiment-analysis/, acessado em março de 2016, 2014.

[6] ALGHAMDI, K. M.; MOUSSA, N. A. Internet use by the public to search

for health-related information. International Journal of Medical Informatics,

81(6):363–373, 2012.

[7] ALHUMOUD, S. O.; ALTUWAIJRI, M. I.; ALBUHAIRI, T. M.; ALOHAIDEB, W. M.

Survey on Arabic Sentiment Analysis in Twitter. International Journal of Social,

Education, Economics and Management Engineering, 9(1):364–368, 2015.

[8] ARORA, R.; SRINIVASA, S. A faceted characterization of the opinion mining

landscape. Communication Systems and Networks, 2014.

[9] BACCIANELLA, S.; ESULI, A.; SEBASTIANI, F. SentiWordNet 3.0: An Enhanced

Lexical Resource for Sentiment Analysis and Opinion Mining. LREC, 2010.

[10] BAGHERI, A.; SARAEE, M.; DE JONG, F. Care more about customers: Unsupervi-

sed domain-independent aspect detection for sentiment analysis of customer

reviews. Knowledge-Based Systems, 52:201–213, 2013.

http://www.alchemyapi.com/products/alchemylanguage/sentiment-analysis/

http://www.alchemyapi.com/products/alchemylanguage/sentiment-analysis/

http://www.alchemyapi.com/api/sentiment-analysis/

http://www.alchemyapi.com/api/sentiment-analysis/


[11] BALAHUR, A.; MIHALCEA, R.; MONTOYO, A. Computational approaches to

subjectivity and sentiment analysis: Present and envisaged methods and

applications. Computer Speech and Language, 28:1–6, 2014.

[12] BALAHUR, A.; TURCHI, M. Multilingual sentiment analysis using machine

translation? Proceedings of the 3rd Workshop in Computational Approaches to

Subjectivity and Sentiment Analysis, 2012.

[13] BEDELL, S. E.; AGRAWAL, A.; PETERSEN, L. E. A systematic critique of diabetes

on the world wide web for patients and their physicians. International Journal

of Medical Informatics, 73(9-10):687–694, 2004.

[14] BEDFORD, D. Evaluating Classification Schema and Classification Deci-

sions. https://www.asis.org/Bulletin/Dec-12/DecJan13_Bedford.html,

acessado em março de 2016, 2013.

[15] BELLEGARDA, J. R. Emotion analysis using latent affective folding and em-

bedding. Workshop on Computational Approaches to Analysis and Generation of

Emotion in Text, 2010.

[16] BELLEGARDA, J. R. Data-driven analysis of emotion in text using latent

affective folding and embedding. Computational Intelligence, 29(3):506–526,

2013.

[17] BENDER, J. L.; JIMENEZ-MARROQUIN, M. C.; JADAD, A. R. Seeking support

on facebook: A content analysis of breast cancer groups. Journal of Medical

Internet Research, 13(1), 2011.

[18] BENMOHAMED, A.; NEJI, M. Feast: face and emotion analysis system for smart

tablets. Multimedia Tools and Applications, 2014.

[19] BERGMAN, M. M. A Theoretical Note on the Differences between Attitudes ,

Opinions , and Values. Swiss Political Science Review, 4(2):81–93, 1998.

[20] BOLLEGALA, D. T.; WEIR, D.; CARROLL, J.; ISHIZUKA, M. Cross-Domain Sen-

timent Classification using an Automatically Extracted Sentiment Sensitive

Thesaurus. EMNLP 2010 submission, 25(8):1719–1731, 2013.

[21] BOWER, J. E. Behavioral symptoms in patients with breast cancer and survi-

vors. Journal of clinical oncology : official journal of the American Society of Clinical

Oncology, 26(5):768–77, 2008.

[22] CAMBRIA, E.; AMIR, H. Sentic Computing - Techniques, Tools, and Applicati-

ons. Springer, 2012.

https://www.asis.org/Bulletin/Dec-12/DecJan13_Bedford.html


[23] CAMBRIA, E.; SCHULLER, B.; XIA, Y.; HAVASI, C. New Avenues in Opinion Mining

and Sentiment Analysis. IEEE Intelligent Systems, 2013.

[24] CAMBRIA, E.; BENSON, T.; ECKL, C.; HUSSAIN, A. Sentic PROMs: Application

of sentic computing to the development of a novel unified framework for

measuring health-care quality. Expert Systems with Applications, 39(12):10533–

10543, 2012.

[25] CAMBRIA, E.; HOWARD, N.; HSU, J.; HUSSAIN, A. Sentic blending: Scalable

multimodal fusion for the continuous interpretation of semantics and sentics.

Computational Intelligence for Human-Like Intelligence, p. 108–117, 2013.

[26] CAO, J.; CHEN, J.; LI, H. An Adaboost-Backpropagation Neural Network for

Automated Image Sentiment Classification. The ScientificWorld Journal, 2014.

[27] CARRANO, R. C.; PASSOS, D.; MAGALHAES, L. C. S.; ALBUQUERQUE, C.

V. N. Survey and taxonomy of duty cycling mechanisms in wireless sensor

networks. IEEE Communications Surveys and Tutorials, 16(1):181–194, 2014.

[28] CHANG, C.-Y.; CHANG, C.-W.; ZHENG, J.-Y.; CHUNG, P.-C. Physiological emo-

tion analysis using support vector regression. Neurocomputing, 122:79–87,

2013.

[29] CHEN, L.-S.; CAI, S.-J. A Cost Adjusting Method for Increasing Customers ’

Sentiment Classification Performance. International Journal of Information and

Electronics Engineering, 4(5):336–339, 2014.

[30] CHO, H.; KIM, S.; LEE, J.; LEE, J. S. Data-driven integration of multiple

sentiment dictionaries for lexicon-based sentiment classification of product

reviews. Knowledge-Based Systems, 71:61–71, 2014.

[31] CHOI, Y.; CARDIE, C.; RILOFF, E.; PATWARDHAN, S. Identifying sources of

opinions with conditional random fields and extraction patterns. In: Conference

on Human Language Technology and Empirical Methods in Natural Language

Processing, p. 355–362, 2005.

[32] CIELIEBAK, M.; DÜRR, O.; UZDILLI, F. Potential and Limitations of Commercial

Sentiment Detection Tools. Emotion and Sentiment in Social and Expressive

Media, 2013.

[33] COLACE, F.; SANTO, M. D.; GRECO, L.; MOSCATO, V.; PICARIELLO, A. Computers

in Human Behavior A collaborative user-centered framework for recommen-

ding items in Online Social Networks. COMPUTERS IN HUMAN BEHAVIOR,

2015.


[34] CORPORATION, O. Java. https://www.java.com/en/, acessado em março de

2016, 2014.

[35] CRUZ, F. L. Feature-based opinion extraction: A practical, domain-adaptable

approach. AI Communications, 25:369–371, 2012.

[36] CRUZ, F. L.; TROYANO, J. A.; ENRÍQUEZ, F.; ORTEGA, F. J.; VALLEJO, C. G. ’Long

autonomy or long delay?’ the importance of domain in opinion mining. Expert

Systems with Applications, 40:3174–3184, 2013.

[37] CUEVAS, G. A survey and taxonomy of approaches for mining software

repositories in the context of software evolution. Journal of Software-Evolution

and Process, p. 481–491, 2012.

[38] DALAL, M. K.; ZAVERI, M. A. OpinionMining from Online User Reviews Using

Fuzzy Linguistic Hedges. Applied Computational Intelligence and Soft Computing,

2014.

[39] DALGLEISH, T.; POWER, M. Handbook of Cognition and Emotion. Wiley, 2000.

[40] DAVE, K.; DAVE, K.; LAWRENCE, S.; LAWRENCE, S.; PENNOCK, D.; PENNOCK, D.

Mining the peanut gallery: Opinion extraction and semantic classification of

product reviews. 12th international conference on World Wide Web, p. 519–528,

2003.

[41] DE KOK, D.; BROUWER, H. Natural Language Processing for the Working

Programmer, chapter 3. nlpwp.org, 2011.

[42] DEY, A.; REID, B.; GODDING, R.; CAMPBELL, A. Perceptions and behaviour of

access of the Internet: A study of women attending a breast screening service

in Sydney, Australia. International Journal of Medical Informatics, 77(1):24–32,

2008.

[43] DEY, L.; ASAD, M.-U.; AFROZ, N.; NATH, R. P. D. Emotion extraction from

real time chat messenger. In: 2014 International Conference on Informatics,

Electronics & Vision (ICIEV), p. 1–5. IEEE, may 2014.

[44] DING, X.; LIU, B.; ZHANG, L. Entity discovery and assignment for opinion

mining applications. In: Proceedings of the 15th ACM SIGKDD international

conference on Knowledge discovery and data mining - KDD ’09, p. 1125, New York,

New York, USA, 2009. ACM Press.

[45] DUA, S.; DU, X. Data Mining and Machine Learning in Cybersecurity. CRC

Press, 2011.

https://www.java.com/en/


[46] DZOGANG, F.; LESOT, M. J.; RIFQI, M.; BOUCHON-MEUNIER, B. Expressions of

graduality for sentiments analysis - A survey. 2010 IEEE World Congress on

Computational Intelligence, WCCI 2010, 2010.

[47] EIRINAKI, M.; PISAL, S.; SINGH, J. Feature-based opinion mining and ranking.

Journal of Computer and System Sciences, 78(4):1175–1184, 2012.

[48] EKMAN, P. An argument for basic emotions. Cognition & Emotion, 6(3):169–200,

1992.

[49] EL-HALEES, A. M. Software Usability Evaluation Using Opinion Mining. Journal

of Software, 9(2):343–349, 2014.

[50] ELLIOTT, C. D. The Affective Reasoner: A process model of emotions in a

multi-agent system. PhD thesis, 1992.

[51] ELMASRI, R.; NAVATHE, S. B. Fundamentals of Database Systems, volume 28.

Addison-Wesley, 2003.

[52] ENGINEERING, C.; SELVAM, B. A Survey on Opinion Mining. International Journal

of Advanced Research in Computer and Communication Engineering, 2(9), 2013.

[53] ETTER, J. F. Internet-based smoking cessation programs. International Journal

of Medical Informatics, 75(1):110–116, 2006.

[54] FACEBOOK. Stats. http://newsroom.fb.com/company-info/, acessado em

março de 2016, 2015.

[55] FACEBOOK4J. Facebook4j. http://facebook4j.org/, acessado em março de

2016, 2014.

[56] FANG, F.; DUTTA, K.; DATTA, A. Domain Adaptation for Sentiment Classification

in Light of Multiple Sources. Journal on Computing, 26:586–598, 2014.

[57] FELIPE, D. A. M.; GUTIERREZ, K. I. N.; QUIROS, E. C. M.; VEA, L. A. Towards

the development of intelligent agent for novice C/C++ programmers through

affective analysis of event logs. Lecture Notes in Engineering and Computer

Science, 1:511–518, 2012.

[58] FERGUSON, P.; O’HARE, N.; DAVY, M.; BERMINGHAM, A.; PARAIC SHERIDAN.;

GURRIN, C.; SMEATON, A. F. Exploring the use of paragraph-level annotations

for sentiment analysis of financial blogs. First Workshop on Opinion Mining and

Sentiment Analysis, p. 42–52, 2009.

http://newsroom.fb.com/company-info/

http://facebook4j.org/


[59] FOR RESEARCH ON CANCER IARC, W. H. O. W. I. A. GLOBACAN 2012:

Estimated Cancer Incidence, Mortality and Prevalence Worldwide in 2012.

http://globocan.iarc.fr/Default.aspx, acessado em março de 2016, 2012.

[60] FRIJDA, N. H. The emotions, volume 1. Cambridge University Press, 1986.

[61] GANTZ, B. J.; REINSEL, D. Extracting Value from Chaos State of the Universe:

An Executive Summary. IDC iView, 2011.

[62] GAO, W.; KAJI, N.; YOSHINAGA, N.; KITSUREGAWA, M. Collective Sentiment

Classification Based on User Leniency. Journal of Natural Language Processing,

21:541–561, 2014.

[63] GHODE, M.; BERE, S.; KAMALE, M.; MOHOLKAR, M. Sentiment Analysis over

Online Product Reviews: A Survey. International Journal on Recent and Innova-

tion Trends in Computing and Communication, 2014.

[64] GONÇALVES, A. J. Computação Afectiva – implementação de um wearable

multimédia. PhD thesis, Faculdade de Engenharia da Universidade do Porto, 2005.

[65] GREAVES, F.; RAMIREZ-CANO, D.; MILLETT, C.; DARZI, A.; DONALDSON, L. Har-

nessing the cloud of patient experience: using social media to detect poor

quality healthcare. BMJ quality & safety, 22:251–5, 2013.

[66] GROUP, T. P. G. D. Postgres. http://www.postgresql.org/, acessado em

março de 2016, 2014.

[67] GUANGYOU ZHOU, YAN ZHOU, XIYUE GUO, XINHUI TU, T. H. Author’ s Accep-

ted Manuscript Cross-Domain Sentiment Classification via Topical Correspon-

dence Transfer. Neurocomputing, 2014.

[68] GUNES, H.; PICCARDI, M. Bi-modal emotion recognition from expressive face

and body gestures. Journal of Network and Computer Applications, 30(4):1334–

1345, 2007.

[69] HAI, Z.; CHANG, K.; KIM, J. J.; YANG, C. C. Identifying Features in Opinion

Mining via Intrinsic and Extrinsic Domain Relevance. IEEE Transactions on

Knowledge and Data Engineering, 26(3):623–634, 2014.

[70] HAJMO-HAMMADI, M. S.; IBRAHIM, R.; SELAMAT, A. Bi-view semi-supervised ac-

tive learning for cross-lingual sentiment classification. Information Processing

and Management, 50(5):718–732, 2014.

http://globocan.iarc.fr/Default.aspx

http://www.postgresql.org/


[71] HAJMO-HAMMADI, M. S.; IBRAHIM, R.; SELAMAT, A. Engineering Applications

of Artificial Intelligence Cross-lingual sentiment classification using multiple

source languages in multi-view semi-supervised learning. Engineering Appli-

cations of Artificial Intelligence, 36:195–203, 2014.

[72] HAND, D. J. Principles of data mining. In: Drug Safety, volume 30, p. 621–622,

2007.

[73] HEDDEN, H. The Accidental Taxonomist. Information Today, 2010.

[74] HTAY, S. S.; LYNN, K. T. Extracting product features and opinion words using

pattern knowledge in customer reviews. The Scientific World Journal, 2013(3),

2013.

[75] HU, M.; LIU, B. Mining and summarizing customer reviews. 2004 ACM SIGKDD

international conference on Knowledge discovery and data mining, 04:168, 2004.

[76] HU, M.; LIU, B. Opinion Feature Extraction Using Class Sequential Rules.

American Association for Artificial Intelligence, (3):61–66, 2006.

[77] HUNG, C.; LIN, H. K. Using objective words in sentiwordnet to improve word-

of-mouth sentiment classification. IEEE Intelligent Systems, 28(April):47–54,

2013.

[78] HUTCHINSON, A. Difference between feelings and sentiment.

http://www.differencebetween.net/language/words-language/

difference-between-feelings-and-sentiment/, acessado em março

de 2016, 2014.

[79] IGARASHI, T.; SASANO, R.; TAKAMURA, H.; OKUMURA, M. The use of sound

symbolism in sentiment classification. Lecture Notes in Computer Science, 7458

LNAI:746–752, 2012.

[80] INCA, B. N. C. I. Brazilian national cancer institute. http://www.inca.gov.

br/english/, acessado em março de 2016, 2014.

[81] IZARD, C. E. Basic emotions, relations among emotions, and emotion-

cognition relations. Psychological review, 99(3):561–565, 1992.

[82] JADHAV, N. Topic models for Sentiment analysis : A Literature Survey. Center

for Indian Language Technology (CFILT), p. 1–11, 2014.

[83] JAGGI, M.; UZDILLI, F.; CIELIEBAK, M. Swiss-Chocolate: Sentiment Detection

using Sparse SVMs and Part-Of-Speech n-Grams. SemEval 2014, 2014.

http://www.differencebetween.net/language/words-language/difference-between-feelings-and-sentiment/

http://www.differencebetween.net/language/words-language/difference-between-feelings-and-sentiment/

http://www.inca.gov.br/english/

http://www.inca.gov.br/english/


[84] JAGTAP, V. S.; PAWAR, K. Analysis of different approaches to Sentence-Level

Sentiment Classification. International Journal of Scientific Engineering and

Technology, 2(3):164–170, 2013.

[85] JAIN, T. I.; NEMADE, D. Recognizing Contextual Polarity in Phrase-Level

Sentiment Analysis. International Journal of Computer Applications, 7(5):12–21,

2010.

[86] JAMBHULKAR, P.; NIRKHI, S. A Survey Paper on Cross-Domain Sentiment

Analysis. International Journal of Advanced Research in Computer and Communi-

cation Engineering, 3(1), 2014.

[87] JIN, W.; HO, H.; SRIHARI, R. OpinionMiner: a novel machine learning system

for web opinion mining and extraction. ACM SIGKDD International Conference

on Knowledge Discovery and Data Mining, 2009.

[88] JINDAL, N.; LIU, B. Identifying comparative sentences in text documents. In:

29th annual international ACM SIGIR conference on Research and development in

information retrieval - SIGIR ’06, p. 244, 2006.

[89] J.I.SHEEBA AND DR.K.VIVEKANANDAN. A Fuzzy Logic Based on Sentiment

Classification. International Journal of Data Mining & Knowledge Management

Process, 4(4), 2014.

[90] JOSHI, N.; ITKAT, S. A Survey on Feature Level Sentiment Analysis. Internatio-

nal Journal of Computer Science and Information Technologies, 2014.

[91] JUNQUÉ DE FORTUNY, E.; DE SMEDT, T.; MARTENS, D.; DAELEMANS, W. Evalua-

ting and understanding text-based stock price prediction models. Information

Processing and Management, 50:426–441, 2014.

[92] KAMPS, J.; MARX, M.; MOKKEN, R. J.; DE RIJKE, M. Using WordNet to Measure

Semantic Orientations of Adjectives. In: Proceedings of the Fourth International

Conference on Language Resources and Evaluation (LREC’04), p. 1115–1118,

2004.

[93] KAPLAN, B.; KAPLAN, B.; TURKLE, S.; TURKLE, S. The Second Self: Computers

and the Human Spirit. Technology and Culture, 27(4):870, 1986.

[94] KHAN, K.; BAHARUDIN, B.; KHAN, A. A Review of Unsupervised Approaches

of Opinion Target Extraction from Unstructured Reviews. Journal of Applied

Sciences, Engineering and Technology 7, 7(12):2400–2410, 2014.


[95] KHAN, K.; BAHARUDIN, B. B.; KHAN, A. Mining opinion targets from text

documents: A review. Journal of Emerging Technologies in Web Intelligence,

5(4):343–353, 2013.

[96] KIM, S.; HOVY, E. Automatic detection of opinion bearing words and senten-

ces. Second International Joint Conference on Natural Language Processing, 2005.

[97] KOSINSKI, M.; STILLWELL, D.; GRAEPEL, T. Private traits and attributes are

predictable from digital records of human behavior. Proceedings of the National

Academy of Sciences of the United States of America, 110(15):5802–5, 2013.

[98] KRAMER, A. D. I.; GUILLORY, J. E.; HANCOCK, J. T. Experimental evidence of

massive-scale emotional contagion through social networks. Proceedings of

the National Academy of Sciences of the United States of America, 111(24):8788–

90, jun 2014.

[99] KUMAR, G.; KUMAR GOEL, P. Opinion mining and summarization for customer

reviews. International Journal of Engineering Science and Technology (IJEST),

2012.

[100] LAU, R.; LAI, C.; MA, J.; LI, Y. Automatic domain ontology extraction for

context-sensitive opinion mining. International Conference on Information Sys-

tems, 2009.

[101] LEMIRE, M.; PARÉ, G.; SICOTTE, C.; HARVEY, C. Determinants of Internet use

as a preferred source of information on personal health. International Journal

of Medical Informatics, 77(11):723–734, 2008.

[102] LEONG, C. K.; LEE, Y. H.; MAK, W. K. Mining sentiments in SMS texts for

teaching evaluation. Expert Systems with Applications, 39(3):2584–2589, 2012.

[103] LEXALYTICS. Semantria Support. https://semantria.com/support/

resources/technology/, acessado em março de 2016, 2014.

[104] LEXALYTICS. Analysis methods. https://semantria.com/support/

developer/docs/methods/, acessado em março de 2016, 2015.

[105] LEXALYTICS. Choose a plan. https://semantria.com/prices/, acessado em

março de 2016, 2015.

[106] LIU, B. Sentiment Analysis and Opinion Mining. Morgan and Claypool, 2012.

[107] LIU, B.; STREET, S. M. Opinion Observer : Analyzing and Comparing Opinions

on the Web. Proceedings of the 14th International Conference on World Wide Web,

p. 342–351, 2005.

https://semantria.com/support/resources/technology/

https://semantria.com/support/resources/technology/

https://semantria.com/support/developer/docs/methods/

https://semantria.com/support/developer/docs/methods/

https://semantria.com/prices/


[108] LIU, B.; ZHANG, L. Chapter 1 A Survey Of Opinion Mining and Sentiment

Analysis. p. 1–49.

[109] LIU, C.; HAN, Z. An Empirical Analysis on the Connection between Investor

Sentiment and the Composite Index of Shanghai Stock Exchange. Journal of

Beijing Institute of Technology, 2006.

[110] LIU, L.; LV, Z.; WANG, H. Extract product features in chinese web for opinion

mining. Journal of Software, 8(3):627–632, 2013.

[111] LIU, P.; QIAN, X.; MENG, H. Seeing Stars from Reviews by a

Semantic-based Approach with MapReduce Implementation. ASE Big-

Data/SocialInformatics/PASSAT/BioMedCom Conference, 2015.

[112] LIU, S.; LAW, R.; RONG, J.; LI, G.; HALL, J. Analyzing changes in hotel cus-

tomers’ expectations by trip mode. International Journal of Hospitality Manage-

ment, 34:359–371, 2013.

[113] MAKS, I.; VOSSEN, P. A lexicon model for deep sentiment analysis and opinion

mining applications. Decision Support Systems, 53(4):680–688, 2012.

[114] MANCHALA, S. Word and Sentence Level Emotion Analyzation in Telugu

Blog and News. International Journal of Computer Science, Engineering and

Applications, 2(3):183–197, 2012.

[115] MANNING, C. D.; RAGHAVAN, P. An Introduction to Information Retrieval.

Cambridge UP, 2009.

[116] MARRESE-TAYLOR, E.; VELÁSQUEZ, J. D.; BRAVO-MARQUEZ, F. A novel determi-

nistic approach for aspect-based opinion mining in tourism products reviews.

Expert Systems with Applications, 41(17):7764–7775, 2014.

[117] MCCAMBRIDGE, J.; WITTON, J.; ELBOURNE, D. R. Systematic review of the

Hawthorne effect: New concepts are needed to study research participation

effects. Journal of Clinical Epidemiology, 67(3):267–277, 2014.

[118] MEANINGCLOUD. Lemmatization, PoS and Parsing. https://www.

meaningcloud.com/developer/lemmatization-pos-parsing, acessado em

março de 2016, 2015.

[119] MEANINGCLOUD. What is Sentiment Analysis? https://www.meaningcloud.

com/developer/sentiment-analysis/doc/1.2, acessado em março de 2016,

2015.

https://www.meaningcloud.com/developer/lemmatization-pos-parsing

https://www.meaningcloud.com/developer/lemmatization-pos-parsing

https://www.meaningcloud.com/developer/sentiment-analysis/doc/1.2

https://www.meaningcloud.com/developer/sentiment-analysis/doc/1.2


[120] MEDHAT, W.; HASSAN, A.; KORASHY, H. Sentiment analysis algorithms and

applications: A survey. Ain Shams Engineering Journal, 5(4):1093–1113, 2014.

[121] MICROSOFT. Bing Translator. http://www.bing.com/translator/, acessado

em março de 2016, 2014.

[122] MING, Y. Robust regional bounding spherical descriptor for 3D face recogni-

tion and emotion analysis. Image and Vision Computing, 35:14–22, 2015.

[123] MINITAB. Por que usar um teste t pareado? http://support.minitab.

com/pt-br/minitab/17/topic-library/basic-statistics-and-graphs/

hypothesis-tests/tests-of-means/why-use-paired-t/, acessado em

março de 2016, 2015.

[124] MOHAMMAD, S. M. From once upon a time to happily ever after: Tracking

emotions in mail and books. Decision Support Systems, 53(4):730–741, 2012.

[125] MOHAMMAD, S. M.; TURNEY, P. D. Crowdsourcing a Word – Emotion Associa-

tion Lexicon. Computational Intelligence, 59(3):1–24, 2013.

[126] MORAES, R.; VALIATI, J. F.; GAVIÃO NETO, W. P. Document-level sentiment clas-

sification: An empirical comparison between SVM and ANN. Expert Systems

with Applications, 40(2):621–633, 2013.

[127] MUNEZERO, M.; MONTERO, C. S.; SUTINEN, E.; PAJUNEN, J. Are They Different?

Affect, Feeling, Emotion, Sentiment, and Opinion Detection in Text. IEEE

Transactions on Affective Computing, 2014.

[128] NARAYANAN, V.; ARORA, I.; BHATIA, A. Fast and accurate sentiment classifica-

tion using an enhanced Naive Bayes model. International Data Engineering and

Automated Learning, Lecture Notes in Computer Science, 8206:194–201, 2013.

[129] NENADIC.; ALEKSANDAR KOVACEVIC.; AZAD DEHGHAN.; JOHN A. KEANE.; NENA-

DIC. Topic Categorisation of Statements in Suicide Notes with Integrated Rules

and Machine Learning. Biomedical Informatics Insights, 5:115, 2012.

[130] NEVIAROUSKAYA, A.; AONO, M.; PRENDINGER, H.; ISHIZUKA, M. Intelligent

Interface for Textual Attitude Analysis. ACM Transactions on Intelligent Systems

and Technology, xx(3):1–20, 2014.

[131] NIEPERT, M.; STUCKENSCHMIDT, H.; STRUBE, M. Fine-Grained Sentiment Analy-

sis with Structural Features. 5th International Joint Conference on Natural Lan-

guage Processing, p. 336–344, 2011.

http://www.bing.com/translator/

http://support.minitab.com/pt-br/minitab/17/topic-library/basic-statistics-and-graphs/hypothesis-tests/tests-of-means/why-use-paired-t/




[132] NISHAJEBASEELI, A.; KIRUBAKARAN, E. A Survey on Sentiment Analysis of

(Product) Reviews. International Journal of Computer Applications, 47(11):36–39,

2012.

[133] NIU, J.; ZHAO, X.; ZHU, L.; LI, H. Affivir: An affect-based Internet video

recommendation system. Neurocomputing, 120:422–433, 2013.

[134] NOORDEEN, S.; KARTHIKEYAN, K.; PARVEEN, M. A. N. Feature Based Sentiment

Analysis On Customer Feedback: A Survey. International Journal of Engineering

Research & Technology, 2(4):388–397, 2013.

[135] OLSHER, D. Full spectrum opinion mining: Integrating domain, syntactic and

lexical knowledge. 2012 IEEE 12th International Conference on Data Mining

Workshops, 2012.

[136] PADMAJA, S.; FATIMA, S. Opinion Mining and Sentiment Analysis – An Asses-

sment of Peoples’ Belief: A Survey. International Journal of Adhoc, 2013.

[137] PALANI-SAMY, P.; YADAV, V.; ELCHURI, H. Serendio: Simple and Practical lexicon

based approach to Sentiment Analysis. Seventh International Workshop on

Semantic Evaluation (SemEval 2013), 2(SemEval):543–548, 2013.

[138] PANG, B.; LEE, L. Opinion mining and sentiment analysis. Foundations and

trends in information retrieval, 2008.

[139] PANG, B.; LEE, L.; VAITHYANATHAN, S. Thumbs up? Sentiment Classification

using Machine Learning Techniques. In: Conference on Empirical Methods in

Natural Language Processing (EMNLP 2002), número July, p. 79–86, 2002.

[140] PARROTT, W. Emotions in Social Psychology: Essential Readings. Psychology

Press, 2001.

[141] PEÑALVER-MARTINEZ, I.; GARCIA-SANCHEZ, F.; VALENCIA-GARCIA, R.;

RODRÍGUEZ-GARCÍA, M. Á.; MORENO, V.; FRAGA, A.; SÁNCHEZ-CERVANTES,

J. L. Feature-based opinion mining through ontologies. Expert Systems with

Applications, 41:5995–6008, 2014.

[142] PICARD, R. W. Affective Computing. Pattern Recognition, 1995.

[143] PLUTCHIK, R. A general psychoevolutionary theory of emotion. Emotion:

Theory, Research, and Experience, 1:3–33, 1980.

[144] PORIA, S.; CAMBRIA, E.; HUSSAIN, A.; HUANG, G.-B. Towards an Intelligent

Framework for Multimodal Affective Data Analysis. Neural Networks, 63:104–

116, 2015.


[145] PORTIER, K.; GREER, G. E.; ROKACH, L.; OFEK, N.; WANG, Y.; BIYANI, P.; YU,

M.; BANERJEE, S.; ZHAO, K.; MITRA, P.; YEN, J. Understanding topics and

sentiment in an online cancer survivor community. Journal of the National

Cancer Institute - Monographs, 2013.

[146] QIU, B.; ZHAO, K.; MITRA, P.; WU, D.; CARAGEA, C.; YEN, J.; GREER, G. E.; POR-

TIER, K. Get Online Support, Feel Better – Sentiment Analysis and Dynamics

in an Online Cancer Survivor Community. 2011 IEEE Third Int’l Conference on

Privacy, Security, Risk and Trust and 2011 IEEE Third Int’l Conference on Social

Computing, p. 274–281, 2011.

[147] QIU, M.; YANG, L.; JIANG, J. Mining user relations from online discussions

using sentiment analysis and probabilistic matrix factorization. Association for

Computational Linguistics, 2013.

[148] QUAN, C.; REN, F. Feature-level sentiment analysis by using comparative

domain corpora. Enterprise Information Systems, 2014.

[149] RAHNAMA, M.; GLOAGUEN, R. TecLines: A MATLAB-Based Toolbox for Tectonic

Lineament Analysis from Satellite Images and DEMs, Part 2: Line Segments

Linking and Merging. Remote Sensing, 2014.

[150] RAMIREZ, W.; MASIP-BRUIN, X.; YANNUZZI, M.; SERRAL-GRACIA, R.; MARTINEZ,

A.; SIDDIQUI, M. S. A survey and taxonomy of ID/Locator Split Architectures.

Computer Networks, 60:13–33, 2014.

[151] RAO, D.; RAVICHANDRAN, D. Semi-supervised polarity lexicon induction. 12th

Conference of the European Chapter of the Association for Computational Linguis-

tics on EACL 09, 2009.

[152] RASHID, A.; ANWER, N.; IQBAL, M.; SHER, M. A Survey Paper: Areas, Techni-

ques and Challenges of Opinion Mining. IJCSI International Journal of Computer

Science Issues, 2013.

[153] RASHID, A.; ASIF, S.; BUTT, N.; ASHRAF, I. Feature Level Opinion Mining

of Educational Student Feedback Data using Sequential Pattern Mining and

Association Rule Mining. International Journal of Computer Applications, 2013.

[154] RATKIEWICZ, J.; CONOVER, M.; MEISS, M.; GONÇALVES, B.; PATIL, S.; FLAMMINI,

A.; MENCZER, F. Truthy: Mapping the Spread of Astroturf in Microblog Stre-

ams. 20th international conference companion on World wide web, p. 249–252,

2011.


[155] REFORGIATO RECUPERO, D.; NUZZOLESE, A. G.; CONSOLI, S.; PRESUTTI, V.;

MONGIOVÌ, M.; PERONI, S. Extracting knowledge from text using sheldon, a

semantic holistic framework for linked ontology data. In: Proceedings of the

24th International Conference on World Wide Web, WWW ’15 Companion, p. 235–

238, New York, NY, USA, 2015. ACM.

[156] RICE, R. E. Influences, usage, and outcomes of Internet health information

searching: Multivariate results from the Pew surveys. International Journal of

Medical Informatics, 75(1):8–28, 2006.

[157] RILOFF, E.; RILOFF, E.; WIEBE, J.; WIEBE, J. Learning extraction patterns for

subjective expressions. Conference on Empirical methods in natural language

processing, 2003.

[158] ROUTRAY, P. A Survey on Sentiment Analysis. International Journal of Research

in Engineering Technology and Management, 76(10):1–8, 2013.

[159] RUZ, M.; MADRID, E.; TUDELA, P. Interactions between perceived emotions

and executive attention in an interpersonal game. Social Cognitive and Affective

Neuroscience, 8:838–844, 2013.

[160] S. ION; B. CRISTIAN. Applying Supervised Opinion Mining Techniques on

Online User Reviews. Informatica Economica, 16(2):81–92, 2012.

[161] SAMHA, A. K.; LI, Y.; ZHANG, J. Aspect-Based Opinion Extraction from Custo-

mer reviews. School of Electrical Engineering and Computer Science, 2014.

[162] SAYEED, A. B.; BOYD-GRABER, J.; RUSK, B.; WEINBERG, A. Grammatical struc-

tures for word-level sentiment detection. 2012 Conference of the North American

Chapter of the Association for Computational Linguistics: Human Language Tech-

nologies, p. 667–676, 2012.

[163] SCHERER, K.R. AND EKMAN, P. Affect Theory. In: Approaches To Emotion, p.

163–196. Taylor & Francis, 2014.

[164] SENTISTRENGTH. SentiStrength. http://sentistrength.wlv.ac.uk/, aces-

sado em março de 2016, 2014.

[165] SHAN, C.; GONG, S.; MCOWAN, P. W. Beyond Facial Expressions: Learning

Human Emotion from Body Gestures. Procedings of the British Machine Vision

Conference 2007, p. 43.1–43.10, 2007.

http://sentistrength.wlv.ac.uk/


[166] SHARMA, P.; SRIVASTAVA, K. Opinions on Opinion Mining: A Survey. Internati-

onal Journal of Advanced Research in Computer Science and Electronics Enginee-

ring (IJARCSEE), 2(10):684–689, 2013.

[167] SHEEBA, J.; VIVEKANANDAN, K. Improved Sentiment Classification From Me-

eting Transcripts. International Journal of Computer Science Issues (IJCSI),

9(5):169–176, 2012.

[168] SHENKER, B. S. The accuracy of Internet search engines to predict diagnoses

from symptoms can be assessed with a validated scoring system. International

Journal of Medical Informatics, 83(2):131–139, 2014.

[169] SNYDER, B.; SNYDER, B.; BARZILAY, R.; BARZILAY, R. Multiple aspect ranking

using the good grief algorithm. Conference of the North American Chapter of

the Association for Computational Linguistics – Human Language Technologies

(NAACL HLT), p. 300–307, 2007.

[170] SOCHER, R.; PERELYGIN, A.; WU, J. Recursive deep models for semantic

compositionality over a sentiment treebank. Conference on Empirical Methods

in Natural Language Processing (EMNLP 2013), p. 1631–1642, 2013.

[171] SOCIETY, A. C. What is Cancer. http://www.cancer.org/cancer/

cancerbasics/what-is-cancer/, acessado em março de 2016, 2014.

[172] SOLUTIONS, S. Paired Sample T-Test. https://www.statisticssolutions.

com/manova-analysis-paired-sample-t-test/, acessado em março de

2016, 2016.

[173] SOMABHAI, P. B.; SCIENCE, C. A Survey on Feature Based Opinion Mining

For Tourism Industry. Journal of Engineering Computers and Applied Sciences,

4(3):83–86, 2015.

[174] SOMMER, S.; SCHIEBER, A.; HEINRICH, K.; HILBERT, A. What is the conversation

about? A topic-model-based approach for analyzing customer sentiments in

twitter. International Journal of Intelligent Information Technologies, 8(1):10–25,

2012.

[175] STAIANO, J.; GUERINI, M. DepecheMood: a Lexicon for Emotion Analysis

from Crowd-Annotated News. Proceedings of the 52nd Annual Meeting of the

Association for Computational Linguistics, p. 427–433, 2014.

[176] STEVENSON, R. A.; MIKELS, J. A.; JAMES, T. W. Characterization of the affective

norms for English words by discrete emotional categories. Behavior research

methods, 39(4):1020–1024, 2007.

http://www.cancer.org/cancer/cancerbasics/what-is-cancer/

http://www.cancer.org/cancer/cancerbasics/what-is-cancer/

https://www.statisticssolutions.com/manova-analysis-paired-sample-t-test/

https://www.statisticssolutions.com/manova-analysis-paired-sample-t-test/


[177] TAN, L. K. W.; NA, J. C.; THENG, Y. L.; CHANG, K. Phrase-level sentiment

polarity classification using rule-based typed dependencies and additional

complex phrases consideration. Journal of Computer Science and Technology,

27(3):650–666, 2012.

[178] TANG, D.; QIN, B.; LIU, T.; SHI, Q. Emotion Analysis Platform on Chinese Micro-

blog. Research Center for Social Computing and Information Retrieval Computer

Science Department,, 2014.

[179] TEJWANI, R. Sentiment Analysis: A Survey. Cornell University Library, p. 1–3,

2014.

[180] TERRANA, D.; AUGELLO, A.; PILATO, G. Analysis of Facebook Users’ Relati-

onships Through Sentiment Classification: A Case Study of Italian Politicians.

International Journal of Semantic Computing, 08(03):301–317, 2014.

[181] THELWALL, M.; BUCKLEY, K.; PALTOGLOU, G.; CAI, D. Sentiment Strength

Detection in Short Informal Text. The American Society for Informational science

and technology, 61(12):2544–2558, 2010.

[182] THOMPSON, C. USF: Chunking for Aspect Term Identification & Polarity Clas-

sification. Proceedings of the 8th International Workshop on Semantic Evaluation

(SemEval 2014), 2014.

[183] TIVATANSAKUL, S.; OHKURA, M.; PUANGPONTIP, S.; ACHALAKUL, T. Emotional

healthcare system: Emotion detection by facial expressions using Japanese

database. In: 2014 6th Computer Science and Electronic Engineering Conference

(CEEC), p. 41–46. IEEE, sep 2014.

[184] TU, W.; CHEUNG, D.; MAMOULIS, N. Time-sensitive Opinion Mining for Predic-

tion. Twenty-Ninth AAAI Conference on Artificial Intelligence, 2015.

[185] TURDAKOV, D. Y.; ASTRAKHANTSEV, N. A.; NEDUMOV, Y. R.; SYSOEV, A. A.;

ANDRIANOV, I. A.; MAYOROV, V. D.; FEDORENKO, D. G.; KORSHUNOV, A. V.;

KUZNETSOV, S. D. Texterra: A framework for text analysis. Programming and

Computer Software, 40(5):288–295, 2014.

[186] TURNEY, P. D. Thumbs up or thumbs down? In: Proceedings of the 40th Annual

Meeting on Association for Computational Linguistics - ACL ’02, Morristown, NJ,

USA, 2001. Association for Computational Linguistics.

[187] UNNAMALAI, K. Sentiment Analysis of Products Using Web. Procedia Enginee-

ring, 38:2257–2262, 2012.


[188] VALDEZ, R. S.; BRENNAN, P. F. Exploring patients’ health information commu-

nication practices with social network members as a foundation for consu-

mer health IT design. International Journal of Medical Informatics, 84(5):363–374,

2015.

[189] VÁZQUEZ, S.; BEL, N. A Classification of Adjectives for Polarity Lexicons

Enhancement. arXiv preprint arXiv:1303.1931, p. 3557–3561, 2013.

[190] VEERAMANI, S.; KARUPPUSAMY, S. A Survey on Sentiment Analysis Technique

in Web Opinion Mining. International Journal of Science and Research (IJSR),

2012.

[191] VESELOVSKÁ, K.; TAMCHYNA, A. UFAL: Using Hand-crafted Rules in Aspect Ba-

sed Sentiment Analysis on Parsed Data. 8th InternationalWorkshop on Semantic

Evaluation (SemEval 2014), 2014.

[192] VINODHINI, G.; CHANDRASEKARAN, R. Sentiment Analysis and Opinion Mining:

A Survey. International Journal of Advanced Research in Computer Science and

Software Engineering, 2(6):282–292, 2012.

[193] VIVEKANANDAN, K.; ARAVIANDAN, J. S. Aspect-based Opinion Mining: A Sur-

vey. International Journal of Computer Applications, 106(3):21–26, 2014.

[194] WALJI, M.; SAGARAM, S.; MERIC-BERNSTAM, F.; JOHNSON, C. W.; BERNSTAM,

E. V. Searching for cancer-related information online: Unintended retrieval of

complementary and alternative medicine information. International Journal of

Medical Informatics, 74(7-8):685–693, 2005.

[195] WANG, H.; WANG, W.; WANG, H.; WANG, W. Product weakness finder: an

opinion-aware system through sentiment analysis. Industrial Management &

Data Systems, 2014.

[196] WENTZER, H. S.; BYGHOLM, A. Narratives of empowerment and compliance:

Studies of communication in online patient support groups. International

Journal of Medical Informatics, 82(12), 2013.

[197] WIEBE, J.; WIEBE, J. Learning subjective adjectives from corpora. Proceedings

of the National Conference on Artificial Intelligence, 2000.

[198] WIEGAND, M.; KLAKOW, D. The Role of Predicates in Opinion Holder Extraction.

Proceedings of the Workshop on Information Extraction and Knowledge Acquisition,

2011.


[199] WULF, M. D. Population Pyramids of the World from 1950 to 2100. http:

//populationpyramid.net/world/2015/, acessado em março de 2016, 2015.

[200] XIA, R.; ZONG, C.; HU, X.; CAMBRIA, E. Feature ensemble plus sample

selection: Domain adaptation for sentiment classification. IEEE Intelligent

Systems, 28:10–18, 2013.

[201] XIE, X.; WANG, Q.; CHEN, A. Analysis of Competition in Chinese Automobile

Industry based on an Opinion and Sentiment Mining System. Journal of

Intelligence Studies in Business, 2:41–50, 2012.

[202] XU.; XU.; YUE WANG.; JIAHUA LIU.; ZHUOWEN TU.; JIAN-TAO SUN.; JUNICHI

TSUJII.; ERIC CHANG. Suicide Note Sentiment Classification: A Supervised

Approach Augmented by Web Data. Biomedical Informatics Insights, 5:31, 2012.

[203] XU, M.; WANG, J.; HE, X.; JIN, J. S.; LUO, S.; LU, H. A three-level framework

for affective content analysis and its case studies. Multimedia Tools and

Applications, 70:757–779, 2014.

[204] YADAV, S. K. Sentiment Analysis and Classification: A Survey. International

Journal of Advance Research in Computer Science and Management Studies, p.

113–121, 2015.

[205] YU, L. C.; WU, J. L.; CHANG, P. C.; CHU, H. S. Using a contextual entropy model

to expand emotion words and their intensity for the sentiment classification of

stock market news. Knowledge-Based Systems, 41:89–97, 2013.

[206] YUANCHAO LIU1, L.; WANG1, X.; SUN1, C.; LIU1, B. A Novel Approach for

Dynamic Polarity Mining from Customer Reviews. Computer & Information

Science, 6(3):80–88, 2013.

[207] ZHAI, Z.; LIU, B.; WANG, J.; XU, H.; JIA, P. Product feature grouping for opinion

mining. IEEE Intelligent Systems, 27(August):37–44, 2012.

[208] ZHANG, K.; XIE, Y.; YANG, Y.; SUN, A.; LIU, H.; CHOUDHARY, A. Incorporating

conditional random fields and active learning to improve sentiment identifica-

tion. Neural Networks, 58:60–67, 2014.

[209] ZHAO, K.; YEN, J.; GREER, G.; QIU, B.; MITRA, P.; PORTIER, K. Finding influ-

ential users of online health communities: a new metric based on sentiment

influence. Journal of the American Medical Informatics Association : JAMIA, p. 1–7,

2014.

http://populationpyramid.net/world/2015/

http://populationpyramid.net/world/2015/


[210] ZHAO, S.; YAO, H.; SUN, X. Video classification and recommendation based

on affective analysis of viewers. Neurocomputing, 119:101–110, 2013.

[211] ZHOU, S.; CHEN, Q.; WANG, X. Active deep learning method for semi-

supervised sentiment classification. Neurocomputing, 120:536–546, 2013.

SentiHealth-Cancer: Uma Ferramenta de Análise de Sentimento ...

Documents

Transcript of SentiHealth-Cancer: Uma Ferramenta de Análise de Sentimento ...