Metodologia de Pré-processamento Textual para Extração de Informação em Artigos Científicos do...
Transcript of Metodologia de Pré-processamento Textual para Extração de Informação em Artigos Científicos do...
Metodologia de Pré-processamento Textual para Extração de Informação em
Artigos Científicos do Domínio Biomédico
Universidade Federal de São Carlos - UFSCarDepartamento de Computação - DC
Programa de Pós-Graduação em Ciência da Computação - PPGCC
Aluno: Pablo Freire MatosOrientador: Dr. Ricardo Rodrigues Ciferri
Coorientador: Dr. Thiago Alexandre S. Pardo Área: Banco de Dados
Roteiro Introdução
Contexto Objetivos
Proposta de Dissertação
WTDBD/SBBD08/10/092/20
Roteiro Introdução
Contexto Objetivos
Proposta de Dissertação
WTDBD/SBBD08/10/093/20
Contextualização
Quantidade imensa de informação disponível
Humanos não são capazes de assimilar todo esse conteúdo
Informação via e-mail, blogs, wikis, artigos... + de 80% das informações estão em formato de texto
WTDBD/SBBD
Tan (1999) e Chen (2001)
08/10/09
Grantz (2007)
4/20
Contextualização PubMed
+ de 18 milhões de artigos (desde 1966) MEDLINE (área de ciências + biomedicina)
Entrez - Sistema integrado do NCBI 35 bases com 350 milhões de registros Sickle Cell Anemia
15.748 registros do PubMed (citações e resumos) 3.463 do PubMed Central (artigos completos)
WTDBD/SBBD08/10/095/20
Contextualização Infinidade de meios de publicação
American Journal of Hematology, Blood, British Journal of Haematology, Haematologica, The New England Journal of Medicine,…
Leva tempo para ler e identificar as principais informações do artigo
Solução: Mineração de Textos
WTDBD/SBBD08/10/096/20
Objetivos Identificar e extrair informações novas, úteis e
interessantes em artigos científicos sobre a doença Anemia Falciforme
Foco: efeitos positivos e negativos (do tratamento)
Organização e armazenamento de informação em um BD para posterior mineração
WTDBD/SBBD08/10/097/20
BD
Exemplo de Extração de Termos
WTDBD/SBBD
she died during the second year of therapy from acute severe anemia during an episode of splenic sequestration
Efeito Negativo
in some adolescents poor compliance was evidentOutros
BDBD
Reductions in the frequency of chest syndrome and the number of transfusions strengthen the conclusion that hydroxyurea is a useful agent in sickle cell anemia
Reductions in the frequency of chest syndromeReductions in the number of transfusionsepisode of splenic sequestration
08/10/09
Aprendizado de Máquina Regras e Dicionário
EfeitoPositivo
8/20
Roteiro Introdução Proposta de Dissertação
WTDBD/SBBD08/10/099/20
Processo de MT
WTDBD/SBBD08/10/09
É uma das fases mais críticas Feldman e Sanger (2007)
10/20
Metodologia de Pré-processamento
WTDBD/SBBD08/10/0911/20
Pré-processamento Textual
WTDBD/SBBD08/10/0912/20
Processo Geral de Extração de Informação
WTDBD/SBBD08/10/0913/20
Categorização
WTDBD/SBBD
MOVER
Saída
Treinamento
Efeito Negativo
Efeito Positivo
Outros
Teste
Diversos arquivos com sentenças de efeito positivo
Diversos arquivos com sentenças de efeito negativo
Diversos arquivos com sentenças de outros
Novo textoTXT
Conjunto desentençasclassificadas em classes
Cla
sses
Anthony e Lashkia (2003)
Precisão de 68%
08/10/0914/20
Sentenças classificadas - Mover
WTDBD/SBBD08/10/0915/20
Análise dos Resultados - Classificação Taxa de Precisão (P)
Baseline ≤ P ≤ Topline Baseline: Mover Topline: Taxa de precisão humana
50 sentenças (efeito positivo, efeito negativo e outros) Kappa de 6 anotadores (65,20%)
WTDBD/SBBD08/10/09
Ganho de 18,99%
Ganho de 27,01%
16/20
Considerações Sobre a Classificação Pré-processamento: 3 classes (Complicação, Benefício
e Outro) Matriz atributo-valor
Frequência mínima = 2 1 a 3 gramas sem stopword e sem stemmer
Eliminar Ruído com J48 Balanceamento (Bias 1 em Java - Mantém a distribuição das
classes) Seleção de Atributo (Meta)
Ganho de Informação
Classificador Naive Bayes Support Vector Machine
WTDBD/SBBD08/10/0917/20
Extração de Informação: Dicionário + Regras1. Identificar verdadeiro positivo (efeito positivo)
2. Eliminar falso positivo (fator de risco)
3. Elaborar como recuperar falsos negativos
WTDBD/SBBD
reductions in the frequency of chest syndrome and the number of transfusions strengthen the conclusion that hydroxyurea is a useful agent in sickle cell anemia
1
in scd children hydroxyurea has been shown to decrease the rate and the intensity of painful events and the number of days of hospitalization
2
hydroxyurea therapy can ameliorate the clinical course of sickle cell anemia in some adults with three or more painful crises per year
3
treatment was also stopped in another patient because of the first occurrence of pathological tcd velocities
4
08/10/0918/20
Análise dos Resultados - Extração Precisão, Revocação e Medida-F (Extração
de Informação)
Comparação com outros trabalhos
WTDBD/SBBD08/10/0919/20
Quatro Experimentos
1. Regras
2. Regras e Dicionário
3. AM e Regras
4. AM, Regras e Dicionário
WTDBD/SBBD08/10/0920/20
Metodologia de Pré-processamento Textual Voltada à Extração de Informação em Artigos Científicos do Domínio
Biomédico
Universidade Federal de São Carlos - UFSCarDepartamento de Computação - DC
Programa de Pós-Graduação em Ciência da Computação - PPGCC
Dúvidas?
Aluno: Pablo Freire MatosOrientador: Dr. Ricardo Rodrigues Ciferri
Coorientador: Dr. Thiago Alexandre S. Pardo Área: Banco de Dados
Cronograma de Atividades
WTDBD/SBBD
Defesa do exame de qualificaçãoClassificação manual (anotadores: 3 médicos e 3 leigos) em três classes de 50 sentenças e cálculo da medida de concordância KappaTreinamento e teste no classificador Mover de 500 a 1.500 sentenças identificadas manualmente nos artigos. Calcular a acurácia.
Desenvolvimento do módulo de extração de efeitos da AF(abordagem baseada em regras e dicionário)Avaliar a extração de informação com as medidas de precisão, revocação e Medida-FRedação e submissão de artigo aos encontros qualificados de Ciência da ComputaçãoConcepção e projeto da ferramenta SCAeXtractor, integrando o módulo de classificação e o de extração nesta ferramenta para o processo de extração de informação ser realizado de forma transparente e automática
Realização dos quatros testes propostos na análise dos resultadosPossibilitar ao especialista do domínio visualizar e validar o resultado da extração de informaçãoRedação da dissertação de mestrado
Preparação e defesa da dissertação
08/10/0922/20
Referências ANTHONY, L.; LASHKIA, G. V. Mover: a machine learning tool to assist in the
reading and writing of technical papers. IEEE Transactions on Professional Communication, v. 46, n. 3, p. 185-193, 2003.
ARANHA, C. N. Uma abordagem de pré-processamento automático para mineração de textos em português: sob o enfoque da inteligência computacional. 144 f. Tese (Doutorado em Engenharia Elétrica) – Departamento de Engenharia Elétrica, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2007.
BREMER, E. G. et al. Text mining of full text articles and creation of a knowledge base for analysis of microarray data. In: KNOWLEDGE EXPLORATION IN LIFE SCIENCE INFORMATICS (KELSI), 2004, Milan, Italy. Proceedings... 2004. p. 84-95.
CHEN, H. Knowledge management systems: a text mining perspective. Tucson, AZ: University of Arizona, 2001.
CORNEY, D. P. A. et al. BioRAT: extracting biological information from full-length papers. Bioinformatics, v. 20, n. 17, p. 3206-3213, 2004.
WTDBD/SBBD08/10/0923/20
Referências (cont. 1) FELDMAN, R.; DAGAN, I. Knowledge discovery in textual databases (KDT). In:
INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING (KDD), 1995, Montréal, Québec. Proceedings... Menlo Park, CA: AAAI Press, 1995. p. 112-117.
FELDMAN, R.; SANGER, J. The text mining handbook: advanced approaches in analyzing unstructured data. New York: Cambridge University Press, 2007. 391 p.
GARTEN, Y.; ALTMAN, R. Pharmspresso: a text mining tool for extraction of pharmacogenomic concepts and relationships from full text. BMC Bioinformatics, v. 10, p. S6, 2009. Suppl. 2.
GANTZ, J. F. et al. The expanding digital universe: a forecast of worldwide information growth through 2010. IDC Whitepaper, 2007.
HEARST, M. A. Untangling text data mining. In: ANNUAL MEETING OF THE ASSOCIATION OF COMPUTATIONAL LINGUISTICS, 37th, 1999, College Park, Maryland. Proceedings... Morristown, NJ: Association for Computational Linguistics, 1999. p. 3-10.
WTDBD/SBBD08/10/0924/20
Referências (cont. 2) IMAMURA, C. Y.-M. Pré-processamento para extração de conhecimento de
bases textuais. 103 f. Dissertação (Mestrado em Ciência de Computação e Matemática Computacional) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2001.
MARTINS, C. A. Uma abordagem para pré-processamento de dados textuais em algoritmos de aprendizado. 174 f. Tese (Doutorado em Ciência de Computação e Matemática Computacional) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2003.
MINISTÉRIO DA SAÚDE. Doença falciforme e outras hemoglobinopatias: anemia falciforme. 2008.
NATIONAL CENTER FOR BIOTECHNOLOGY INFORMATION. PubMed. 2009. Disponível em: <http://www.ncbi.nlm.nih.gov/pubmed/>. Acesso em: 16 mar. 2009.
NATIONAL CENTER FOR BIOTECHNOLOGY INFORMATION. Entrez, the life sciences search engine. 2009. Disponível em: <http://www.ncbi.nlm.nih.gov/Entrez/>. Acesso em: 26 mar. 2009.
SCHUEMIE, M. J. et al. Distribution of information in biomedical abstracts and full-text publications. Bioinformatics, v. 20, n. 16, p. 2597-2604, 2004.
WTDBD/SBBD08/10/0925/20
Referências (cont. 3) ______. Evaluation of techniques for increasing recall in a dictionary approach
to gene and protein name identification. Journal of Biomedical Informatics, v. 40, n. 3, p. 316-324, 2007.
TAN, A.-H. Text mining: the state of the art and the challenges. In: KNOWLEDGE DISCOVERY FROM ADVANCED DATABASES (KDAD), 1999, Beijing, China. Proceedings... PAKDD, 1999. p. 71-76.
TANABE, L.; WILBUR, W. J. Tagging gene and protein names in biomedical text. Bioinformatics, v. 18, n. 8, p. 1124-1132, 2002a.
______. Tagging gene and protein names in full text articles. In: WORKSHOP ON NATURAL LANGUAGE PROCESSING IN THE BIOMEDICAL DOMAIN, 2002, Phildadelphia, Pennsylvania. Proceedings... Morristown, NJ: Association for Computational Linguistics, 2002b. p. 9-13.
WTDBD/SBBD08/10/0926/20
Referências Classificação ANTHONY, L.; LASHKIA, G. V. Mover: a machine learning tool to assist in
the reading and writing of technical papers. IEEE Transactions on Professional Communication, v. 46, n. 3, p. 185-193, 2003.
BURSTEIN, J.; MARCU, D.; KNIGHT, K. Finding the WRITE stuff: automatic identification of discourse structure in student essays. Intelligent Systems, IEEE, v. 18, n. 1, p. 32-39, 2003.
BATISTA, G. E. A. P. A.; PRATI, R. C.; MONARD, M. C. A study of the behavior of several methods for balancing machine learning training data. SIGKDD Explorations Newsletter, v. 6, n. 1, p. 20-29, 2004.
HEY, D. F.; FELTRIM, V. D. Uma investigação sobre a aplicação de algoritmos de aprendizado à classificação de papéis retóricos. In: VIII Fórum de Informática e Tecnologia de Maringá, XI Mostra de Trabalhos de Informática, 2008, Maringá. Anais... Universidade Estadual de Maringá, 2008. p. 94-104.
08/10/09 WTDBD/SBBD27/20
Referências Classificação (Cont.) WITTEN, I. H.; FRANK, E. Data mining: practical machine learning tools
and techniques with Java implementations. 2nd ed. San Francisco, CA: Morgan Kaufmann, 2005. 525 p.
WTDBD/SBBD08/10/0928/20