Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...

Uma Metodologia que utiliza princípios da Representação do Conhecimento

para Avaliação de ontologias

Judson Melo Bandeira

Orientação

Ig Ibert BittencourtPatricia Ospina

Judson Melo Bandeira jmb@ic.ufal.br

Agenda• Introdução• Problemática• Proposta• Validação• Conclusões• Artigos• Referências

Agenda

IntroduçãoJudson Melo Bandeira jmb@ic.ufal.br

Introdução

Introdução• Na Filosofia: [Thomasson, 2004]

• Entendida por “O estudo do ser”;

• Tentativa de filósofos de definir cada coisa existente no mundo;

• Categorias de Aristóteles e Kant: Questionamento e Julgamento;

• Filósofos Contemporâneos: Abstração Sucessiva.

Bicicleta

Veículo

Objeto

Introdução

Introdução• Na computação:

• Entendida por “uma especificação formal e explícita de uma conceitualização” [Gruber, 1993];

• Ou por “explícita e parte de uma descrição de uma conceitualização”; [Guarino, 1998] ;

• Consenso, Reúso;

• Uma outra forma de entender o conceito de ontologia é através dos papeis da representação do conhecimento [Davis, 1993]

Introdução

ontologia

Substituto

Compromissos

Ontológicos

Raciocínio Inteligente

Computação Eficiente

Expressão Humana

Introdução

Introdução• Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo

das páginas da Web, criando um ambiente em que os agentes de software a partir de uma página para outra podem facilmente realizar tarefas sofisticadas para os usuários; [Berners-Lee, 2001].

imagem

• Imagem de uma bicicleta,• Que tem a cor verde,• Que tem guidão de cor amarela, • Que não tem marchas...

Introdução

Problemática• Porém, modelar uma ontologia é uma tarefa

árdua, pois

• É necessário estudar o domínio profundamente;

• Evitar o problema da inconsistência (intersecção).

Problemática

ProblemáticaJudson Melo Bandeira jmb@ic.ufal.br

Problemática

Problemática• Assim, é necessário uma metodologia para

engenharia de ontologias. Porém...

[Cardoso, 2007]

Problemática

Problemática• E assim...

Complexidade

Qualidade

Desta forma, é necessário avaliar a qualidade da ontologia após sua modelagem.

Problemática

ProblemáticaJudson Melo Bandeira jmb@ic.ufal.br

[Obrst, 2007]

•Cobertura, •Complexidade, •Granularidade, •Casos de Uso, •Cenários, •Requisitos, •Aplicações, •Consistência e•Completude.

[Gangemi, 2006]

•Acordo, •Satisfação do usuário, •Tarefa, •Tópico e•Modularidade.

[Gruber, 1995]

•Clareza,•Coerência,•Estendibilidade,•Mínimo Viés de Codificação e•Compromisso ontológico mínimo.

[Gómez-Pérez, 2001]

•Completude,•Concisão,•Expansibilidade.

Problemática

Problemática• [Vrandečić, 2009] organizou todos esses

critérios em 8 principais, seguidos com questões:

• Precisão;• Adaptabilidade;• Clareza;• Completude;• Eficiência Computacional;• Concisão;• Consistência;• Aptidão Organizacional.

Problemática

Problemática• Porém, todos estes trabalhos apenas

apresentam os critérios;

• Poucos deles possuem um passo-a-passo de como executar esses critérios;

• Eles não possuem métricas para avaliar a ontologia.

Problemática

Problemática• Aumenta o esforço por parte do avaliador;

• Dependente da experiência do avaliador;

• Imprecisão sobre a qualidade da ontologia;

Problemática

Proposta

Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de

Ontologias

Proposta

PropostaJudson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• A metodologia contribui para:

• Diminuir o esforço do avaliador;

• Útil para avaliadores com qualquer experiência;

• Tornar a avaliação mais precisa.

Proposta

Proposta• Passo 1: Verificação do Tipo da ontologia

Nem toda ontologia precisa executar todos os critérios. Pois existem critérios que são contraditórios. [Vrandečić, 2009]

• Tipo 1: Ontologia de domínio ou tarefa: Domínio mais geral (como bicicleta).

• Tipo 2: Ontologia de aplicação: Domínio mais específico (como um sistema de computador).

• Inspirado em [Guarino, 1998]

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

• É onde a avaliação ocorre de fato;

• Cada questão possui uma nota associada e um goal associado, com um passo-a-passo;

• Avaliação no formato G.Q.M [Basili, 1992].

Proposta

Proposta- Goal 1: Verificar se a ontologia cumpre Substituto.

- Question 1: As competências da ontologia foram definidas?

- Metric 1: Completude - Como verificar: Primeiramente, verifique se existe algum documento que

explique as competências da ontologia. Se não existir, a nota será automaticamente 0. Se existir, verifique:

• Se define o objetivo da ontologia (por ex: esta ontologia modela o domínio de...) Notas: 25, 50, 75, 100 • Se define o público alvo da ontologia (por ex: esta ontologia será utilizada por...) Notas: 25, 50, 75, 100 • Se define cenários de uso desta ontologia (ou seja, em que situações ela deve

ser utilizada). Notas: 25, 50, 75, 100

Proposta

Proposta• Passo 3: Verificação da Qualidade da ontologia

• Qualidade total;

• Qualidade parcial.

Proposta

Validação - Experimento• Foram modeladas quatro ontologias;

• Domínio: Sistema de Currículos Lattes;

• Foram selecionadas seis pessoas, de diferentes experiências;

• Vasta, Grande, Média, Pouca e Pouquíssima.

Validação

Validação - ExperimentoJudson Melo Bandeira jmb@ic.ufal.br

Validação

Validação• Todas as notas de todos os participantes foram

coletadas;

• Surgiu uma questão: A metodologia explica os valores dados no documento SEM MODELO, ou seja, a metodologia é adequada?

• Duas Hipóteses: • É possível criar um escore Global para a ontologia?• É possível criar um escore Parcial para a ontologia?

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

Validação• Utilizar as notas subjetivas e objetivas para criar

um modelo de regressão;

• O modelo de regressão servirá para as notas objetivas explicarem as notas subjetivas;

• A metodologia será validada quando conseguirmos ajustar o modelo adequadamente e verificar se os resíduos estão próximos de zero.

Validação

• Encontrar os BETAS (pesos);

• Estimar o valor de ;

• Fazer ee e observar os resíduos;

• Se os resíduos forem próximos de 0, as notas objetivas conseguem explicar as notas subjetivas, validando a metodologia.

Validação

Substituindo os BETAS encontrados, temos:

Validação – Ameaças à Validade• Apenas um domínio poderia não ter sido o suficiente para o

experimento;

• Apenas praticamente uma pessoa de cada experiência pode ter afetado a precisão dos valores obtidos no experimento;

• Alguns participantes sentiram-se cansados durante a execução do experimento, o que pode ter afetado as notas dadas por eles.

Validação

Conclusões - Vantagens• Foi possível criar os dois escores, validando a metodologia

estatisticamente;

• Agora a comunidade de ontologias possui uma metodologia para avaliação com passo-a-passo e estabelecimento de nota;

• Agora a comunidade de ontologias possui uma metodologia que independe da experiência do avaliador.

Conclusões

Conclusões - Limitações• A metodologia não possui questões suficientes para diferenciar bem os

dois tipos de ontologia;

• A verificação de duas ou mais ontologias, pode se tornar um processo um pouco cansativo.

Conclusões

Conclusões – Trabalhos Futuros• Inserir o tipo Top Ontology, para completar os três tipos enunciados por

Guarino;

• Inserir mais questões para tornar mais precisa a avaliação de acordo com os tipos;

• Automatizar ou semi-automatizar o processo, para diminuir a exaustão.

Conclusões

Artigos• Capítulos de Livro:

• Dados Abertos Conectados para a Educação (JAIE – 2015);• Dados Abertos Conectados (SBTI – 2014);

• Artigos• Desafios no uso de Dados Abertos Conectados na Educação

Brasileira (DesafIE – 2015)

• Artigo Aceito (porém não publicado)• Lessons Learned About Ontology Development Using Methontology

(ICEIS – 2015)

• À submeter• Artigo da dissertação.

Conclusões

Referências• Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition

5.2 (1993): 199-220. • Cardoso, Jorge. "The semantic web vision: Where are we?." Intelligent Systems, IEEE 22.5 (2007): 84-

88. • Vrandečić, Denny. Ontology evaluation. Springer Berlin Heidelberg, 2009. • Thomasson, Amie L. "Methods of categorization." Proceedings of the 3rd International Conference

(FOIS'04). 2004. • Guarino, Nicola. Formal ontology in information systems: Proceedings of the first international

conference (FOIS'98), June 6-8, Trento, Italy. Vol. 46. IOS press, 1998. • Davis, Randall, Howard Shrobe, and Peter Szolovits. "What is a knowledge representation?." AI • Berners-Lee, Tim, James Hendler, and Ora Lassila. "The semantic web."Scientific american 284.5

(2001): 28-37. • Obrst, Leo, et al. "The evaluation of ontologies." Semantic Web. Springer US, 2007. 139-158. • Gangemi, Aldo, et al. Modelling ontology evaluation and validation. Springer Berlin Heidelberg, 2006. • Gruber, Thomas R. "Toward principles for the design of ontologies used for knowledge sharing?."

International journal of human-computer studies 43.5 (1995): 907-928. • Gómez‐Pérez, Asunción. "Evaluation of ontologies." International Journal of intelligent systems 16.3

(2001): 391-409. • Ferrari, Silvia, and Francisco Cribari-Neto. "Beta regression for modelling rates and proportions."

Journal of Applied Statistics 31.7 (2004): 799-815. • Espinheira, Patrícia L., Luana Cecília Meireles da Silva, and Alisson de Oliveira Silva. "Prediction

Measures in Beta Regression Models." arXiv preprint arXiv:1501.04830 (2015). • Basili, Victor R. "Software modeling and measurement: the Goal/Question/Metric paradigm." (1992).

Referências

Muito Obrigado!Judson Melo Bandeira jmb@ic.ufal.br

Referências

Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...

Science

Transcript of Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...

FoCA - 12ª Edição

Recapitulação sobre Ontologias

Guias Foca Linux

Ontologias em Gestão do Conhecimento

Web semântica e Ontologias

Ontologias: definições e conceitos básicosgbd.dc.ufscar.br/.../CristianeYaguinuma_slidesOntologias.pdf · Ontologias Formais e inferência Figura adaptada de [USCHOLD; GRÜNINGER,

guia foca linux

RAMALHO 2010 Desenvolvimento e utiliza o de ontologias em Bibliotecas … · 2010-12-16 · Ramalho, Rogério Aparecido Sá. R165a Desenvolvimento e utilização de ontologias em

Revista Foca UP

Aula 10 - Projeto de Ontologias

01 ontologias-2.ppt

Ontologias Biológicas

FOCA NO RESUMO_PODER CONSTITUINTE.pdf

Introdução a Engenharia de Ontologias

Aplicações de Ontologias em Engenharia de Softwarefalbo/files/OES/OES3-Aplicacoes_Ontologias_ES.pdf · • Ontologias em Engenharia de Software • Ontologias no Desenvolvimento

Foca linux 1

FOCA na Específica - Geografia

FoCA - 13ª edição

Ontologias na web

A Foca Branca