Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...

Uma Metodologia que utiliza princípios da Representação do Conhecimento

para Avaliação de ontologias

Judson Melo Bandeira

Orientação

Ig Ibert BittencourtPatricia Ospina

Judson Melo Bandeira [email protected]

2

Agenda• Introdução• Problemática• Proposta• Validação• Conclusões• Artigos• Referências


Agenda

3

IntroduçãoJudson Melo Bandeira [email protected]

Introdução

4


Introdução

5

Introdução• Na Filosofia: [Thomasson, 2004]

• Entendida por “O estudo do ser”;

• Tentativa de filósofos de definir cada coisa existente no mundo;

• Categorias de Aristóteles e Kant: Questionamento e Julgamento;

• Filósofos Contemporâneos: Abstração Sucessiva.


Bicicleta

Veículo

Objeto

Coisa

Introdução

6

Introdução• Na computação:

• Entendida por “uma especificação formal e explícita de uma conceitualização” [Gruber, 1993];

• Ou por “explícita e parte de uma descrição de uma conceitualização”; [Guarino, 1998] ;

• Consenso, Reúso;

• Uma outra forma de entender o conceito de ontologia é através dos papeis da representação do conhecimento [Davis, 1993]


Introdução

7


ontologia

Substituto

Compromissos

Ontológicos

Raciocínio Inteligente

Computação Eficiente

Expressão Humana

fast

Introdução

8

Introdução• Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo

das páginas da Web, criando um ambiente em que os agentes de software a partir de uma página para outra podem facilmente realizar tarefas sofisticadas para os usuários; [Berners-Lee, 2001].


imagem

• Imagem de uma bicicleta,• Que tem a cor verde,• Que tem guidão de cor amarela, • Que não tem marchas...

Introdução

9

Problemática• Porém, modelar uma ontologia é uma tarefa

árdua, pois

• É necessário estudar o domínio profundamente;

• Evitar o problema da inconsistência (intersecção).


Problemática

10

ProblemáticaJudson Melo Bandeira [email protected]

Problemática

11

Problemática• Assim, é necessário uma metodologia para

engenharia de ontologias. Porém...


[Cardoso, 2007]

Problemática

12

Problemática• E assim...


Complexidade

Qualidade

Desta forma, é necessário avaliar a qualidade da ontologia após sua modelagem.

Problemática

13

ProblemáticaJudson Melo Bandeira [email protected]

[Obrst, 2007]

•Cobertura, •Complexidade, •Granularidade, •Casos de Uso, •Cenários, •Requisitos, •Aplicações, •Consistência e•Completude.

[Gangemi, 2006]

•Acordo, •Satisfação do usuário, •Tarefa, •Tópico e•Modularidade.

[Gruber, 1995]

•Clareza,•Coerência,•Estendibilidade,•Mínimo Viés de Codificação e•Compromisso ontológico mínimo.

[Gómez-Pérez, 2001]

•Completude,•Concisão,•Expansibilidade.

Problemática

14

Problemática• [Vrandečić, 2009] organizou todos esses

critérios em 8 principais, seguidos com questões:

• Precisão;• Adaptabilidade;• Clareza;• Completude;• Eficiência Computacional;• Concisão;• Consistência;• Aptidão Organizacional.


Problemática

15

Problemática• Porém, todos estes trabalhos apenas

apresentam os critérios;

• Poucos deles possuem um passo-a-passo de como executar esses critérios;

• Eles não possuem métricas para avaliar a ontologia.


Problemática

16

Problemática• Aumenta o esforço por parte do avaliador;

• Dependente da experiência do avaliador;

• Imprecisão sobre a qualidade da ontologia;


Problemática

17

Proposta

Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de

Ontologias


Proposta

18

PropostaJudson Melo Bandeira [email protected]

Proposta

19

Proposta• A metodologia contribui para:

• Diminuir o esforço do avaliador;

• Útil para avaliadores com qualquer experiência;

• Tornar a avaliação mais precisa.


Proposta

20

Proposta• Passo 1: Verificação do Tipo da ontologia

Nem toda ontologia precisa executar todos os critérios. Pois existem critérios que são contraditórios. [Vrandečić, 2009]

• Tipo 1: Ontologia de domínio ou tarefa: Domínio mais geral (como bicicleta).

• Tipo 2: Ontologia de aplicação: Domínio mais específico (como um sistema de computador).

• Inspirado em [Guarino, 1998]


Proposta

21

Proposta• Passo 2: Verificação das Questões e Mensurar

• É onde a avaliação ocorre de fato;

• Cada questão possui uma nota associada e um goal associado, com um passo-a-passo;

• Avaliação no formato G.Q.M [Basili, 1992].


Proposta

22



Proposta

23

Proposta- Goal 1: Verificar se a ontologia cumpre Substituto.

- Question 1: As competências da ontologia foram definidas?

- Metric 1: Completude - Como verificar: Primeiramente, verifique se existe algum documento que

explique as competências da ontologia. Se não existir, a nota será automaticamente 0. Se existir, verifique:

• Se define o objetivo da ontologia (por ex: esta ontologia modela o domínio de...) Notas: 25, 50, 75, 100 • Se define o público alvo da ontologia (por ex: esta ontologia será utilizada por...) Notas: 25, 50, 75, 100 • Se define cenários de uso desta ontologia (ou seja, em que situações ela deve

ser utilizada). Notas: 25, 50, 75, 100


Proposta

24



Proposta

25



Proposta

26



Proposta

29



Proposta

30

Proposta• Passo 3: Verificação da Qualidade da ontologia


• Qualidade total;

• Qualidade parcial.

Proposta

31

Validação - Experimento• Foram modeladas quatro ontologias;

• Domínio: Sistema de Currículos Lattes;

• Foram selecionadas seis pessoas, de diferentes experiências;

• Vasta, Grande, Média, Pouca e Pouquíssima.


Validação

32

Validação - ExperimentoJudson Melo Bandeira [email protected]

Validação

33

Validação• Todas as notas de todos os participantes foram

coletadas;

• Surgiu uma questão: A metodologia explica os valores dados no documento SEM MODELO, ou seja, a metodologia é adequada?

• Duas Hipóteses: • É possível criar um escore Global para a ontologia?• É possível criar um escore Parcial para a ontologia?


Validação

34

ValidaçãoJudson Melo Bandeira [email protected]

Validação

35


Validação

36


Validação

37

Validação• Utilizar as notas subjetivas e objetivas para criar

um modelo de regressão;

• O modelo de regressão servirá para as notas objetivas explicarem as notas subjetivas;

• A metodologia será validada quando conseguirmos ajustar o modelo adequadamente e verificar se os resíduos estão próximos de zero.


Validação

38


Validação

39

Validação

• Encontrar os BETAS (pesos);

• Estimar o valor de ;

• Fazer ee e observar os resíduos;

• Se os resíduos forem próximos de 0, as notas objetivas conseguem explicar as notas subjetivas, validando a metodologia.


Validação

40


Validação

41


Validação

Substituindo os BETAS encontrados, temos:

42

Validação – Ameaças à Validade• Apenas um domínio poderia não ter sido o suficiente para o

experimento;

• Apenas praticamente uma pessoa de cada experiência pode ter afetado a precisão dos valores obtidos no experimento;

• Alguns participantes sentiram-se cansados durante a execução do experimento, o que pode ter afetado as notas dadas por eles.


Validação

43

Conclusões - Vantagens• Foi possível criar os dois escores, validando a metodologia

estatisticamente;

• Agora a comunidade de ontologias possui uma metodologia para avaliação com passo-a-passo e estabelecimento de nota;

• Agora a comunidade de ontologias possui uma metodologia que independe da experiência do avaliador.


Conclusões

44

Conclusões - Limitações• A metodologia não possui questões suficientes para diferenciar bem os

dois tipos de ontologia;

• A verificação de duas ou mais ontologias, pode se tornar um processo um pouco cansativo.


Conclusões

45

Conclusões – Trabalhos Futuros• Inserir o tipo Top Ontology, para completar os três tipos enunciados por

Guarino;

• Inserir mais questões para tornar mais precisa a avaliação de acordo com os tipos;

• Automatizar ou semi-automatizar o processo, para diminuir a exaustão.


Conclusões

46

Artigos• Capítulos de Livro:

• Dados Abertos Conectados para a Educação (JAIE – 2015);• Dados Abertos Conectados (SBTI – 2014);

• Artigos• Desafios no uso de Dados Abertos Conectados na Educação

Brasileira (DesafIE – 2015)

• Artigo Aceito (porém não publicado)• Lessons Learned About Ontology Development Using Methontology

(ICEIS – 2015)

• À submeter• Artigo da dissertação.


Conclusões

47

Referências• Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition

5.2 (1993): 199-220. • Cardoso, Jorge. "The semantic web vision: Where are we?." Intelligent Systems, IEEE 22.5 (2007): 84-

88. • Vrandečić, Denny. Ontology evaluation. Springer Berlin Heidelberg, 2009. • Thomasson, Amie L. "Methods of categorization." Proceedings of the 3rd International Conference

(FOIS'04). 2004. • Guarino, Nicola. Formal ontology in information systems: Proceedings of the first international

conference (FOIS'98), June 6-8, Trento, Italy. Vol. 46. IOS press, 1998. • Davis, Randall, Howard Shrobe, and Peter Szolovits. "What is a knowledge representation?." AI • Berners-Lee, Tim, James Hendler, and Ora Lassila. "The semantic web."Scientific american 284.5

(2001): 28-37. • Obrst, Leo, et al. "The evaluation of ontologies." Semantic Web. Springer US, 2007. 139-158. • Gangemi, Aldo, et al. Modelling ontology evaluation and validation. Springer Berlin Heidelberg, 2006. • Gruber, Thomas R. "Toward principles for the design of ontologies used for knowledge sharing?."

International journal of human-computer studies 43.5 (1995): 907-928. • Gómez‐Pérez, Asunción. "Evaluation of ontologies." International Journal of intelligent systems 16.3

(2001): 391-409. • Ferrari, Silvia, and Francisco Cribari-Neto. "Beta regression for modelling rates and proportions."

Journal of Applied Statistics 31.7 (2004): 799-815. • Espinheira, Patrícia L., Luana Cecília Meireles da Silva, and Alisson de Oliveira Silva. "Prediction

Measures in Beta Regression Models." arXiv preprint arXiv:1501.04830 (2015). • Basili, Victor R. "Software modeling and measurement: the Goal/Question/Metric paradigm." (1992).


Referências

47

Muito Obrigado!Judson Melo Bandeira [email protected]

Referências

Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...

Science

Transcript of Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...