Junções Adaptativas em consultas Federadas sobre Linked Data
description
Transcript of Junções Adaptativas em consultas Federadas sobre Linked Data
![Page 1: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/1.jpg)
Macedo MaiaVânia Vidal, José Maria Monteiro, Fabio Porto, Ana
Maria e Regis Pires
Junções Adaptativas em consultas Federadas sobre
Linked Data
![Page 2: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/2.jpg)
SumárioMotivação;Problema;Contexto;Solução Proposta;Contribuições;Cenário de Testes;Conclusões.
![Page 3: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/3.jpg)
A Web como a conhecemos!
![Page 4: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/4.jpg)
MotivaçãoAs práticas de Linked Data tem impulsionado a
publicação de dados na Web;Linked Data é um conjunto de boas práticas para
publicar, consumir e integrar dados estruturados na Web de Dados;
No padrão Linked Data, cada fragmento de dado no formato de triplas RDF descreve a si mesmo e suas relações, com outros fragmentos de dados de forma descentralizada;
Para consultar dados de repositórios de triplas RDF, usa-se a linguagem SPARQL.
![Page 5: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/5.jpg)
Motivação
![Page 6: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/6.jpg)
Motivação
![Page 7: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/7.jpg)
Motivação
![Page 8: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/8.jpg)
Motivação
![Page 9: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/9.jpg)
Motivação
![Page 10: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/10.jpg)
![Page 11: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/11.jpg)
![Page 12: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/12.jpg)
![Page 13: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/13.jpg)
Introdução –LOD Datasets 2007
![Page 14: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/14.jpg)
Introdução – LOD Datasets 2009
![Page 15: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/15.jpg)
Introdução – LOD Datasets 2011
![Page 16: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/16.jpg)
ProblemaO processamento de consultas federadas em
Linked Data envolve diversos desafios:
Desempenho das consultas;
Imprevisibilidade do ambiente;
Grande volume de dados;
Ausência de informações estatísticas e históricas.
Neste contexto, a realização de operações de junção, de maneira eficiente, configura-se em um problema relevante e em aberto;
![Page 17: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/17.jpg)
ContextoProcessamento de consultas em sistemas de
integração linked-data;Integração de fontes de dados em Linked
Data; Ex: DrugBank, Diseasome, DBpedia;
Sistemas de integração; Ex: FedX, DARQ, Jena, Sesame,QEF
![Page 18: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/18.jpg)
Solução PropostaEstratégias (algoritmos) de junções
adaptativas para ambientes Linked Data; Geração de estatísticas e históricos sobre
as fontes; Monitoramento de atividades:
Checar periodicamente a disponibilidade das fontes e às atividades realizadas durante a execução.
Tratar restrições nos tipos de consultas submetidas.
![Page 19: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/19.jpg)
Solução Proposta - Arquitetura
![Page 20: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/20.jpg)
Soluçao Proposta - Componentes
Translator
Traduz as consultas SPARQL para o QEP(Query Execution Plan) correspondente.
Executor
Executa o QEP e retorna os resultados.
Monitor
Monitora as atividades do ambiente federado durante a execução.
![Page 21: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/21.jpg)
ContribuiçõesFront-end que recebe a consulta do Usuário
O usuário escreve a consulta SPARQL de maneira intuitiva;
Depois de validada, a mesma é transformada em um QEP;
Depois de terminadas as consultas, envia o resultado da consulta para a interface.
![Page 22: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/22.jpg)
ContribuiçõesOperador de Controle:
Baseado no Eddies;Re-ordena constantemente os operadores de um
plano para se adaptar às variações que podem ocorrer nos dados durante a execução;
Realiza a leitura dos dados das fontes e determina um roteamento para cada tupla segundo as informações observadas (i.e. seletividade de cada operador);
![Page 23: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/23.jpg)
Arquitetura do Eddies:
Contribuições
Eddy
R S T
R S S T
Project
![Page 24: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/24.jpg)
Contribuições
R
Buffer RS
Buffer ST
S T
BufferOut
Arquitetura do Eddies:
![Page 25: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/25.jpg)
Contribuições
Framework para integração de dados do PELD com o DBPediaDados PELD são triplificados a partir do modelo
Relacional;Parte dos dados são Materializados;Permite ligações com o DBPedia através do predicado
SameAs.
![Page 26: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/26.jpg)
Cenário de TestesTestes e Resultados da análise das
consultas:Domínios:
Fontes de dados sobre Lifescience(PELD, Diseasome, Drugbank, Sider, DBPEDIA);
Comparação com outros ambientes:QEF, Fedx,Jena, Darq;
![Page 27: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/27.jpg)
Cenário de Testes
Plankton
Catfish
Taxon &
Region
Fish DBPedia
Diagrama do PELD:
![Page 28: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/28.jpg)
Cenário de Testes
Sider
Diseasome
DBPedia
Drugbank
Diagrama dos Datasets D&D:
Dailymed
![Page 29: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/29.jpg)
ConclusãoNós propomos uma solução para a
implementação de junções adaptativas em consultas federadas;
O algoritmos de junção adaptativa se ajustará dinamicamente em tempo de execução, sem interromper a transmissão dos dados do endpoint SPARQL para o ambiente de execução;
A adaptação da consulta é baseada em estatísticas que são coletadas em tempo de execução.
![Page 30: Junções Adaptativas em consultas Federadas sobre Linked Data](https://reader035.fdocumentos.com/reader035/viewer/2022062301/568146b6550346895db3dd00/html5/thumbnails/30.jpg)
ReferênciasAvnur, R. and Hellerstein, J. M. (2000). Eddies:
Continuously adaptive query processing. In SIGMOD Conference, pages 261–272.
Porto, F., Tajmouati, O., Da Silva, V. F. V., Schulze, B., and Ayres, F. V. M. (2007). Qef - supporting complex query applications. In Proceedings of the Seventh IEEE International Symposium on Cluster Computing and the Grid, CCGRID ’07, pages 846–851, Washington, DC, USA. IEEE Computer Society.
Pinheiro, J. C. (2011). Processamento de consulta de um framework baseado em mediador para integração de dados no padrão de Linked Data. PhD thesis, Universidade Federal do Ceará.