LÓSCIO, B. F. Dados, Integração de Dados e Dados Interligados. II Workshop de Introdução a...

Dados, Integrao de Dados e Dados Interligados

II Workshop de Introduo a Engenharia de Ontologias e Web Semntica

Bernadette Farias Lscio [email protected]

PARTE 2 WEB SEMNTICA E LINKED DATA

II Workshop de Introduo a Engenharia de Ontologias e Web Semntica 3

Web documentos

de


Web documentos

de

A web j possui diversos tipos de dados, mas os dados no esto interligados

A heterogeneidade dos modelos dificulta a integrao dos dados

Existem hiperlinks entre as pginas, mas no existem links entre os dados!


Web documentos

de

Mashups podem ser criados para integrar os dados

preciso conhecer as diferentes APIs de acesso e os diferentes modelos de dados para poder combin-los


Web dados

de


Web dados

de

Encontrando dados na

Sig.ma servio que permite consultar a Web de Dados sobre um determinado tpico

Dbpedia.org esforo da comunidade para extrair dados estruturados da wikipedia e tornar esta informao visvel na Web

Sindice.com servio de coleta de dados na Web de Dados. Pode ser usado como base para construo de aplicaes


Web Semntica

Uma extenso da Web atual Dados associados a metadados Uso de vocabulrios comuns para definio

dos metadados Recursos com identificadores nicos A Web como um banco de dados global!

The term Semantic Web refers to W3Cs vision of the Web of linked data. (W3C)


Web Semntica Principais padres:

Modelo de dados: RDF Linguagem de consulta: SPARQL Ontologias: OWL

Semantic Web technologies enable people to create data stores on the Web, build vocabularies, and write rules for handling data. (W3C)


Linguagem de marcao extensvel Metalinguagem para criao de

outras linguagens RDF, RDFS e OWL so linguagens

baseadas em XML Representa os dados de forma

hierrquica

11

XML

Extensible Markup

Language


XML

Extensible Markup

Language

Jorge Amado Mar Morto

Rachel de Queiroz O Quinze

Romance


Resource Description Framework RDF padro para publicao de

dados na Web Modelo de dados baseado em grafos Recursos so descritos por triplas

13

RDF

A Frana tem como capital Paris !sujeito predicado objeto


Zelia Gattai!

Mar Morto!

married!

Jorge Amado!livedIn !

Salvador!isIn!

Bahia!partOf!

Brazil!wrote!

Cear!partOf!

Tieta do Agreste!

wrote!

RDF

grafos


sujeito! predicado!Jorge Amado!

objeto!

Zelia Gattai!Mar Morto!

Married! Jorge Amado!Jorge Amado! Lived in! Salvador!

Is in! Bahia!Bahia! Part of! Brazil !Salvador!

Wrote!

Cear! Part of! Brazil !Jorge Amado! Tieta do Agreste!Wrote!

RDF

grafos


Zelia Gattai!

Mar Morto!

married!

Jorge Amado!livedIn!

Salvador!isIn!

Bahia!partOf!

Brazil !wrote!

Cear!partOf!

Tieta do Agreste!

wrote!

fonte 1!RDF

grafos

Mar Morto!

Jorge Amado!

wrote!

Tieta do Agreste!

O Mundo da Paz!

A Estrela do Mar!

Seara Vermelha!

Tocaia Grande!

Capites da Areia!

wrote!wrote!

wrote!

fonte 2!RDF

grafos


Bahia!

Brazil !

partOf!Paraba!

Pernambuco!

Alagoas!

Maranho!

Cear!

Piau!

partOf!partOf!

partOf!

Rio Grande do Norte!

partOf!

fonte 3!RDF

grafos


Zelia Gattai!

married!

Jorge Amado! livedIn!

Salvador!isIn!

partOf!

wrote!

Mar Morto!

Bahia!

Brazil !partOf!

Tieta do Agreste!

O Mundo da Paz!

A Estrela do Mar!Seara Vermelha!

Tocaia Grande!Capites da Areia! Paraba!

Pernambuco!

Alagoas!

Maranho!

Cear!

Piau!

Rio Grande do Norte!

wrote!

wrote!

wrote !partOf!

partOf!

partOf!

partOf!

Grafo combinado!


Jorge Amado! Jorge Amado!

fonte 1 ! fonte 2!?!=!

RDF Mas como os grafos so combinados?

Como saber que os ns em conjuntos de dados diferentes so correspondentes?


URI Uniform Resource Identifiers podem

ser usados para identificao nica de recursos. URI qualquer identificador nico (ex: cpf, isbn, URL).


Por meio das URIs cada recurso pode ter um identificador global e nico na Web!

URI

http://pt.dbpedia.org/resource/Fernando_Torres_(ator)

http://pt.dbpedia.org/resource/Fernando_Torres


Serializao de

Diferentes formas de serializao de RDF RDF/XML RDFa Turtle N-Triples

RDF


xmlns:foaf = http://xmlns.com/foaf/0.1> Fernanda Montenegro

24

RDF/XML

sujeito

objeto

predicado objeto

predicado


RDFa

xmlns:foaf = http://xmlns.com/foaf/0.1> Pgina da Fernanda Montenegro ...

cdigo html


RDFa

... Fernanda Montenegro

predicado sujeito

objeto

objeto

predicado


Turtle

@prefix rdf: @prefix foaf: rdf:type foaf:Person; foaf:name Fernanda Montenegro.

predicado

sujeito

objeto


N-triples

Fernanda Montenegro.

predicado

sujeito

objeto


Serializao de

Quando usar? RDF/XML: formato j conhecido e com vasta

gama de ferramentas RDFa: quando existe a restrio de publicao

em html Turtle: formato mais fcil para leitura e escrita N-Triples: para processamento de grandes

volumes de dados

RDF


RDF prov meios para descrever recursos usando triplas

No prov meios para descrever classes e suas relaes

So necessrios taxonomias, vocabulrios e ontologias

30

Vocabulrios


SKOS um vocabulrio para descrever hierarquias conceituais (taxonomias)

RDF e OWL oferecem um vocabulrio para descrever modelos conceituais em termos de classes e suas propriedades

RDFS e OWL permitem a inferncia de relacionamentos implcitos

31

Vocabulrios


Utiliza-se o RDFS em conjunto com o RDF Linguagem para descrever vocabulrios Principais conceitos

Classes Propriedades Hierarquia de classes Hierarquia de propriedades

RDFS


Banco de Dados Berna Farias ensinadoPor RDF

RDFS

prof. adjunto prof. visitante prof. substituto

funcionario

professor

subClassOf

subClassOf

subClassOf subClassOf

literal

id fone domain domain

range range range

range disciplina

ensinadoPor

envolve

subPropertyOf

domain domain

RDF e RDFS


Classe de todos os funcionarios ...

RDFS


... Classe de todos os professores Classe de todas as disciplinas ...

RDFS


... Relaciona disciplinas a funcionarios ...

RDFS


... Herda domain e o range da propriedade envolve ...

RDFS


RDFS muito limitada para descrever detalhes dos recursos

No permite especificar restries de cardinalidade propriedades transitivas, inversas ou

simtricas disjuno de classes

RDFS


RDF modelo de dados para descrever recursos da Web complementa XML oferecendo significado para o

aninhamento de tags

RDFS linguagem para descrever vocabulrios para

domnios especficos linguagem primitiva para descrio de ontologias

RDF e RDFS


Ramo da filosofia que lida com a natureza e organizao da realidade O que ser ? Quais as caractersticas comuns a todos os

seres?

Cincia do ser (Aristteles)

Ontologias


So importantes para compartilhar conhecimento comum sobre a estrutura da informao:

Entre pessoas Entre agentes de software

Ontologias

A definio dos termos utilizados na descrio e na representao de uma rea do conhecimento. (W3C World Wide Web Consortium)


So teis para permitir a reutilizao do conhecimento sobre um domnio:

Para evitar a reinveno da roda Para introduzir padres que permitam a

interoperabilidade entre aplicaes

Ontologias


Devem prover descries para: Classes (conceitos) nos vrios domnios de

interesse Relacionamentos entre esses conceitos Propriedades que essas conceitos devem

possuir

Ontologias


Requisitos das linguagens para a definio de ontologias

Sintaxe bem-definida (informao poder ser processada)

Semntica formal (define o conhecimento precisamente)

Suporte para raciocnio (permite checar a consistncia da ontologia, classificar instncias)

Poder de expressividade

Ontologias


Ontologias

prof. adjunto prof. visitante prof. substituto

funcionario

professor

subClassOf

subClassOf

subClassOf subClassOf

literal

id fone domain domain

range range range

range disciplina

ensinadoPor

envolve

subPropertyOf

domain domain


uma evoluo da linguagem DAML + OIL

Proposta pelo W3C Projetada para descrever a estrutura

de um domnio em termos de Classes Instncias Propriedades

OWL


Cabealho

OWL


Definio de Classes

OWL


Disjuno entre classes

OWL


Equivalncia entre classes


Propriedades Estabelecem relacionamentos indivduo-

indivduo e/ou indivduo-dados Propriedades de objeto

Ex: ensinadoPor Propriedade de tipo de dados

Ex: nome, fone

OWL


Propriedade de Tipo de Dados


Propriedade de Objeto

OWL


Propriedades inversas

OWL


Restries das propriedades

Valores (allValuesFrom, someValuesFrom, hasValue)

Cardinalidade (maxCardinality, minCardinality,

Cardinality)

OWL


Toda disciplina obrigatria tem que ser ensinada por um professor adjunto!

allValuesFrom

OWL


Todas as disciplinas de BD tm que ser

ensinadas pela professora Berna

Farias!

hasValue

OWL


Todos os

professores devem ensinar pelo menos uma disciplina da ps-graduao!

someValuesFrom

OWL


Restries de cardinalidade 1

OWL


Propriedades das propriedades: so definidas diretamente nas propriedades

owl:TransitiveProperty owl:SymmetricProperty owl:FunctionalProperty ...

OWL


OWL


Um professor

tem no mximo um supervisor!

OWL

II Workshop de Introduo a Engenharia de Ontologias e Web Semntica SBBD/SBES 2007 Joo Pessoa

Criao de instncias Ou

OWL


Sempre que possvel faa uso de termos existentes

64

Reuso de termos

Alguns vocabulrios!


Como navegar nos grafos RDF?


SPARQL

Simple Protocol and RDF Query Language - Linguagem baseada em casamento de padres

(pattern matching) - A ideia geral consiste em casar os padres de triplas

expresssos na consulta com as triplas dos documentos rdf consultados

- 03 formas bsicas: SELECT, ASK, CONSTRUCT


SPARQL

Componentes bsicos de uma consulta sparql: # declaracao do prefix (abreviacao das URIs) PREFIX foo: ... # declaracao dos acessos ao grafos FROM ... # parametros a serem encontrados SELECT ... # query pattern WHERE { ... }


SPARQL

Consulta: retorne os objetos de indivduos (apenas os 10 primeiros) que tenham a propriedade foaf:name declarada select ?name where{ ?person foaf:name ?name . } limit 10

Quer fazer? Acesse http://pt.dbpedia.org/sparql


SPARQL

Consulta: retorne os nomes das pessoas que so atrizes select ?name where { ?person foaf:name ?name . ?person dbpedia-owl:occupation dbpedia-pt:Atriz . } limit 10



SPARQL Consulta: retorne os nomes das atrizes que nasceram na cidade do Rio de Janeiro select ?name where { ?person dbpedia-owl:occupation dbpedia-pt:Atriz . ?person foaf:name ?name . ?person dbpedia-owl:birthPlace ?cidade. filter (?cidade = ). } limit 100 Quer fazer? Acesse http://pt.dbpedia.org/sparql


SPARQL

Consulta: retorne os nomes das pessoas que atuaram no filme Casa de Areia e nasceram na cidade do Rio de Janeiro. select ?name where { ?filme dbpedia-owl:starring ?person. ?person foaf:name ?name. ?person dbpedia-owl:birthPlace ?cidade. filter (?cidade = && ?filme = ). } limit 100



SPARQL

Consulta: Qual o clima, vegetao e altitude da cidade de Braslia? SELECT * WHERE { ?cidade dbpprop-pt:bioma ?vegetacao . ?cidade dbpprop-pt:altitude ?altitude . ?cidade dbpedia-owl:areaTotal ?areaT . ?cidade rdfs:label "Braslia"@pt . }



SPARQL

Consulta: Recupere as misses realizadas pelo astronauta Neil Armstrong. SELECT ?nome, ?missao WHERE { ?neil dbpedia-owl:mission ?missao . foaf:name ?nome . ?neil rdf:type dbpedia-owl:Astronaut . ?neil rdfs:label "Neil Armstrong"@pt . }



Alguns endpoints: Dbpedia Geonames Freebase DBLP Data.gov.uk BBC MusicBrainz

74

SPARQL

http://www4.wiwiss.fu-berlin.de/lodcloud/state/


Linked Data

Dados RDF

interligados a outros dados RDF esto em

Linked Data!

Linked data are empowered by technologies such as RDF, SPARQL, OWL, and SKOS. (W3C)


Usar URIs como nomes para recursos Usar URIs HTTP para que as pessoas possam encontrar esses nomes Quando algum procurar por uma URI, providenciar informaes teis, por meio de RDF Incluir sentenas RDF que ligam para outras URIs de forma que eles possam descobrir mais recursos

76

1!2!3!4!

Linked Data

Princpios de

77

Usar URIs como nomes para recursos

1!

78

D.Sc Bernadette Loscio Berna [email protected]

Towards Automatic Generation of Application Ontologies.

meu foaf

79

... Towards Automatic Generation of Application Ontologies. Using Agents for Generation and Maintenance of Mediators in a Data Integration System on the Web.

Fernanda Ligia R. Lopes

Fernanda Montenegro

80

Usar URIs HTTP para que as pessoas possam encontrar esses nomes

2!

Accept: text/html

Accept: application/rdf+xml

Identifica a pessoa Fernanda Montenegro

http://pt.dbpedia.org/resource/Fernanda_Montenegro

http://pt.dbpedia.org/page/Fernanda_Montenegro

Identifica o documento html que descreve Fernanda Montenegro

http://pt.dbpedia.org/data/Fernanda_Montenegro.xml

Identifica o documento xml que descreve Fernanda Montenegro Cool URIs: http://www.w3.org/TR/cooluris/

82

Quando algum procurar por uma URI, providenciar informaes teis, por meio de RDF

3!


html usada para fornecer informaes no formato de documentos (para humanos) rdf usado para fornecer informaes no formato de dados (para processamento)

83

Como fornecer informaes?


Triplas (usando literais, fornecendo links)

Descrio do conjunto de dados Informaes sobre a provenincia do

conjunto de dados Vocabulrios

84

O que publicar?

85

Incluir sentenas RDF que ligam para outras URIs de forma que eles possam descobrir mais recursos

4!


Inclua links para conjuntos de dados externos O sujeito da tripla est em um conjunto de dados O objeto da tripla est em outro conjunto de

dados

Permite conectar fontes isoladas Facilita a descoberta

June 4, 2012 86

Como conectar?


Inclua links para estabelecer relacionamentos de identidade

Inclua links para estabelecer correspondncias entre vocabulrios

Inclua links para estabelecer relacionamentos entre recursos (no mesmo conjunto ou em conjuntos separados)

June 4, 2012 87

Como conectar?


Como publicar em RDF?

Arquivos RDF estticos RDF em html (RDFa) Ferramentas de extrao de RDF a

partir de dados estruturados e semi-estruturados

Structured Semi-structured Unstructured

Entity Extractor XML2RDF, XLS2RDF, CVS2RDF

RDB Data source with API

Triplestore

Web Server Linked Data Interface RDB2RDF

(i.e. Ultrawrap) CMS with RDFa, Semantic Wiki

Custom Linked Data Wrapper

Linked Data

Type of Data

Data Preparation

Data Storage

Data Publication

Linked Data Evolving the Web into a Global Data Space Tom Heath and Christian Bizer

RDB2RDF

Criando Linked Data

CRIANDO LINKED DATA

Linked Data

Mapeamento de esquemas

Resoluo de co-referncia

Acesso aos dados

Aplicao

Provenincia

Consumindo Linked Data

http://www.slideshare.net/juansequeda/linked-data-tutorial-at-semtech-2012

91

Consumindo

Matching de esquemas Vocabulrios diferentes usam termos diferentes para os

mesmos conceitos (dc:name e foaf:name)

Resoluo de co-referncia A mesma entidade sendo representada por

identificadores (URI) diferentes

Provenincia importante para o conhecimento da qualidade

(confiana) dos dados

Linked Data


Centralizada Federada Navegao entre links

92

Arquiteturas de aplicaes Linked Data

CRIAO DE LINKED DATA

REPOSITRIO DE TRIPLAS

APLICAO

SPARQL

Centralizada

Adaptado de http://www.slideshare.net/juansequeda/linked-data-tutorial-at-semtech-2012


Vantagem Considera conjuntos de dadoas conhecidos Melhor desempenho Fica mais fcil criar consultas complexas e realizar

inferncias

Drawbacks Os dados so replicados Grande esforo inicial para criao do repositrio

de triplas Os dados podem ficar desatualizados

Centralizada

Triplestore Relational Database

RDB2RDF

Relational Database

RDB2RDF Triplestore

MEDIADOR

APLICAO

SPARQL

SPARQL SPARQL SPARQL SPARQL

Federada



Vantagem Considera conjuntos de dados conhecidos Consulta dados atualizados

Desvantagem Requer a existncia de endpoints SPARQL Esforo inicial para configurar o mediador

June 4, 2012 www.capsenta.com 96

Federada

Linked Data

Relational Database

RDB2RDF Triplestore

APLICAO

SPARQL MECANISMO DE CONSULTA DE

NAVEGAO ENTRE LINKS

Navegao entre links



Vantagem No preciso conhecer as fontes No depende da existncia de endpoints

SPARQL Consulta dados atualizados

Desvantagem Tempo de execuo de consulta baixo Resultados podem ser incompletos Ainda em desenvolvimento

June 4, 2012

Navegao entre links


Quem est publicando em

linked data?


Linked Open Data


Maio 2007


Out./2007


Nov. 2007


Fev. 2008


Maro 2008

www.capsenta.com


Set. 2008

www.capsenta.com


Maro 2009 (1)

www.capsenta.com


Maro 2009 (2)


Julho 2009


Set. 2010

Set. 2011

Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/


Linked Open

Data os ns so conjuntos de dados publicados

em formato Linked Data

o tamanho dos crculos corresponde ao nmero de triplas em cada conjunto de dados

as setas indicam a existncia de pelo menos 50 ligaes entre dois conjuntos de dados

uma ligao (link) uma tripla RDF, onde sujeito e objeto esto em namespaces de conjuntos de dados diferentes


Categorias dos conjuntos de dados: Mdia Geogrficos Governo Publicaes cross-domain Life science Gerados pelo usurio

113

Linked Open

Data

http://www4.wiwiss.fu-berlin.de/lodcloud/state/

114

Aplicaes e Ferramentas


Browsers Linked Data Motores de Busca Aplicaes para domnios

especficos

Aplicaes para consumo de Dados


Browsers Linked Data Marbles

http://www5.wiwiss.fu-berlin.de/marbles/ Entra com uma URI Pontos coloridos so usados para correlacionar a

origem dos dados apresentados com as fontes de dados de onde foram encontrados.

Os dados so recuperados de mltiplas fontes e integrados em um nico grafo que mantido atravs das sesses do usurio.

Para testar http://dbpedia.org/resource/Beijing_Capital_International_Airport


Quick and Dirty RDF browser http://graphite.ecs.soton.ac.uk/browser/ Browser RDF til para verificar RDF ou RDFa

Para testar: http://dbpedia.org/resource/Beijing_Capital_International_Airport

Browsers Linked Data


Motores de Busca Sindice ndice de documentos RDF

(20 milhes) http://www.sindice.com/

Sig.ma - interface de busca baseada em Sindice, fazendo mapeamento de esquemas base em informaes de filtragem. http://blog.sindice.com/2009/07/22/sigma-

live-views-on-the-web-of-data/


Swoogle - ndice de documentos RDF (2.3 milhes)

http://swoogle.umbc.edu/

Semantic Web Search Engine busca de recursos por palavra-chave

http://swse.deri.org/

SameAs Usurio entra com uma URI e o Servio realiza

uma busca por URIs equivalentes http://sameas.org/

Motores de Busca


Aplicaes para Domnios Especficos

DBpedia Mobile - Com base na posio GPS atual, DBpedia Mobile mostra um mapa contendo informaes sobre locais prximos provindos do conjunto de dados DBpedia.

http://mes-semantics.com/DBpediaMobile/ Datasets Usados: GeoNames, Revyu,

EuroStat, Flickr.


LinkedDataGeo Aplicativo para encontrar recursos linkados de

dados geogrficos http://browser.linkedgeodata.org/?#

Vocabulrios Usados: FOAF Person

Organization Ontology Organizations

OWL-Time Time

Event Ontology Events (sort of)

SIOC Linking online communities, wikis, blogs

SKOS Thesauri, classification schemes, taxonomies

Dublin Core Authoring Metadata

Aplicaes para Domnios Especficos


Ferramentas para Publicao de Dados Ligados

SPARQL Endpoints Pubby - http://www4.wiwiss.fu-berlin.de/pubby/ Virtuoso - http://lod.openlinksw.com/sparql Fuseki -

http://jena.apache.org/documentation/serving_data/index.html

Joseki - http://joseki.sourceforge.net/


Bibliotecas e Frameworks Graphite PHP Linked Data Library

Biblioteca para trabalhar com RDF a partir de PHP. http://graphite.ecs.soton.ac.uk/

Paget framework para construo de

aplicaes Linked Data. http://code.google.com/p/paget/



PublishMyData plataforma que oferece APIs para Linked Data, SPARQL Endpoint e Visualizaes customizadas. http://publishmydata.com/



Linked Data/RDF Editors Hyena: RDF Editor

Validators Sindice Web Data Inspector -

http://inspector.sindice.com/ Eyeball - http://jena.sourceforge.net/Eyeball/ W3C Validation Service -

http://www.w3.org/RDF/Validator/



Concluses

LÓSCIO, B. F. Dados, Integração de Dados e Dados Interligados. II Workshop de Introdução a...

Documents

Transcript of LÓSCIO, B. F. Dados, Integração de Dados e Dados Interligados. II Workshop de Introdução a...