Dados Abertos Conectados

76
Dados Abertos Conectados Armando Barbosa Judson Bandeira Williams Alcantara

Transcript of Dados Abertos Conectados

Page 1: Dados Abertos Conectados

Dados Abertos ConectadosArmando BarbosaJudson BandeiraWilliams Alcantara

Page 2: Dados Abertos Conectados

0,988x10¹² GB

40x10¹² GB

Fonte: http://www.emc.com/leadership/digital-universe/2012iview/executive-summary-a-universe-of.htm

Page 3: Dados Abertos Conectados

Mas, o que isso significa?Publicação e Compartilhamento de:

Fotos;Vídeos;Áudios;Livros;Textos;Artigos.

Grande quantidade de informações para usuários do mundo inteiro;

Só que existem alguns problemas...

Page 4: Dados Abertos Conectados

Estado de Alagoas

https://www.google.com.br/maps/@-7.9033028,-43.3830091,6z?hl=pt-BR

Page 5: Dados Abertos Conectados

É necessário muito esforço computacional para

processar esses dados

Page 6: Dados Abertos Conectados

E porquê isto ocorre?

Não é legível por máquina

Não é formato aberto

Não é conectado a outras fontes

Page 7: Dados Abertos Conectados

Dados abertos

Page 8: Dados Abertos Conectados

Definição

“Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras.”

[Dietrich et al. 2009]

Page 9: Dados Abertos Conectados

Elementos

LegalmenteDomínio público

Restrições mínimas

TecnicamenteFormato eletrônico

Legível por máquinaNão proprietário

[James 2013]

Page 10: Dados Abertos Conectados

Princípios

Disponibilidade e acesso

Reúso e redistribuição

Participação universal

Page 11: Dados Abertos Conectados

Visão geral de dados abertos

https://opengovdirective.pbworks.com/w/page/1832552/FrontPage

Page 12: Dados Abertos Conectados

Exemplo: Wikipédia

https://pt.wikipedia.org/wiki/Macei%C3%B3

Page 13: Dados Abertos Conectados

Exemplo: DBpedia

http://dbpedia.org/page/Macei%C3%B3

Page 14: Dados Abertos Conectados

Exemplo: OpenStreetMap

http://www.openstreetmap.org/relation/303815

Page 15: Dados Abertos Conectados

Publicadores de dados abertos

Page 16: Dados Abertos Conectados

Consumidores de dados abertos

Page 17: Dados Abertos Conectados

Questionamentos

PDF é um formato para publicação de dados abertos?

Um dado publicado sem licença é um dado aberto?

Um dado que necessita de software específico é aberto?

Page 18: Dados Abertos Conectados

Dificuldade: Como conectar?

http://dbpedia.org/page/Macei%C3%B3 http://www.openstreetmap.org/relation/303815

Page 19: Dados Abertos Conectados

Alguns formatos para dados abertos

Imagens extraídas do Google Images

Page 20: Dados Abertos Conectados

Resource Description Framework

Page 21: Dados Abertos Conectados

Por que usar RDF?

Page 22: Dados Abertos Conectados

Por que usar RDF?Nós identificamos e interpretamos a informação!

As máquinas não!

Page 23: Dados Abertos Conectados

Por que usar RDF?

Page 24: Dados Abertos Conectados

Definição

“É um modelo de representação para a interoperabilidade de dados na web.”

[RDF Working Group, 2014]

Page 25: Dados Abertos Conectados

CaracterísticasCria estrutura comuns/padrão

Integrando e compartilhando para todos reusarem

Page 26: Dados Abertos Conectados

CaracterísticasDescreve recursos

Qualquer coisa que existe no mundo“Coisas” físicas;Conceitos abstratos;Documentos;Strings;Números.

Page 27: Dados Abertos Conectados

CaracterísticasTermos

Uniform Resource Identifier - URIURL: http://www.livrariacultura.com.br/p/romeu-e-julieta-687319URN: urn:isbn:0-486-27557-4

Literal“Maceió”^^xsd:string“1”^^xsd:integer“1.5”^^xsd:float

Page 28: Dados Abertos Conectados

CaracterísticasÉ composto por um conjunto de triplas

Maceió é um lugar.

Sujeito ObjetoPredicado

Maceió Lugar é um

Page 29: Dados Abertos Conectados

Características

RDF fornece uma estrutura para representação e nós precisamos de semântica.

schema:Place rdf:type

dbr:Maceió

Page 30: Dados Abertos Conectados

Vocabulários RDF

Page 31: Dados Abertos Conectados

VocabulárioComponentes de um vocabulário

Indivíduos/InstânciasPropriedadesClasses

Page 32: Dados Abertos Conectados

● Componentes de um vocabulário

Indivíduos/InstânciasTambém conhecidos como instâncias de classes.

Alagoas

Pernambuco

Recife

Maceió

Rio largo

Page 33: Dados Abertos Conectados

● Componentes de um vocabulário

Propriedadesrelações binárias entre indivíduos.Há vários tipos e características diferentes.

511 km²área

Maceiópopulação

996733

Page 34: Dados Abertos Conectados

● Componentes de um vocabulário

Tipos de PropriedadesPropriedades de objetos

conectam um indivíduo a outro indivíduo.Propriedades de dados

Rio Largovizinho

Maceió

Page 35: Dados Abertos Conectados

● Componentes de um vocabulário

Tipos de PropriedadesPropriedades de objetosPropriedades de dados

conectam um indivíduo a um valor.“996733”^^xsd:integer

populaçãoMaceió

Page 36: Dados Abertos Conectados

● Componentes de um vocabulário

ClassesSão conjuntos que contêm os indivíduos.As classes podem ser organizadas em hierarquias, também

conhecidas como taxonomias

pertenceMaceió

Alagoas

PernambucoNatal

Cidades Estados

Page 37: Dados Abertos Conectados

ExemplosMaceió é um lugar com população igual a 996.733 habitantes

PREFIX dbr:<http://dbpedia.org/resource/>PREFIX dbp:<http://dbpedia.org/property/>PREFIX rdf:<http://www.w3.org/1999/02/22-rdf-syntax-ns#>PREFIX schema:<http://schema.org/>

schema:Place rdf:type

dbr:Maceiódbp:populationTotal

“996733”^^xsd:integer

Page 38: Dados Abertos Conectados

Exemplos

Page 39: Dados Abertos Conectados

Dados conectados

Page 40: Dados Abertos Conectados

Definição

"Conjunto de boas práticas para publicar e conectar dados estruturados na web [...]."

[Hyland, B., & Wood, D. ,2011]

Page 41: Dados Abertos Conectados

PrincípiosUse URIs como nome para coisas

Use HTTP URIs para que as pessoas possam navegar por esses nomes

Ao acessar uma URI forneça informações úteis (RDF e SPARQL)

Conecte a outras URIs

Page 42: Dados Abertos Conectados

VantagensModelo padrão para representação de dados (RDF)

Legível por máquina

Conecta diversas fontes

Page 43: Dados Abertos Conectados

Dados abertos conectados

Page 44: Dados Abertos Conectados

Dados Abertos Conectados

Última atualização do diagrama em nuvem sobre Dados Abertos Conectados foi feito em 2011 por Richard Cyganiak e Anja Jentzsch. http://lod-cloud.net/

Page 45: Dados Abertos Conectados

Dados Abertos Conectados

Fonte: http://5stardata.info/en/

Page 46: Dados Abertos Conectados

Dados Abertos Conectados

Fonte: http://www.w3.org/2007/Talks/0306Dortmund-KB-IH/Slides.html

Page 47: Dados Abertos Conectados

Como faço para publicar meus dados?

Preparar Stakeholders;Selecionar um dataset;Modelar os dados;Especificar uma licença apropriada;Utilizar boas URIs para dados conectados;Usar vocabulários padrão;Converter os dados;Prover acesso de máquina aos dados;Anunciar novos datasets;Reconhecer o contrato social;

Best Practices for Publishing Linked Data - W3C

Page 48: Dados Abertos Conectados

Como faço para publicar meus dados?

Preparar Stakeholders;Selecionar um dataset;Modelar os dados;Especificar uma licença apropriada;Utilizar boas URIs para dados conectados;Usar vocabulários padrão;Converter os dados;Prover acesso de máquina aos dados;Anunciar novos datasets;Reconhecer o contrato social;

Page 49: Dados Abertos Conectados

Converter os dados

Page 50: Dados Abertos Conectados

Converter os dados - Ferrovias

1.Baixar os shapefiles para conversão;2.Utilizando o QGIS, salvar em geojson;3.Transformar geojson em .csv;4.Converter utilizando o google refine.

Page 51: Dados Abertos Conectados

Converter os dados - Baixar shapefiles

Page 52: Dados Abertos Conectados

Converter os dados - QGIS para .geojson

Page 53: Dados Abertos Conectados

Converter os dados - .geojson para .csv

Page 54: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 55: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 56: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 57: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 58: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 59: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 60: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 61: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 62: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 63: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 64: Dados Abertos Conectados

Converter os dados - .csv para .rdf

Page 65: Dados Abertos Conectados

Consumindo D.A.C.

Step 1 Step 3

Specify concrete use cases

Evaluate relevant data sources and data sets

Check respective licenses

Create consumption patterns

Manage Alignment, caching and updating mechanisms

Create Mash ups, GUI's, services and applications on top

Stablish sustainable new partnership

Step 4 Step 5 Step 6 Step 7Step 2

(Bauer & Kaltenböck, 2011)

Page 66: Dados Abertos Conectados

Rodovias de Alagoas (Mapa)

1. Conexões entre as rodovias;2. Total de KM de rodovias;3. Maior rodovia;

Page 67: Dados Abertos Conectados

Conexões entre as rodovias

http://yasgui.org/short/V1JcoEkee

Page 68: Dados Abertos Conectados

Total de KM de rodovias

http://yasgui.org/short/NyZ46EJgl

Page 69: Dados Abertos Conectados

Maior rodovia

http://yasgui.org/short/EyXtOSygg

Page 70: Dados Abertos Conectados

Rodovias do Brasil (Mapa)1. Conexões entre as rodovias;2. Total de rodovias;3. Total de KM de rodovias;4. Maior rodovia;

Page 71: Dados Abertos Conectados

Conexões entre as rodovias

http://yasgui.org/short/VJZbYrJge

Page 72: Dados Abertos Conectados

Total de rodovias

http://yasgui.org/short/Ekd_YSkge

Page 73: Dados Abertos Conectados

Total de KM de rodovias

http://yasgui.org/short/4yuyqHkxg

Page 74: Dados Abertos Conectados

Maior rodovia

http://yasgui.org/short/NyZEqBkel

Page 75: Dados Abertos Conectados

ReferênciasDietrich, D., Gray, J., McNamara, T., Poikola, A., Pollock, P., Tait, J., & Zijlstra, T. (2009). Open data handbook. 2013-01-29. http://opendatahandbook.org.Heath, Tom. (2012) “Linked Data-Connect Distributed Data across the Web”.Hyland, B., & Wood, D. (2011). The joy of data-a cookbook for publishing linked government data on the web. In Linking government data (pp. 3-26). Springer New York.James, L. (2013) Defining Open Data. Open Knowledge Blog. Disponível em http://blog.okfn.org/2013/10/03/defining-open-data/. Acessado em 17/09/2015.RDF Working Group. Disponível em http://www.w3.org/RDF/. Publicado em 2014.

Page 76: Dados Abertos Conectados

Obrigado!

Dúvidas?Armando - [email protected] - [email protected] - [email protected]