Oficina Técnica da INDA em Belém no Consegi

Oficina Tcnicada Infraestrutura Nacional de Dados Abertos INDA

CONSEGI 2012 Belm-PA

Nitai Bezerra da Silva@dadosgovbr - @nitaibezerra

A oficina

Conceitos e tecnologias relacionadas ao ecossistema de dados abertos

Para tcnicos e gestores de TI envolvidos na publicao de dados e informaes, ou no :D

Nvel intermedirio (?)

/

Agenda

O que a INDA

Arquiteturas para publicao de dados

Formatos de arquivos

Caso: API do Siconv

Web, REST APIs, etc..

Aplicativos e Mashups

Arquitetura lgica da INDA

Portal dados.gov.br

Metadados

Catalogando dados

Outros portais com CKAN

Colheita de Metadados (Harvesting)

DataStore

Linked Data

Desenho de URIs

As 5 estrelas dos Dados Abertos

/

Infraestrutura Nacional de Dados Abertos - INDA

Coordenamos a abertura dos dados pblicos no Brasil em colaborao com a sociedade

/

Infraestrutura Nacional de Dados Abertos

Objetivos:Proporcionar aos cidados, e ao governo, um ponto de acesso central aos dados pblicos, disponvel na web.Coordenar e orientar a padronizao no ciclo de vida da informao, em especial no momento de sua publicao na web.Incentivar a agregao de valor aos dados pblicos e a colaborao com o cidado na implementao de novos servios sociedade.Ser uma iniciativa sustentvel de Dados Abertos.Para isso:Conjunto de padres, tecnologias, procedimentos e mecanismos de controle necessrios para se publicar dados abertos governamentais, visando seu reuso no s pela sociedade mas pelo prprio governo.

http://wiki.gtinda.ibge.gov.br/

/

Dados so abertos quando qualquer pessoa pode livremente us-los, reutiliz-los e redistribu-los, estando sujeito a, no mximo, a exigncia de creditar a sua autoria e compartilhar pela mesma licena.

http://dados.gov.br/dados-abertos/http://opendefinition.org/

Qualquer um significa qualquer um!(Sem restrio ao uso comercial, etc.)

/

O que so dados abertos?

As Trs Leis dos dados governamentais abertosSe ele no pode ser encontrado na web e indexado, ele no existe.

Se no estiver aberto e disponvel em formato compreensvel por mquina, ele no pode ser utilizado.

Se qualquer dispositivo legal no permitir que ele seja reutilizado, ele no til.David Eaves

Oito princpios dos Dados Governamentais AbertosCompletos

Primrios (brutos)

Atuais

Acessveis

Processvel por Mquina

No discriminatrio

No proprietrio

Livre de licensa

Open govWorking group

/

Lei de Acesso Informao LAI12.527/11

Esclarece que constitucional o direito de acesso informao

/

Lei de Acesso Informao

Art. 8o 3o ...I - conter ferramenta de pesquisa de contedo que permita o acesso informao de forma objetiva, transparente, clara e em linguagem de fcil compreenso;

II - possibilitar a gravao de relatrios em diversos formatos eletrnicos, inclusive abertos e no proprietrios, tais como planilhas e texto, de modo a facilitar a anlise das informaes;

III - possibilitar o acesso automatizado por sistemas externos em formatos abertos, estruturados e legveis por mquina;

Princpios de dados abertos!

/

Transporte, Estatsticos, Oramento, Segurana

Restrio: Dados pessoais!

Ex.: Paradas de nibus, locais tursticos, previso climtica, criminalidade nos bairros, LOA, desempenho das escolas ...

Quais tipos de dados?

/


RequisitosProcessvel por mquina

Formato no proprietrio

fonte:[email protected]

/

Exemplo 1: CSV

/

Exemplo 2: XML

/

Exemplo 3: JSON

/


Qual o melhor?Depende dos seus dados, e da situao!

Algumas orientaes:Preferir JSON XML

Preferir CSV ODS

Escolha um formato estvel e de amplo uso

Se possvel, publique em mais de um formato

/


Mais orientaes:Desaconselhamos compactar os arquivos

Pesquise pelos formatos com mais audincia

Para dados geogrficos, conhea a INDE Infraestrutura Nacional de Dados Espaciais

Sonhe com o RDF!!

Para mais detalhes:Cartilha tcnica para publicao de dados abertos

http://inde.gov.br/

http://dados.gov.br/cartilha-publicacao-dados-abertos/

/

Arquiteturas de Publicao de Dados

RequisitosAs 3 leis e os 8 princpios!

Tipos de publicaoArquivos isolados resultado de pesquisa ou levantamento

Avaliaes, balanos, levantamentos recorrentes (semanal, mensal, trimestral)

Publicaes em tempo real (diria, "instantnea,....)

http://dados.gov.br/dados-abertos/

/

Publicao manual

Os dados so coletados, transformados e publicados num processo manualSistematizar no vale a pena! (?)

O processo manual confivel? (!)

Exemplo:Balano do PAC, quadrimestral

http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento

/

Publicao automatizada (1)

fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/

/


Questes levantadas por Peter Krantz:Voc realmente precisa de uma API?

Sua infraestrutura est preparada?

Torne fcil que empreendedores tenham os dados mais novos

Tenha liberdade da tecnologia. No quebre URLs...

fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/

/


Sistema em produo isoladoMais seguro

Maior disponibilidade

Esquema de dados simplificado

Autenticidade (gov.br)

custo ~ benefcio?

/

Caso: API do SICONV

SICONV: Sistema que administra os convnios entre APF, estados, municpios, DF e EPSFL.

A API est em fase beta

Requisitos:Dados em tempo real

Replicao dos dados da produo

Web Service REST

JSON, CSV, XML, ... e HTML

/

Caso: API do SICONV

Endereo: http://api.convenios.gov.brBonito n?!

Outras tecnologias:Princpios REST

CORS - Cross-origin resource sharing

HATEOAS

Exemplo de consulta:http://api.convenios.gov.br/siconv/dados/orgao/54000

/

/

http://api.convenios.gov.br/siconv/dados/orgao/54000.html

/

http://api.convenios.gov.br/siconv/v1/consulta/convenios.html?id_orgao_concedente=54000

/

http://api.convenios.gov.br/siconv/dados/convenio/759029.html

Web, REST APIs, etc..

Web != Internet

/

Web, REST APIs, etc.. (2)

Internet = infraestrutura, um amontoado de computadores, redes e cabos

Web = HTTP (hypertext transfer protocol)Documentos

Hiperlinks

URLs

Aprenda os fundamentos e faa melhor uso da Web

/


REST - Representational State Transfer

Alguns princpiosSeparao do Cliente e do Servidor

Sem estado (stateless)

Cachevel

Sistemas em camadas

Recursos pedao especfico de informao (URI)

Esquea SOAP

Seja RESTful

/


HATEOAS - Hypermedia as the engine of application state

O princpio de que o cliente interage com a aplicao estritamente atravs das hipermdias providas pelo servidor de aplicao.

Possibilita um maior desacoplamento servidor-cliente

Exemplo: navegue em http://api.convenios.gov.br/siconv/doc/metodos.html

Consulte no google: dados abertos novo hamburgo

/

Aplicativos e Mashups http://dados.gov.br/aplicativos

/

Experimento

Baixe os dados do PAC no portal dados.gov.br

Abra no LibreOffice e faa a converso do tipo geogrfico

=CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("";O2;1)-1)+(EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR("'";O2;1)-PROCURAR("";O2;1)-1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("'";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("'";O2;1)-1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)-1))*1/3600)*1

Suba os dados para o Google Fusion Tables

Mais 2 cliques e ...

Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU

/

Obras do PAC

/

Arquitetura lgica da INDA

A INDA est fundamentada na Web

a unio dos dados publicado em todos os rgos

O portal um buscador

O portal armazena os metadados

Cada rgo responsvel pelos seus dados

/

Utilizamos o CKANSoftware Livre especializado

Modelo flexvel e extensvel

Integrao com CMSWordpress

VCGE para organizar assuntos

Outras tecnologiasDiazo

Varnish

Solr

PortgreSQL

Apache

Python

HG Mercurial

Portal Brasileiro de Dados Abertos dados.gov.br

/

Portal Brasileiro de Dados Abertos dados.gov.br

um catlogo

Guarda metadados

Conceitos bsicos:Conjuntos de dados

Recursos

Grupos

Etiquetas, licena, ...

/

CKAN

Caractersticas:Sistema de catlogo de busca de dados

API para busca e insero

Plugins para integrao com CMSs (Drupal e WP)

Visualizao de dados e analytics

Workflow permite orgos administrarem seus dados

Storage de dados integrado

Possibilita federao de catlogos

/

Metadados - catalogao

Dados sobre os dados

Descrevem o conjunto de dados

Cobertura, descrio, provenincia, extrao, etc..

teis na classificao e indexao dos dados

o corao do catlogo

Metadados:Mnimos (obrigatrios)

Extras (desejveis)

/

Metadados - catalogao

Mnimos:Ttulo

Descrio

Catlogo de origem

rgo responsvel

Assuntos do VCGE

Formato de arquivo

http://dados.gov.br/cartilha-publicacao-dados-abertos/

Extras:Etiquetas

Autoria

Cobertura geogrfica e temporal

Granularidade geogrfica e temporal

Atualidade

Referncias

Ontologia/vocabulrio

...

/

Catalogando dados (exemplo)

http://treino.dados.gov.brDados?Sries estatsticas no IBGE sobre educao

http://seriesestatisticas.ibge.gov.br/lista_tema.aspx?op=0&no=4

/

Catalogao pela API

CKAN prov uma API para administrao

Documentao: http://docs.ckan.org/en/latest/api.html

/

Portais com CKAN

Senado, Reino Unido, Buenos Aires, ...

Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/

/

Colheita de metadados - Harvesting

Plugin que possibilita federao dos dados

Replica os metadados entre catlogos

Cada estado e municpio pode ter um portal de dados abertosdados.sc.gov.br?

dados.pe.gov.br?

Documentao:https://github.com/okfn/ckanext-harvest

/

DataStore

Servio de armazenamento e acesso a dados estruturados pela web

Software que se integra com o CKAN

Documentao:http://blog.okfn.org/2012/03/27/introducing-the-datastore/

/

Linked Data

Usar a Web para ligar dados relacionados

Expor dados na web

Compartilhar esses dados

Conectar pedaos de dados, informaes e conhecimento

Usando:URIs

RDF Resource Description Framework

/

Linked Data(2)

/

Linked Data(3)

/

Linked Data (4)

Princpios de Linked Data (note de Tim BL):usar URIs como nomes para as coisas;

usar URIs do tipo HTTP, para que as pessoas possam recuperar essas coisas;

quando algum recuperar uma URI, fornecer informaes teis, usando os padres;

inclua links para outras URIs, para que as pessoas possam descobrir mais coisas [relacionadas]

http://www.w3.org/DesignIssues/LinkedData.html

/

Desenho de URIs

Dar nome s coisas na Web

Nomear coisas concretas ou abstratashttp://education.data.gov.uk/id/school/123065

http://reference.data.gov.uk/def/central-government/PermanentSecretary

ObjetivosNome nico

Ser persistente por muito tempo

Ser pequeno e legvel por humanos

Incorporar identificadores j em uso

/

Desenho de URIs(2)

fonte:http://data.gov.uk/resources/uris

/

Desenho de URIs(3)

Templates

Fonte: http://www.cabinetoffice.gov.uk/sites/default/files/resources/designing-URI-sets-uk-public-sector.pdf

/

As 5 estrelas dos Dados Abertos

http://5stardata.info/

/

@[email protected]

CSVDOCMBDOther GeoSpreadsheetsWSXLSECWMDBPGDBSQLWSDLXMLEXEMetastockPNGTIFFXHTMLPDFGeo RSSMicro Station DesignPortalTMXXLS zip+HTMLGeo TIFFN3PPTTSVAPIJSONGMLOAI-PMHRAWTurtleASCIIKMLGPXODFRDFaTXT+ ZipAutreXLSXJPGODSRDF- XMLURLCIDRRDFJSODTRESTWEBCSV+ZipSHPKMZOmegaRTFWebpageDatastreamRSSMapinfoOnline DatabaseSOAPWFSDBFTXTMathlabopenDataXMLSPARQLWMSXML-ATOM-RSSXSDYAMLZipzip+sas

???Pgina ??? (???)18/09/2012, 17:07:18Pgina /

Oficina Técnica da INDA em Belém no Consegi

Technology

Transcript of Oficina Técnica da INDA em Belém no Consegi