Web Semântica na Globo.com (Novas Mídias UFRJ)

Ícaro Medeirosicaro.medeiros@gmail.comTime de Semânticasemantica@corp.globo.com

globo.com

Web Semântica

Curso Novas MídiasUFRJ, 2013

Thursday, October 24, 13

Agenda

• Web atual: hipertexto

• Web semântica

• Ontologias

• RDF e SPARQL

• Linked Open Data

• Semântica na globo.com

WEB ATUAL E COMO MELHORÁ-LA?

Web Atual

• Apresentação dos conteúdos

• Formatação, não significado

• Pouca ou nenhuma estruturação

Conteúdo na Web

• Vários elementos na página

• Fotos, vídeos e animações

• Qual a relação entre eles?

• Quem é mencionado no texto?

• Quem, Quando, Onde...

COMO ISSO AFETA TAREFAS COMUNS?

Busca por Gols do Roberto Carlos no Maracanã

Na globo.com

E... No google

Problemas

• Busca feita por palavras

• Contexto indefinido (como fotos e vídeos se relacionam com o texto?)

• Ambiguidade (qual Roberto Carlos?)

Objetivos

• Registrar de forma precisa

• Organizar corretamente

• Transmitir significado

WEB SEMÂNTICA

Web Semântica

“I have a dream for the web in which computers become capable of analyzing all the data on the web - the content, links, and transactions between people and computers.”

Tim Berners-Lee

Registrar Informação

• Produtor do conteúdo

• Sabe o que, quem, quando, onde...

• Resolve ambiguidade

Gol do Roberto Carlos

ONTOLOGIAS

Conceitualização de um domínio

(Gruber, 1991)

Devedzic, 2004

Tópicos num domínio D,

Devedzic, 2004

Usando uma linguagem L,

Devedzic, 2004

Uma ontologia é um catálogo de tipos

de coisas em D

Devedzic, 2004

Uma ontologia é um catálogo de tipos

de coisas em D

Tipos são representados em termos de conceitos e relações em L.

Devedzic, 2004

Base de Pizza

Massa finatem base

Comida

Pizza de Calabresa

:Pizza rdfs:subClassOf :Comida , [ rdf:type owl:Restriction ; owl:onProperty :base ; owl:someValuesFrom :BaseDePizza ] .

Por que Construir e usar Ontologias?

• Compartilhar conhecimento (interoperabilidade)

• Vocabulários padronizados (reuso)

• Informação processável por máquina

Engenharia de Ontologias

• Identificar os indivíduos

• Descrever seus atributos

• Agrupar os indivíduos em classes

• Enumerar as relações entre indivíduos

• Definir regras (restrições, axiomas) sobre classes, atributos e relações

RDF E SPARQL

Representação em Triplas

sujeito predicado objeto

Neymar é um jogador

Barcelona é um time

Neymar está no elenco Barcelona

<BarcelonaXSantos:02082013><Partida>

é umé umé um está no elenco

é uma

mandante visitante

“02/08/2013”

Triplas e Grafos

• Bancos de triplas são bancos de grafo especializados que funcionam com a restrição <sujeito, predicado, objeto>

• Simplifica a entrada e consulta de dados

Contrução de Ontologias

• Linguagens

• OWL (Web Ontology Language)

• RDF (Resource Description Framework)

• SPARQL (SPARQL Protocol and RDF Query Language)

Triplas em RDF

Triplas em RDF

Triplas em RDF

Triplas em RDF

<http://semantica.globo.com/esportes/Jogador/Neymar>

Triplas em RDF

Triplas em RDF

<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>

Triplas em RDF

<http://semantica.globo.com/esportes/Jogador>

Triplas em RDF

Triplas em RDF

Triplas em RDF (Turtle)

@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>.@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#>.@prefix foaf: <http://xmlns.com/foaf/0.1/>.@prefix dbpedia: <http://dbpedia.org/ontology>

<http://semantica.globo.com/esportes/Jogador/Neymar> rdf:type dbpedia:SoccerPlayer ; rdfs:label "Neymar" ; foaf:name "Neymar da Silva Santos Júnior" ; dbpedia:birthDate "05/02/1992" .

SPARQL

• Linguagem definida pelo W3C para consultas em bases RDF

• Permite consultas federadas

• Sintaxe baseada em SQL

# declaração e prefixos

PREFIX esportes: <http://semantica.globo.com/esportes/># cláusula de resultado

SELECT ...# definição de datasets

FROM ...# padrão para consulta

WHERE { ...}# modificadores de consulta

ORDER BY ...

Estrutura da consulta

ORDER BY ...

Estrutura da consulta

ORDER BY ...

Estrutura da consultaabreviação de URIs

ORDER BY ...

o que retornar

ORDER BY ...

o que retornar

ORDER BY ...

o que retornar

de que grafos

ORDER BY ...

o que retornar

de que grafos

ORDER BY ...

o que retornar

de que grafos

o que consultar(matching)

ORDER BY ...

o que retornar

de que grafos

ORDER BY ...

o que retornar

de que grafos

pós-processamento

dbpedia.org/sparql

Selecionar os 100 primeiros predicados e objetos da classe dbpedia:SoccerPlayer

PREFIX dbpedia: <http://dbpedia.org/ontology/> SELECT * FROM <http://dbpedia.org>WHERE { dbpedia:SoccerPlayer ?p ?o}LIMIT 100

Exemplo de Consulta

Resultado

Exemplo de Consulta

Selecionar todas as instâncias da classe dbpedia:SoccerPlayer e seus nomes

PREFIX dbpedia: <http://dbpedia.org/ontology/> SELECT ?soccerPlayer ?name FROM <http://dbpedia.org>WHERE { ?soccerPlayer a dbpedia:SoccerPlayer ; rdfs:label ?name .}

Resultado

LINKED DATA

• Rede de dados, co-refenciados

• Endpoints SPARQL abertos

• Identificadores únicos (URIs) para conceitos

• URIs derreferenciáveis

• Bases de dados de referência

Linked Data

• Repositório de uso geral

• DBPedia (conceitos extraídos da Wikipedia)

• Repositório sobre domínios específicos

• GeoNames

• MusicBrainz

• legislation.data.gov.uk

Linked Data

Como padronizar seus dados?

• Vocabulários controlados

• Exemplo: Dublin Core Metadata Initiative (DCMI)

• termos com significado bem definido:

• title, creator, contributor, ...

Outros Vocabulários

• FOAF (Friend of a Friend)

• Informações sobre pessoas

• Originalmente usado para redes sociais

SCHEMA.ORG

• Iniciativa Google, Bing e Yahoo!

• Grande melhoria em SEO

• Gera Rich Snippets

SCHEMA.ORG

review

SCHEMA.ORG

review

SCHEMA.ORG

review

SCHEMA.ORG

reviewatores

Exemplo Schema.org

<div itemscope itemtype="http://schema.org/Movie"> <div itemtype="http://schema.org/AggregateRating" itemscope itemprop="aggregateRating"> Ratings: <span itemprop="ratingValue">7.0</span> <span>/<span itemprop="bestRating">10</span></span> from <span itemprop="ratingCount">174,328</span> users </div></div>

• Significado explícito

• Sem ambiguidades

• Entendido por máquinas de busca

Benefícios

Buscas Semânticas

• Encontram e analisam meta-informação

• HTML 5 microdata, RDFa

• Repositórios de triplas

• Relacionam informações em sites diferentes

• Dado que usem vocabulários padrão

COMOUSAMOS

globo.com

globoesporte.com

Números

• 98% das matérias do GE e EGO são anotadas

• + 8 MIL páginas de tópico

Conhecimento Único

• Menos duplicidade dos dados

• Simplificação do uso e da manutenção dos dados

• Agilidade na recuperação dos dados

Materia Pessoacita a entidade

Matéria XYZ Romário

cita a entidade

Como? Ontologias

• Metadados com significado (diferente de tags)

• CMS se adapta a ontologia

• Extrator automático de indivíduos

• Suggest de anotação

• Menor esforço editorial

O Que Estamos Fazendo

• API hipermídia: simplificando uso de semântica

• Ontologias mais focadas: de produtos para domínios

• Modelagem com equivalências a ontologias como a DBPedia

API Hipermídia

• Diminuir complexidade da arquitetura

• Reduzir necessidade de queries SPARQL

• Gerenciamento de dados (deduplicação, validação, integração com dados externos)

• Ponto único de acesso ao banco de triplas

triple store

Arquitetura atual

process queue

suggest

annotation

entity extractor

search engineAPI

suggest

annotation

entity extractor

suggest

annotation

suggest entity extractor

Nova arquitetura

triple store

search engine

Hipermídia?

• Não lembre URLs. Navegue!

• Negociação de conteúdo

• Aplicação é tratada como uma Máquina de estados

/esportes/Time/Barcelona

/esports/Time

inCollection

createdeletereplace

Relações

{ "items": [ { "title": "Upper", "@id": "http://semantica.globo.com/upper/", "resource_id": "upper" }, { "title": "Esportes", "@id": "http://semantica.globo.com/esportes/", "resource_id": "esportes" } ]

"links": [ { "href": "http://api.semantica.dev.globoi.com/", "rel": "self" }, { "href": "http://api.semantica.dev.globoi.com/{resource_id}", "rel": "item" }, { "href": "http://api.semantica.dev.globoi.com/", "method": "POST", "rel": "create" }, { "href": "http://api.semantica.dev.globoi.com/{resource_id}", "method": "DELETE", "rel": "delete" }, { "href": "http://api.semantica.dev.globoi.com/?page=2", "method": "GET", "rel": "next" }]

/GETrel:item

resource_id:esportes

/GETrel:item

/GET /esportesrel:item

/esportesGET

/esportesGETrel:item

resource_id:Time

/esportesGET /esportes/Timerel:item

resource_id:Time

/esportes/TimeGET

rel:item

/esportes/TimeGET

rel:item

resource_id:Barcelona

/esportes/TimeGET

rel:item

/esportes/TimeGET

rel:item

/esportes/TimeGET /esportes/Time/

Barcelona

rel:item

GET /esportes/Time/Barcelona

rel:delete

DELETE

Futuro

• Navegação sugerida por inferência

• Potencialização de SEO (schema.org automático)

• Sugestão de anotação

• Conteúdo mais rico, com atualização frequente

• Conectado com dados abertos (DBPedia, dados.gov.br)

CASES RELEVANTESModelos de uso da

Web Semântica

Ações Realizadas

• Uso da ontologia GoodRelations

• Adição de metadados: RDFa

Resultados

• Tráfego originado por motores de busca: + 30%

• Taxa de cliques no Yahoo!: + 15%

• Aumento significativo do Google PageRank

• Ontologias públicas

• Interligação com repositórios de dados externos

• Criação de categorias e agregadores úteis

Ações Realizadas

Domínios Representados

Ontologia De Programas

• Proliferação de links relevantes: potencialização de SEO

• Reuso das informações: menor desperdício de pessoal

• Navegação interligada e escalável para toda a BBC

Resultados

• Anotação e indexação do conteúdo baseado em indivíduos

• Ontologia pública

• Interligação com repositórios de dados externos

• Adição de metadados: Open Graph

Ações Realizadas

NYT Index Abstract

Jenny Brown, owner of Woodstock (NY) Farm Animal Sanctuary, forms special bond with Albie, goat that probably escaped from New York City slaughterhouse; Albie injured leg in escape and it had to be amputated; Brown had leg amputated as child; wears artificial leg and wants to also get one for Albie; photos (M)

✓Assuntos: Livestock; Goats; Amputation; Prosthesis; Legs

✓Organizações: Woodstock Farm Animal Sanctuary

✓Lugares: Woodstock (NY); New York City

✓Pessoas: Santos, Fernanda; Brown, Jenny

globo.com/talentos

Programa de estagiários

Ícaro Medeirosicaro.medeiros@gmail.comTime de Semânticasemantica@corp.globo.com

globo.com

slideshttp://www.slideshare.net/icaromedeiros

Web Semântica na Globo.com (Novas Mídias UFRJ)

Technology

Transcript of Web Semântica na Globo.com (Novas Mídias UFRJ)

Semântica: anomalias

Representação Semântica

Semântica 2

A semântica lexical

Web Semântica

Lean na Globo.com

Semântica Gerativa

Semântica Proposicional Categórica

SEMÂNTICA. Roteiro Revisão; Sintática x Semântica; Interpretação Semântica; Propriedades Básicas; Relações entre Propriedades.

Aula semântica

Seminário publicidade semântica

Web Semântica

x (Ax y (Py & Gx,y)) - SEMÂNTICA E ENSINO | semântica e ...

Semântica Formal

Semântica HTML5

Semântica em Linguagens de Programação Semântica Denotacional

KARITIANA - SEMÂNTICA E ENSINO | semântica e ensino

Semântica Lexical PPT

Verbo Dever Semântica

Alfred Tarski - A concepção semântica da verdade e os fundamentos da semântica