Tópicos de Pesquisa e Desenvolvimento no GBD-UFSC

Tópicos de Pesquisa e Desenvolvimento no

GBD-UFSC

Ronaldo S. Mello

Março/2006

UFSC-CTC-INE

Grupo de Banco de Dados da UFSC

Tópicos de Pesquisa Atuais

• Integração de Dados (semi-estruturados - XML)

• Gerência de Dados XML

• Ferramentas de Apoio à Gerência de Dados

Integração de Dados (XML)

• Motivações– disponibilidade crescente de dados XML na Web

• formato simples para publicação e transferência– formato texto

• muitos dados são redundantes e/ou complementares– interessante ter uma visão única e integrada desses dados

» bom para máquinas de busca

» bom para aplicações Web que transferem dados XML

– Web Semântica• visão da Web como um grande BD!

– BDs relacionais ou XML Distribuídos• lidam com fragmentos XML redundantes


• Sub-Tópicos de Pesquisa– BInXS– Esquemas GML– Projeto DIGITEX (em parceria com UFRGS)

BInXS

• BInXS é uma sigla para– Bottom-up Integration of XML Schemata

• Abordagem de integração semântica de esquemas de fontes de dados XML– define um processo composto por 2 etapas– pode ser considerado em um ambiente mais

amplo de mediação de fontes XML na Web• componente de uma arquitetura mediador-wrapper

BInXS – Principais Contribuições• Abordagem bottom-up

– gera, de forma semi-automática, um esquema global a partir dos esquemas XML das fontes locais

• considera todos os dados presentes em todas as fontes

• Representações conceituais de esquemas XML– esquemas canônicos e global são conceituais

• alto nível de abstração para os dados XML

• Estratégia de unificação específica para XML– leva em conta as características semi-estruturadas dos

dados XML

BInXS - Processo

Esquema XML 1

Esquema Global

Usuário Especialista

UnificaçãoBInXS

. . .Esquema Conceitual 1 Esquema Conceitual n

. . .

Conversão

BDs Terminológicas

Documentos XML

Documentos XML

Conversão. . .

Esquema XML n

BInXS – Etapa de Conversão• Baseado em um conjunto de regras para

mapeamento de construtores do modelo XML para construtores do modelo conceitual

• Documentos XML (instâncias) são também analisados– objetivo: gerar, de forma automática, um esquema

conceitual preliminar mais próximo de um esquema exato

• Modelo conceitual de dados escolhido: ORM– correspondência mais próxima com o modelo XML

• elemento complexo conceito não-léxico• elemento simples ou atributo conceito léxico• todas as associações entre dados no modelo XML (elemento-

elemento, elemento-atributo, referências, ...) são facilmente mapeáveis para associações no modelo ORM

Modelos Considerados na Conversão

Empresa

Universidade

Endereço

Ano Livro

(1,N)

(1,N)

residencial

(0,1)

(1,N)

(1,N)

(1,1)

(1,N)

(1,N)

(1,N)

(1,N)

(1,1)

(0,1)

{técnico, ficção}

Categoria

Autor

Nome(1,1)

(1,1)

comercial

(1,1)

(1,N)

string

string

stringstring

integer

Modelo ORM

Livro

AutorEndereço

Categoria

UniversidadeEmpresa

Título Ano

(0,1)(1,1) (1,N)

Nome

(1,1)

(1,1)

(1,1)

(1,N)

(0,1)

Modelo XML

<!ELEMENT Livro (Título, Ano?, Autor+)><!ATTLIST Livro Categoria CDATA (técnico | ficção)><!ELEMENT Autor (Nome, (Universidade+ | Empresa), ...)><!ELEMENT Nome (#PCDATA)...

Esquema XML em DTD

Conversão de Elemento Complexo<!ELEMENT Publicação (Ano?,...,Autor+,...,Livro?)>

Publicação

Conversão de Elemento Simples<!ELEMENT Publicação (Ano?,...,Autor+,...,Livro?)>

<!ELEMENT Ano(#PCDATA)>

Publicação

Anointeger

análise de docs XML

default: string

Conversão de Componentes<!ELEMENT Publicação (Ano?,...,Autor+,...,Livro?)>


Anointeger

Publicação

(0,1)

(1,N)default: (1,N)

regras decardinalidade

análise de docs XML

Conversão de Representações Alternativas<!ELEMENT Publicação (Ano?,...,Autor+,...,Livro?)>


<!ELEMENT Autor(Nome,(Universidade+ | Empresa), ...)>

Anointeger

Publicação

(0,1)

(1,N)

Autor

Universidadestring

(1,N)(1,N)

Empresastring

(1,N)(1,1)

(1,N)

(1,N)

Deifinição de Relações de Especialização<!ELEMENT Publicação (Ano?,...,Autor+,...,Livro?)>



Anointeger

Publicação

(0,1)

(1,N)

Autor

Universidadestring

(1,N)(1,N)

Empresastring

(1,N)(1,1)

(1,N)

(1,N)

Livro

consulta a BDs terminológicas

<Publicação IS-A Livro>

Conversão de Atributos<!ELEMENT Publicação (Ano?,...,Autor+,...,Livro?)>



<!ATTLIST Livro Categoria CDATA #REQUIRED (técnico | ficção)>

Anointeger

Publicação

(0,1)

(1,N)

Autor

Universidadestring

(1,N)(1,N)

Empresastring

(1,N)(1,1)

(1,N)

(1,N)

Livro

Categoria{técnico, ficção}

string

(1,1)(1,N)

Conversão de Elementos Mistos...

<!ELEMENT Livro (Editora,...,Capítulo+,...)>

<!ELEMENT Capítulo (Seção | #PCDATA)*>

Livro

Capítulo

Seção

(1,1)(0,N)

Capítulo-Textostring

(1,1)(0,N)

(1,N)(1,1)

BInXS – Dados de Mapeamento• Dados gerados durante a conversão• Expressões XPath

– indicam o caminho até o dado XML na fonte local– permitem a localização de dados nas fontes XML a

partir do esquema global– definem mapeamento para conceitos e

relacionamentos

• Exemplos Livro

Capítulo

(1,N)(1,1)

Fonte XML 1: /publicação/livroFonte XML 2: /acervo/midiaImpressa/livro

Fonte XML 1: /publicação/livro/conteúdo/capítuloFonte XML 2:

Fonte XML 1: LivroCapítulo: conteúdo/capítuloCapítuloLivro: . . / . .Fonte XML 2:

BInXS – Catálogo• Definição em OWL (Ontology Web Language)

– recomendação atual da W3C para descrição de ontologias e esquemas conceituais de dados

• Exemplo<Class ID = “Livro”> <subClassOf resource = “NonLexicalConcept”/> <subClassOf> <restriction> <onProperty resource = “#RelatedConcept”> <toClass> <UnionOf parseType = “collection”> <Thing about = “#LivroCapitulo”> ... </UnionOf> </toClass> </onProperty> ... </restriction> </subClassOf></Class>

Livro

Capítulo

(1,N)(1,1)

BInXS - Processo

Esquema XML 1

Esquema Global

Usuário Especialista

UnificaçãoBInXS

. . .Esquema Conceitual 1 Esquema Conceitual n

. . .

Conversão

BDs Terminológicas

Documentos XML

Documentos XML

Conversão. . .

Esquema XML n

BInXS – Etapa de Unificação• Geração de um esquema conceitual global a

partir dos esquemas conceituais locais• Etapas tradicionais da integração de esquemas

de BDs são aplicadas 1. Comparação de Esquemas

– agrupa conceitos ORM em clusters de afinidade– apoio de BDs Terminológicas para determinar esses clusters

2. “Casamento” (Unificação propriamente dita)– gera um conceito global para cada cluster de afinidade– trata 3 casos de unificação: LxL, NLxNL e NLxL

3. Reestruturação– executa ajustes manuais e automáticos no esquema global

remoção de relacionamentos redundantes, generalização de conceitos, ...

Casos de UnificaçãoCaso Tipo de

Conceito no Cluster

Corresponde ao “casamento” de

Resultado

L x L somente léxico

conteúdo XML atômico (atributo, elemento simples, partes textuais de elementos mistos, ...)

conceito global léxico

NL x NL somente não-léxico

conteúdo XML estruturado (elemento complexo)

conceito global não-léxico

NL x L léxico ou

não-léxico

conteúdo XML atômico e estruturado

• conceito global não-léxico NLx (para os conceitos não-léxicos) E• cada conceito léxico corresponde a um conceito global léxico associado a NLx OU gera um conceito global léxico

Exemplo de Unificação L x L

Fonte XML 2Fonte XML 1

X

Esquema Global

{técnico, infantil, poesia}

Categoria

{técnico, ficção}

Classe

string[20] string[30]

Categoria

string[30]

{técnico, ficção, infantil, poesia}

Exemplo de Unificação NL x NL

Fonte XML 2Fonte XML 1 X

Esquema Global

Autor Instituto-Pesquisa

Empresa

Universidade

(1,N)

(1,N)

(1,N)

(1,N)

(0,1)

(0,1)

(0,1)

(0,N)Categoria

(1,N)

(1,N)

Autor

Escritório

Empresa

Universidade

(1,N)

(1,N)

(1,N)

(1,1)

(1,1)

(1,N)Classe

(1,N)

(1,N)

Escritor

Escritório

Instituto-Pesquisa

Empreendimento

Universidade

(1,N)

(1,N)

(1,N)

(1,N)

(1,1)

(1,1)

(1,1)

(1,1)Categoria

(0,2)

(1,N)

Residência

(1,N)

(1,N) Domicílio

(1,N)

(1,N)

(1,N)

(1,N)

Escritório

Residência

Exemplo de Unificação NL x L

Fonte XML 2Fonte XML 1

X

Esquema Global

Residência

CidadeNúmero

Rua

(1,N)

(1,1)(1,1)

(1,1)

(1,N)

(0,1)

Domicílio

Mapeamento do conceito Cidade para a Fonte XML 2:/Autores/Autor/Domicílio

Residência

CidadeNúmero

Rua

(1,N)

(1,1)(1,1)

(1,1)

(1,N)

(0,1)

Exemplos de Reestruturação

Artigo Livro

Título(1,1)(1,1)(1,1)(1,1)

(1,1)(1,1)

(1,1)(1,1)

Publicação

Artigo Livro

Publicação Título(1,1)(1,1)(1,1)(1,1)generalizaçãode conceitos

Livro

Publicaçãoremoção derelacionamentosredundantes

Ano

(1,N)(1,N)

(1,1)(1,1)

(1,N)(1,N)(1,1)(1,1) Livro

Publicação

Ano

(1,N)(1,N)

(1,1)(1,1)

BInXS – Trabalhos• Concluídos

– sistema de controle de BDs terminológicas (Fabrício - TCC)

– conversão de esquemas XML Schema para ORM (Leonardo Garcia - TCC)

• Em Andamento– geração de esquemas XML a partir de docs XML (Keli

& Susane - TCC)– biblioteca de funções de apoio (análise de documentos

XML, geração de info. mapeamento, etc) (Bernardo - TCC)

– análise e incorporação de RIs de domínio das fontes XML no esquema global (Khaue - dissertação)

• A Desenvolver...– projeto e implementação de TODA a etapa de unificação– interface gráfica do BInXS– ...

Integração de Esquemas GML• GML (Geographic Markup Language) é uma

aplicação da XML e uma recomendação internacional para representação de dados geográficos– inclui propriedades convencionais e espaciais de

fenômenos geo-referenciados– pode ser utilizada em aplicações de diversas áreas

• cadastro urbano, controle de queimadas, ...• interessados: órgãos públicos, institutos de pesquisa, ...

• Interoperabilidade de esquemas e dados GML entre aplicações é relevante– exemplo: unificação ou transferência de dados

cadastrais de/entre distritos de um município– problema de integração de esquemas de BDG

• tratamento da heterogeneidade de dados em diversos níveis – convencional, espacial, ...

Esquemas GML - Trabalhos• Em Andamento

– método para determinação de equivalências semânticas entre esquemas GML para o domínio de cadastro urbano (Ângelo - dissertação)

• considera a existência de uma ontologia de domínio em OWL• estratégia adotada

– “conceitos GML de esquemas diferentes são semanticamente equivalentes se ambos tem equivalência com o mesmo conceito da ontologia”

• principais problemáticas– definição de métricas de similaridade (estrutural, espacial,

conteúdo, etc) entre conceitos GML e OWL

– definição de um catálogo de mapeamento entre esquemas GML e OWL

– apoio à implementação do método (Rafael Vasel e Leonardo Rosa - TCCs)

Projeto DIGITEX

• Projeto CNPq/CTInfo iniciado em nov/05– grupos de BD de 3 universidades

(UFRGS,UFSC e UCPel)– 8 docentes pesquisadores, alunos de pós-

graduação e bolsistas– duração de 2 anos

• Digitex é um apelido para – Plataforma de Indexação e Busca

Personalizada em Bibliotecas Digitais

Projeto DIGITEX• Motivação

– biblioteca digital é uma tecnologia que permite agregar e gerar conhecimento que pode ser disponibilizado a todos

• Objetivos e Metas– auxiliar no processo social de criar conhecimento científico,

aperfeiçoar este conhecimento através da revisão pelos pares e indicar ou receber indicação de conhecimento relevante

• definir o ciclo do processo de editoração de documentos científicos digitais com revisão interativa pelos pares de discussão pública e o tratamento de versões dos documentos publicados

• tratar o problema de sugestão e aquisição de artigos baseado no interesse e perfil do usuário utilizando-se de uma ontologia de domínio, e lidando com a questão da integração de instâncias equivalentes de documentos advindos de fontes heterogêneas

• Contribuição– gestão automatizada do conhecimento de uma biblioteca digital

• resultados devem ser aplicados à Biblioteca Digital da SBC

DIGITEX – Sub-Projetos


gerência do armazenamento e acesso a documentos, assim como a gerência da evolução dos documentos tanto a nível de conteúdo quanto de estrutura

(Nina Edelweiss e Renata de Matos Galante - UFRGS)


obtenção automática, semi-automática ou manual de metadados dos documentos digitais e seu armazenamento em formato XML compatível com Dublin Core e com a plataforma BDBComp, e sua disponibilização como um Web service. Para um domínio de aplicação (no caso, a área de Computação) será desenvolvida uma Ontologia de Domínio

(José Palazzo Moreira de Oliveira – UFRGS)


gerência dos processos de autoria e revisão coletiva dos documentos digitais, levando em conta o gerenciamento da percepção dos atores do trabalho (mecanismos de awareness) que está sendo desenvolvido, não apenas para direcionar o esforço do grupo, mas também receber informações para melhorar sua participação

(José Valdeni de Lima – UFRGS)


processo de integração de instâncias heterogêneas de documentos digitais estruturados (ou de metadados a partir deles gerados) (já no formato XML) semanticamente equivalentes, a serem arquivados na biblioteca digital

(Carlos A. Heuser - UFRGS, Ronaldo S. Mello - UFSC)


análise de dados associados a um usuário, tais como CV Lattes, documentos previamente recuperados, características de navegação entre outros, e definição de um modelo do usuário. Este modelo de usuário é utilizado no processo de recuperação e recomendação de documentos, em conjunto com a ontologia de domínio

(Maria Aparecida Souto – UFRGS)


registro e certificação das atividades e qualificação dos participantes do processo com base em dados objetivos e pareceres dos pares. Esta atividade é essencial para atribuir um “valor de qualidade” a uma publicação realizada. Os fundamentos são, em parte, relacionados com o conceito de page rank, mas considerando o valor acadêmico da recomendação ou referência

(José Palazzo M. de Oliveira e José Valdení de Lima - UFRGS)


processo de classificação de documentos em função da correlação entre as características dos documentos e dos usuários durante uma busca. Leva em conta aspectos de similaridade com o tópico utilizado na busca e o perfil do usuário

(Stanley Loh - UCPel)

DIGITEX – Trabalhos

• Em Andamento– definição de um método de determinação de

similaridade entre instâncias XML heterogêneas (Rodrigo - dissertação)• implementação do método (Carlos – bolsista IC)

– definição de operadores de integração de instâncias XML heterogêneas similares (Fabiano - dissertação)• implementação dos operadores (Fábio – bolsista IC)

(Obs.: os resultados destes trabalhos podem ser aproveitados para o ambiente de mediação que o BInXS faz parte)

Gerência de Dados XML

• Motivação– manipulação crescente de dados XML por aplicações– pesquisa e desenvolvimento de SGBDs XML ou

extensões de SGBDRs é “recente” e tem open issues• armazenamento e acesso eficientes, restrições de integridade,

gerência de transações, modelagem de BDs XML, ...

• Sub-Tópicos de Pesquisa– Restrições de Integridade– Mapeamento do modelo XML para outros modelos de

dados– Projeto lógico de BD XML

Gerência de Dados XML - Trabalhos• Concluídos

– controle de restrições de integridade de domínio para documentos XML (XDC) (Alexandre Lazzaretti - dissertação)

• define uma linguagem de marcação para especificação de RIs em dados XML (XDCL)

– sintaxe SQL-like para checks e triggers» considera a tecnologia relacional para controle de RIs

• define um parser para validação de um doc XML com relação a um doc de restrições XML (.xdc)

XDC - Contextoapplication

domain

domain integrityconstraint for data

analysis ofdomain integrity

constraints

analysis of data requirements

XML instances

composed by

composed by

schemavalidation

query

domain integrity constraint validation

XDC

reference

XML database

reference

conceptualschema

generation

validationresult

XDCLspecifications

XDCdocument

query

XDCLparser

reference

XMLparser

validation

reference

reference

XML documents

of the applications

definition

XML schema document

definition

validationresult

generation

Gerência de Dados XML - Trabalhos• Concluídos

– processo de mapeamento de esquemas XML-Schema para esquemas relacionais (Cláudio Maurício - dissertação)

• define um conjunto detalhado de regras de mapeamento que leva em conta todos os conceitos do modelo da XML Schema

• define um algoritmo para aplicação destas regras

– processo de mapeamento de esquemas de BDOO para esquemas XML-Schema (Fabiana Peres - dissertação)

• mesma abordagem do trabalho anterior

Gerência de Dados XML - Trabalhos• Em andamento

– Metodologia para projeto lógico (e físico?) de BDs XML (Alessandro Lemos - dissertação)

• definição de um conjunto de etapas para modelagem lógica (modelo de grafo hierárquico) e física XML (esquema DTD ou XSD) a partir de uma modelagem conceitual ER

– deve definir regras detalhadas de modelagem lógica que levem em conta todos os conceitos do modelo ER

– deve definir algoritmos de mapeamento

Projeto de BD XML - Exemplo

Autores

nome

eMail (0,N)autoria(1,N)

Livros(0,N)

títuloISBN

organização(1,N)(1,1)

Capítulos

ordem nome

referências (0,N)

(1,N)

Livro(1,1) (1,1)ISBN

Autor

Título

(1,1)

Nome(0,N)

eMail

(1,N)

Capítulo(1,1)

Nome

(1,1)

Ordem

Livros

(1,N)

(0,N)

Referência

<!ELEMENT Livros (Livro+)><!ELEMENT Livro (Título, Autor+, Capítulo+)><!ATTLIST Livro ISBN CDATA><!ELEMENT Título (#PCDATA)><!ELEMENT Autor (Nome, eMail*)><!ELEMENT Nome (#PCDATA)><!ELEMENT eMail (#PCDATA)><!ELEMENT Capítulo (Nome, Referência*)><!ATTLIST Capítulo ordem CDATA><!ELEMENT Referência (#PCDATA)>

Gerência de Dados XML - Trabalhos• Em andamento

– extensão da XDCL para aumento de expressividade (colaboração com a UPF)

• consideração de predicados complexos, etc

– implementação das regras e dos algoritmos para conversão XML2relacional e OO2XML (colaboração com a UNIOESTE)

• Futuros– definição e implementação de processos para

mapeamento de instâncias XML2relacional e OO2XML (colaboração com a UNIOESTE)

Ferramentas para Gerência de Dados

• Motivação– carência de ferramentas que possam auxiliar

profissionais e docentes na área de BD no ensino, projeto e gerência de dados convencionais e não-convencionais

• Objetivo – desenvolvimento de soluções computacionais

para tais finalidades

Ferramentas - Trabalhos• Concluídos

– ferramenta de apoio ao projeto lógico de BDs relacionais baseado no EER (Carlos – MT - especialização)

– ferramenta de apoio à engenharia reversa de BDs SQL Server (Miguel e Marcelo - TCC)

• Trabalhos Futuros (idéias sempre existem...)– núcleo de um SGBD relacional– camadas de gerência de dados não-

convencionais em BDs relacionais• temporais, geográficos, ...

Tópicos de Pesquisa e Desenvolvimento no

GBD-UFSC

Ronaldo S. Mello

Março/2006

UFSC-CTC-INE

Grupo de Banco de Dados da UFSC

Tópicos de Pesquisa e Desenvolvimento no GBD-UFSC

Documents

Transcript of Tópicos de Pesquisa e Desenvolvimento no GBD-UFSC