Banco de Dados Multimídia

Prof. Cláudio de Souza BaptistaUFCG/COPINSetembro-Outubro 2007

Introdução

• Sistemas MM devem armazenar, recuperar, transportar, e apresentar dados com características heterogêneas tais como textos, imagens, gráficos, sons e videos.

sistemas complexos

• muitos sistemas gerenciam objetos MM restritos a um domínio de aplicação (Médico, GIS, CAD)

necessitamos um sistema que permita acesso uniforme aos objetos MM de forma transparente.

Introdução

• A área de MM é multidisciplinar envolvendo:- sistemas operacionais- sistemas tempo-real- redes- interface com usuário- inteligência artificial- recuperação de informação- processamento de imagens- computação gráfica- BANCO DE DADOS

1. Introdução

• MMDBMS trata imagens, vídeos, áudios, textos, gráficos e dados alfa-numéricos igualmente do ponto de vista de processamento de consulta. Cada tipo pode participar numa query ou pode ser parte do resultado.

•Aplicações: Medical DB, GIS, Digital Libraries, DNA DB, Image DB, DB científico (geologia, meio ambiente, astrofísica, metereologia, etc )

1. Introdução

• MMDBMS = DBMS + suporte à multimídia

Gerente de apresentação

Gerente de consulta MM

Imagem Vídeo Áudio Texto Gráficos

UsuárioResultados

2. Características2.1. Tipos de dados MM

Texto: documentos estruturados, semi-estruturados e não estruturados. Ex.: ASCII, HTML, XML, SGML

Gráficos: desenhos. Ex.: CAD e GIS

Imagens: desenhos, pinturas, fotos, impressões

Video: propriedades de audio + video, composto de frames de video.Ex.: regular apresentação de vídeo requer 30 frames/sec.Qualidade NTSC (512x480, 8bpp) => 1.92 Mb/framequalidade HDTV (1024x2000, 24 bpp) => 48 Mb/frameAudio: fala, música, sons

2. Características2.2 Aspectos Temporais

Incorporação de conceitos temporais no modelo de dados• scheduling e sincronização• apresentacao: sequencial

paralelaintrodução da linha de tempo

filmemúsica

fala

texto1 texto2

tempo

Tipos de Mídia

Vídeo e áudio têm requisitos Espaciais (vídeo) Temporais

Vídeo e áudio possuem dados contínuosVídeo e áudio têm operações especiais:

fast-forward() e rewind() play() pause() e stop()

O que é um MMDBMS?

“Um SGBD multimídia é um framework que gerencia diferentes tipos de dados potencialmente representados em diferentes formatos e em diferentes fontes de mídia” Subrahmanian [2000]

Um SGBDMM deve:

Prover API única para consulta às diferentes mídias

Recuperar dados MM de forma contínua

Prover uma maneira transparente para o usuário da representação dos dados

Tipos de Recuperação (Gudivada 96)

Recuperação por BrowsingRecuperação por Atributos de ObjetosRecuperação por Restrições EspaciaisRecuperação por Similaridade de FormaRecuperação por Similaridade

Semântica

Exemplo de Aplicação MM

Considere uma investigação de polícia sobre drogas com as seguintes características: Vídeo: dados recuperado por câmeras

espalhadas em diversos locais Áudio: dados capturados de “grampo

telefônico” Imagens: fotografias tiradas por

investigadores

Exemplo de Applicação MM (cont.)

Documentos: relatórios escritos por policiais durante as invesigações

Dados relacionais estruturados de SGBD existentes (dados bancários, telefônicos, comércio, empresas, histórico policial)

dados de GIS (locais onde existem drogas, plantações, rotas de tráfego, etc.)

Consultas exemplo de Imagens

Query 1: Um policial tem a foto de um suspeito e consulta o SGBDMM por imagens similares

Query 2: “Recupere todas as fotos em que João Pires aparece”

Consultas exemplo de Imagens

Nas consultas anteriores precisamos de uma função que compute a similaridade entre imagens.

Como a consulta é inexata, um ranking de imagens parecidas deve ser formado

Na Query2 realizou-se a consulta usando-se atributos (metadata) da imagem

Consultas exemplo de Áudio

Um policial está ouvindo uma fita de gravação de um conversa telefônica entre suspeitos João Silva e X.

Query 3: Encontre a identidade de X.Query 4: Mostre as fitas que têm

participação de João Silva

Consultas exemplo de Texto/Vídeo

Texto: Busca em jornais, revistas, relatórios, ou

um outro documento. Text mining em bancos Processos judiciários “Busca por uma certa palavra chave”

Video: encontre todos os vídeos onde a vítima aparece.

Questões de Pesquisa em MM

Linguagem de consultaConteúdo de um dado MMApresentação MMArmazenamento

Linguagem de Consulta

Linguagem para acesso aos diferentes tipos de dados

Operações para combinar duas ou mais mídias (diferença, união, junção)

Acesso a Dados e MetadadosPlanos de consulta Otimizados

Conteúdo de um dado MM

Como extrair conteúdo de: imagem vídeo-clip áudio-clip texto (documento não estruturado)

Como indexar estes conteúdosComo computar similaridade?

Apresentação

Como especificar o conteúdo de uma apresentação MM?

Como especificar os requisitos de espaço e tempo?

Como garantir QoS?

Armazenamento

Como dados MM podem ser representados nos dispositivos (CD-ROM, Disco, Fita, DVD, etc.)?

Como otimizar o armazenamento para que operações como: play, fast forward, rewind, pause, possam ser executadas de forma eficiente

Produtos Multimídia no Mercado

Desenvolvimento: Macromedia Director Click2Learn Toolbook Java Media Framework (JMF)

Animação Web: Macromedia Flash Adobe LiveMotion Corel Rave

Produtos Multimídia no Mercado

Web designMacromedia DreamWeaverAdobe GoLiveMicrosoft FrontPageNetObjects Fusion

StreamingReal realplayer, realserverApple QuicktimeMicrosoft MediaPlayer, MediaServer

Produtos Multimídia no Mercado

SGBD OROracle 9i

• InterMedia Audio, Video, Image Cartridge• Oracle Context

IBM DB2• DB2 Image Extender• DB2 Video Extender

Informix• Excalibur Image Datablade Module• Informix Video Foundation Datablade• Excalibur Text Datablade