Banco de Dados Multimídia: Introdução a Banco de Dados Multimídia Alunos: Eduardo Machado...

Banco de Dados Multimídia: Introdução a Banco de Dados

Multimídia

Alunos: Eduardo Machado Carboni Luís Fernando Custódio Pedro da Silveira Grandi

Banco de Dados Multimídia: Introdução

Multimídia: Vídeo, Áudio, Imagem.- Necessidades;- Dificuldades;- Soluções;- Consumidores;- Ferramentas;

Video- Introdução

Porquê necessitamos de vídeo? Para representar movimento .

O que podemos fazer com dados de video? Capturar, armazenar, apresentar, editar --

sem considerar o conteúdo Buscar, indexar -- dependente de

contexto

Sequence de Vídeo = stream (físico, dados) + informação do vídeo (significado)

Video - Motivação

Há uma grande quantidade de vídeos produzidos que necessitam de recuperação

Ex: Um ano de vídeo do campeonato brasileiro mostrando os melhores eventos:Número total de jogos num ano: 38 * 20 = 760 (jogos)Precisamos de 760 * 1,5 = 1140 (horas) para navegar sequencialmente se usando um player de vídeo

Uma facilidade de acesso randômico pode reduzir este tempo pode ser reduzido a poucos dias.

Porquê agora?

Imagem e Vídeo

Uma imagem é capturada quando uma camera escaneia uma cena

Cores => Vermelho (R), Verde (G) e Azul (B) lista de telas digitais A densidade das telas (pixels) dão a

resolução.

Cada tela é chamada de quadro, e essa sequencia de quados (frames/sec) é medido em Hz TV tem em média 25Hz Camera de celular tem em média 8-15 Hz

Armazenagem de Vídeo

Vídeos devem ser comprimidos ou codificados para poderem ser transmitidos.

Essa compressão gera vários formados de condificação e decodificação, os chamados Codec’s.

Um banco multimidia precisa trabalhar com vários formatos de mídia para ser útil.

BD Vídeo

Tipos de consulta:

1. Usuário pode ter visto uma cena de um video e deseja recuperá-la

2. Usuário pode estar procurando por um vídeo que ele nunca viu antes

3. Usuário pode ter apenas uma vaga idéia do que ele está procurando.

-como usuário pode querer interagir?

BD Vídeo

Meta: determinar a sintaxe e semântica de um video.

Passo 1: identificar a sintaxe: Um filme é composto por segmentos, cenas e tomadas.

- Quadro (Frame): uma imagem do vídeo - Tomadas (shots): sequência contínua de frames de

uma câmera com início e fim bem definidos. - Cena (Episode): coleção de shots adjacentes focando os

mesmos objetos e descrevendo uma cadeia completa de ações.

- Segmento: é um grupo de cenas, não necessariamente adjacentes, ligados por uma linha comum de ações.

BD Vídeo

• Passo 2: semântica Uso de metadata para especificar a semântica do video. Através de anotações, capturas de texto, e algoritmos

de segmentação de imagem (similar a proc. de imagens).

• BD Video pode ser indexado por:

- dados bibliográficos: título, abstract, assunto, gênero - dados estruturados: segmento, cena e tomada - dados de conteúdo: uso de keyframes e keywords.

Informação de Video

Tipos de informações físicas associados com video:· Objeto -- video stream · atributos (length, size, frame numbering) · informação (format resolution headers, frame rate)

O que pode ser derivado de um video? · O -- conjunto de objetos presentes num video · M -- conjunto de representações de movimento · Features, spatial relationships, derivados de O · Spatiotemporal info derivada de O e M juntos · Spatiotempotal info fornecida pelo designer · Temporal relationships inferidos de M · Image information

Operadores de Video

Além dos clássicos: FF, play, record, Rewind, stop e pause

Inserir um vídeo em outro Extrair um video clip Extração de cortes Extrair uma imagem de um video

Atributos de vídeo

· v_length:Video -> Integer · frame_rate: Video -> Integer · size: Video -> Integer · resolution: Video -> String · compression: Video -> String

Indexação por Semântica

É o processo de detectar automaticamente a presença de um objeto semantico num stream de vídeo

AVIÃO

Segmentação de Vídeo

Considerar nas imagens- Cor- Textura

Aparencia,consistência da superfície

- Distribuição pela imagem- Por partes específicas da imagemou sobre objetos presentes

Cortar objetos / partes importantes

Problema Semântico

Quebrando a imagem em segmentos mais significativos - Teoricamente objetos devem vir do mundo “real”

O que constitui um objeto? - Dependendo da aplicação, precisa interação ou conhecimento prévio

Banco de Dados Multimídia: Áudio

Banco de Dados Multimídia: Reconhecimento de Fala

- Interação das pessoas com os computadores.

O que é preciso para esta comunicação?


- Dificuldades:Número de palavras e

combinações;Sotaque e acentuação;

Ruídos;


Possíveis soluções:

Gerar um dicionário com pronunciações;

Utilizar regras morfológicas.

Banco de Dados Multimídia: Recuperação de áudio

Consultas para encontrar objetos.

Conteúdo das consultas:- Por metadados:

Gênero, Estilo, Título, Compositor;

- Por Comparação:Timbre, Frequência, Rítmo;

Banco de Dados Multimídia: Exemplos:

- Reconhecimento de fala no Windows Vista;

Treinar do Windows.- Reconhecimento de voz no celular;- Reconhecimento de fala no Youtube:

Busca por conteúdo falado.

Banco de Dados Multimídia:Oracle Visual Information Retrieval

(VIR)Extensão do Oracle com o objetivo de gerenciar e manipular imagens através de seus atributos:

Largura;Altura;Tamanho;Tipo/Formato do Arquivo ou Compressão;Tipo da Imagem(Monocromática, Colorida,...);

Banco de Dados Multimídia:Oracle Visual Information Retrieval

(VIR)A classe ORDSYS.ORDVir é a base para as funcionalidades do VIR:

Criação de índices para a coluna de imagens da tabela;Recuperação por conteúdo.

Composta da imagem, atributos de imagem, métodos específicos e um atributo assinatura.

Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)

Utiliza métodos para fazer comparações entre imagens, como: Analyse() – analisa a imagem e gera uma assinatura . VIRScore() e VIRSimilar() – comparam assinaturas de duas imagens e determina se são similares.setProperties() – Determina propriedades das imagens.get() – Retorna atributos específicos das imagens:getHeight(), getWidth(), ...


A Assinatura dada à imagem contém informações dos atributos visuais da imagem.

Através das assinaturas são possíveis alocar scores que referenciam a distância de uma imagem à outra, quanto menor o score mais semelhantes as imagens são.


Cor global refere-se à distribuição de cores em toda a imagem, enquanto cor local considera a distribuição de cores e a localização.Comparativo:


Imagens semelhantes pela cor global (score = 0)

Imagens semelhantes pela cor local (score = 0,02461)


Imagens semelhantes pela textura (score = 4,1)

Imagens semelhantes pela estrutura (score = 0,61939)


Para a realização de consultas, atribui-se pesos para cada um dos atributos visuais citados.

Scores são calculados para cada atributo, então calcula-se a média ponderada.

Um limite (threshold) é atribuídoImagens com score global abaixo do limite são retornadas como semelhantes


Exemplo: considerando-se os scores e pesos

Scores – cor global = 15, cor local = 90, textura = 5 e estrutura = 50Pesos - cor global = 0.1, cor local = 0.6, textura = 0.2 e estrutura = 0.1Score Global: (0,1 x 15 + 0,6 x 90 + 0,2 x 5 + 0,1 x 50) = 61,5

Logo, se o threshold fosse maior que 61,5 o banco consideraria imagens semelhantes.

Banco de Dados Multimídia:

Oracle Intermidia:Produto que estende o Oracle 9i

Adiciona características multimídia;Responsável por gerenciar,

armazenar e recuperar imagens, áudio, vídeo e texto;

Banco de Dados Multimídia:O Oracle interMedia pode armazenar:

Binary Large Objects (BLOBs) – localmente no banco de dados;

File-Based Large objects (BFILEs) – arquivos do sistema operacional, externos ao BD;

URLs – armazenadas em um servidor HTTP;Dados de áudio e vídeo streaming –

armazenados em servidores especializados;

Banco de Dados Multimídia:O interMedia usa tipos de objeto

semelhantes a classes Java e C++:ORDAudio, ORDImage, ORDVideo.

Instâncias dos objetos são compostas dos dados da mídia e de metadados.

São exemplos desses metadados:Tamanho, duração, formato ou tipo de

compressão.Objetos incluem métodos específicos

da mídia.

Banco de Dados Multimídia:Banco Físico Multimídia:

create table image_table (id number primary key, image ordsys.ordimage);

create or replace directory imagedir as 'c:\quickstart';

create or replace procedure image_import(dest_id number, filename varchar2) isimg ordsys.ordimage;ctx raw(64) := null;begindelete from image_table where id = dest_id;insert into image_table (id,image) values (dest_id, ordsys.ordimage.init()) returning image into img;

img.importFrom(ctx, 'file', 'IMAGEDIR', filename); update image_table set image=img where id=dest_id;end;

Banco de Dados Multimídia:Banco Físico Multimídia:create or replace procedure image_processCopy(source_id number,

dest_id number, verb varchar2) is imgSrc ordsys.ordimage; imgDst ordsys.ordimage;begin delete from image_table where id = dest_id; insert into image_table (id,image) values (dest_id, ordsys.ordimage.init()); select image into imgSrc from image_table where id = source_id; select image into imgDst from image_table where id = dest_id for update; imgSrc.processCopy(verb, imgDst); update image_table set image = imgDst where id = dest_id;end;

Banco de Dados Multimídia:Banco Físico Multimídia:create or replace procedure image_export (source_id number, filename

varchar2) as imgSrc ordsys.ordimage; ctx raw(64) := null;begin select image into imgSrc from image_table where id = source_id; imgSrc.export(ctx, 'FILE', 'IMAGEDIR', filename);end;

Banco de Dados Multimídia: Referências bibliográficas:

http://conection-wi.blogspot.com/2009/01/banco-de-dados-multimidia.html

http://www.oracle-base.com/articles/8i/InterMedia-Import-ExportOfImages.php

http://www.oracle.com/technology/products/intermedia/htdocs/intermedia_quickstart/iNtermedia_quickstart.html

http://alipr.com/ http://celebrity.myheritage.com/celebrity-face-recognition









http://alipr.com/

http://alipr.com/

http://celebrity.myheritage.com/celebrity-face-recognition

http://celebrity.myheritage.com/celebrity-face-recognition

Banco de Dados Multimídia: Introdução a Banco de Dados Multimídia Alunos: Eduardo Machado...

Documents

Transcript of Banco de Dados Multimídia: Introdução a Banco de Dados Multimídia Alunos: Eduardo Machado...