Post on 07-Apr-2016
Banco de Dados Multimídia: Introdução a Banco de Dados
Multimídia
Alunos: Eduardo Machado Carboni Luís Fernando Custódio Pedro da Silveira Grandi
Banco de Dados Multimídia: Introdução
Multimídia: Vídeo, Áudio, Imagem.- Necessidades;- Dificuldades;- Soluções;- Consumidores;- Ferramentas;
Video- Introdução
Porquê necessitamos de vídeo? Para representar movimento .
O que podemos fazer com dados de video? Capturar, armazenar, apresentar, editar --
sem considerar o conteúdo Buscar, indexar -- dependente de
contexto
Sequence de Vídeo = stream (físico, dados) + informação do vídeo (significado)
Video - Motivação
Há uma grande quantidade de vídeos produzidos que necessitam de recuperação
Ex: Um ano de vídeo do campeonato brasileiro mostrando os melhores eventos:Número total de jogos num ano: 38 * 20 = 760 (jogos)Precisamos de 760 * 1,5 = 1140 (horas) para navegar sequencialmente se usando um player de vídeo
Uma facilidade de acesso randômico pode reduzir este tempo pode ser reduzido a poucos dias.
Porquê agora?
Imagem e Vídeo
Uma imagem é capturada quando uma camera escaneia uma cena
Cores => Vermelho (R), Verde (G) e Azul (B) lista de telas digitais A densidade das telas (pixels) dão a
resolução.
Cada tela é chamada de quadro, e essa sequencia de quados (frames/sec) é medido em Hz TV tem em média 25Hz Camera de celular tem em média 8-15 Hz
Armazenagem de Vídeo
Vídeos devem ser comprimidos ou codificados para poderem ser transmitidos.
Essa compressão gera vários formados de condificação e decodificação, os chamados Codec’s.
Um banco multimidia precisa trabalhar com vários formatos de mídia para ser útil.
BD Vídeo
Tipos de consulta:
1. Usuário pode ter visto uma cena de um video e deseja recuperá-la
2. Usuário pode estar procurando por um vídeo que ele nunca viu antes
3. Usuário pode ter apenas uma vaga idéia do que ele está procurando.
-como usuário pode querer interagir?
BD Vídeo
Meta: determinar a sintaxe e semântica de um video.
Passo 1: identificar a sintaxe: Um filme é composto por segmentos, cenas e tomadas.
- Quadro (Frame): uma imagem do vídeo - Tomadas (shots): sequência contínua de frames de
uma câmera com início e fim bem definidos. - Cena (Episode): coleção de shots adjacentes focando os
mesmos objetos e descrevendo uma cadeia completa de ações.
- Segmento: é um grupo de cenas, não necessariamente adjacentes, ligados por uma linha comum de ações.
BD Vídeo
• Passo 2: semântica Uso de metadata para especificar a semântica do video. Através de anotações, capturas de texto, e algoritmos
de segmentação de imagem (similar a proc. de imagens).
• BD Video pode ser indexado por:
- dados bibliográficos: título, abstract, assunto, gênero - dados estruturados: segmento, cena e tomada - dados de conteúdo: uso de keyframes e keywords.
Informação de Video
Tipos de informações físicas associados com video:· Objeto -- video stream · atributos (length, size, frame numbering) · informação (format resolution headers, frame rate)
O que pode ser derivado de um video? · O -- conjunto de objetos presentes num video · M -- conjunto de representações de movimento · Features, spatial relationships, derivados de O · Spatiotemporal info derivada de O e M juntos · Spatiotempotal info fornecida pelo designer · Temporal relationships inferidos de M · Image information
Operadores de Video
Além dos clássicos: FF, play, record, Rewind, stop e pause
Inserir um vídeo em outro Extrair um video clip Extração de cortes Extrair uma imagem de um video
Atributos de vídeo
· v_length:Video -> Integer · frame_rate: Video -> Integer · size: Video -> Integer · resolution: Video -> String · compression: Video -> String
Indexação por Semântica
É o processo de detectar automaticamente a presença de um objeto semantico num stream de vídeo
AVIÃO
Segmentação de Vídeo
Considerar nas imagens- Cor- Textura
Aparencia,consistência da superfície
- Distribuição pela imagem- Por partes específicas da imagemou sobre objetos presentes
Cortar objetos / partes importantes
Problema Semântico
Quebrando a imagem em segmentos mais significativos - Teoricamente objetos devem vir do mundo “real”
O que constitui um objeto? - Dependendo da aplicação, precisa interação ou conhecimento prévio
Banco de Dados Multimídia: Áudio
Banco de Dados Multimídia: Reconhecimento de Fala
- Interação das pessoas com os computadores.
O que é preciso para esta comunicação?
Banco de Dados Multimídia: Reconhecimento de Fala
- Dificuldades:Número de palavras e
combinações;Sotaque e acentuação;
Ruídos;
Banco de Dados Multimídia: Reconhecimento de Fala
Possíveis soluções:
Gerar um dicionário com pronunciações;
Utilizar regras morfológicas.
Banco de Dados Multimídia: Recuperação de áudio
Consultas para encontrar objetos.
Conteúdo das consultas:- Por metadados:
Gênero, Estilo, Título, Compositor;
- Por Comparação:Timbre, Frequência, Rítmo;
Banco de Dados Multimídia: Exemplos:
- Reconhecimento de fala no Windows Vista;
Treinar do Windows.- Reconhecimento de voz no celular;- Reconhecimento de fala no Youtube:
Busca por conteúdo falado.
Banco de Dados Multimídia:Oracle Visual Information Retrieval
(VIR)Extensão do Oracle com o objetivo de gerenciar e manipular imagens através de seus atributos:
Largura;Altura;Tamanho;Tipo/Formato do Arquivo ou Compressão;Tipo da Imagem(Monocromática, Colorida,...);
Banco de Dados Multimídia:Oracle Visual Information Retrieval
(VIR)A classe ORDSYS.ORDVir é a base para as funcionalidades do VIR:
Criação de índices para a coluna de imagens da tabela;Recuperação por conteúdo.
Composta da imagem, atributos de imagem, métodos específicos e um atributo assinatura.
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
Utiliza métodos para fazer comparações entre imagens, como: Analyse() – analisa a imagem e gera uma assinatura . VIRScore() e VIRSimilar() – comparam assinaturas de duas imagens e determina se são similares.setProperties() – Determina propriedades das imagens.get() – Retorna atributos específicos das imagens:getHeight(), getWidth(), ...
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
A Assinatura dada à imagem contém informações dos atributos visuais da imagem.
Através das assinaturas são possíveis alocar scores que referenciam a distância de uma imagem à outra, quanto menor o score mais semelhantes as imagens são.
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
Cor global refere-se à distribuição de cores em toda a imagem, enquanto cor local considera a distribuição de cores e a localização.Comparativo:
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
Imagens semelhantes pela cor global (score = 0)
Imagens semelhantes pela cor local (score = 0,02461)
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
Imagens semelhantes pela textura (score = 4,1)
Imagens semelhantes pela estrutura (score = 0,61939)
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
Para a realização de consultas, atribui-se pesos para cada um dos atributos visuais citados.
Scores são calculados para cada atributo, então calcula-se a média ponderada.
Um limite (threshold) é atribuídoImagens com score global abaixo do limite são retornadas como semelhantes
Banco de Dados Multimídia:Oracle Visual Information Retrieval (VIR)
Exemplo: considerando-se os scores e pesos
Scores – cor global = 15, cor local = 90, textura = 5 e estrutura = 50Pesos - cor global = 0.1, cor local = 0.6, textura = 0.2 e estrutura = 0.1Score Global: (0,1 x 15 + 0,6 x 90 + 0,2 x 5 + 0,1 x 50) = 61,5
Logo, se o threshold fosse maior que 61,5 o banco consideraria imagens semelhantes.
Banco de Dados Multimídia:
Oracle Intermidia:Produto que estende o Oracle 9i
Adiciona características multimídia;Responsável por gerenciar,
armazenar e recuperar imagens, áudio, vídeo e texto;
Banco de Dados Multimídia:O Oracle interMedia pode armazenar:
Binary Large Objects (BLOBs) – localmente no banco de dados;
File-Based Large objects (BFILEs) – arquivos do sistema operacional, externos ao BD;
URLs – armazenadas em um servidor HTTP;Dados de áudio e vídeo streaming –
armazenados em servidores especializados;
Banco de Dados Multimídia:O interMedia usa tipos de objeto
semelhantes a classes Java e C++:ORDAudio, ORDImage, ORDVideo.
Instâncias dos objetos são compostas dos dados da mídia e de metadados.
São exemplos desses metadados:Tamanho, duração, formato ou tipo de
compressão.Objetos incluem métodos específicos
da mídia.
Banco de Dados Multimídia:Banco Físico Multimídia:
create table image_table (id number primary key, image ordsys.ordimage);
create or replace directory imagedir as 'c:\quickstart';
create or replace procedure image_import(dest_id number, filename varchar2) isimg ordsys.ordimage;ctx raw(64) := null;begindelete from image_table where id = dest_id;insert into image_table (id,image) values (dest_id, ordsys.ordimage.init()) returning image into img;
img.importFrom(ctx, 'file', 'IMAGEDIR', filename); update image_table set image=img where id=dest_id;end;
Banco de Dados Multimídia:Banco Físico Multimídia:create or replace procedure image_processCopy(source_id number,
dest_id number, verb varchar2) is imgSrc ordsys.ordimage; imgDst ordsys.ordimage;begin delete from image_table where id = dest_id; insert into image_table (id,image) values (dest_id, ordsys.ordimage.init()); select image into imgSrc from image_table where id = source_id; select image into imgDst from image_table where id = dest_id for update; imgSrc.processCopy(verb, imgDst); update image_table set image = imgDst where id = dest_id;end;
Banco de Dados Multimídia:Banco Físico Multimídia:create or replace procedure image_export (source_id number, filename
varchar2) as imgSrc ordsys.ordimage; ctx raw(64) := null;begin select image into imgSrc from image_table where id = source_id; imgSrc.export(ctx, 'FILE', 'IMAGEDIR', filename);end;
Banco de Dados Multimídia: Referências bibliográficas:
http://conection-wi.blogspot.com/2009/01/banco-de-dados-multimidia.html
http://www.oracle-base.com/articles/8i/InterMedia-Import-ExportOfImages.php
http://www.oracle.com/technology/products/intermedia/htdocs/intermedia_quickstart/iNtermedia_quickstart.html
http://alipr.com/ http://celebrity.myheritage.com/celebrity-face-recognition