Detecção de Algumas Transições Detecção de Algumas Transições Abruptas em Seqüências de ImagensAbruptas em Seqüências de Imagens

Nielsen Cassiano Simõesnielsen@ic.unicamp.br

Mestrando

Prof. Dr. Neucimar Jerônimo Leiteneucimar@ic.unicamp.br

Orientador

Instituto de Computação – UNICAMPInstituto de Computação – UNICAMP

Nielsen Cassiano Simões 2

Roteiro

• Motivação• Objetivo• Principais Conceitos• Trabalhos relacionados• Detecção de transições• Resultados• Conclusões e Extensões

Nielsen Cassiano Simões 3

Motivação

• Detecção de transições entre tomadas– Detecção de tomadas

• Indexação, extração de key-frames, detecção de cenas, etc.

Nielsen Cassiano Simões 4

Objetivo• Tratar segmentação estrutural de vídeo como

um problema de segmentação de imagem– 2D+t => 1D+t

• Redução do tempo computacional– Detecção de transições abruptas

• Identificar padrões para transições abruptas– Cortes e Flashes

Nielsen Cassiano Simões 5

Principais Conceitos

• Vídeo: seqüência de imagens (2D) em um determinado intervalo de tempo (t)

X

Y

T

Nielsen Cassiano Simões 6

Transições

• Uma tomada é um segmento ininterrupto de tempo, espaço e configurações gráficas de tela

• Transição interrupção de uma tomada– Abruptas

• Corte

– Graduais• Wipe

• Fades (Fade-in e Fade-out)

• Dissolve

• Morphing

Nielsen Cassiano Simões 7

Transição Abrupta - Corte

Exemplo da ocorrência de um corte.

Corte

Nielsen Cassiano Simões 8

Transições Graduais - Wipe

Exemplos de wipes:a) diagonal

b) door open

c) iris round

d) push vertical

e) split

Nielsen Cassiano Simões 9

Transições Graduais - Fades

Exemplos de Fade-in e Fade-out.

Nielsen Cassiano Simões 10

Transições Graduais - Dissolve

Exemplo da ocorrência de um dissolve.

Nielsen Cassiano Simões 11

Trabalhos de Câmera

Efeitos dentro de uma mesma tomada, não envolvendo transições entre tomadas, geralmente decorrentes de movimentos ou operações da câmera.

Nielsen Cassiano Simões 12

Trabalhos de Câmeras - Flash

Presença de alta intensidade luminosa durantepoucos quadros, geralmente decorrentes de

flash de câmeras fotográficas.

Exemplo da ocorrência de um flash.

Nielsen Cassiano Simões 13

Trabalhos Relacionados• Métricas de Dissimilaridade

• Diferença entre pixels

• Comparação de histogramas

• Testes estatísticos (2)

• Motion Vectors e transformada de wavelet

• Imagem Representativa (Ritmo visual)• Modelos estatísticos e Cadeias de Markov

• Operadores e filtros Morfológicos– Processamento de imagens

Nielsen Cassiano Simões 14

Ritmo Visual

Representação D+t do espaço 2D+t de um segmento de vídeo digital.

bzrazrfziVR yxt ,,

Nielsen Cassiano Simões 15

Ritmo Visual

Exemplo do ritmo visual de um segmento de vídeo.

Cortes

Nielsen Cassiano Simões 16

Detecção de Cortes

• Imagem representativa (ritmo visual)– Considera informações locais (regionais)

• Considerar informações globais– Redução da influência de movimentos de objetos

• Ritmo visual por histograma

• Ritmo visual por histograma acumulado

Nielsen Cassiano Simões 17

Detecção de Cortes

• Histograma Acumulado– Níveis de cinza

– Invariante à rotação e translação

• Ritmo visual por histograma acumulado– Cada coluna representa

o histograma acumulado do quadro correspondente

His

togr

ama

His

togr

ama

Acu

mul

ado

)()(0

iHjHj

ihistacm

Nielsen Cassiano Simões 18

Detecção de CortesRitmo visual por histograma.

Ritmo visual por histograma acumulado.

Cortes

Nielsen Cassiano Simões 19

Detecção de Cortes• Vetor Representativo

– Projeção vertical do ritmo visual por histograma acumulado.

Nielsen Cassiano Simões 20

Detecção de Cortes• Laplaciano

– Realce das ocorrências de cortes– Minimiza a contribuição de variações graduais

Nielsen Cassiano Simões 21

Detecção de Cortes• White Top-hat

– Realce adicional dos picos

Top-hat white utilizando elemento estruturante 1x3

Nielsen Cassiano Simões 22

Detecção de CortesOutro exemplo da aplicação do White Top-hat

Nielsen Cassiano Simões 23

Detecção de Cortes• Limiarização

– Definição de um limiar manual– Interfere na ocorrência de falsos positivos/falsos negativos– Dependente das características de cada vídeo

• Classificação / Clusterização

– Duas classes: cortes e não cortes

– K-means

– Classificação em 2 centros/classes

Nielsen Cassiano Simões 24

Nielsen Cassiano Simões 25

Detecção de Cortes• Limiarização

• K-means

Valor 128

Nielsen Cassiano Simões 26

Outro exemplo

Classificação: k-means

Nielsen Cassiano Simões 27

Nielsen Cassiano Simões 28

Vetor original:

Classificação: k-means 1 etapa

Classificação: k-means 2 etapas

Nielsen Cassiano Simões 29

Detecção de Flashes• Presença de uma alta intensidade luminosa

– Grande quantidade de pixels cuja intensidade é alta– O valor médio dos pixels é elevado (maior que 128 p/ 256 níveis de cinza)

• Saturação do histograma acumulado– O histograma acumulado do quadro atinge um valor máximo, Ts2, a partir

de uma posição (bin) elevada Ts1.

Quadro com ocorrência de um flash e seu histograma acumulado.

Nielsen Cassiano Simões 30

Detecção de FlashesVetor de saturação do histograma acumulado:

Nielsen Cassiano Simões 31

Intensidade Média

Nielsen Cassiano Simões 32

Validação dos candidatos

Nielsen Cassiano Simões 33

Detecção de Flashes• Classificação final

– K-means de duas classes para separar os principais candidatos

– Eliminação de componentes conexas maiores que 5 quadros

– Identificação dos quadros correspondentes a um flash

Resultado após a classificação final

Nielsen Cassiano Simões 34

victoria.mpeg

Nielsen Cassiano Simões 35

Detecção de Flashes - Resultado

Saturação do histograma acumulado, intensidade média e validação de candidatos.

Nielsen Cassiano Simões 36

Detecção de Flashes - Resultado

903 frames com 7 flashes 1 falso 0 não detectados

Nielsen Cassiano Simões 37

Detecção de Cortes - Resultado

Ritmo visual por histograma acumulado

Ritmo visual

Nielsen Cassiano Simões 38

Detecção de Cortes - Resultado

Aplicação do Laplaciano e do White Top-hat 1x3.

Projeção do ritmo visual por histograma acumulado

Nielsen Cassiano Simões 39

Detecção de Cortes - Resultado903 frames com 33 cortes 6 falsos 3 não detectados

Nielsen Cassiano Simões 40

Medidas de Qualidade

Nielsen Cassiano Simões 41

Nielsen Cassiano Simões 42

Resultados – Detecção de Flashes

Nielsen Cassiano Simões 43

Resultados – Detecção de Cortes

Nielsen Cassiano Simões 44

Um algoritmo simples

• Detecta-se contorno de uma das bandas RGB.

• Divide-se os quadros em janelas,. e.g., 32x32.

• Calcula-se a média de pontos de contorno em cada janela.

• Compara-se esta média quadro a quadro e janela à janela.

• O quadro k contendo mais de 50% de janelas com grande diferença, em relação às janelas do quadro k-1, é consi-derado um quadro de corte ou transição.

Nielsen Cassiano Simões 45

Videos Nd Nfalsos Nfaltantes precisão revocação erro detecção

Comercial 13 5 5 0,72 0,72 0,28

Comercial2 0 0 0 1,00 1,00 0,00

Highlander_2 25 16 5 0,61 0,83 0,53

Jamie 6 0 2 1,00 0,75 0,00

Lawnmowr 50 30 37 0,63 0,57 0,34

Lisa 5 4 2 0,56 0,71 0,57

News 4 1 0 0,80 1,00 0,25

Psycho 12 1 42 0,92 0,22 0,02

Sexinthecity 29 2 5 0,94 0,85 0,06

VideoAbstract 21 10 17 0,68 0,55 0,26

Total 165 69 115 0,78 0,72 0,23

Resultados

Nielsen Cassiano Simões 46

Conclusões

• Detecção de cortes e flashes– Nova abordagem utilizando imagem representativa

• Informações globais de quadros dos segmentos de vídeo

• Identificação de padrões em sinais 1DD

– Algoritmos simples– Baixo custo computacional

• Resultados comparáveis aos apresentados na literatura

Nielsen Cassiano Simões 47

Extensões• Redução de falsos negativos

– Particionamento regular dos quadros– Combinação total ou parcial dos Vrha

• Análises mais detalhadas– Subquantizações do histograma acumulado– Alterações na resolução espacial dos quadros

• Testes em outras seqüências de imagens– Seqüências temporais de imagens de satélites

• Identificação de novos padrões• Aplicação no domínio de compressão MPEG

Nielsen Cassiano Simões 48

FIMFIM

RealizaçãoNielsen Cassiano Simões

OrientadorNeucimar J. Leite

AgradecimentosNeucimar J. Leite

FamiliaresIC – Unicamp

CAPESSAI/PRONEX

A todos Presentes

Obrigado!