Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Ferramenta para Avaliação Subjetiva...

Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo

Márcio Gonçalves

METI

Orientador: Prof. Tomás Brandão, ISCTE-IUL

Co-Orientadora: Prof.ª Maria Paula Queluz, IST

Apresentação da Dissertação de Mestrado

Academia ISCTE – Arquitectura de Computadores

Outline

Motivação e Objetivos

Implementação da Ferramenta Tecnologia Interface gráfica Características Contribuições adicionais

Demonstração

Testes de Avaliação Subjetiva

Síntese e Trabalho Futuro

2Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo

1. Motivação e Objetivos


Qualidade de vídeo


Definida como uma medida da degradação visual, percepcionada pelos utilizadores, depois do vídeo ser sujeito a perdas devido a codificação e/ou transmissão

Perdas de transmissão Efeito de bloco


Avaliação da qualidade de vídeo

Avaliação Subjetiva Realização de testes em que os observadores humanos avaliam por si a qualidade de sequências de vídeo

Avaliação Objetiva Avaliação automática de uma sequência de vídeo sem a intervenção direta de humanos (através de algoritmos)



Testes de avaliação subjetiva

Software Configuração de testes subjetivos Efetuar testes de avaliação subjetiva Tratamento de resultados

Bases de Dados Armazenamento de sequências de vídeo Disponibilização dos resultados (MOS, DMOS)



Limitações de ferramentas existentes

Variedade de métodos normalizados para avaliação subjetiva de vídeo

Falta de suporte para auxílio à preparação dos testes processamento estatístico dos resultados


Existe um número reduzido de ferramentas disponíveis para realização de testes de avaliação subjetiva


Objetivos

Construção de uma ferramenta capaz de efetuar avaliações subjetivas da qualidade de vídeo

Visualização de vídeos com resoluções HD (1920x1080) Tratamento estatístico de dados e extração de valores de MOS

(Mean Opinion Scores) Inclua novas metodologias, não normalizadas, de avaliação

subjetiva e deteção de outliers

Realização de testes de avaliação subjectiva usando a ferramenta desenvolvida

Disponibilização dos resultados obtidos à comunidade científica


2. Implementação da Ferramenta


Tecnologia de implementação

Desenvolvidos 3 protótipos C++

OpenCV – Open Source Computer Vision Java

JMF – Java Media Framework VLCJ – VideoLan Client Java

Razões para a escolha: Java – o facto de ser portável JMF – a biblioteca VLCJ não permitia a implementação

de algumas funcionalidades necessárias

JAVA com JMF



Interface gráfica

JAVA com JMF


GUI Ficheiros de texto

Sequências de Vídeo


Características (1)

Métodos Single Stimulus (SS) Absolute Category Rating with Hidden

Reference (ACR-HR) Artifact Visibility Continuous Assessment (AVCA)

Métodos Double Stimulus (DS) Double Stimulus Impairment Scale (DSIS) Stimulus Comparison Adjectival

Categorical Judgement (SCACJ)

5 Excelente

4 Boa

3 Razoável

2 Pobre

1 Má

5 Imperceptível4 Perceptível3 Ligeiramente Incómodo2 Incómodo1 Muito Incómodo

-3 Muito Pior-2 Pior-1 Ligeiramente Pior0 Igual

1 Ligeiramente Melhor

2 Melhor3 Muito Melhor



Características (2)

Configuração de testes subjetivos Famílias de vídeos Ordem de visualização pseudo-aleatória Drag and drop

Métodos de deteção de outliers ITU Method Correlation Analysis

Apresentação de resultados Tabelas, gráficos, ficheiros CSV

Pontuação atribuída pelo

participante j à condição de

teste i


µ (𝑖 )= 1𝑁 ∑

𝑗=1

𝑁

𝜑 (𝑖 , 𝑗 )


Contribuições adicionais (1)

Artifact Visibility Continuous Assessment (AVCA) Sequência de vídeo longa, contendo artefactos

isolados introduzidos artificialmente Pretende-se avaliar a perceção (ou não)

desses artefactos por parte de um observador O observador assinala os instantes em que

perceciona um artefacto Inexistência de escalas de avaliação




Artifact Visibility Continuous Assessment (AVCA)


Cálculo de percentagens:

Verdadeiros positivos

Falsos positivos

Falsos negativos

Tempo de resposta do utilizador (1,5 seg)



Correlation AnalysisVideo Sequence v01 v02 v03 v04 v05 (…) RawMOS MOS Video Ref DMOSbig_ships_480p30_2mbs 1 1 2 1 1 1.47 1.46 NO 3.23old_town_480p25_2mbs 2 2 2 2 2 1.67 1.62 NO 3.3soccer_480p30_3mbs 1 1 2 1 2 1.4 1.38 NO 3.16station_480p25_2mbs 3 2 1 2 2 1.67 1.62 NO 3.07park_joy_480p25_5mbs 2 3 3 2 3 2.4 2.31 NO 2.61snow_mnt_480p30_3mbs 3 4 2 2 3 2.6 2.46 NO 2.08sunflower_480p25_1mbs 5 5 5 5 5 4.93 4.92 YES 0.0raven_480p30_2mbs 5 5 5 5 5 4.67 4.62 NO 0.15old_town_480p25_2mbs 4 4 5 4 4 3.8 3.77 NO 1.15station_480p25_2mbs 2 2 1 2 2 1.87 1.69 NO 3.0soccer_480p30_3mbs 1 2 2 2 2 1.87 1.77 NO 2.77big_ships_480p30_2mbs 2 2 3 2 3 2.27 2.23 NO 2.46park_joy_480p25_5mbs 1 2 2 1 2 1.47 1.38 NO 3.54sunflower_480p25_1mbs 2 2 2 3 3 2.2 2.15 NO 2.77old_town_480p25_2mbs 5 5 5 5 5 4.93 4.92 YES 0.0snow_mnt_480p30_3mbs 2 1 1 1 1 1.27 1.23 NO 3.31raven_480p30_2mbs 4 4 5 4 5 3.73 3.69 NO 1.08big_ships_480p30_2mbs 2 3 2 3 3 2.47 2.38 NO 2.31Correlation coefficient: 0.93 0.89 0.95 0.96 0.92


𝜌 ( 𝑗 )=∑𝑖=1

𝑁

(𝑥 (𝑖 , 𝑗 )−𝜇𝑥( 𝑗 ))× ( 𝑦 (𝑖 )−𝜇𝑦 )

❑√∑𝑖=1

𝑁

(𝑥 (𝑖 , 𝑗 )−𝜇𝑥( 𝑗))2×❑√∑𝑖=1

𝑁

(𝑦 (𝑖 )−𝜇𝑦 )2

3. Demonstração

4. Testes de Avaliação Subjetiva


Condições dos testes

Metodologia ACR-HR

15 observadores Testes de acuidade visual e despiste

de daltonismo Procedimento de calibração dos

observadores

Sessão de 15min

Sequências de vídeo: Resolução SDTV (720x480) 10 segundos de duração Codificadas em H.264 PLR entre 0.1% e 8% -> 56 vídeos Raw (YUV) / AVI.



Resultados

Método de avaliação subjetiva ACR-HR, com deteção de outliers utilizando ITU Method


5. Síntese e Trabalho Futuro


Síntese

Desenvolvida uma ferramenta para realizar avaliação subjetiva da qualidade de vídeo GUI intuitiva e fácil de utilizar 4 métodos de avaliação subjetiva

ACR-HR; DSIS; SCACJ; AVCA; 2 métodos de deteção automática de outliers

Método ITU; Método da correlação 3 modos de apresentação de resultados

Tabelas; Gráficos; Ficheiros CSV

Utilização experimental da ferramenta



Trabalho futuro

Disponibilizar os resultados obtidos à comunidade científica

Implementação de métodos para avaliação subjetiva de imagens fixas

Implementação de mais métodos de avaliação subjetiva de vídeo

Fazer os testes de acuidade visual e despiste de daltonismo a partir da própria ferramenta


Orientador: Prof. Tomás Brandão, ISCTE-IUL

Co-Orientadora: Prof.ª Maria Paula Queluz, IST

Mestrado em Engenharia de Telecomunicações e Informática

Obrigado!

Ferramenta para Avaliação Subjectiva da Qualidade de Vídeo


Anexos



Testes de avaliação subjetiva

Exemplo da estrutura de uma sessão de teste


Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Ferramenta para Avaliação Subjetiva...

Documents

Transcript of Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Ferramenta para Avaliação Subjetiva...