Post on 07-Apr-2016
Sincronização
• Lip Sync• Sincronização cursor-voz• Entre outras mídias
Lip Sync
• A diferença de tempo entre LDUs de vídeo e áudio relacionados é chamada de skew
• Sincronização perfeita: skew = 0 (ms)• “Analógico/real”: no dia a dia percebemos
o movimento dos lábios antes do áudio, porque a velocidade da luz é maior do a do som
Lip Sync (cont.)• Experiências
– erros são mais facilmente notados no começo e fim de pausas, e quando há mudança de tom (ênfase)
– “in sync”: -80ms (áudio depois do vídeo) < skew < +80ms (áudio antes do vídeo)
– “out of sync”: skew < -160ms e skew > +160ms• o efeito de “out of sync” é tão forte que é mais percebido do
que o próprio conteúdo– quanto maior a resolução, maior a percepção de erros de
sincronização
• Quanto menor a explicação, mais crucial (necessária) a sincronização
• Lip sync: skew discutido entre 40ms e 160ms• Cursor-áudio: 250ms e 1500ms• “in sync”:
– áudio à frente do cursor: 750ms– cursor à frente do áudio: 500ms
• “out of sync”: skew < 1000ms e skew > 1250ms• apontar para uma posição enquanto se discute outra dificulta a
compreensão
Sincronização Cursor-Áudio
Sincronização entre outras mídias
• Áudio-animação: não tão estrita quanto lip sync– No entanto.... tão forte quanto (80ms) na
correlação entre um evento barulhento e sua representação visual - ex.: batida de carros
• Áudio-áudio– fortemente acoplados– fracamente acoplados
Outras mídias (cont.)
• Estéreo– fortemente acoplado– atraso em um canal causa percepção de mudança
da localização da fonte do som– “in sync”: -11ms < skew < +11ms
• Voz-música de fundo– fracamente acoplado– skew de 500ms
Modelo de ReferênciaSincronização multimídia
• Necessário para– entender requisitos de sincronização multimídia– identificar e estruturar mecanismos de suporte a
execução da sincronização– identificar interfaces entre mecanismos de
execução– comparar soluções
Modelo de Referência (cont.)• Alguns esquemas de classificação:
– sinc. intrastream (granularidade fina) e sinc. interstream– sinc. ao vivo e sinc. sintética– controle de sincronização
• distribuído– baseado em protocolos– baseado em servidores– baseado em nós sem estrutura de servidores
• local– controle em várias camadas– servidores locais
Modelo (cont.)
Mídia: sinc. intrastream
Stream: sinc. interstream
Objeto: apresentação(incl. mídias independentes de tempo)
Especificação:autoria deaplicações multistream
Aplicação multimídia
Interfaces
Modelo (cont.)
• Camada de mídia– sincronização intrastream através do uso de
mecanismos de controle de fluxo entre os dispositivos produtor e consumidor
– feixes múltiplos: compartilhamento afeta os requisitos de tempo real
• garantias através de reserva de recursos e esquema de gerenciamento
Modelo (cont.)• Camada de Streams
– uma aplicação usando esta camada é responsável por iniciar, parar e agrupar feixes e
– pela definição de QoS em termos de parâmetros de tempo
– também responsável pela sincronização com mídias independentes de tempo
Modelo (cont.)• Camada de objetos
– opera em todos os tipos de mídia e– esconde as diferenças entre mídias discretas e mídias contínuas– abstração: apresentação completa e sincronizada– recebe uma especificação (ex.: MHEG) de sincronização como
entrada e é responsável pelo escalonamento correto da apresentação– não executa a sincronização intrastream ou interstream - usa os
serviços da camada de streams– exemplo de uma implementação da camada de objetos: MHEG
engine
Modelo (cont.)
• Camada de especificação– contém ferramentas para a criação de
especificações de sincronização:• editores de sincronização• editores de documentos multimídia• sistemas de autoria
Camada de especificação (cont.)• Métodos de especificação - categorias:
– baseados em intervalos: especificação de relações temporais entre os intervalos de tempo das apresentações de objetos de mídia
– baseados em eixos: relaciona eventos a eixos compartilhados pelos objetos da apresentação
– baseados em fluxo de controle: em pontos de sincronização identificados, o fluxo da apresentação é sincronizado
– baseados em eventos: eventos disparam ações de apresentação
Sincronização em um Ambiente Distribuído
• Maior complexidade devido a– armazenamento distribuído de informações de
sincronização– localização diferente dos objetos envolvidos na
apresentação– comunicação entre os sites de armazenamento e
apresentação introduz atrasos adicionais e jitter
Sincronização distribuída (cont.)
• Transporte da especificação de sincronização– entrega completa antes do início da apresentação
• mais usado em sincronização sintética• desvantagem: atraso
– uso de um canal de sincronização adicional• preferível no caso de sincronização ao vivo• não causa atrasos adicionais nas mídias envolvidas• difícil de gerenciar no caso de múltiplas fontes
Fonte Destinosincronização
vídeoáudio
Sincronização distribuída (cont.)• Transporte da especificação de sincronização
– feixes de dados multiplexados• único canal de comunicação• dificuldade: seleção de QoS apropriados aos requisitos
das mídias envolvidas• difícil de gerenciar no caso de múltiplas fontes
Fonte Destinovídeoáudio
sincronização
Sincronização distribuída (cont.)• Localização de operações de sincronização
– no destino
– na fonte
Sincronização distribuída (cont.)• Sincronização multi-passos
– sincronização durante a captura (ex.: digitalização de quadros de vídeo)
– sincronização da recuperação (ex.: acesso sincronizado a quadros de um vídeo armazenado)
– sincronização durante a entrega de LDUs à rede– sincronização durante o transporte (ex.: por protocolos isócronos)– sincronização no destino (entrega sincronizada aos dispositivos de
saída)– sincronização no dispositivo de saída
Sincronização distribuída (cont.)
• Decisões em um ambiente distribuído– seleção do tipo de transporte para a
especificação da sincronização– localização das operações de sincronização– sincronização de relógios– planejamento dos passos no processo de
sincronização– operações nos objetos (ex.: descompressão)
Modelo: ResumoCamada Abstração da
interfaceTarefas
Especificação Apenas asferramentastêminterfaces
Edição Formatação QoS de
usuário ->QoS dacamada deobjeto
Objeto Especificação desincronização
Objetosescondem tiposde mídia
QoS da mídia(skew e jitter)
Planejaescalonamentodeapresentação
Inicia ações depreparação daapresentacão
Iniciaapresentaçãode objetosindependentesde tempo
Stream Feixes e grupos defeixes
Garantias para sinc.Intrastream
Garantias para sinc.Interstream em umgrupo
Reserva derecurso eescalonamentodoprocessamento deLDUs
Mídia Acessoindependente dedispositivo a LDUs
Garantias para oprocessamento deLDU
Acesso a arquivoe dispositivo