Uso de Reconhecimento Automático de Voz em Português do Brasil na geração de Closed Caption

28
USO DE RECONHECIMENTO AUTOMÁTICO DE VOZ EM PORTUGUÊS DO BRASIL NA GERAÇÃO DE CLOSED CAPTION Luiz Fausto (Rede Globo) Edilberto Strauss (UFRJ) Flávio Mello (UFRJ)

description

Apresentação realizada no Congresso de Engenharia de Televisão (SET), São Paulo, 2012.

Transcript of Uso de Reconhecimento Automático de Voz em Português do Brasil na geração de Closed Caption

  • USO DE RECONHECIMENTO AUTOMTICO DE VOZ EM PORTUGUS DO BRASIL NA

    GERAO DE CLOSED CAPTION!

    Luiz%Fausto%(Rede$Globo)%Edilberto%Strauss%(UFRJ)%

    Flvio%Mello%(UFRJ)%

  • Agenda! Closed$Cap0on$e%Acessibilidade% Legislao% Esteno=pia% Reconhecimento%Autom=co%de%Voz% Uso%ao%Redor%do%Mundo% Situao%Brasileira% Consideraes%Finais%

  • CLOSED'CAPTION!E!ACESSIBILIDADE!

  • Decientes%audi=vos:%quase%10!milhes!

  • Outras!Situaes!de!Interesse! Quando%o%som%da%TV%no!pode!ser!u?lizado:% Ambientes%Barulhentos%(ex:%academia,%restaurante)%

    Hospitais% Para%assis=r%TV%%noite%sem%acordar%ningum%

    Para%aprendizagem!da!lngua!

  • LEGISLAO!

  • Norma!Complementar!N!001/2006! Uso%obrigatrio%de%Legenda%Oculta%(Closed$Cap0on)%pelas%

    emissoras,%conforme%cronograma%estabelecido:%

    Junho%/%2012% 12%horas%/%dia%Abril%/%2014% 16%horas%/%dia%Abril%/%2015% 20%horas%/%dia%

    Junho%/%2017% 24%horas%/%dia%

  • NBR!15290:2005!!

    Diretrizes!para!a!legenda!oculta%Acertos:!

    no%sistema%CC%ao%vivo,%o%texto%das%legendas%deve%ter%no%mnimo%98%%de%acerto;%

    no%sistema%CC%prdgravada,%o%texto%das%legendas%deve%ter%100%%de%acerto.%

    Sincronia:! no%sistema%CC%ao%vivo%pode%ser%tolerado%um%atraso%mximo%de%quatro%segundos;%

    no%sistema%CC%prdgravada%a%legenda%deve%acompanhar%o%tempo%exato%do%quadro%ou%cena.%%

    %!

  • Erros!de!Closed'Cap4on'

  • Fala!Espontnea!ao!Vivo!

    ????? ?????

    ????? ?????

  • ESTENOTIPIA!

  • Esteno?pia!

    Digitao!em!tempo!real!u=lizando%smbolos%fon=cos%em%teclado%especial%(esten=po)%

    Os%smbolos%so%conver=dos%em%palavras%de%acordo%com%um%dicionrio!

    Moddedobra%escassa%e%cara,%%treinamento!demorado!

    Erros:%digitao,%palavras%fora%do%dicionrio%

  • RECONHECIMENTO!AUTOMTICO!DE!VOZ!

  • Erros:%Limitaes%dos%algoritmos,%escassez%de%bases%de%dados%para%treinamento,%diferenas%entre%dados%de%treinamento%e%aplicao%

  • USO!AO!REDOR!DO!MUNDO!

  • RAV!para!Closed'Cap4on' Relocuo:%

    Sistema%adaptado%a%uma%voz,%sem%precisar%considerar%a%variabilidade%fon=ca%entre%pessoas%

    Melhor%relao%sinal/rudo%Correo%da%disuncia%oral%

    Custo!operacional!mais!baixo%que%esteno=pia%

  • Pas! Sistema!de!RAV! Modelo!Acs?co!Dicionrio!/!Modelo!de!Linguagem!

    Correo!Manual! Acurcia! Latncia!

    NHK%Adaptado%para%apresentador%ou%

    relocutor.%d%

    Sim.%Tempo%real%com%at%4%operadores.%

    95%%(sem%correo)%a%100%%(com%4%operadores%de%

    correo)%

    2s%(sem%correo%ou%relocuo)%

    AUDIMUS.media% Independente%de%locutor.%Atualizao%diria%

    autom=ca.% d% 85%% d%

    IBM%ViaVoice% Adaptado%para%relocutor.%Segmentado%por%

    assunto.% d% 95%a%98%% d%

    CRIM%

    Adaptado%para%relocutor.%Atualizao%

    semidautom=ca.%

    Segmentado%por%assunto.%

    Atualizao%semidautom=ca.%

    Sim.%Tempo%real%e%psdproduo.%

    89%a%93%%(sem%correo%em%tempo%real)%

    2s%(sistema%de%RAV)%+%1s%

    (relocuo)%+%correo%

    Univ.%Maribor%

    Independente%de%locutor.%Treinado%

    com%udio%parcialmente%transcrito.%

    d% d% 82%% d%

  • SITUAO!BRASILEIRA!

  • IBM!ViaVoice! Sistema%no!o?mizado!para%a%

    aplicao%na%gerao%de%legenda%oculta%

    Produto%descon?nuado%h%quase%10!anos,%sem%subs=tuto%comercial%para%o%Portugus!do!Brasil!

    Ausncia!de!suporte!corre=vo%e%evolu=vo%

    Potenciais%problemas!para!manter!o!sistema!funcionando%a%longo%prazo%

    A%quan?dade%de%licenas%existentes%%limitada%

  • Evoluo!

    Houveram%avanos%signica=vos%na%tecnologia!de!reconhecimento!de!voz!nos%l=mos%10%anos%(embora%no%no%Brasil)%

    Podemos%dispor%de%mais!capacidade!computacional!do%que%normalmente%se%supe%disponvel%para%os%aplica=vos%de%reconhecimento%de%voz%local,%viabilizando%a%u=lizao%de%algoritmos!mais!complexos%

  • Soaware!Livre!CMUSphinx*

    F a l a B r a s i l!

    iATROS

    SRILM

  • study$

    estudo%estuda%

    estudamos%estudais%estudam%

    dear$

    querido%querida%queridos%queridas%

    A$pre7y$woman$is$walking$down$the$street.$

    Uma%linda%mulher%est%andando%pela%rua.%Uma%linda%mulher%est%pela%rua%andando.%Uma%linda%mulher%pela%rua%andando%est.%Uma%linda%mulher%pela%rua%est%andando.%Uma%linda%mulher%andando%est%pela%rua.%Uma%linda%mulher%andando%pela%rua%est.%Uma%mulher%linda%est%andando%pela%rua.%Uma%mulher%linda%est%pela%rua%andando.%Uma%mulher%linda%pela%rua%andando%est.%Uma%mulher%linda%pela%rua%est%andando.%Uma%mulher%linda%andando%est%pela%rua.%Uma%mulher%linda%andando%pela%rua%est.%Andando%pela%rua%est%uma%linda%mulher.%Andando%pela%rua%est%uma%mulher%linda.%Andando%pela%rua%uma%linda%mulher%est.%Andando%pela%rua%uma%mulher%linda%est.%Andando%est%pela%rua%uma%linda%mulher.%Andando%est%pela%rua%uma%mulher%linda.%Andando%est%uma%linda%mulher%pela%rua.%Andando%est%uma%mulher%linda%pela%rua.%Andando%uma%linda%mulher%pela%rua%est.%Andando%uma%linda%mulher%est%pela%rua.%Andando%uma%mulher%linda%pela%rua%est.%Andando%uma%mulher%linda%est%pela%rua.%Est%andando%pela%rua%uma%linda%mulher.%Est%andando%pela%rua%uma%mulher%linda.%Est%andando%uma%linda%mulher%pela%rua.%Est%andando%uma%mulher%linda%pela%rua.%Est%pela%rua%andando%uma%linda%mulher.%Est%pela%rua%andando%uma%mulher%linda.%Est%pela%rua%uma%linda%mulher%andando.%Est%pela%rua%uma%mulher%linda%andando.%Est%uma%linda%mulher%andando%pela%rua.%Est%uma%linda%mulher%pela%rua%andando.%Est%uma%mulher%linda%andando%pela%rua.%Est%uma%mulher%linda%pela%rua%andando.%Pela%rua%andando%est%uma%linda%mulher.%Pela%rua%andando%est%uma%mulher%linda.%Pela%rua%andando%uma%linda%mulher%est.%Pela%rua%andando%uma%mulher%linda%est.%Pela%rua%est%andando%uma%linda%mulher.%Pela%rua%est%andando%uma%mulher%linda.%Pela%rua%est%uma%linda%mulher%andando.%Pela%rua%est%uma%mulher%linda%andando.%

    A!lngua!portuguesa,!tendo!uma!gram?ca!mais!livre!que!a!lngua!

    inglesa,!produz!modelos!de!linguagem!mais!complexos.!

    Como!existem!mais!exes!de!

    palavras,!requerfse!

    tambm!um!dicionrio!bem!maior!para!

    uma!aplicao!equivalente.!

  • Acervo% Para%adaptar%um%sistema%de%reconhecimento%de%voz%em%outra%lngua%%

    necessrio%dispor%de%um%vasto!acervo!de!udio!com!transcrio!textual%para%treinar%o%sistema.%

    Para%o%Portugus%do%Brasil,%%necessrio%um%acervo%substancialmente%maior%do%que%seria%para%o%ingls,%para%obterdse%a%mesma%acurcia.%Entretanto,%as%bases%de%dados%disponveis%publicamente%para%o%Portugus%do%Brasil%so%bem%menores%que%as%disponveis%para%Ingls.%

    O%acervo%das%emissoras%pode%contribuir%para%o%desenvolvimento%das%bases%de%dados%necessrias.%

  • CONSIDERAES!FINAIS!

  • Opes!para!contornar!a!falta!de!sistemas!de!RAV!para!gerao!de!CC!em!Portugus!do!Brasil:! Levantar%as%opes%so6ware'livre!

    disponveis% Examinar%os%algoritmos%u=lizados%e%os%

    parmetros%de%congurao%disponveis,%quanto%%acurcia%e%ao%custo!computacional!

    Avaliar!bases!de!dados!pblicas%para%treinamento%dos%sistemas%

    Propor!formas!de!aproveitar!o!acervo!das!emissoras%no%desenvolvimento%das%bases%de%dados%

    Vericar!o?mizaes!implementadas%em%sistemas%de%reconhecimento%de%voz%nessa%aplicao%em%emissoras%ao!redor!do!mundo!

  • PERGUNTAS?!

  • OBRIGADO!!