1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep....
Transcript of 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep....
![Page 1: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/1.jpg)
1
Aplicações e investigação de base – Desafios multidisciplinares
António TeixeiraDep. Electrónica Telec. Informática, Universidade de
AveiroIEETA
& SIG - IL
![Page 2: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/2.jpg)
2
Nossa visão Centrada nos
Humanos (antropomórfica) Dos Humanos
Dados, teorias Modelos
Para os Humanos sistemas
Interdisciplinar Para Português
essencialmente
Humanos
Síntese de Voz
Dados
Teorias
Patologias
Sistemas(robôs, computadores
Inspira
Medições
usam...
ajudam
![Page 3: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/3.jpg)
3
I - Aplicações
Interfaces Humano-Computador
Aplicações na área da Saúde
![Page 4: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/4.jpg)
4
Desafio
É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral
Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal
Incluindo Robótica
![Page 5: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/5.jpg)
5
“Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).”
Nass & Brave, in Wired for Speech
![Page 6: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/6.jpg)
6
Porquê Fala/Voz ? A nossa forma natural de comunicar
Interesse crescente em estender o seu uso a interacção com máquinas
O HAL era fluente … em Inglês !!! Mãos e visão livre
Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual
Não é necessário aprender a “linguagem” de interacção
Permite acesso remoto através do telefone
![Page 7: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/7.jpg)
7
Robôs de Serviço – Robôs Pessoais
A próxima geração precisa de ser: Animada
Respondendo a alterações no ambiente Acessível
Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces
usando fala Adaptável
A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente,
utilizadores e tarefas
![Page 8: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/8.jpg)
8
O robô Carl Objectivo:
Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos
1.1 m de altura ~10 anos Pioneer 2-DX
Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ...
Infelizmente fala Inglês !
![Page 9: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/9.jpg)
9
Outras aplicações A Fala deve desempenhar um papel principal
nas “Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos:
Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral
A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais
![Page 10: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/10.jpg)
10
Ciências da Fala e da Audição
Aplicações em Audiologia
Terapia da Fala
![Page 11: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/11.jpg)
11
Desafio(s)
Análise instrumental e quantitativa da voz Criação de novos instrumentos de
intervenção e avaliação Novas tecnologias para sistemas
aumentativos Como Geração de Linguagem Natural para
interface com sistemas de síntese Inclusão na formação profissionais desta área
de conhecimentos sobre Processamento de Fala
![Page 12: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/12.jpg)
12
Exemplo: SSW para Português
Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto
Martins, MCFA, 2007
![Page 13: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/13.jpg)
13
II - Estudos sobre o Português
Fonética ExperimentalUso intensivo de tecnologias
Muito ainda para investigar …
![Page 14: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/14.jpg)
14
Desafio Ter informação detalhada sobre a produção do
Português Usar medição o mais directa possível Contemplar os aspectos temporais e de
sincronização Muito pouco contemplados!
Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas”
fenda palatina, problemas auditivos, doenças neurológicas …
![Page 15: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/15.jpg)
15
Exemplo:Ressonância Magnética
[i] [e] [E]
[i] [e] [E]
![Page 16: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/16.jpg)
16
Exemplo 2:Coarticulação nas Laterais
Lateral [l] Lateral [L]
![Page 17: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/17.jpg)
17
Outro Desafio
Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)
![Page 18: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/18.jpg)
18
Texto -> Gestos -> Voz
Proc. Linguístico(acento, sílaba ...
Modelo Gestual
Sintetizador(articulatório)
“Task dynamics”
Base dadosGestos
Info sincronização
mínimo
(m-i1_) (n-i0_)(m-u_)
Movimento articuladores
Pauta gestual
![Page 19: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/19.jpg)
19
Exemplo de Síntese (com
SAPWindows)
![Page 20: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/20.jpg)
20
Para além da Linguística
Emoção
Identidade
![Page 21: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/21.jpg)
21
Desafio
Voz transmite informação linguística mas também emoção, identidade, dialecto …
Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador
![Page 22: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/22.jpg)
22
Primeiro problema: falta de dados
Não existência de um corpus de voz emocional disponível para o Português
Dificuldade de obter amostras de voz emocional espontânea
![Page 23: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/23.jpg)
23
Resultados recentes para PE Raiva diferindo da Neutra no
4 parâmetros analisados Desespero também diferindo
nos 4 parâmetros, mas menores diferenças
Tristeza essencialmente diferente nas irregularidades
Medo similar a desespero e com HNR próximo da Neutra
Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0
Angerf0mean
jit
shim
HNR
Dispairf0mean
jit
shim
HNR
Sadnessf0mean
jit
shim
HNR
Fear
f0mean
jit
shim
HNR
Neutral
f0mean
jit
shim
HNR
Joy
f0mean
jit
shim
HNR
Shimmer
HNR
NeutraMedo
Raiva
Jitter
F0 média
Desesp Tristeza
Alegria
![Page 24: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/24.jpg)
24
III - A família da nossa língua
ISCA Special Interest Group on the Iberian Languages SIG-IL
![Page 25: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/25.jpg)
25
Objectivos SIG-IL Fórum de discussão de investigação e aplicações
na área das tecnologias da fala; Promoção a adequada referência pela comunidade
internacional a trabalhos publicados pelos seus membros;
Organizar/apoiar conferências, escolas e workshops;
Divulgar publicações relacionadas com as línguas Ibéricas
Promover a colaboração entre a indústria e academia
Promover o uso de tecnologias da fala na edução
![Page 26: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/26.jpg)
26
SIG-IL ISCA Special Interest Group on the Iberian Languages
Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber,
Plínio Barbosa,
Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro
Klautau (BR), Rubén San-Segundo (SP)
Possibilidade de ter massa critica ?
![Page 27: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/27.jpg)
27
Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina
Alemanha EUA Japão Países Baixos Reino Unido
![Page 28: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/28.jpg)
28
Ideias e próximo evento
Ter repositório de teses, artigos Ter revista com impacto
Parabéns para a recém lançada linguaMatica
Ter projectos conjuntos Um pouco de publicidade
![Page 29: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/29.jpg)
29
Principais desafios
Prefiro usar desafios aos habituais “Problemas”
![Page 30: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/30.jpg)
30
Desafios Arranjar formas de superar a não continuidade
de financiamento
Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português
Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos:
Dificuldades de comparar resultados por inexistência de conjuntos de teste;
Publicações ISI
![Page 31: 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA &](https://reader035.fdocumentos.com/reader035/viewer/2022070310/552fc0fa497959413d8b8824/html5/thumbnails/31.jpg)
31
Obrigado pela atenção!