Download - VITHEA - Sistema online para tratamento da nomeação oral ... · Introdução* SistemaVITHEA* Amostra* Metodologia Conclusão Bibliograﬁa* 0 2 4 6 8 10* 1 2 3 4 5 6 7 8 9 4 5 Escolaridade

Transcript

Introdução

Sistema VITHEA

Amostra Metodologia

Conclusão

Bibliografia

1 2 3 4 5 6 7 8

9 9 9 9

4 5

Escolaridade

1 2 3 4 5 6 7 8

65 57

62 60 52

Idade

Afasia é uma perturbação adquirida da linguagem após uma lesão cerebral, sendo que a sua etiologia mais comum é o acidente vascular cerebral. Calcula-‐se que a incidência de AVCs em Portugal ronde as 15.000 pessoas/ano e em cerca de 1/3 delas surjam alterações de linguagem (Pedersen et al., 1995). A afasia caracteriza-‐se por dificuldades de expressão oral, de compreensão auditiva, de leitura e de escrita. A manifestação mais persistente é a dificuldade de evocar o nome de um determinado objecto. A terapia da fala tem demonstrado ser eficaz no tratamento da afasia (Poeck et al., 1989; Basso, 1992; Mazzoni, 1995) sendo confirmada em estudos de imagem funcional (Small et al., 1998; Musso et al., 1999; Léger et al., 2002; Peck et al., 2004), salientando-‐se a importância da intensividade do tratamento (Bhogal et al., 2003). Desde a década de 80 que se tem vindo a implementar a introdução de programas informáticos para reabilitação da afasia (Seron et al., 1980; Colby et al.,, 1981; Katz e Nagy, 1992; Petheram, 1996; Deloche et al., 2003). Apesar da perturbação do discurso ser uma constante neste tipo de doentes, as dificuldades técnicas de reconhecimento de fala têm impedido que os programas terapêuticos informáticos tenham enveredado para esse fim (Fonseca et al., 1997). Apresenta-‐se um programa de reabilitação da linguagem (VITHEA), inovador a nível internacional, vocacionado unicamente para as dificuldades anómicas de expressão oral de doentes afásicos (https://vithea.l2f.inesc-‐id.pt/wiki/index.php/Main_Page). Este programa recorre a técnicas de reconhecimento automático de fala em língua portuguesa com características ímpares na capacidade de reconhecimento de fala patológica.

• Basso, A. (1992). Prognostic factors in aphasia. Aphasiology, 6 (4), 337-‐348. • Bhogal, S.K., Teasell, R., & Speechley, M. (2003). Intensity of aphasia therapy, impact on recovery. Stroke, 34 (4), 98-‐993. • Colby, K.M.; Christinaz, D.; parkinson, R.C.; Graham, S. & Karpf, C. (1981). A word finding computer program with a dynamic lexical-‐semantic memory for patients with anomia using an intelligent speech prosthesis. Brain and Language, 14, 272-‐281. • Deloche G, Dordain M and Kremin H. (1993). Rehabilitation of confrontation naming in aphasia. Relations between oral and written modalities. Aphasiology, 7, 2, 201-‐216. •  Fonseca, J; Leal, G.; Farrajota, L.; Carneiro, J. & Castro Caldas, A. (1997). “Lisling – Multimedia program for aphasics training”, in Proc. AAATE’97, Chalkidike, Greece. • Katz, R.C. & Nagy, V.T. (1992). Computerised hierarchical reading treatment in aphasia. Aphasiology, 6 (2), 165-‐177. • Léger, A.; Démonet, J-‐F.; Ruff, S.; Aithamon, B.; Touyeras, B.; Puel, M.; Boulanouar, K. & Cardebat, D. (2002). Neural substrates of spoken language rehabilitation in an aphasic patient: An fMRI study. NeuroImage, 17, 174-‐183. • Marujo, L.; Lopes, J.; Mamede, N.; Trancoso, I.; Pino, J.; Eskenazi, M.; Baptista, J. & Viana, C. (2009). Porting REAP to European Portuguese. In Proc. ISCA Workshop on Speech and Language Technology in Education (SLaTE). • Meinedo, H.; Viveiros, M. & Neto, J.P. (2008). Evaluation of a live broadcast news subtitling system for Portuguese. In INTERSPEECH -‐2008, pag. 508-‐511. • Musso, M.; Weiller, C. Kiebel, S.; Müller, S.P.; Bülau, P. & Rijntjes, M. (1999). Training-‐induced brain plasticity in aphasia. Brain, 122, 1781-‐1790. • Mazzoni, M.; Vista, M.; Pardosi, L.;Ávila, L.; Bianchi, F. & Moretti, P. (1995). Spontaneous evolution of aphasia after ischaemic stroke. Aphasiology,, 6 (4), 387-‐396. • Peck, K.K.; Moore, A.B.; Crosson, B.A. Gaiefsky, M.; Gopinath, K.S.; White, K. & Briggs, R.W. (2004). Functional Magnetic Resonance imaging before and after aphasia therapy: shifts in hemodynamic time to peak during an overt language task. Stroke, 554-‐559. • Pedersen, P.M.; Jorgensen, H.S.; Nakayama, H.; Raaschou, H.O. & Olsen, T.S. (1995). Aphasia in acute stroke: Incidence, determinants and recovery. Annals of Neurology, 38, 659-‐666. • Seron, X.; Deloche, G.; Moulard, G. & Rouselle, M. (1980). A computer-‐based therapy for the treatment of aphasic subjects with writing disorders. JSHD, 45, 45-‐48. • Small, S.L.; Flores, D.K. & Noll, D.C. (1998). Different neural circuits subserve reading before and after therapy for acquired dyslexia. Brain and Language, 62, 298-‐308.

Na área das tecnologias da fala e linguagem, uma das disciplinas que tem tido maior incremento é a do reconhecimento automático de fala. Trata-‐se do processo de converter em texto o que é dito oralmente pelos falantes. O reconhecimento de fala pode ir desde a capacidade de compreender palavras isoladas ou números (resposta interactiva de voz) em que a comunicação ocorre entre humanos e computadores, até ao reconhecimento de fala contínua, tais como os sistemas de ditado. As aplicações de reconhecimento automático de fala têm tido diversas aplicações, tais como: sistemas de ditado aplicados à telemática – sistemas de navegação de veículos – interacção multimodal, computação por mãos-‐livres, robótica, transcrição de notícias televisivas (Meinedo, 2008), avaliação da pronúncia em aplicações de aprendizagem de línguas (Marujo, 2009), tradução automática, domótica, etc. Os humanos quando escutam alguém falar, usam para além do que ouvem, o conhecimento que têm do falante e o conhecimento que têm do assunto. As palavras não têm uma sequência arbitrária, existe uma estrutura gramatical que as pessoas usam para preverem o que se segue. Os sistemas de reconhecimento automático, usam unicamente o sinal de fala, apesar de utilizarem no modelo uma estrutura gramatical e informação estatística, como forma de melhorar a predicção, mas é impossível inserir no modelo o conhecimento do mundo, o conhecimento do falante e a situação contextual.

O sistema VITHEA é composto por um Módulo de Administração e um Módulo de Utilizador. O Módulo de Administração, destina-‐se aos terapeutas da fala e tem como objectivo permitir a modificação dos exercícios propostos. O Módulo de Utilizador, monitoriza a frequência de uso por parte dos doentes, dos exercícios utilizados e dos resultados alcançados. Este módulo foi implementado através da integração de uma aplicação Flash que permite a utilização de qualquer meio multimedia.

Módulo Administração

Sub-‐Módulo Criação de Exercícios Sub-‐Módulo Gestão de Doentes

Módulo Utilizador

Tipos de Exercícios •  Avaliação •  Nomeação de Objectos -‐ 30 Fotos de Objectos •  Nomeação de verbos -‐ 30 Fotos de Acções •  Geração de Verbos -‐ 30 Fotos de Objectos

•  Nomeação de imagens de objectos •  Nomeação de verbos com videos •  Nomeação de verbos com imagens de objectos •  Responsive naming •  Completar provérbios •  Associação parte-‐todo (A que pertence?) •  Que nome se dá •  Designação genérica (o que têm em comum?) •  Nomeação pela função (O que usa para)

Após a escolha do nome do doente, o sistema VITHEA propõe a escolha de uma série de exercícios semânticos ou de um Teste de Avaliação. O Terapeuta Virtual sugere que o doente responda oralmente ao estímulo apresentado. A resposta é gravada, codificada e enviada via network para o servidor onde vai ser processada. Se seguida é enviado um feedback positivo ou negativo ao doente.

8 sujeitos (4 homens e 4 mulheres) com alterações adquiridas da linguagem (6 com afasia e 2 com apraxia do discurso).

A média da idade é de 58,3 anos (52 -‐ 74 anos) e da escolaridade de 7,3 anos ((4 – 9 anos).

Resultados

Pediu-‐se aos 8 doentes que nomeassem oralmente as 103 imagens da versão portuguesa do teste de nomeação oral de Snodgrass e Vanderwart. As respostas foram gravadas num microfone vulgar e gravadas digitalmente num computador portátil. As imagens surgiam no écran com um intervalo de 15 segundos e com uma ordem constante. Foi feita a transcrição e segmentação das produções orais, totalizando 996 segmentos, com uma duração total do corpus de 1 hora e 20 minutos. Calculou-‐se, por sujeito, o número de detecções correctas feitas pelo sistema e através da avaliação humana. Utilizou-‐se como critério de acerto a produção correcta da palavra estímulo, mesmo que fossem feitas correcções, repetições silêncios prévios ou posteriores ou a produção de sinónimos ou diminuitivos. Este é um critério terapêutico e não de avaliação. O total de possibilidades de resposta passou a ser de 252 palavras por doente.

O score de nomeação na avaliação automática e humana foi obtido através do cálculo de respostas positivas divididas pelo número total de itens do teste.

A correlação entre a avaliação humana e automática é de 0,9043. Trata-‐se de uma correlação positiva e muito alta.

Analisou-‐se, individualmente, o número de falsas detecções e de falsas rejeições na avaliação automática.

Calibrou-‐se o reconhecedor automático de palavras de forma a optimizar ao mínimo as falsas detecções ocorridas nos sujeitos 2, 3, 4, 5 e 8 e as falsas rejeições ocorridas nos sujeitos 1, 6 e 7.

A correlação entre a avaliação humana e automática passou para 0,9652. Os resultados entre as falsas detecções e falsas rejeições ficou mais balançada para a maioria dos sujeitos.

A tecnologia de reconhecimento automático de fala permitiu a construção de um sistema que poderá funcionar como um terapeuta da fala virtual, isto é funcionar como um facilitador da recuperação de pessoas com alterações adquiridas da linguagem (afasia). Na construção do sistema VITHEA teve-‐se em atenção o desenvolvimento de design de interface de modo a reduzir ao máximo a necessidade de interferência motora, devido à presença significativa de hemiparésia ou hemihipostesia nos doentes afásicos. O sistema pertime muito facilmente a modificação do material que compõe os exercicios de modo a torná-‐los o mais próximo possível dos interesses dos doentes. Os primeiros resultados levaram à calibração de reconhecedor automático de fala e à obtenção de scores bastante promissores. Trata-‐se de uma ferramenta de distribuição online e portanto permite a sua utilização em qualquer lugar e durante o tempo que se pretender, aumentando o tempo de tratamento e, assim, maximizar a recuperação da linguagem.

Página web do Sistema VITHEA

Projecto financiado pela FCT: RIPD/ADA/109646/2009

Top Related