Post on 29-Nov-2018
O uso de rastreador ocular em investigações linguísticas
II Simpósio Internacional sobre Linguagem e Cognição (II LinCog)
UFF, novembro de 2016
Profa. Dra. Márcia Schmaltz (PNPD/PosLin-UFMG)
1
Sumário
• O que é um rastreador ocular (eye tracking) ◦ Fisiologia e movimento oculares ◦ Indicadores processuais • Preparação e execução de experimento
◦ Equipamentos ◦ Desenho experimental • Preparação e análise dos dados
◦ Ferramentas para análises quantitativas e qualitativas ◦ Dados brutos ◦ Qualidade dos dados • Alguns exemplos de estudos
2
Memória de longo prazo
Memória sensorial
< 500ms 60ms
4
Memória de
Trabalho 7 (+/- 2) itens
< 10s Atenção
Sistema motor 200ms
Áreas de pesquisas
•Rastreador ocular – Estudos processuais da tradução – Ciências cognitivas – Psicolinguística – Psicologia – Interação Homem e Computador – Mercadológicas – Etc.
Programa de gravação de teclado e mouse – Estudos processuais da tradução – Estudos processuais da escrita – Psicologia, Psicolinguística
5
Surfe
7
Movimento ocular e processamento cognitivo
•A permanência do olhar numa região, onde a retina se estabiliza, indica um local de interesse (Duchowski 2007:46).
• Princípios da Imediaticidade e de Ligação Olho-Mente (Just e Carpenter 1980:331):
– Não há atraso significativo entre o que está sendo fixado e o que está sendo processado;
– As interpretações em todos os níveis de processamento não são diferidos, pois ocorrem o mais rapidamente possível.
13
Fisiologia: tipos de movimentos oculares
•Fixação visual / ocular •Movimentos sacádicos •Tamanho da pupila (dilatação e contração)
14
Fixação ocular
•Tipo de movimento ocular em que o olhar estaciona sobre algum objeto de interesse para obtenção de informação (Duchowsky 2007: 47).
– Leitura silenciosa: 225 ms – Leitura em voz alta: 275 ms – Leitura de um texto emergente: 400 ms (Rayner 1998: 373)
– Leitura para a tradução (Jakobsen e Jensen 2008): •Texto-fonte: 218 ms •Texto-alvo: 259 ms
15
Sacada
•Movimentos voluntários muito rápidos (pulo) do olhar entre as fixações. Nenhuma (ou pouca) informação visual é transmitida ao sistema cognitivo (Rayner 1998: 378)
•Amplitude:7-9 caracteres com espaço (1,5 palavra latina) ou 2 caracteres (1-2 palavras).
•Sentido: segue a mesma direção da escrita. – 10-15% do número total de sacadas são regressivas; – Se a leitura regressiva for superior a 10 letras contínuas até à linha superior, pode indicar problemas de compreensão (Rayner 1998:375, Vonk e Cozijin 2003:302)
16
Pupila
•Pequena abertura ajustável no centro da íris dos olhos que permite a entrada de luz na retina.
•O tamanho da pupila também está relacionado com o princípio da ligação olho-mente e mudança de alocação de recursos cognitivos:
– Pupila menor: indica menor esforço cognitivo – Pupila maior: indica maior esforço cognitivo
17
Compreensão • (C) Fixação numa palavra = alocação de recursos cognitivos a essa palavra
–Fixações curtas = menor esforço cognitivo
–Fixações longas = maior esforço cognitivo
(C) Mudança do tamanho da pupila = mudança da alocação de recursos cognitivos
– Pupila menor = menor esforço cognitivo
– Pupila maior = maior esforço cognitivo
18
Compreensão e problemas • (C) Fixação numa palavra = alocação de recursos cognitivos a essa palavra
– Fixações curtas = menor esforço cognitivo
– Fixações longas = maior esforço cognitivo
(C) Mudança do tamanho da pupila = mudança da alocação de recursos cognitivos
– Pupila menor = menor esforço cognitivo
– Pupila maior = maior esforço cognitivo
(P) Sacadas – Não há processamento durante os movimentos sacádicos
– O que ocorre durante os movimentos sacádicos?
(P) Atenção mascarada – A atenção pode mudar independentemente do movimento ocular
– Podemos ter certeza de que uma pessoa pensa sobre o item em que ela está olhando?
(P) Atenção visual e processamento cognitivo não são sincrônicos
19
Medidas usuais • Duração da fixação (fixation duration)
– O tempo de fixação do olhar numa única região – medido em milissegundos (ms)
• Número das fixações
– Quanto maior o número de fixações, maior o esforço cognitivo / poucas fixações revela menor esforço cognitivo
• Tempo total de fixação (total gaze time)
– Definido como o valor da duração da única fixação ou o somatório de várias fixações realizadas na mesma palavra. Quanto maior / menor o tempo gasto numa região, maior / menor o esforço cognitivo.
• Tamanho da pupila
– O tamanho da pupila revela a intensidade do processo cognitivo
20
Medidas usuais • Duração da primeira fixação (First pass gaze duration)
– Reflete a intensidade do esforço cognitivo durante a leitura inicial de uma palavra ou segmento. O número de caracteres da palavra é utilizada como variável de controle.
• Duração da segunda fixação (Second pass gaze duration)
– Reflete a intensidade do esforço cognitivo durante a leitura subsequente de uma palavra ou segmento. Comparável à duração da primeira fixação.
• Regressões
– Indicam problemas de compreensão textual. Quanto mais regressões, maiores os problemas de compreensão textual.
• Transições – Indicam quantas vezes a atenção mudou entre duas (sub)tarefas
21
O que temos de considerar
•Modelo de rastreador ocular •Número de participantes •Texto para o experimento •Sala para o experimento
23
Fixo, capacete ou remoto?
25
Resolução espacial Resolução temporal intrusividade
Fixo
Alta 0,25 grau ~0,5 cm de imprecisão
Muito alta > 1000 Hz
Muito alta Nenhum movimento
Capacete
Média 0,5-1 grau ~1-2 cm de imprecisão
Média a alta 30 a 200 Hz
Alta Movimento livre da cabeça e do corpo
Remoto
Média 0,5 grau ~1 cm de imprecisão
Média a alta 50 a 600 Hz
Moderada Movimento da cabeça
Fixo, capacete ou remoto?
26
Resolução espacial Resolução temporal intrusividade
Fixo
Alta 0,25 grau ~0,5 cm de imprecisão
Muito alta > 1000 Hz
Muito alta Nenhum movimento
Capacete
Média 0,5-1 grau ~1-2 cm de imprecisão
Média a alta 30 a 200 Hz
Alta Movimento livre da cabeça e do corpo
Remoto
Média 0,5 grau ~1 cm de imprecisão
Média a alta 50 a 600 Hz
Moderada Movimento da cabeça
Texto
• Textos curtos (não mais que 200 palavras) • Comprimento da palavra • Frequência • Predicabilidade • Familiaridade • Fontes grandes (18-20) • Espaçamento duplo
29
Desenho experimental
• Evitar consultas online ou off-line • Grande número de participantes • Calibração / calibragem • Teste cópia • E a validade ecológica?
(cf. O’Brien 2009, Hvelplund 2013)
30
Ferramentas de análises básicas
•software dos fabricantes (p.ex. Tobii)
37
Qualitativo
Hot spot / heat maps Gaze replay Gaze plot
Imagem de fundo estática e mapa de hot spot Imagem de fundo dinâmica e fixações Imagem de fundo estática e fixações
Medidas analíticas
Média da duração das fixações Número de fixações Transições
Tempo de gaze / contagem das fixações Número de fixações Número de mudança do foco da atenção de uma área / tarefa para outra
Limitações do filtro de medidas
• As medidas qualitativas são relevantes para – Obter uma impressão inicial do padrão dos dados – Visualizar padrões de processamento
• As medidas quantitativas são poucas ...
– Média da duração da fixação – Número de fixações – Tempo da primeira fixação – Tamanho da dilatação da pupila – Informação sobre a primeira / segunda passagem da fixação ocular – Dados da regressão – Informação sobre o movimento de teclado – Atividades do mouse
• ... e potencialmente enganosas
– A média de duração da fixação não considera a variação das durações das fixações individuais
• Possível solução
– Dados brutos!
42
O que são dados brutos?
• Gravações da fixação ocular sem filtros
(tipicamente entre 50-120Hz ~ 1 gravação a cada 8-50 ms)
43
44
Vantagens de analisar dados brutos
•O conjunto dos dados do processo é mais rico e com maior número de itens
•Valores do tamanho da pupila •Duração das fixações individuais •Leitura e digitação simultânea •Duração do gaze da primeira / segunda passagem
45
Desvantagem de analisar os dados brutos
• Potencialmente trabalhoso • Requer conhecimento técnico (informática, estatística, etc)
46
Atenção com a qualidade dos dados
• A qualidade dos dados do rastreador ocular é sensível a vários fatores:
– Condições luminosas – Distância do rastreador ocular – Movimento da cabeça – Cor dos olhos – Uso de lentes
• Precauções: – Mantenha sempre a mesma condição de luminosidade (luz artificial preferivelmente)
– Distância do rastreador ocular entre 55-65 cm – Evitar movimentos bruscos da cabeça – Evitar participantes com graus elevados de lentes e o uso de lentes de contato
47
Avaliando a qualidade dos dados do rastreador ocular
• Risco de dados pobres • Três medidas para avaliar a qualidade dos dados:
1. Duração média de fixação - fácil, popular - potencialmente enganosa
2. Percentagem do tempo do gaze na tela em relação ao tempo total da tarefa
3. Percentagem de gaze coletado
48
Duração média da fixação
• Se a duração da fixação for entre 175-200 ms ou menos, talvez tenha falha nos dados.
• A duração típica de fixação durante a leitura é entre 225-275 ms (Rayner 1998)
– participante A, Tarefa 1: média da duração da fixação = 146 ms – não satisfatório
– participante B, Task 1: média da duração da fixação = 220 ms - satisfatório
49
Tempo de gaze sobre a tela
• Durante a tarefa, se a leitura do TF e do TA for muito limitada, talvez tenha ocorrido falha na coleta dos dados.
• A tradução escrita envolve uma quantidade de leitura do TF e do TA.
– Participante A, tarefa 1 (300 segundos): Tempo total do gaze sobre a tela = 24 segundos / 8 % – não satisfatório
– Participante B, tarefa 1 (300 segundos): Tempo total do gaze sobre a tela = 240 segundos / 80 % – satisfatório
50
Percentagem de gaze coletado
•Se os dados brutos demonstrarem distorção da distribuição
das fixações / sacadas, considerar o descarte. Número de fixações: 85-95 % do total de todos os movimentos oculares • Número de sacadas: 15-5 % do total de todos os movimentos oculares
Participante A, Tarefa 1: Fixações = 50 %, sacacadas = 50 % - não aceitável Participante B, Tarefa 1: Fixações = 90 %, sacadas = 10 % - aceitável
51
52
Tarefa Participante Média da duração da fixação
Tempo de gaze sobre a tela % de gaze válido
Pós-edição P03 317 78,07 70,03
P09 366 91,98 83,15
P11 434 93,41 91,80
P15 439 82,85 77,56
P19 417 82,28 79,76
P23 365 86,81 79,37
Tradução P04 421 89,24 76,75
P06 299 82,98 78,00
P07 222 63,81 61,95
P12 309 82,67 88,24
P18 301 49,59 43,56
P21 465 83,69 67,16
Pós-edição Média 389,67 85,90 80,28
Tradução 336,17 75,33 69,28
A leitura com diferentes propósitos
• O comportamento do movimento ocular através de quatro diferentes tipos de tarefas de leitura (Jakobsen e Jensen 2008)
• 6 tradutores profissionais e 6 estudantes de tradução • L2 inglês -> L1 dinamarquês
(Rayner 1998; Jakobsen e Jensen 2008) • Estatística descritiva • Número de fixação: indicador de aumento de carga cognitiva ou elevação de tempo de tradução.
53
Média da duração da fixação (n =12)
Média do número da fixação (n =12)
Ler para compreender 205 ms 154
Ler para traduzir 205 ms 223
Tradução à prima vista 235 ms 520
Tradução (ler e escrever) 218 ms (TF) 259 ms (TA)
708 (TF) 882 (TF)
Diferentes tipos de leitura
• Ler para compreensão
• Ler para tradução
54
Contexto da pesquisa
• Projeto de pesquisa conjunta entre o Departamento de Português da Universidade de Macau e o LETRA – Laboratório de Experimentação em Tradução, Universidade Federal de Minas Gerais para investigar o comportamento da tradução humana e da tradução humana assistida por computador.
55
Alguns estudos publicados 1. Schmaltz et al. 2016. Cohesive relations in text comprehension and
production. In Carl, M., Bangalore, S., Schaeffer, M. (eds.) Theory and Applications of Natural Language Processing: New Directions in Empirical Translation Process Research: Exploring the CRITT TPR DB. (pp. 256-289). Berlin: Springer.
2. Da Silva et al. (no prelo) Translation, Post-Editing and Directionality: A Study of Effort in the Chinese-Portuguese Language Pair. In Jakobsen, Arnt L., Mesa-Lao, Bartolomé (eds.) Translation In Transition. Amsterdã: John Benjamins.
3. Da Silva et al. 2015. Translating and Post-Editing in the Chinese-Portuguese Language Pair: Insights from an Exploratory Study of Keylogging and Eye Tracking. Translation Space 4:1, 144-168.
4. Schmaltz 2015. Resolução de problemas na tradução de metáforas linguísticas do chinês para o português. Tese de doutorado. Macau: Universidade de Macau.
56
Desenho experimental (estudos 1-3)
• Instrumentos • Translog-II (Carl 2012) conectado a • Eye tracker Tobii T120 • Tobii Studio 3.2.1
• Participantes • 12 translatores, L1 Chinês, idade 23-32, Licenciatura em Estudos
Portugueses, > 1 ano de experiência, óculos ou lentes de contato
• Local e condições • Eye-tracking lab da Universidade de Macau • Sem pressão de tempo • Protocolo Verbal Retrospectivo após a tarefa
57
Desenho experimental
• Inputs • 4 textos: ca. 80 palavras/equivalentes – jornalísticos • 2 textos-fontes em chinês • 2 textos-fontes em português • Texto da tradução automática fornecida pelo PCT (Portuguese-Chinese
Translator) (Wong e Chao 2010)
• Tarefas • 1 tradução direta • 1 tradução inversa • 1 pós-edição em L1 • 1 pós-edição em L2
58
Desenho experimental
• Inputs • 4 textos: ca. 80 palavras/equivalentes – jornalísticos • 2 textos-fontes em chinês • 2 textos-fontes em português foco no texto 2 • Texto da tradução automática fornecida pelo PCT (Portuguese-Chinese
Translator) (Wong e Chao 2010)
• Tarefas • 1 tradução para L1 • 1 tradução para L2 • 1 pós-edição em L1 • 1 pós-edição em L2
59
Pressuposição teórica e perguntas de pesquisa
• Identity cohesive chains responsible for co-reference and participant tracking are crucial to construing a coherent representation of a text. (Halliday & Hasan 1976, Halliday 1989, Halliday & Matthiessen 2004)
• Do translation process data show evidence of the role of identity chains as exerting cognitive demands upon task executors?
• Translating demands more cognitive effort than post-editing (Carl et al 2011)
• Do data in our study confirm impact of task type on effort?
60
Cadeias coesivas do TF 1 Os brasileiros estão em lua-de-mel com o mundo. A Petrobras e sua presidente e sua presidente estão entre as maiores do mundo. Conforme uma revista americana, a presidente é uma das 100 maiores lideranças mundiais e a petrolífera estatal é uma das 10 maiores companhias do planeta. A revista classifica as empresas com base em diversos indicadores além do lucro. É por isso que a brasileira surge em posição de liderança na classificação. [Elipse] Está inclusive à frente de grandes como a Apple.
61
Cadeias coesivas do TF 1 Os brasileiros estão em lua-de-mel com o mundo. A Petrobras e sua presidente e sua presidente estão entre as maiores do mundo. Conforme uma revista americana, a presidente é uma das 100 maiores lideranças mundiais e a petrolífera estatal é uma das 10 maiores companhias do planeta. A revista classifica as empresas com base em diversos indicadores além do lucro. É por isso que a brasileira surge em posição de liderança na classificação. [Elipse] Está inclusive à frente de grandes como a Apple.
62
Cadeia principal e dispositivos coesivos TF2
64
Tipo de cadeia
Tokens no TF Explicitação dos referentes como
Correferência estabelecida através de
A o volume de produção atingiu 403 toneladas
-- não aplicável (primeiro item)
Isso
O fato que o volume da produção aumentou.
pronome demonstrativo
O aumento
O aumento da produção artigo definido + substantivo lexical (sinônimo)
essa quantidade
A quantidade do aumento da produção
pronome demonstrativo + substantivo lexical (superordenado)
B O gigante asiático
-- não aplicável (primeiro item)
no país
no país que é considerado o gigante asiático.
artigo definido + substantivo lexical (sinônimo)
o torna
o que torna o gigante asiático como tal.
pronome pessoal
na China
a China, que é o gigante asiático
substantivo lexical (sinônimo)
Qualidade dos dados
65
Task Subject Fixation duration
mean
Gaze time on screen
% of valid win gaze data
Post-editing P03 317 78.07 70.03 P09 366 91.98 83.15 P11 434 93.41 91.80 P15 439 82.85 77.56 P19 417 82.28 79.76 P23 365 86.81 79.37 Translation P04 421 89.24 76.75 P06 299 82.98 78.00 P07 222 63.81 61.95 P12 309 82.67 88.24 P18 301 49.59 43.56 P21 465 83.69 67.16 Post-editing MEAN 389.67 85.90 80.28 Translation 336.17 75.33 69.28
Table 1: Results for the three quality assurance criteria
Metodologia de análise
• Quantitativo • Linear Mixed-Effects Regression Model (LMER)
lmerTest na plataforma estatística R (3.0.2) (Baayen 2008, Balling 2008, 2013, Sjorup 2013)
• p<0.05 • Outros testes (Student’s T-Test; Mann Whitney U)
66
Resultados
1. Is it cognitively more demanding to understand and produce a cohesive chain that is built on participant tracking than a secondary cohesive chain?
our results indicate that total reading time and duration of token production time are significantly longer on the TT, from which we infer that it is cognitively more demanding to understand and produce a chain built on participant tracking when it comes to the TT. However, no significant effect was observed for the metrics related to the ST. 2. In dealing with cohesive chains, is it cognitively more demanding to
translate than to post-edit? The results pointed to no significant impact of type of task on the measures
68
Referências bibliográficas • Baars, B. J., Gage, N. 2010. Cognition, Brain, and Consciousness. Burlington: Elsevier Academic Press • Baayen, R.H. 2008. Analyzing Linguistic Data: A practical introduction to Statistical Using R. Cambridge: Cambridge University Press. • Balling, L., and Michael Carl. 2014. “Production Time across Language and Tasks: A Large-scale Analysis Using the CRITT Translation Process Database.” In The Development of Translation Competence: Theories and Methodologies from Psycholinguistics and Cognitive Science, ed. by Schwieter, J., and Aline Ferreira, 239-268. Cambridge: Cambridge Scholar Publishing. • Balling, L.W. 2013. “Reading Authentic Texts: What Counts as Cognate?” Bilingualism: Language and Cognition 16 (3): 637-653. • _______. 2008. “A brief introduction to regression designs and mixed-effects modelling by a recent convert.” In Looking at Eyes: Eye-tracking Studies of Reading and Translation Processing (Copenhagen Studies in Language 36), ed. by Göpferich, S., Jakobsen, A. L., and Ingrid Mees, 175-192. Frederiksberg: Samfundslitteratur. • Bates, D., Maechler, M., Bolker, B., and Steven Walker. 2014. lme4: Linear mixed-effects models using Eigen and S4. R package version 3.1.2. Available at http://CRAN.R-project.org/package=lme4. • Carl, M. 2012. ‘Translog-II: a program for Recording User Activity Data for Empirical Reading and Writing Research’, in Proceedings of the Eighth International Conference on Language Resource and Evaluation. Istanbul 21-27 May 2012, Istanbul: European Language Resources Association, 4108-4112 • De Groot, A. M. B. 1997. The cognitive study of translation and interpretation: three approaches. In H. J. Danks, G. M. Shreve, S. B. Fountain e M. K. McBeath (eds). Cognitive Processing in Translation and Interpreting. Thousand Oaks, CA: Sage. 25-56. • Duchowski, A. T. 2007. Eye Tracking Methodology: Theory and Practice. London: Springer. • Hvelplund K. T. 2011. Allocation of Cognitive Resources in Translation: An Eye-Tracking and Key-logging Study. Tese de doutorado. Copenhagen: Samfundslitteratur. • O’Brien, S. 2009. Eye tracking in translation-process research: methodological challenges and solutions. In I. M. Mees, F. Alves e S. Göpferich (eds). Methodology, Technology and Innovation in Translation Process Research. (Copenhagen Studies in Language 38). Copenhagen: Samfundslitteratur. 251-266. • Rayner, K. 1998. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin 124: 372-422. • Ribeiro, P. L. 2006. O registo do movimento dos olhos durante a leitura de textos. Dissertação de Mestrado. Lisboa: Universidade de Lisboa. • Schmaltz, M. 2015. Resolução de problemas na tradução das metáforas linguísticas do chinês para o português. Tese de doutorado inédita. Macau: Universidade de Macau. • Schmaltz, M., da Silva, I., Pagano, A., Alves, F., Leal, A., Wong, D. F., Chao, L., Quaresma, P. 2016. Cohesive relations in text comprehension and production: An exploratory study comparing translation and post-editing. In Carl, M., Bangalore, S., Schaeffer, M. (eds.) New Directions in Empirical Translation Process Research: Exploring the CRITT TPR DB. (pp. 256-289). Berlin: Springer
69