Movimento ocular e desafios cognitivos na compreensão de ...

1 www.congressousp.fipecafi.org

Movimento ocular e desafios cognitivos na compreensão de Relatórios Populares

LUIZA DE MIRANDA CABRAL

Mestre em Contabilidade e Controladoria pela FEA-RP / USP

ANDRÉ CARLOS BUSANELLI DE AQUINO

Professor Titular da Universidade de São Paulo

Resumo

A pesquisa traz evidências de como o movimento ocular de jovens indivíduos está associada à

compreensão que eles alcançam em experimentos de leitura de relatórios financeiros de

governos. A simplificação de relatórios destinados a não especialistas, chamados ‘relatório

populares’ é defendida internacionalmente como uma solução para o não engajamento da

sociedade no debate orçamentário e fiscal de governos. Foi realizado um experimento entre-

sujeitos (between subjects) manipulando a legibilidade de textos e tabelas, em que jovens

indivíduos depois de analisarem breves extratos de relatórios respondiam a questões de

múltipla escolha que captavam a compreensão daqueles trechos. O experimento utilizou um

equipamento de rastreamento ocular para acompanhar a atenção visual dos respondentes em

cada região espacial dos estratos de relatório apresentados. Os resultados apontam que a

legibilidade melhora o desempenho de tarefas mais simples, associadas a recuperação de

informações lidas no texto, mesmo quando o padrão de movimento ocular não é alterado.

Porém, a simplificação do texto não ajuda o indivíduo a realizar tarefas cognitivas mais

complexas como a interpretação de texto e a extração de informações implícitas. A presença

de jargões pode não oferecer dificuldade de leitura local, sobre os mesmos jargões, mas afeta

o padrão do movimento ocular sobre o texto como um todo, o que indica uma maior

dificuldade no processamento do texto. Quando os indivíduos focalizam as tabelas, a presença

dos jargões faz com que estes olhem mais para as palavras do que para os números. O que

pode denotar que o indivíduo tenta entender os termos mas não consegue interpretar o que os

valores monetários representariam. O principal desafio para a compreensão dos relatórios é a

presença de termos técnicos da contabilidade.

Palavras-chave: Atenção visual. Legibilidade. Eye-tracking. Relatórios Populares.


1. INTRODUÇÃO

A transparência e accountability no setor público são reconhecidas como relevante em

diversos estudos e perspectivas (e.g. Lindstedt e Naurin, 2010; Kolstad e Wiig, 2009), e de

alguma forma consideram os cidadãos como parte no processo (Brusca e Montesinos, 2006).

Porém, o conhecimento em contabilidade pública não é comum a todos indivíduos, chegando

a considerar os relatórios financeiros tradicionais como algo ilegível, extenso e/ou

desinteressante (Jordan, et al., 2017). Para aumentar ou mesmo alcançar uma mínima

accountability, os governos deveriam fornecerem informações sobre seu desempenho

financeiro de maneira inteligível para a sociedade (Heald, 2003).

O Conselho de Normas de Contabilidade Pública (Government Accounting Standards

Board - GASB) e a Associação de Oficiais de Finanças Públicas (Government Finance

Officers Association - GFOA) vêm reforçando há mais de 20 anos a necessidade da

simplificação de informações para os cidadãos (Lee, 2006). Exemplo disso é o Relatório

Popular (tradução livre de Popular Report), que usa uma linguagem mais simples e concisa,

além de gráficos, figuras e outros recursos para facilitar o entendimento das informções e

promover engajamento da sociedade (Yusuf e Jordan, 2012; Barbera et al., 2016).

A expectativa é de que uma versão simplificada facilita a compreensão da informação

financeira por não especialistas em finanças públicas. Contudo, a pesquisa neste tema tem se

limitado a métodos de de autopreenchimento, como discussões com grupos focais e

questionários online (e.g. Yusuf e Jordan, 2012; Jordan, et al., 2016; Paolo, Silvana &

Valerio, 2016), que são naturalmente sujeitos ao viés da resposta socialmente desejável

(Meibner e Oll, 2017). Poucas pesquisas têm utilizado métodos menos susceptíveis à viés por

reflexividade (bom exemplo é Cohen et al., 2016).

Usamos um desenho de pesquisa experimental para testar se a linguagem mais simples

dos relatórios populares poderia de fato aumentar a compreensão do desempenho financeiro

de governos entre os não especialistas. No experimento entre-sujeitos (between subjects),

jovens adultos (de 17 a 27 anos) fizeram três testes de leitura e compreensão de estratos de

relatórios, acompanhados por um equipamento de rastreamento ocular (Eye Tracker - ET).

Foram manipuladas características físicas do texto, usando estratos de relatórios fictícios

(complexidade de frases e sofisticação das palavras, presença de jargões típicos dos relatórios

contábeis e uso de jargões em tabelas). Durante a leitura, o eye-tracker registrou

continuamente o movimento ocular dos participantes, que é usado como uma aproximação

para a dificuldade de processamento cognitivo do que se vê (Rayner, 2006). O método

adotado, apesar de pouco utilizado nas pesquisas em contabilidade pública (Grimmelikhuijsen

et al., 2017), evita distorções causadas por efeitos de reflexividade (Meibner e Oll, 2017),

leniência e halo (Rayner, 2006).


2. A INICIATIVA DO RELATÓRIO POPULAR

Apesar das mudanças e de um forte discurso político a favor de transparência efetiva

(Heald, 2003) e de accountability (Dean, 2002), as organizações públicas ainda divulgam

relatórios opacos, tendenciosos, incompletos, inacessíveis ou parcialmente acessíveis,

excessivos ou irrelevantes (Kolstad & Wiig, 2009; AGA, 2012). ‘Os relatórios financeiros

tradicionais são longos, complexos e cheios de jargões técnicos, que são ininteligíveis para o

cidadão comum’ (Jordan et al., 2017, p. 1, tradução livre). Esse resultado foi observado

também nos EUA, em que cidadãos consideram o Relatório Financeiro Anual Completo

(principal relatório emitido pelos entes governamentais) extenso e incompreensível (Sharp,

Carpenter e Sharp, 1998). A complexidade de tais relatórios impedria inclusive o uso da

decisão de voto.

Resultados similares são observados na Europa. Pesquisas na Inglaterra (Eckersley et

al., 2014) e Alemanha (Haustein e Lorson, 2017) destacam a lacuna de comunicação entre

governos e cidadãos devido a complexidade e extensão dos relatórios governamentais

tradicionais. A maioria dos relatórios não é elaborada considerando indivíduos sem

experiência em contabilidade (Yusuf et al., 2013), não facilitam o monitoramento do

desempenho por parte dos cidadãos (Carpenter e Sharp, 1992; Lee, 2006; Yusuf et al., 2013).

Contudo, alguns estudos indicam que gastos públicos divulgados em relatórios financeiros

influenciam os resultados das eleições (Brusca & Montesinos, 2006).

Como solução, um novo modelo de relatório foi idealizado na iniciativa Norte

Americana do Conselho de Normas de Contabilidade Pública (GASB) e da Associação de

Diretores Financeiros do Governo (GFOA) (Lee, 2006; GFOA, 2018). Com a publicação de

WhitePapers (ex. Marsh e Montondon, 2005a; Hermann, 2011), o trabalho de Carpenter e

Sharp (1992) e a divulgação de um programa de premiação, foi promovido o uso do Popular

Annual Financial Report - PAFR (Allison, 1995). Tal relatório seria feito pelos governos para

os cidadãos, empresas e grupos sociais com menor ou nenhum entendimento de finanças ou

contabilidade pública (Yusuf et al., 2013; GFOA, 2018); para complementar - apesar de não

substitutir - os relatórios tradicionais (Lee, 2006).

Os RPs têm características típicas. São elaborados com base nos relatórios tradicionais

e os exigidos por lei; o conteúdo é resumido e apresentado de forma concisa, sem detalhes que

aumentem muito a complexidade dos temas ou demandem análises profundas (Carpenter e

Sharp, 1992; Cohen et al., 2016). Devem conter textos e tabelas mais legíveis, que fazem uso

de uma linguagem mais simples, com palavras e frases curtas, além de menos palavras

técnicas ou de significado específico (Hermann, 2011). Espera-se que o texto do RP como um

todo seja atrativo e didático, fazendo uso de ilustrações, figuras, gráficos e tabelas (Sharp, et

al. 1998); itens relevantes devem ser destacados (Hermann, 2011). O RP carrega informações

de interesse dos usuários (incluindo informações não financeiras, como quilômetros de via

pavimentados, número de alunos atendidos pelas escolas, etc.) (Cohen e Karatzimas, 2015;

Oliveira, 2016). As informações devem ser oportunas, divulgadas no mínimo uma vez ao ano


(Carpenter e Sharp, 1992). Por fim, é importante que o relatório seja crível, elaborado por

uma fonte confiável e sem distorções, de forma que um desempenho ruim não seja ocultadado

ou disfarçadado (Hermann, 2011).

Em suma, um relatório popular deve ter informações financeiras relevantes, ser

acessível e compreensível, visualmente interessante, e orientado para a comunidade (Yusuf e

Jordan, 2012). Quanto a compreensibilidade especificamente, três pontos são importantes: i)

presença de definições e explicações para termos técnicos e acrônimos; ii) evitar o uso de

jargão técnico; e iii) escrita em legibilidade de jornal - nível 7 (Yusuf e Jordan, 2012).

Os resultados esperados são otimistas. A “tradução dos relatórios tradicionais” (Paolo,

Silvana & Valerio, 2016) seria suficiente para engajar os chamados “cidadãos comuns” na

avaliação do desermpenho de governos, e facilitaria o feedback da população sobre tal

desempenho (Sharp, et al. 1998). Caso funcionasse, políticos, funcionários públicos, mídia e

outros grupos de interesse, como investidores e observatórios, perceberiam o RP como uma

ferramenta útil para tomada de decisão (Cohen e Karatzimas, 2015). Porém, para isso, o RP

precisa realmente entregar entendimento do desempenho governamental ao público alvo.

3. HIPÓTESES DE LEGIBILIDADE PELO MOVIMENTO OCULAR

A legibilidade tal como vem sendo abordada pela literatura de RP não representa o

conceito em toda sua amplitude. Atualmente, o nível de compreensão que um cidadão alcança

ao ler um RP, seu entendimento do desempenho financeiro de governos, é mensurado de

forma superficial e parcial, maiormente por índices de legibilidade (ex. Montondon e Lilley,

2005b).. Considerando os elementos textuais de um relatório, a legibilidade é o resultado da

soma de (e da interação entre) todos os elementos de um material por escrito que afetam a

velocidade de leitura, o quanto é entendido, e o quanto é percebido como interessante (Dale e

Chall, 1948). É ‘o que faz um determinado texto ser mais fácil de ler do que outros devido ao

estilo da escrita’ (Klare, 1963 – tradução livre). Com base nessa conceitualização, a

dificuldade de leitura é resultado do nível de dificuldade das palavras e das sentenças (Dubay,

2004, p.1). Quanto mais familiares e curtas forem as palavras utilizadas no texto, dispostas em

uma estrutura de frases mais curtas que favorece a leitura, mais fácil será a leitura do texto

(Chall e Dale, 1995).

A facilidade de leitura pode ser medida por fórmulas de legibilidade. Com base nas

características físicas do texto, as fórmulas indicam o grau de escolaridade mínimo (ou idade)

para o qual o texto é adequado. Um exemplo é o Automated Readability Index (ARI) de

Senter e Smith (1967), que usa o número de palavras e a média de letras por palavra para dar

uma idade mínima aproximada para a qual o texto seria apropriado. Contudo, as fórmulas já

foram amplamente criticadas como sendo ‘respostas muito simples para um problema muito

complexo’ (Redish e Selzer, 1985 – tradução livre). É uma ferramenta que foi desenvolvida

para mensurar a dificuldade livros infantis, não para uma escrita técnica direcionada a adultos

(Redish, 2000). É preciso considerar outras características do texto e fatores intrínsecos ao


leitor que afetam a dificuldade oferecida pelo texto e o possível nível de compreensão do

conteúdo (Redish, 2000).

A compreensão decorre de uma complexa interação entre o leitor e o texto, em certo

contexto (Janan, et al., 2010). O processo de leitura e compreensão envolve o

desenvolvimento e a coordenação de habilidades, como o reconhecimento de palavras, a

fluência de leitura, o processamento da sintática (estrutura das frases) e o conhecimento do

significado das palavras (Rayner et al., 2006). Características do leitor que afetam esse

resultado são: i) capacidades físicas da pessoa; ii) habilidades de leitura; iii) engajamento ou

motivação prévia; iv) conhecimento prévio e, v) gênero (Wray e Janan, 2013).

No processo de leitura, é a atenção visual seleciona o que será processado pelo

indivíduo (Duchowski, 2007, p.4). Os olhos se movem para focar um ponto específico do seu

campo de visão, o que reflete o processamento cognitivo online do leitor (Clifton et al.; 2007).

Por isso rastrear o caminho o registro do movimento ocular é um método muito usado nas

pesquisas sobre leitura e compreensão, pois o caminho percorrido pelos olhos elucida a que

exatamente o leitor dedicou mais atenção (Duchowski, 2007, p.3).

Sabe-se que certas propriedades das palavras influenciam o tempo de fixação (parada

com foco) em certo ponto do texto; por exemplo, o leitor tende a não fazer fixações sobre

palavras mais conhecidas ou previsíveis (Rayner, 1998). Ademais, tempo de processamento

cognitivo de um determinado trecho de texto é igual a soma de todas as fixações realizadas

sobre ele, também chamado de tempo de acumulado de leitura (Rayner, 1998). E pode haver

outros efeitos, como spillover, em que as palavras são processadas mesmo quando não há uma

fixação sobre a mesma (Rayner, 1998).

Considerando a literatura de legibilidade, o efeito de três principais características

físicas do texto na compreensão serão testadas: i) o comprimento médio das sentenças, ii) o

comprimento das palavras e iii) o nível de dificuldade do significado das palavras.

Das pesquisas realizadas usando eye-tracker, sabe-se que o nível de compreensão

depreendido de um texto será refletido no movimento ocular, de forma inevitável e livre de

viés (Rayner, 2006). Para essa pesquisa, serão consideradas premissas relacionadas a

observação das dificuldades de leitura e de compreensão de textos que já foram identificados

e testados internacionalmente (Rayner, 1998). Assume-se que, quando um texto tem leitura

mais difícil, os leitores fazem fixações mais longas, ‘sacadas’ (saídas do olhar para fora ao

trecho) mais curtas e mais ‘regressões’ (volta a pontos anteriores no texto) (Rayner, 2006).

Esses padrões podem ser observados pelas métricas geradas pelo aparelho eye-tracker.

H1: Quanto menor a sofisticação léxica (comprimento das palavras) e complexidade

sintática (comprimento das frases), maior será a compreensão.

H2: Quanto menor o uso de palavras difíceis (significado complexo, específico ou

técnico), maior será a compreensão.

H3: Quando termos técnicos são substituídos por outros mais comuns, haverá indícios

de maior interesse e esforço cognitivo durante a leitura.


4. METODOLOGIA

O estudo aplica um experimento composto de 3 testes, respectivamente para cada uma

das hipóteses propostas. O experimento foi feito entre sujeitos (Stausberg e Engler, 2013;

Charness, Gneezy e Kuhn, 2012) em uma sessão única, de aproximadamente 20 minutos, em

agosto de 2018. O desenho do experimento, incluindo o uso do rastreamento ocular dos

participantes, foi aprovado pelo Comitê de Ética em Pesquisa da Universidade de São Paulo

(ofício 28 de novembro de 2018).

Foram manipulados aspectos da legibilidade de estratos de relatórios de governos

para observar os efeitos no nível de compreensão dos leitores. A compreensão foi mensurada

por perguntas com resposta múltipla escolha e pela análise do movimento ocular durante a

leitura. Os testes ocorreram sempre na mesma ordem. Foi utilizado o Tobii Eye Tracker

(modelo X1L): equipamento de rastreamento ocular de alta precisão, que detecta e registra a

posição exata dos olhos pelo efeito de claro-escuro na pupila (TOBII, 2013; Oliveira, 2013).

No teste 1, manipulou-se o nível de legibilidade alterando o número de palavras por

frase e comprimento das palavras. Nos testes 2 e 3 a legibilidade foi manipulada pela presença

de termos técnicos da área de contabilidade e finanças públicas. As versões A dos testes

sempre serão aquelas em que se espera um maior nível de compreensibilidade e facilidade de

leitura, com modificações que remetem aos Relatórios Populares. As versões B simulam

relatórios tradicionais da contabilidade pública, nos quais leitores não especializados teriam

mais dificuldade de leitura e de compreensão.

Tabela 1 – Métricas do Eye-tracker

Métrica em

Inglês Tradução livre Descrição da métrica Unidade Variável

Fixation

Duration

Tempo Médio

de Fixação

Duração média de todas fixações registradas dentro

de uma ou dentro de todas AIs de um grupo de AIs. segundos fm

Total Fixation

Duration

Tempo Total de

Fixação

Soma de todas fixações registradas dentro de uma

AI, ou dentro de todas as AIs de um grupo de AIs. segundos ft

Fixation

Count

Número de

Fixações

Número de fixações registradas dentro de uma AI,

ou dentro de todas as AIs de um grupo de AIs. contagem fc

Visit Duration Duração Média

da Visita

Duração média de todas visitas registradas dentro

de uma ou dentro de todas AIs de um grupo de AIs. segundos vm

Total Visit

Duration

Duração Total

da Visita

Soma de todas as visitas registradas dentro de uma

AI, ou dentro de todas as AIs de um grupo de AIs. segundos vt

Visit Count Número de

Visitas

Número de visitas registradas dentro de uma AI, ou

dentro de todas as AIs de um grupo de AIs. contagem vc

Time to

Mouse Click

Tempo até o

clique Duração do teste (tempo até o o clique no mouse). segundos et

Fonte: Tobii AB (2016) com adaptação do autor.


Nos três experimentos, o movimento ocular dos participantes foi observado com os

dados da variação de sete métricas (vide Tabela 1). As métricas são geradas pelo software do

fabricante do equipamento (o Tobii Studio Professional 3.2) com base nas Àreas de Interesse

(Areas of Interest ‒ AIs), previamente configuradas pelos pesquisadores.

4.1 Amostragem e Controle experimental

Na literatura revisada (Relatórios Populares e transparência), “o cidadão comum” ou

“os cidadãos” são vagamente mencionados. Em alguns casos, citam que os cidadãos em

questão são ‘indivíduos comuns, não-especialistas em contabilidade ou finanças públicas’

(e.g. Carpenter e Sharp, 1992; Yusuf e Jordan, 2012; Barbera et al., 2016). Entende-se que

essa definição esta associada à atividade profissional que ele desempenha ou já desempenhou,

pois é o que levaria a uma maior ou menor familiaridade com o conhecimento técnico

necessário para a compreensão dos relatórios financeiros. Por exemplo, técnicos em

contabilidade podem ter mais facilidade em relação à doutores em medicina, história ou física.

Se supõe ainda que não exercem cargos na administração pública ou posições em conselhos

municipais que permitam o desenvolvimento das habilidades ou conhecimento necessário

para realizar as tais análises de desempenho dos governos.

Está fora do escopo dessa pesquisa o entendimento do que é este “cidadão comum”

em si, mas considera-se um ponto importante para o tema aqui trabalhado, a ser discutido

pelas pesquisas futuras no tema. Nesta pesquisa, o cidadão comum é entendido como aquele

que não possui experiência prévia ou conhecimento formal estabelecido (i) na dinâmica de

reconhecimento, mensuração e registro contábil (ou elaboração de relatórios financeiros) e (ii)

finanças públicas. O ‘cidadão comum’ estaria em um extremo de um continuum e

especialistas em contabilidade e finanças públicas em outro, em que existem diversos níveis

de especialização neste contínuo. Porém, entre os cidadãos comuns coexistem diferentes

níveis de habilidades cognitivas., como memória de trabalho ou habilidade de uso do sistema

cognitivo analítico-racional substituindo o intuitivo.

A escolha da amostra considera os seguintes características que influenciariam a

leitura: gênero, capacidade cognitiva e background (Wray e Janan, 2013). O controle

experimental e isolamento de possível efeito por discrepância sistemática entre os grupos,

foram selecionados alunos do 1ᵒ ano dos cursos de administração e economia de uma

Universidade pública. São jovens adultos com alta (mas não necessarimanete semelhante)

capacidade cognitva ao serem aprovados em um vestibular competitivo. Esta condição foi

caltada na coleta feita com menos de um ano após o vestibular. As disciplinas feitas no ano

em curso não afetam o experimento. Os alunos de administração cursaram a disciplina

Contabilidade Empresarial e os de Economia, a de Contabilidade Social. Nenhum grupo tem

base de contabilidade ou finanças públicas, apenas uma base de contabilidade geral.

Partimos de uma população de 141 alunos (17 e 27 anos). Os jovens foram convidados

a partir de uma lista aleatória controlada por gênero. Algumas coletas foram descartadas por


interferência no momento do experimento (ruídos, interrupção ou participante que não seguiu

instruções). A coleta chegou a 50 indivíduos (42% mulheres, 86% entre 18 e 21 anos).Para

reforçar o controle experimental com relação ao conhecimento do significado das palavras foi

feitoFizemos um teste de calibração dos jargões para compor diferentes narrativas no

experimento. O objetivo dessa validação é confirmar o nível de dificuldade oferecido por cada

jargão para esse grupo em específico, já que o que é jargão para um grupo pode não ser para

outro. Partimos de 152 termos técnicos (com uma ou mais palavras) extraídos da Prestação de

Contas Anual Simplificada de 2017 da Secretaria da Fazenda do Estado da Bahia.

Convidamos em seguida especialistas na área para classificar termos quanto dificuldade

oferecida: “fácil”, “médio”, ou “difícil”. Em seguida, utilizamos dez termos de cada nível

garantindo a variabilidade do nível de dificuldade e de temas. Essa lista de 30 termos foi

dividida por sorteio em dois, gerando dois questionários com 15 termos cada.

Os questionários foram aplicados entre a população amostral uma semana antes do

experimento, iniciando com a pergunta “Para cada um dos termos a seguir, qual seu nível de

familiaridade?”. Os respondentes escolheram entre: (1) Nenhuma (não conheço este termo);

(2) Pouco familiar (tenho algum conhecimento sobre o significado); (3) Razoavelmente

familiar (tenho conhecimento razoável sobre o significado); (4) É familiar (sei o significado).

A classificação média gerou uma lista ordenada por dificuldade, utilizada para selecionar as

os termos fáceis ou difíceis seguindo o entendimento daquela população.

4.2 Teste 1 – Complexidade sintática e sofisticação léxica

Neste teste o objetivo é testar o efeito da sofisticação léxica (comprimento das

palavras) e da complexidade sintática (comprimento das frases) na compreensão dos leitores

de relatórios financeiros de governos. No teste foi apresentada um texto fictício (em uma tela

de fundo branco) narrando as entregas de uma secretaria de infraestrutura. No caso

apresentado as obras daquele ano feitas pela prefeitura foram financiadas por um empréstimo

e doações de empresários. Era esperado que os leitores extraíssem que não haviam recursos

públicos suficientes para a consecução das obras realizadas com ajuda de capital de terceiros.

Na versão simplificada as frases e as palavras da narrativa são mais curtas, mantendo o

conteúdo informacional e o tom do discurso. O índice ARI na versão popular (manipulada)

(ARIA = 8.55) contém estilo da escrita adequado para crianças a partide 8 anos, e a versão

complexa tem ARI calibrado para jovens adultos a partir de 19 anos de idade. A diferença

obtida no ARI garante a manipulação da complexidade sintática e sofisticação léxica.

Após a leitura do teste, o participante respondeu 2 questões de múltipla escolha na

própria tela do computador. A primeira pergunta demandava lembrar do evento “obras nas

escolas” e associá-lo a um tipo de recurso. Dada baixa complexidade, dado que a informação

foi apresentada de forma explícita nas últimas linhas do texto, capta o uso da memória de

trabalho e se o texto foi lido com atenção. A segunda pergunta captou se uma informação

implícita do texto foi compreendida. A tarefa cognitiva é mais associada à interpretação do


texto, pois o participante deduziria a síntese da mensagem do texto, de que a secretaria de

infra-estrutura representa um governo captando recursos para financiar obras públicas.

4.3 Teste 2 – Presença de jargões da contabilidade pública

O segundo teste observa o efeito de jargões na narrativa de desempenho financeiro e

operacional de um governo estadual em que a receita arrecadada no ano caiu em relação ao

anterior, e alguns serviços foram suspensos. O texto cita ainda menciona dificuldades na

previdência de servidores do estado.

Diferentemente do teste 1, a legibilidade por sofisticação léxica e sintática foi mantida

a mesma para as versões simplificada e complexa (índices ARI similares). Na versão

manipulada (mais legível) os jargões foram substituídos por palavras de entendimento geral,

de significado equivalente, mantendo o conteúdo informacional. A versão difícil do texto

continha 3 jargões classificados como “difícil” na validação dos jargões realizada

anteriormente (Tabela 2).

Tabela 2 - Descrição das AOIs configuradas para análise do Teste 2 (efeitos da presença de jargões)

Sigla da AOI Descrição Termos "traduzidos" - T2A Jargões da contabilidade - T2B

a1 Jargão 1 decisão do governo de não cobrar tributos renúncia de receita aprovada pelo prefeito

a2 Jargão 2 os prejuízos futuros da previdência passivo atuarial da previdência

a3 Jargão 3 receita arrecadada foi 27% menor do que teve uma frustração de receita de 27%.

a5 texto texto completo texto completo

Fonte: elaborado pelo autor

Este teste também analisou o processamento cognitivo dos termos específicos pelo

ratreamento do movimento ocular. As AOIs foram configuradas para inferir com precisão

sobre o movimento ocular do respondente quando lia os jargões. Além da AOI que cobre todo

o texto (a5), destacam-se outras 3 (a1, a2 e a3), que contém os jargões na versão tradicional

do relato e na versão “traduzida”, cobrindo os termos que os substituíram.

4.4 O Teste 3 – Presença de jargões da contabilidade pública em tabelas

O terceiro teste observou o efeito dos jargões quando a informação é dispostas em

forma tabular. Para isso manipulamos o uso de palavras menos técnicas e observamos o

padrão do comportamento visual dos leitores. Foi apresentado uma tabela com o Balanço

Patrimonial Geral de um Município fictício (em uma tela de fundo branco). O balanço

simplificado continha 5 contas no ativo e 4 no passivo, além das somas de circulante e não

circulante, dispostas em duas colunas (ano atual e ano anterior). Para direcionar o trabalho

cognitivo dos participantes a pergunta “Qual a situação financeira da prefeitura?” foi deixada

logo abaixo da tabela. Ao ler a pergunta, os participantes tentavam respondê-la em silêncio,

olhando para os termos e valores na busca de uma resposta. Uma versão usou os termos


técnicos (jargões da contabilidade pública) comumente encontrados nos relatórios. Já a versão

simplificada continha apenas termos menos específicos ou de menor tecnicidade.

5. RESULTADOS E ANÁLISES

O teste 1 verificou o efeito da simplificação da estrutura do texto pela manipulação da

sofisticação léxica (comprimento das palavras) e da complexidade sintática (comprimento das

frases). Logo depois de ver a tela com o texto do teste 1 os participantes responderam as

Perguntas 1 e 2 de atenção e compreensão fazendo uso de um mouse. A primeira pergunta

(Pergunta 1 da Tabela 3) verificou o nível de atenção dos participantes, abordando uma

informação que estava explícita nas últimas linhas do texto.

A manipulação afetou a taxa de acerto média da pergunta 1, que foi 30% maior entre

os participantes que viram o texto simplificado (comparação entre médias simples). Essa

diferença é confirmada pelo teste de médias (apresentado na Tabela 3).

A pergunta 2 buscava verificar outro aspecto da compreensão dos relatórios,

perguntando sobre um fato que não se deixou de forma explícita no texto. Para responde-la

era preciso que o participante interpretasse o que foi lido. Ao contrário do que se esperava, a

taxa de acerto foi 10% menor (média simples) entre os participantes que acessaram o texto

simplificado. Com base na literatura de legibilidade, uma possível explicação para este

resultado é que a questão não inclui apenas recuperar uma informação do texto, mas inclui

outro tipo de atividade cognitiva, que vai além da decodificação das palavras do texto. Isso

reforça o entendimento de que a interpretação é uma atividade cognitiva individual e interna,

que exige uma maior capacidade cognitiva do leitor, independentemente das características

físicas do texto. Outra possibilidade é que as frases e palavras mais longas tenham afetado a

compreensão de forma positiva, ao encontrar dificuldade no texto (palavras e frases mais

longas), o participante precisa realizar um esforço cognitivo maior, assimilando melhor as

informações implícitas.

Tabela 3 - Teste de média (T de Student) para perguntas de Compreensão do Teste 1 Perguntas de Compreensão por teste n Media D.p Teste T - Pro (T>t)

Pergunta 1 (t1q1) Atenção A > B

T1 (versão popular) 24 0.875 0.338 0.0093 ***

T1 (versão tradicional) 26 0.577 0.503

Pergunta 2 (t1q2) Interpretação A > B

T1 (versão popular) 24 0.500 0.510 0.9139

(-)0.0862 * T1 (versão tradicional) 26 0.692 0.470

Pergunta 2 (t1q2) Interpretação A > B sendo t1q1=1

T1 (versão popular) 21 0.476 0,512 0.9350

T1 (versão tradicional) 15 0.733 0.457 (-) 0.0650 *


Nota: * sig a 10%, ** sig a 5%, *** sig a 1%

Nota 2: Dados com distribuição normal, averiguada pelo teste de Shapiro-Wilk.


O movimento ocular foi analisado tomando como referência uma área de interesse

(AI) que cobria todo o texto (texto completo). Ao contrário do que se esperava, em nenhuma

das métricas houve uma diferença significativa entre os grupos. Ou seja, nesse teste, o

movimento ocular não foi sensível à simplificação do texto. Interessantemente, as frases e

palavras mais longas não geraram uma dificuldade tal para a decodificação do texto, a ponto

de que fosse necessário realizar mais (ou mais longas) fixações durante a leitura. Esse

resultado corrobora as críticas ao uso de formulas de legibilidade evidenciando que realmente

não são plenamente efetivas na captação da complexidade da narrativa. Apesar da grande

diferença entre os índices calculados, os textos tem complexidade similar pois tratam do

mesmo assunto, e carregam a mesma narrativa. O que se depreende de uma análise

considerando ambos resultados é que a simplificação do texto ajuda em tarefas cognitivas

mais simples, como a de memória de curto prazo (recordar informação explícita), porém não

afeta o tempo de decodificação e a qualidade da interpretação das informações.

Tabela 4 - Testes de média para métricas do Eye-tracker geradas no Teste 1

Métricas geradas pelo Eye-tracker

para AOI a7 (texto completo) n Media D.p

Prob > |z| ;

Prob B > A

Tempo Total de

fixação

T1A 24 71.35 23.62 Ns

T1B 26 67.86 23.66

Média das fixações T1A 24 0.386 0.61

Ns T1B 26 0.373 0.05

Número de fixações

T1A 24 183.5 64.93 Ns

T1B 26 181.61 58.49

Tempo total da visita T1A 24 79.72 25.00

Ns T1B 26 77.79 24.13

Média das visitas T1A 24 30.52 24.83

Ns T1B 26 33.19 30.07

Número de visitas T1 24 5.93 5.83

Ns T1B 26 4.09 3.64

Tempo de leitura total. T1A 24 84.82 28.15

Ns T1B 26 82.57 25.49



Nota 2: Com exceção da métrica ft_t1ab_a7 apresentada na primeira linha, os dados não

apresentam distribuição normal (averiguada pelo teste de Shapiro-Wilk). Por isso, para testar a

hipótese nula usamos o teste de Mann-Whitney mais (análise não-paramétrica).

Nota 3: Para a métrica citada, que consta na primeira linha da tabela, foi usado o Teste T.

Nota 4: O primeiro valor da última coluna (Prob > |z|) é a probabilidade resultado do teste da

hipótese nula de que as médias são iguais. O segundo valor é a probabilidade de que a métrica

seja maior entre os participantes do grupo A (Prob A > B).


O Teste 2 verifica o efeito de jargões da contabilidade nos textos com informação

sobre desempenho de governos. Os textos sem jargão seriam lidos e compreendidos mais

facilmente, além de prender mais a atenção do leitor. A pergunta 1, como no Teste 1, media a

atenção dos leitores abordando uma informação que estava explícita. A média (simples) de

acerto foi 13% maior entre os participantes que viram a versão simplificada, porém pelo teste

de médias a diferença não foi significante (Tabela 5). Entende-se que a presença dos jargões

não provocou uma distração visual que afetasse a atenção dos participantes ou que impedisse

o entendimento da informação abordada na pergunta.

A pergunta 2 buscava verificar o nível de compreensão envolvendo a interpretação

das informações, que também não foi afetado. Aqui o ARI era o mesmo para ambos os textos,

e mesmo com a presença dos jargões previamente validados como difíceis a interpretação dos

fatos pelos participantes não foi afetada. Mais uma vez parece que o processamento cognitivo

das informações enquanto a articulação do que esta explicito para chegar a um ponto que

ficou implícito no texto não foi afetado pela legibilidade. Como no Teste 1, as evidências

apontam que esse atividade depende mais do leitor do que das características do texto.

Tabela 5 - Testes de média para Compreensão do Teste 2

Perguntas de Compreensão por teste n Media D.p. Prob > |z| ;

Prob A > B

Pergunta 1 (t2q1) Atenção A > B

T2A 26 0.961 0.196 ns

T2B 24 0.833 0.380

Pergunta 2 (t2q2) Interpretação A > B

T2A 26 0.884 0.325 ns

T2B 24 0.916 0.282

Pergunta 2 (t2q2) Interpretação A > B Sendo t2q1=1

T2A 25 0.92 0.276 ns

T2B 20 0.95 0.220



Nota 2: Dados não apresentaram distribuição normal (averiguada pelo teste de

Shapiro-Wilk). Para testar a hipótese nula usamos o teste de Mann-Whitney.

Nota 3: O primeiro valor da última coluna é a probabilidade resultado do teste da

hipótese nula de que as médias são iguais. O segundo valor após o ‘;’ (Prob A >

B) é a probabilidade da métrica ser maior entre os que fizeram o teste T2A.

Sobre o movimento ocular para o Teste 2, aparentemente, os jargões “frustração de

receita” e “renúncia de receita” não foram percebidos como sendo mais difíceis de processar

cognitivamente (métricas não foram afetadas, como mostra a Tabela 6). Contudo, o

movimento ocular dos respondentes que leram o trecho com jargão “passivo atuarial da

previdência”, e sua versão traduzida “os prejuízos futuros da previdência” (Tabela 6). A

média dos tempos de fixação, o número de fixações e número de visitas foram


significativamente maiores. Trata-se de uma evidência de que há dificuldade de

processamento cognitivo-visual local, pois o indivíduo teve de colocar essa área de interesse

(jargão 2) no centro do seu campo de visão (fóvea) mais vezes.

Analisando as métricas para o texto completo, o tempo total de fixação, o número de

fixações, o número de visitas e o tempo total de leitura também foram maiores para o teste

com jargões. A duração média das visitas é diferente e menor no teste com jargões, evidência

clássica da presença de mais regressões ‒ tipicamente, é a primeira visita/fixação a mais

demorada; quando os olhos voltam a visitar determinada palavra ou sentença, a fixação é

menor (Rayner, 1998).

Apesar de não se registrarem medidas significativamente diferentes em dois dos três

jargões, as evidências apontam, de forma clara, que os indivíduos encontraram mais

dificuldade no processamento da narrativa no texto com jargões como um todo, e uma

dificuldade específica para processar o jargão 2.

Tabela 6 - Testes de média para métricas do Eye-tracker no Teste 2

Métricas (texto completo) Prob > |z| Métricas (jargão 2) Prob > |z|

T2A n =26 / T2B n = 24 T2A n =26 / T2B n = 24

Tempo Total de fixação 0.0999* Tempo Total de fixação 0.0730*

Média das fixações ns Média das fixações ns

Número de fixações 0.0818* Número de fixações 0.0256**

Tempo total da visita ns Tempo total da visita ns

Média das visitas 0.0709* Média das visitas ns

Número de visitas 0.0299** Número de visitas 0.0223**

Duração total (tempo de leitura) 0.0709* Métricas (jargão 1) Prob > |z| Métricas (jargão 3) Prob > |z|

T2A n =26 / T2B n = 24 T2A n =26 / T2B n = 24

Tempo Total de fixação ns Tempo Total de fixação ns

Média das fixações ns Média das fixações ns

Número de fixações ns Número de fixações ns

Tempo total da visita ns Tempo total da visita ns

Média das visitas ns Média das visitas ns

Número de visitas ns Número de visitas ns


Nota: * sig a 10%, ** sig a 5%, *** sig a 1%. Nota 2: Para mostra com distribuição normal

(averiguada pelo teste de Shapiro-Wilk) foi realizado Teste T, caso contrário, teste de Mann-

Whitney. Nota 3: Prob > |z| é a probabilidade da hipótese nula de que as médias são iguais. Prob B

> A é a probabilidade de que a métrica seja maior entre os participantes do grupo B.

Com base na literatura sobre leitura, espera-se que, ao deparar-se com termos mais

difíceis, os participantes tenham que fazer mais fixações e visitas (e mais longas) para

concluir o reconhecimento e decodificação dos significados. Sem embargo, na comparação

das AOIs que cobrem todo o ativo, e todo o passivo, não foram encontradas diferenças


significativas que corroborem esta suposição. Nenhuma das métricas se mostrou sensível à

manipulação. Ou seja, não há diferença significativa no padrão de movimento ocular sobre a

área que cobre o ativo, e sobre a área que cobre o passivo (Tabela 7).

Tabela 7 – Comparação do lado esquerdo (ativos) e direito (passivos) das Tabelas no Teste 3

Métricas AOI a4

(Tabela E - ativos)

Métricas AOI a3

(Tabela D - passivos)

T3A n =24

T3B n = 26 Prob > |z| ; Prob B > A

T3A n =24

T3B n = 26 Prob > |z| ; Prob B > A

Tempo Total de fixação Ns Tempo Total de fixação ns

Média das fixações Ns Média das fixações ns

Número de fixações Ns Número de fixações ns

Tempo total da visita Ns Tempo total da visita ns

Média das visitas Ns Média das visitas ns

Número de visitas Ns Número de visitas ns

Tempo total de leitura Ns

Fonte: elaborado pelo autor.

No caso do experimento 3, o mais provável é que outros fatores tenham interferido no

comportamento ocular dos indivíduos. A pergunta deixada logo abaixo da tabela, “Qual a

situação financeira da prefeitura?” deve ter influenciado o comportamento visual. Assim, é

possível supor que, mesmo diante de uma tabela com palavras difíceis, os participantes de

ambos os grupos se encontravam em uma tarefa cognitiva similar, de formular uma resposta

para a pergunta. Essa situação pode explicar a semelhança entre as métricas de A e B na

comparação entre ativo e passivo. O Número / texto calcula o quanto os participantes olham

para os números em relação ao texto (Tabela 8). Essa foi a única dentre as novas variáveis

criadas que se mostrou significante.

Os participantes que viram a versão A do teste (simplificada), colocaram mais atenção

visual nos números, em relação ao conteúdo textual da tabela. Esse resultado é interessante.

Significa que o participante não tem que fazer tanto trabalho cognitivo para ler as palavras,

uma vez que já as compreendeu, o foco é colocado nos números da tabela.

As variáveis Ativo / Passivo e Ano Atual / Ano anterior foram criadas para identificar

se, ao ler os relatórios simplificados, o participante apresentaria um padrão de movimento

ocular com algum viés para essas classes de informação. Os testes de média indicam que não

houve uma diferença significativa entre o grupo que viu a versão A e a versão B. Portanto, é

possível afirmar que a simplificação dos relatórios não levaria a um viés sistemático de

atenção visual, nem para o tipo de conta, nem para o período do exercício fiscal.


Tabela 8 – Testes de Média (Mann-Whitney) das variáveis criadas para análise do Teste 3 Métricas Média (D.p.) Média (D.p.) Prob > |z|

Número / Texto A n = 24 B n = 26 Número de fixações 1.38 (0.58) 0.98 (0.56) 0.0029***

Tempo Total de fixação 1.33 (0.51) 1.10 (0.66) 0.0570**

Visita Média 1.19 (0.34) 1.08 (0.40) ns

Ativo / Passivo A n = 24 B n = 26 Número de fixações 1.38 (0.97) 1.18 (0.39) ns

Tempo Total de fixação 1.36 (0.84) 1.26 (0.50) ns

Visita Média 1.33 (0.72) 1.27 (0.45) ns

Ano atual / Ano anterior A n = 24 B n = 26 Número de fixações 2.102 (1.15) 2.22 (1.74) ns

Tempo Total de fixação 2.16 (1.26) 2.27 (2.03) ns

Visita Média 1.48 (0.74) 1.46 (0.95) ns

Fonte: Elaborado pelo autor.

6. IMPLICAÇÕES PARA GOVERNOS E PARA LITERATURA

Os resultados indicam caminhos para a composição de relatórios populares. Em

resumo, indicam benefícios da substituição de jargões da contabilidade por palavras mais

familiares, acompanhadas de contexto ou de exemplos que ajudem os leitores a fazer sentido

dos conteúdos apresentados. Ainda, as diferentes tarefas cognitivas dos indivíduos ao lerem

relatórios sobre desempenho de governos devem ser consideradas.

Apesar de atualmente muitas iniciativas de RP ser apenas uma versão traduzida de um

relatório completo (Paolo, Silvana & Valerio, 2016), tal tradução se restringe a aspectos

visuais mais atrativos usado no RP. Exemplo é a iniciativa da secretaria da Fazenda do Estado

da Bahia, que usa gráficos, ilustrações e cores, porém continua carregado de jargões

contábeis. Porém, além de simplificar as frases e as palavras, os jargões contábeis devem ser

traduzidos e informações de contexto adicionadas. Eventuais perdas de detalhes das

informações devem ser consideradas, pelo benefício da atratividade e compreensão dos não

especialistas.

Os responsáveis pela elaboração dos relatórios talvez não estejam atentos ao impacto

do uso de jargões. O fato é que certas palavras, aqui tratadas como ‘jargões’, geram nada mais

do que o que se chamou de ‘blanks’ (vazios de significado). Os blanks dificultam ou ainda

impedem o entendimento do leitor. Jargão, como tratado pela literatura de legibilidade, é um

termo não-familiar, de significado complexo ou dúbio. Se dentre os indivíduos sem

conhecimento especializado existem vários grupos, cada um tem conhecimento de certos

termos e não de outros, será quase impossível reduzir o número de jargões a zero.

O desafio do elaborador do RP é de calibrar o mesmo código de significados do

relatório para se conectar com significados latentes utilizados na linguagem fluída e instável

da sociedade. Os termos ou as palavras podem ser vistos como conjuntos de símbolos que

remetem a um determinado significado. Substituir as palavras seria trocar esses símbolos por


outros com mesmo significado, considerando que algumas palavras não possuem substitutas

diretas. O desafio é encontrar no vocabulário popular o conjunto de palavras com o mesmo

significado desejado. Se não há, o significado deve ser desenvolvido. Ainda, talvez o

significado que precise ser debatido ‒ passivo atuarial da previdência, por exemplo ‒ não

exista no vocabulário popular, por não pertencer à lógica institucional social. Neste caso, a

tradução será ainda mais difícil. Uma solução é aceitar a perda de parte do significado na

tradução pelo uso de um termo que expressa algo mais específico ou mais amplo do que

aquele que o jargão intencionava retratar. Mesmo com perda de precisão, alguma parte da

informação está sendo transmitida, como uma alternativa ao uso de jargões técnicos e tabelas

precisas e complexas.

segunda implicação diz respeito à necessidade de considerar as diferentes tarefas

cognitivas associada à leitura e compreensão de um relatório. Os resultados indicaram que

tarefas cognitivas realizadas com base na memória de trabalho foram facilitadas, mas não as

mais complexas de interpretação. Entre as tarefas cognitivas estão: a recuperação de

significados pré-existentes para uma palavra do texto que desvenda uma ação consciente

cognitiva de associação por similaridade / dissimilaridade cujo resultado seria o transporte de

significado registrado na memória à mesa de processamento corrente (recorrente na literatura

como ‘working memory’). Essa associação não necessariamente seria como o significado

exato daquele termo (desejado por quem elaborou o relatório), mas aquele conceito mais

próximo e inconscientemente associado ao termo. Esses conceitos não são trabalhados de

forma isolada, mas emergem de uma concatenação lógica dos significados recuperados na

construção de uma narrativa que representa o que foi lido.

A simplificação do texto (melhora da legibilidade) pode facilitar tarefas cognitivas

mais simples, mas não há garantia de que outras tarefas cognitivas sejam facilitadas. Uma

tentativa (a ser testada) é a associação de informações de contexto dos eventos narrados com

outros eventos e fatos que compõem a história do período de desempenho em análise ou

história passada, e a realidade do usuário.

Por fim, em geral, quando se trata de relatório popular, assume-se um relatório escrito,

com tabelas, gráficos e fotos. Mas o conteúdo sobre desempenho pode ser transferido por

outras mídias. A divulgação de informações por vídeos curtos em mídias sociais pode ter

melhores resultados, por combinar melhor outros elementos de linguagem, favorecendo a

compreensão da mensagem. Ainda, em todo relatório existe uma lógica de narrativa implícita,

que surge na interação do leitor com o relatório. A lógica de exposição dos argumentos no

relatório poderia ser potencializada, melhor conduzida com uso de outras mídias.

7. CONCLUSÕES

A simplificação do relatório de governo considera que um texto com frases e palavras

mais curtas, usando um estilo de escrita mais simples e direto, seria mais legível e, portanto,

mais fácil de ser compreendido. Este é uma expectativa amplamente aceita entre educadores,


linguistas e literários, a partir das teorias de leitura e compreensão de textos por crianças e

adultos. Porém, a mesma literatura destaca que a compreensão decorre da interação entre

leitor e o contéudo escrito (Dubay, 2004, p.1; Ganske e Fisher, 2009, p.285). Nos testes

realizados na pesquisa, observamos a melhoria da compreensão com a simplificação do tetxo

apenas nas tarefas cognitivas mais cimples, associada à recuperação de informação do tetxo

lido. Essa facilidade ocorre pois o indivíduo ocupado na leitura de um texto complexo ou mal

escrito tem sua memorização prejudicada. Contudo, na tarefa de interpretar o texto a

legibilidade não afetou os resultados. Parece que essa tarefa depende mais do leitor, do que do

texto em si, o que é condizente com a literatura de legibilidade. Assim, a facilitação do texto

em relação a complexidade sintática e léxica melhora a capacidade de recuperação de

informações, mas talvez não seja suficiente para a tarefa de interpretação.

Em relação ao uso de jargões, nos testes a presença de jargões não afetou a fluência da

leitura, ao contrário do que se esperava. Entretanto, provocaram uma alteração no

comportamento ocular no texto como um todo. O fato de várias métricas terem apresentado

uma diferença significativa indica que o leitor teve que fazer mais regressões (retornos a

trechos anteriores) dentro do texto. Mesmo não ocorrendo maior dificuldade de

processamento cognitivo, o movimento ocular indicou dificuldade generalizada de leitura com

potencial aumento do tempo e vazios de significado na leitura. Finalmente, o uso de jargões

em formato tabular (usualmente empregados em demonstrações financeiras) não afetou o foco

em ativo vs. passivo, ou valores atuais vs. anteriores, mas direcionou o foco para valores

numéricos em comparação com os rótulos dos valores (textos). Ou seja, pode ser indicio de

que jargões contábeis aumentam a dificuldade que jovens indivíduos em interpretar o

desempenho informado no formato tabular com jargões, e o formato tabular não cumpre

função auxiliar no movimento ocular observado.

Sugerimos que novos estudos continuem explorando a questão da compreensão de

relatórios de governos por não especialistas, pois o uso (com maior compreensão e

engajamento) desses relatórios e dados de desempenho seria a razão para todas inciativas de

transparência e abertura de dados de governos tão difundidos como a solução da democracia

participativa.

REFERÊNCIAS

AGA. 2012. E-Reporting. Corporate Partner Advisory Research Series, Report No. 32.

Disponível em: <https://www.agacgfm.org/getattachment/Resources/Online-

Library/Research-Reports/EReportingJuly2012.pdf.aspx>. Acesso em jan. de 2018.

Allison, G.S. (1995). Gafo-as Popular Reporting Awards Program: Revised and Improved.

Government Finance Review, 11 (3), p. 36–37.

Barbera, C.; Borgonovi, E., & Steccolini, I. (2016). Popular Reporting and Public

Governance: The Case of ‘Bilancio in Arancio’ in Milan Municipality. Governance and

Performance in Public and Non‐Profit Organizations (Studies in Public and Non‐Profit


Governance), 5, p. 3– 30.

Brusca, I., & Montesinos, V. (2006). Are citizens significant users of government financial

information? Public Money and Management, 26(4), p. 205-209.

Carpenter, F.H., Sharp, F.C. (1992). Popular reporting: local government financial reports to

the citizenry. Governmental Accounting Standards Board, Norwalk.

Senter, R. J., & Smith, E. A. (1967). Automated readability index. CINCINNATI UNIV OH.

Chall, J. S., & Dale, E. (1995). Readability revisited: The new Dale-Chall readability

formula. Brookline Books.

Charness, G., Gneezy, U., & Kuhn, M. A. (2012). Experimental methods: Between-subject

and within-subject design. Journal of Economic Behavior & Organization, 81(1), 1-8.

Clifton Jr, C., Staub, A., & Rayner, K. (2007). Eye movements in reading words and

sentences. In Eye Movements (pp. 341-371). Elsevier.

Cohen, S., & Karatzimas, S. (2015). Tracing the future of reporting in the public sector:

introducing integrated popular reporting. International Journal of Public Sector

Management, 28(6), 449-460.

Cohen, S.; Mamakou, X.; Karatzimas, S. (2016). IT enhanced popular reports: Is it the

missing link in triggering citizens’ interest? Athens University of Economics and

Business.

Dale, E., & Chall, J. S. (1948). A formula for predicting readability: Instructions. Educational

research bulletin, 37-54.

Dean, M. M. (2002). The role of GASB 34 in the citizen-government accountability

relationship. State and Local Government Review, 34(1), p. 51-53.

DuBay, W. H. (2004). The Principles of Readability. California: Impact Information, 73 p.

Duchowski, A. T. (2007). Eye tracking methodology. Theory and practice, 328(614), 2-3.

Eckersley, P., Ferry, L., & Zakaria, Z. (2014). A “panoptical” or “synoptical” approach to

monitoring performance? Local public services in England and the widening

accountability gap. Critical Perspectives on Accounting, 25(6), p. 529–538.

Ganske, K., & Fisher, D. (2009). Comprehension across the curriculum: Perspectives and

practices K-12. Guilford Press, 335 p.

GFOA. (2018). Popular Annual Financial Reporting Award Program (PAFR Program).

Disponível em: <http://www.gfoa.org/pafr>. Acessado em: março de 2018.

Grimmelikhuijsen, S., Jilke, S., Olsen, A. L., & Tummers, L. (2017). Behavioral public

administration: Combining insights from public administration and psychology. Public

Administration Review, 77(1), 45-56.

Haustein, E. & Lorson, P. C. (2017). “I no longer trust the numbers” – A study on citizens’

reflections on local government financial statements in the light of transparency and

distrust. Working Paper presented at the 16th Biennial CIGAR Conference.

Heald, D. (2003). Fiscal transparency: Concepts, measurement and UK practice. Public

administration, 81(4), p. 723-759.


Hermann, K. R. (2011). Creating an Excellent Popular Financial Report. Government Finance

Review, 27(5), p. 41-44.

Janan, D., Wray, D., & Pope, M. (2010). Paradigms in readability research. International

Journal of Arts and Sciences, 3(17), 19-29.

Jordan, M. M., Yusuf, J. E., Berman, M., & Gilchrist, C. (2017). Popular Financial Reports as

Fiscal Transparency Mechanisms: An Assessment Using the Fiscal Transparency Index

for the Citizen User. International Journal of Public Administration, 40(8), 625-636.

Kolstad, I., Wiig, A. (2009). Is Transparency the Key to Reducing Corruption in Resource-

Rich Countries? World Development, 37(3), p. 521–532.

Lee, M. (2006). The history of municipal public reporting. Intl Journal of Public

Administration, 29(4-6), p. 453-476.

Lindstedt C. & Naurin, D. (2010). Transparency is not Enough: Making Transparency

Effective in Reducing Corruption. International Political Science Review, 31(3), p.

301–322.

Marsh, T.L; Montondon, L.G. (2005a) A Comparison of The Readability of Governmental

Annual Financial Reports Popular Reports and Management Discussion and Analysis.

Journal of Accounting & Finance Research, 13(3), p. 153-161.

Montondon, L. G., & Lilley, T. (2005b). How Readable are Those Financial Reports? The

Journal of Government Financial Management, 54(1), 52.

Oliveira, J. H. C. (2013). Neuromarketing, tomada de decisão e consumo sustentável entre

jovens: um estudo sobre o processamento cognitivo duplo e seu impacto na brand equity

por meio da neurociência visual. Tese de Livre-Docência – Universidade de São Paulo.

Oliveira, Â. F. L. (2016). Popular reporting nos municípios portugueses (Tese de mestrado,

FEUC).

Paolo, B., Silvana, S., & Valerio, B. (2016). The Popular Financial Reporting: Focus on

Stakeholders ‒ The first European Experience. International Journal of Business and

Management, 11(11), p.115-125.

Rayner, K. (1998). Eye movements in reading and information processing: 20 years of

research. Psychological bulletin, 124(3), 372.

Rayner, K., Chace, K. H., Slattery, T. J., & Ashby, J. (2006). Eye movements as reflections of

comprehension processes in reading. Scientific studies of reading, 10(3), 241-255.

Redish, J. C., & Selzer, J. (1985). The place of readability formulas in technical

communication. Technical communication, 46-52.

Redish, J. (2000). Readability formulas have even more limitations than Klare discusses.

ACM Journal of Computer Documentation (JCD), 24(3), 132-137.

Sharp, F. C., Carpenter, F. H., & Sharp, R. F. (1998). Popular financial reports for

citizens. The CPA Journal, 68(3), 34.

Stausberg, M., & Engler, S. (2013). The Routledge handbook of research methods in the

study of religion. Routledge.


Wray, D., & Janan, D. (2013). Readability revisited? The implications of text complexity. The

Curriculum Journal, 24(4), p.553-562.

Yusuf, J.E., & Jordan, M.M. (2012). Effective Popular Financial Reports: The Citizen

Perspective. Journal of Government Financial Management, 61(4), p. 44-49.

Yusuf, J.E., Jordan, M.M., Neill, K.A., & Hackbart, M. (2013). For the people: Popular

financial reporting practices of local governments. Public Budgeting & Finance, 33(1),

p. 95-113.

Movimento ocular e desafios cognitivos na compreensão de ...

Documents

Transcript of Movimento ocular e desafios cognitivos na compreensão de ...