MARA DA SILVA GOMES

A COMPLEXIDADE DE TAREFAS DE LEITURA E PRODUO ESCRITA NO EXAME Celpe-Bras

PORTO ALEGRE 2009

2

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL INSTITUTO DE LETRAS

PROGRAMA DE PS-GRADUAO EM LETRAS REA DE CONCENTRAO: LINGUSTICA APLICADA

A COMPLEXIDADE DE TAREFAS DE LEITURA E PRODUO ESCRITA NO EXAME CELPE-BRAS

MARA DA SILVA GOMES ORIENTADORA: PROFA. DRA. MARGARETE SCHLATTER

Dissertao de mestrado em Lingstica Aplicada, apresentada como requisito parcial para a obteno do ttulo de Mestre pelo Programa de Ps Graduao em letras da Universidade federal do Rio Grande do Sul.

Porto alegre

2009

3

AGRADECIMENTOS

minha filha, Laira Gomes Midon, pela compreenso e incentivo constantes, por ter sido minha inspirao em todos os momentos.

minha me, Rosa Maria da Silva Gomes, pela dedicao e apoio incondicional e pelo exemplo de mulher batalhadora e forte, que no se intimida com os obstculos da vida.

Ao meu pai, Ademir Paulo Machado Gomes, mais que pai, meu melhor amigo, meu amparo nas horas difceis, pelo amor e carinho de sempre.

Ao Loureno, por me ensinar a ser uma pessoa melhor, pelo amor silencioso,

manifestado muito mais por gestos do que por palavras.

minha irm, Naiara da Silva Gomes, por ser um exemplo de determinao e dedicao ao que faz.

minha av querida, Ladi Nunes da Silva, por todo o carinho e cuidado dedicados a mim e a minha filha.

professora Dra. Margarete Schlatter, por acreditar em mim e me dar oportunidades de crescimento e aprendizagem, por ser um exemplo de profissional que sabe escutar e dar autonomia para construirmos nossos prprios caminhos.

s colegas de pesquisa e de trabalho, em especial, Juliana Schoffen, Letcia Grubert, Cristina Uflacker, Graziela Andrighetti, Letcia Bortolini, Camila Dilli Nunes, Simone da Costa Carvalho e Gabriela da Silva Bulla, por serem um exemplo de competncia e dedicao ao que fazem, por todas as discusses e momentos de aprendizagem, pela amizade e apoio.

s minhas amigas Laura Michael, Rebeca Fuo e Aline Resmim pela companhia e amizade de todos esses anos.

minha prima, Tiane Babtista, pela amizade e ajuda em todos os momentos que precisei.

4

RESUMO

O presente estudo tem como objetivo verificar os aspectos determinantes da complexidade no desempenho das tarefas integradas de leitura e produo textual do Exame de Proficincia em Lngua Portuguesa (Celpe-Bras). Nesse exame, o uso da lngua portuguesa testado atravs de tarefas que propem uma situao comunicativa a ser simulada, e o desempenho avaliado de acordo com a adequao ao gnero discursivo de cada tarefa. A anlise das tarefas, neste trabalho, foi feita com base na perspectiva bakhtiniana de gnero do discurso. O corpus foi composto de quatro tarefas integradas de leitura e produo textual e amostras de quarenta e quatro produes-resposta a cada tarefa. A anlise focalizou as caractersticas do enunciado das tarefas, que estabelece uma situao interlocutiva e orienta para os propsitos de leitura e de escrita, as grades de avaliao e os desempenhos dos participantes. Os resultados do estudo sugerem que a complexidade no um atributo apenas da tarefa em si, mas sim da relao entre tarefa-participante-avaliao. a partir das caractersticas da situao interlocutiva estabelecida (papis interlocutivos, propsito, assunto e suporte da interlocuo) que os participantes (candidatos e avaliadores) se engajam na atividade por meio da linguagem, e que os critrios para a avaliao das interaes so delimitados. Por serem vrios os fatores que influenciam no desempenho dos participantes e pelo fato de o desempenho resultar da interao tarefa-participante-avaliao, no h como garantir uma previsibilidade da complexidade. Pde-se observar, no entanto, que quanto mais claro o enunciado da tarefa em relao situao interlocutiva proposta, maior a possibilidade de coerncia dos critrios de avaliao utilizados para o uso da lngua proposto e maior a possibilidade de descrever desempenhos esperados. Com base nessa anlise, so delineadas algumas orientaes para a construo de tarefas que possam conferir maior validade a um exame de desempenho com as caractersticas do Celpe-Bras.

5

ABSTRACT

The present study has the objective of verifying the aspects that determine the complexity of tasks that integrate reading and writing in the Portuguese Proficiency Exam (Celpe-Bras). In this exam, the use of Portuguese is tested through tasks that propose different reading and writing situations, and the performance is assessed according to the adequacy to the communicative context proposed by the discourse genre of the task. The analysis of the tasks, in this work, was made based on the Bakhtinian concept of discourse genre. The corpus was composed of four tasks integrating reading and writing and samples of forty-four reply-productions to each task. The aspects analysed included the characteristics of the tasks, the assessment criteria and the participants performance, The results of the study suggest that task complexity results not only from the task itself, but also from the interaction task-participant-assessment. The characteristics of the rubrics, which establish the purposes of reading and writing, and the interlocutory situation (interlocutory roles, purpose, topic and media), orient the participants (candidates and assessors) engaging in different language activities and the establisment of task assessment criteria. Considering that the factors that influence the candidates performance are multiple and varied and that their performance results from the interaction task-participant-assessment, task complexity can not be predicted and determined in advance. Nevertheless, the analysis suggests that the clarity of the rubrics in terms of the interlocutory situation proposed can enhance the coherence of the assessment criteria to the language use proposed and improve the description of expected performances. Based on these results, some guidelines for the desinging of tasks that integrate reading and writing are proposed in order to contribute to the validity of performance examinations such as Celpe-Bras.

6

SUMRIO INTRODUO............................................................................................................ 8

1. O CONTEXTO DA PESQUISA............................................................................. 12 1.1 O exame Celpe-Bras.......................................................................................... 12 1.2 Conceituando tarefa.......................................................................................... 14 1.3 Gneros do discurso........................................................................................... 17 1.4 Tarefas integradas de leitura e produo de textos........................................ 25 1.5 Critrios de correo......................................................................................... 27 1.6 Validade e confiabilidade em avaliao........................................................... 30

2. A COMPLEXIDADE DE TAREFAS DE LEITURA E PRODUO DE TEXTO..........................................................................................................................

35 2.1 Os conceitos de complexidade e de dificuldade............................................... 36 2.2 O conceito de complexidade em uma perspectiva de leitura e escrita como aes sociais...................................................................................................................

44

3. METODOLOGIA..................................................................................................... 50 3.1 Motivao para a pesquisa.................................................................................. 50 3.2 Objetivos............................................................................................................... 50 3.3 Corpus da pesquisa.............................................................................................. 51 3.4 Procedimentos de gerao e anlise dos dados................................................. 51 3.5 Procedimentos para anlise dos dados.............................................................. 53

4. FATORES PARA ESTABELECER A COMPLEXIDADE DAS TAREFAS DO CELPE-BRAS........................................................................................................

56 4.1 Os enunciados das tarefas................................................................................... 56 4.2 Os textos- base para leitura................................................................................ 60 4.3 As grades de avaliao......................................................................................... 66 4.4 As produes dos participantes.......................................................................... 68

CONCLUSO ............................................................................................................. 93

REFERENCIAS BIBLIOGRFICAS....................................................................... 102

ANEXOS....................................................................................................................... 109

7

QUADROS E TABELAS Quadro 1........................................................................................................................ 40

Quadro 2........................................................................................................................ 42

Quadro 3........................................................................................................................ 57

Quadro 4........................................................................................................................ 60

Quadro 5........................................................................................................................ 67

Quadro 6........................................................................................................................ 69

Quadro 7........................................................................................................................ 70

Quadro 8........................................................................................................................ 74

Quadro 9........................................................................................................................ 78

Quadro 10...................................................................................................................... 80

Quadro 11...................................................................................................................... 84

Quadro 12...................................................................................................................... 87

Tabela 1........................................................................................................................ 54

Tabela 2......................................................................................................................... 54

8

INTRODUO

O Celpe-Bras um exame de proficincia em lngua portuguesa que se prope a medir o uso da lngua atravs de tarefas que integram compreenso e produo oral e escrita. Na parte coletiva do exame, a partir da leitura de um texto oral ou escrito, solicita-se uma produo de textos direcionada a um ou mais interlocutores sobre o assunto lido ou ouvido. As tarefas desse mdulo do exame procuram ser semelhantes s encontradas no dia-a-dia pela maioria dos falantes de lngua portuguesa inseridos em um contexto letrado, como escrever um e-mail a um amigo informando sobre um assunto, escrever um texto para ser publicado na seo cartas do leitor de um jornal, entre outros.

Se entendemos que o uso da linguagem se d atravs dos gneros do discurso (Bakhtin, 2003), um exame que avalia o uso da lngua, avalia tambm o uso dos gneros do discurso. Nesse sentido, as tarefas do exame devem estabelecer uma situao comunicativa com pistas sobre o contexto de uso que estar sendo avaliado. Para desempenhar a tarefa, o candidato ter de se inserir nesse contexto, assumindo o papel interlocutivo fornecido nas pistas do enunciado da tarefa e selecionar os recursos lingsticos adequados ao gnero discursivo em questo.

Douglas (2000) salienta a importncia de que as pistas do contexto no qual o candidato deve se inserir sejam suficientemente claras para que se minimizem os problemas na avaliao. Para que os resultados de um exame sejam confiveis, um dos requisitos so enunciados claros e com informaes suficientes para que todos os candidatos possam compreender o que devem fazer. Por outro lado, Bachman (2002) aponta a complexidade de se elaborar tarefas em testes para que se possam fazer inferncias vlidas e confiveis em relao aos desempenhos futuros dos candidatos em uma tarefa semelhante. Para a elaborao de tarefas que permitam inferncias mais vlidas, necessrio que sejam estudados e descritos os diferentes usos da lngua que se quer testar e aproximar ao mximo a tarefa do teste s caractersticas do que fazemos em situaes reais de comunicao (Douglas, 2000). Entender os fatores que influenciam os desempenhos dos candidatos nas tarefas de um exame tambm pode contribuir para a discusso em relao validade das tarefas desse exame.

Em qualquer avaliao, ainda, importante que haja tarefas distintas em grau de complexidade para que se possa avaliar o alcance do desempenho de cada candidato e os diferentes nveis dos diferentes candidatos. Um exame que contenha apenas tarefas

9

muito fceis, por exemplo, dificulta saber o que algum ainda deve aprender ou distinguir candidatos menos proficientes, j que a maioria provavelmente ter um desempenho favorvel na tarefa. As pesquisas que tratam sobre complexidade de tarefas se enquadram em uma perspectiva psicolingstica cujo foco de anlise a quantidade de ateno e esforo despendido pelo indivduo na realizao da tarefa (ver, por exemplo, Robinson, 2001; Skehan, 2001; Skehan e Foster, 2001). Os resultados dessas pesquisas apontam fatores cognitivos que influenciariam na complexidade de tarefas, como maior necessidade de argumentao ou quantidade de passos envolvidos, dando pouca ateno aos fatores contextuais como papis assumidos pelos interlocutores, propsitos comunicativos e prticas discursivas, aspectos que, no uso da linguagem, so determinantes para a produo de sentidos e para a seleo dos recursos lingsticos necessrios ou desejados.

O presente estudo pretende contribuir para a discusso sobre complexidade de tarefas de leitura e escrita e para a compreenso dos fatores que podem influenciar no desempenho dos candidatos em um exame de perspectiva scio-discursiva em que os fatores contextuais da produo do discurso so enfatizados. O ponto de partida para a anlise a situao comunicativa proposta pelas tarefas do exame Celpe-Bras, na qual so delineados os interlocutores e os propsitos de leitura e de produo textual. Diferente das abordagens psicolingsticas, nas quais o central verificar a quantidade de ateno dada s tarefas pelos aprendizes, neste estudo, tentamos entender como as situaes para o uso da lngua estabelecidas nas tarefas podem ser relacionadas aos desempenhos dos participantes, e quais fatores podem contribuir para tornar uma tarefa mais (ou menos) complexa.

Conforme Bachman (2002, p.468), h consenso na rea de avaliao sobre a importncia de conhecer como as tarefas de um exame afetam o desempenho, pois isso tem implicaes na maneira em que interpretamos e usamos os resultados de um teste e na validade dessas interpretaes e usos. Alm disso, uma melhor compreenso sobre os efeitos das tarefas de avaliao contribui para que tenhamos critrios mais consistentes na elaborao de novas tarefas.

O objetivo deste trabalho , portanto, verificar quais os fatores que interagem para definir a complexidade nas tarefas integradas de leitura e produo textual do exame Celpe-Bras e refletir sobre a possibilidade de estabelecer diretrizes na elaborao de tarefas mais (ou menos) complexas de acordo com a concepo terica que embasa o exame. Para isso, partimos das seguintes perguntas norteadoras: a) Que fatores

10

determinam a complexidade das tarefas integradas de leitura e produo de textos do exame Celpe-Bras? b) Quais so as diferenas de desempenho dos participantes nas tarefas e como podem ser relacionadas ao que solicitado na tarefa e exigido na correo? c) Podemos prever antecipadamente a complexidade das tarefas que elaboramos? Quais so os critrios a observar? Para respond-las, ser analisado um corpus de quatro tarefas, suas respectivas grades de avaliao e 144 textos resposta s tarefas.

O trabalho pretende contribuir com as pesquisas sobre validade das tarefas do exame Celpe-Bras na medida em que analisa os desempenhos de possveis candidatos nas tarefas do exame e a relao desse desempenho com o que solicitado na tarefa e com os critrios de avaliao. O considervel aumento da procura pelo Celpe-Bras nesses ltimos anos1 tem estimulado que pesquisadores estudem diversos aspectos do exame, contribuindo tanto para a sua melhoria como para a pesquisa na rea de avaliao (ver Scaramucci, 2008/ 2006/ 2004/ 2003)2; Varela, 2001; Sidi, 2002; Schoffen, 2003; 2009; Rodrigues, 2006; Sakamori, 2006; Rodrigues Da Silva, 2007; Ramos, 2007; Lima, 2008; Nacimento, 2008; Yan, 2008;).3 Meu interesse por pesquisar sobre as tarefas do exame comeou em 2005, quando participei do projeto de pesquisa Celpe-Bras/ Parte Coletiva: ponto de corte dos nveis de certificao (Nvel Intermedirio) e no certificao (Nvel Bsico), coordenado pela Profa. Dra. Margarete Schlatter desde 2003. Foi a partir do contato com esse grupo de pesquisa que iniciei meu projeto de mestrado. O presente trabalho um dos resultados dos estudos do grupo de pesquisa envolvido nesse projeto4, que tem como meta a anlise de vrios aspectos envolvidos na validade do exame (coerncia

1 Em 1998, o exame foi aplicado pela 1 vez para 127 candidatos em 5 postos no Brasil. Hoje o exame

aplicado para mais de 4.000 candidatos por ano, em 21 postos aplicadores no Brasil e 45 no exterior (28 pases) (Schlatter Et Al, no prelo) 2 Scaramucci desenvolve pesquisa sobre avaliao de portugus como lngua estrangeira desde 1993. Os

projetos de pesquisa que a autora tem desenvolvido nessa rea so:O efeito retroativo da avaliao no ensino de lngua estrangeira; O efeito retroativo da avaliao no ensino, aprendizagem, atitudes de alunos e professores, e elaborao de material didtico em lngua estrangeira. Produtividade em Pesquisa 2C.; Bolsa de produtividade em Pesquisa II B) Projeto: Impactos sociais da avaliao em contextos de ensino/aprendizagem de lngua estrangeira/segunda lngua (Portugus e Ingls); Bolsa de Produtividade em Pesquisa II B): Validade e impactos sociais da avaliao em contextos de lnguas diversos (Portugus LM/L2 e Ingls LE). 3 Conforme Schlatter et al (no prelo) h tambm em torno de 10 pesquisas (de iniciao cientfica,

mestrado e doutorado) em andamento. 4 Participaram do grupo de pesquisa sobre a validade do exame Celpe-Bras, coordenado pela Profa. Dra.

Margarete Schlatter: Walkria Ayres Sidi, Melissa Santos Fortes, Letcia Soares Bortolini, Letcia Grubert dos Santos, Juliana Roquele Schoffen, Camila Dilli Nunes, Simone da Costa Carvalho, Mara da Silva Gomes e Michele Saraiva Carilo.

11

entre as tarefas e o construto terico do exame, coerncia entre o processo de correo e o construto terico, relao entre o desempenho dos candidatos e os usos do exame etc) e contribuir para uma melhor compreenso das interpretaes que se faz dos desempenhos dos candidatos ao exame. Sidi (2002) e Schoffen (2003), por exemplo, analisam as grades de correo da Parte Coletiva e da Parte Individual, respectivamente, propondo refinamentos nos descritores. A partir de uma anlise detalhada do processo de correo do Celpe-Bras, Schoffen (2009) prope uma nova grade de correo, mais coerente com o construto de uso da linguagem adotado pelo exame; Fortes (em preparao) estuda a validade da Parte Individual, analisando de que forma a entrevista d conta da avaliao face a face. Outros estudos relacionados a esse projeto de pesquisa tm focalizado diferentes impactos do exame em outras avaliaes (Santos, 2004 e 2007; Costa, 2005), no ensino e na elaborao de materiais didticos (Ohlweiler, 2006; Yan, 2008)5. O projeto CELPE-Bras/Parte Coletiva: ponto de corte dos nveis de certificao (Nvel Intermedirio) e no certificao (Nvel Bsico) tem como objetivos avaliar quais os critrios da grade de avaliao so responsveis pela distino entre os nveis de certificao e os de no certificao, descrever as inadequaes e o desempenho dos candidatos nesses nveis, avaliar a relao entre os critrios de avaliao na atribuio da nota da tarefa e por fim analisar o nvel de complexidade das tarefas de leitura e produo textual. Foi atravs do contato com essa ltima pesquisa que me interessei em estudar sobre as tarefas integradas de leitura e produo textual e os aspectos que influenciam na distino da complexidade das mesmas. Os resultados preliminares desse projeto apontaram para alguns fatores que possivelmente poderiam contribuir para a complexidade das tarefas integradas de leitura e produo textual do exame, como a ambigidade do enunciado da tarefa, a disperso de informaes do texto-base, as caractersticas do gnero, entre outros.

O presente estudo pretende contribuir para uma maior compreenso dos critrios que possam contribuir para a complexidade de tarefas de leitura e produo textual do exame. Alm disso, pretende-se investigar a validade das tarefas do exame,

5 As apresentaes dos resultados do projeto de pesquisa no Salo de Iniciao Cientfica da UFRGS

foram as seguintes: A descrio do ponto de corte entre certificao e no certificao do exame Celpe-Bras (Santos et al, 2004); O papel da adequao contextual (gnero discursivo) no ponto de corte entre certificao e no certificao do exame Celpe-Bras (Bortolini et al, 2005); Critrios para avaliao de compreenso e produo de texto no exame Celpe-Bras (Bortolini et al, 2006); Critrios para avaliao de nveis de complexidade em tarefas de leitura e produo de texto no exame Celpe-Bras (Nunes e Schlatter, 2007); Tarefas de leitura e produo de texto no exame Celpe-Bras: o papel das relaes dialgicas na definio de critrios de correo (Carvalho et al, 2008).

12

contribuindo para a elaborao de tarefas coerentes com a concepo terica que o embasa.

No prximo captulo contextualizo a pesquisa, tratando sobre o exame Celpe-Bras, suas origens e seus pressupostos tericos, as tarefas integradas que envolvem gneros do discurso, os critrios de correo e noes de validade e confiabilidade em avaliao. No captulo 2 trato de conceitos de complexidade e dificuldade de tarefas. O captulo 3 expe a metodologia utilizada nesta pesquisa. O captulo 4 se destina anlise do corpus deste trabalho.

1. O CONTEXTO DA PESQUISA

1.1 O Exame Celpe-Bras

Conforme Schlatter (2006), em 1993, foi criada, pelo Ministrio da Educao (MEC), uma comisso de professores de Portugus como Lngua Estrangeira (doravante PLE) para a elaborao do Certificado de Proficincia em Lngua Portuguesa para Estrangeiros (Celpe-Bras). A necessidade de criao do exame para a obteno desse certificado surgiu devido ao crescente nmero de intercmbios econmicos, culturais e cientficos do Brasil com o exterior, e a uma maior procura por cursos de graduao e ps-graduao no pas. O exame se destina a qualquer estrangeiro que queira comprovar sua proficincia em portugus, seja para fins educacionais ou profissionais. Desde 2000, exigido pelo MEC e pela CAPES como requisito para o ingresso de alunos no Programa de Estudantes Convnio de Graduao (PEC-G) e Ps-Graduao (PEC-PG) nas universidades brasileiras, alm de tambm ser exigido por rgos e conselhos de classes para validar os diplomas de profissionais estrangeiros que pretendam trabalhar no Brasil. A resoluo n 1.620, de 06/06/2001 do Conselho Federal de Medicina, por exemplo, exige a aprovao no Celpe-Bras (com o nvel Intermedirio Superior, no mnimo) para inscrio do mdico estrangeiro nos Conselhos Nacionais de Medicina. Conforme Schlatter et al (no prelo), atualmente o certificado Intermedirio exigido por profissionais das reas de Estatstica, Qumica e Enfermagem, alm de ser pr-requisito para profissionais estrangeiros de empresas multinacionais atuando no Brasil, como Honda, Mitsubishi, Samsung, entre outras, e para diplomatas argentinos. O exame fundamentado em uma viso discursiva de linguagem, com o foco no uso, considerando que o uso da lngua "uma ao conjunta de participantes com um propsito social" (Brasil, 2003, p.4). Conforme Scaramucci (1999), a nfase na

13

comunicao/interao a principal caracterstica do Celpe-Bras: ser proficiente em uma lngua us-la adequadamente para desempenhar aes no mundo. Nesse sentido, o exame ancorado na abordagem comunicativa de uso da linguagem, em que a competncia comunicativa definida tanto pelo conhecimento da lngua como pela habilidade de us-la em um contexto especfico (Hymes, 1972; Canale & Swain, 1980; Widdowson, 1989). Conforme Widdowson (1991), ser proficiente em uma lngua estrangeira significa mais do que compreender, ler, falar e escrever oraes, e sim saber utilizar essas oraes de modo a conseguir o efeito comunicativo desejado.

De acordo com o Manual do Candidato (Brasil, 2006), o exame dividido em dois mdulos. O primeiro deles a Parte Coletiva que composta por quatro tarefas de produo textual integradas compreenso, sendo duas de leitura, uma de udio e uma de vdeo. A partir de textos diversificados, o candidato convidado a produzir um texto em um gnero discursivo solicitado no enunciado da tarefa. O segundo mdulo a Parte Individual, que consiste em uma conversa de 20 minutos dividida em quatro momentos. Os primeiros cinco minutos de conversa so sobre assuntos pessoais do entrevistado, cujas perguntas so baseadas no questionrio respondido pelo candidato no ato da inscrio. Nos minutos restantes so apresentados trs elementos provocadores de discusso, em que o entrevistador mostra uma gravura, ou um pequeno texto para introduzir o tpico. necessrio que o candidato alcance, nas duas partes do exame, pelo menos o nvel Intermedirio para obter a certificao. Se o candidato obtiver um desempenho bsico em um mdulo e um intermedirio em outro, prevalece a menor nota (Coura-Sobrinho, 2006). Diferentemente de uma viso em que ser proficiente significa dominar os componentes de uma lngua, tais como, gramtica e vocabulrio, a noo de proficincia do exame Celpe Bras6 leva em conta fatores socioculturais presentes no uso da linguagem, isto , o contexto de produo, os interlocutores envolvidos na ao comunicativa, os propsitos da comunicao, o suporte de publicao, o assunto e o formato do gnero. No basta, ento, que os aprendizes de Portugus tenham conhecimentos estritamente estruturais da lngua, eles devem ter a habilidade de usar esses conhecimentos nas situaes comunicativas apresentadas no exame. Os conceitos que embasam a viso de linguagem com foco no uso so operacionalizados, na Parte Coletiva, em tarefas atravs das quais os candidatos tm seus desempenhos avaliados.

6 Para uma reviso mais detalhada do conceito de proficincia ver Scaramucci, 2000.

14

As tarefas solicitam que os candidatos utilizem a lngua tendo como orientao uma certa situao comunicativa apresentada no enunciado, como, por exemplo: Imagine que voc seja um dos personagens da crnica a seguir publicada no caderno Donna do jornal Zero Hora. Escreva um outro texto para ser publicado no mesmo caderno, narrando sua verso dos acontecimentos e posicionando-se a respeito deles (Brasil, 2006, p 14). A partir da avaliao do desempenho nas tarefas, o candidato pode obter um entre quatro nveis de certificao: Intermedirio, Intermedirio Superior, Avanado, Avanado Superior. Ao nvel Bsico no conferido certificado. Para cada tarefa construda uma grade de avaliao com descritores de cada nvel de certificao baseados na especificidade da situao comunicativa apresentada no enunciado e em uma amostra de produes dos candidatos. A partir dessa amostra, um grupo de profissionais com experincia no exame faz os ajustes necessrios na grade, modificando e acrescentando detalhes descritivos, com base nas produes da amostra, relacionados aos critrios de avaliao coerentes com o gnero proposto na tarefa. Embora os critrios para a avaliao da parte coletiva sejam sempre os mesmos, os descritores dos critrios so ajustados a cada situao comunicativa de cada tarefa. No captulo 2 os critrios da avaliao sero explicados mais detalhadamente. 7

1.2 Conceituando tarefa

H vrias definies de tarefa no campo terico da Lingstica Aplicada (Long, 1985; Nunan, 1989; Long and Crookes, 1992). Em uma perspectiva mais pedaggica, Breen (1987, p. 23) define tarefa por qualquer empreendimento estruturado de aprendizagem de lngua que tem um objetivo particular, um contedo apropriado, um procedimento de trabalho especfico e uma gama de resultados para aqueles que assumem a tarefa8. Essa definio permite que entendamos como tarefa qualquer atividade pedaggica cujo foco seja a aprendizagem de lngua. Nessa concepo, tanto um exerccio gramatical de completar lacunas, como uma entrevista a um colega na sala de aula, poderiam ser considerados tarefas, pois ambas atividades possuem os elementos

7 As informaes referentes aos procedimentos de ajuste da grade e de correo que apresento aqui tm

como base minha participao como corretora do Celpe-Bras, em 2006. 8 Any structured language learning endeavour which has a particular objective, apropriate content, a

specified working procedure, and a range of outcomes for those who undertake the task. (Breen, 1987:23)

15

trazidos por Breen em sua definio. J Nunan (1989, p.10) define tarefa comunicativa como um trabalho da sala de aula que envolve o aprendiz na compreenso, manipulao, produo ou interao na lngua alvo, e que dirige sua ateno especialmente para o sentido em vez de para a forma.9. Diferente de Breen, Nunan define tarefa como uma atividade em que o sentido deve ser priorizado. Assim, no poderamos considerar, como uma tarefa, atividades puramente focadas em aspectos estruturais da lngua, como exerccios gramaticais com foco em frases descontextualizadas das situaes de uso. Essas duas definies tratam de tarefas pedaggicas utilizadas em sala de aula, e nenhuma das duas relacionada com as diversas situaes de uso da lngua fora do contexto de ensino.

Tratando especificamente sobre tarefas de avaliao, um dos consensos entre os pesquisadores (Bachman 2002; Bachman e Palmer,1996; Douglas, 2000) que as tarefas usadas em testes devem ter relao com as situaes reais de uso da lngua. Bachman (2002) afirma que h atualmente duas abordagens na definio de tarefa encontradas na literatura dessa rea. A primeira delas a de Norris et al. (1998, p.331, apud Bachman, 2002, p.458), que define tarefa como aquelas atividades que as pessoas fazem diariamente e que requerem a linguagem para a sua realizao10. Nessa definio bastante genrica, a tarefa, ento, vista como uma atividade do dia-a-dia, sempre que haja a mediao da linguagem para a realizao da mesma, no havendo distino entre tarefas cotidianas de uso da linguagem e tarefas de avaliao. A segunda trazida por Bachman e Palmer (1996, p.44), na qual a tarefa, chamada tarefa de uso da lngua, uma atividade que envolve indivduos no uso da linguagem com o propsito de atingirem um objetivo particular em uma situao especfica11. Nessa segunda definio, tambm no h distino entre tarefas cotidianas de uso da linguagem, tarefas de avaliao e tarefas pedaggicas. A citao acima pode servir para esses trs diferentes contextos. A diferena que Bachman e Palmer acrescentam mais especificidades definio, como interlocutores envolvidos no uso da linguagem, propsitos e situao de uso.

A definio de tarefa apresentada no Manual do Candidato do exame Celpe-Bras

9 a piece of classroom work which involves learners in comprehending, manipulating, producing or

interating in the target language while their attention is principally focused on meaning rather than form. ( Nunan , 1989, p.10) 10

those activities that people do in everyday life and which require language for their accomplishment (Norris et al. (1998, p.331, apud Bachman, 2002, p.458). 11

an activity that involves individuals in using language for the purpose of achieving a particular goal or objective in a particular situation (Bachman e Palmer, 1996, p.44).

16

que tarefa um convite para interagir no mundo usando a linguagem com um propsito social. Uma tarefa envolve uma ao, com um propsito, direcionada a um ou mais interlocutores.(Brasil, 2006, p. 4). Apesar de essa definio ser condizente com a de Bachman e Palmer, h uma diferena: a explicitao de propsito social em oposio propsito do indivduo. Essa diferena salienta o fato de os interlocutores estarem inseridos em um contexto scio-histrico ao usarem a linguagem, assumindo papis sociais que restringem propsitos possveis e maneiras de dizer adequadas a cada interao. Dessa forma, podemos dizer que os indivduos no esto isolados ao usarem a linguagem e que os propsitos comunicativos so determinados pelas posies sociais assumidas pelos interlocutores quando interagem por meio da linguagem nas situaes especficas de uso.

No parece ser claro, nessas trs definies de tarefas para avaliao, no entanto, em quais aspectos as tarefas de testes se diferenciam das tarefas cotidianas, ou das tarefas pedaggicas, j que as definies so genricas e podem servir para todos esses contextos. Entretanto, de fundamental importncia que se estabeleam quais as especificidades das tarefas de avaliao, pois, conforme Bachman (2002), a vagueza na especificao das tarefas pode levar vagueza na avaliao. Afirmar, por exemplo, que uma tarefa testa leitura e outra testa escrita muito vago, pois h vrias tarefas de leitura diferentes entre si, bem como de escrita, que refletem construtos tericos diferentes. Quanto mais explcitos estiverem os critrios para a elaborao de tarefas, mais possibilidade h de se fazer inferncias vlidas nas interpretaes dos resultados das tarefas. Douglas (2000, p. 48) afirma que as caractersticas de um teste so derivadas dos propsitos especficos das situaes de uso que se quer testar e que, na vida real, as tarefas so estruturadas, operam com restrio de tempo, tm objetivos e tambm so avaliadas. A diferena, segundo o autor, entre as tarefas de uso da lngua e as tarefas dos testes de avaliao que naquelas as instrues, a estrutura, o tempo e os critrios de avaliao so normalmente implcitos e residem no conhecimento prvio dos participantes; j nas tarefas de avaliao esses componentes devem estar explicitados claramente para evitar que um candidato tenha um desempenho inferior a sua habilidade apenas por no conhecer os procedimentos para responder tarefa. Entender, portanto, as especificidades da tarefa do exame Celpe-Bras contribuir no apenas para definir os critrios de anlise dos aspectos que podem causar complexidade, tema do presente estudo, mas tambm para dar maior confiabilidade e validade s inferncias que se pode fazer a partir dos resultados do teste.

17

Como vimos, as definies de tarefas para avaliao na literatura no so suficientemente especficas e podem referir-se a qualquer tarefa de uso da linguagem seja no contexto de avaliao, seja no de ensino, ou no de situaes comunicativas dirias. Pensando na elaborao de tarefas comunicativas para a sala de aula, Nunan (1989) apresenta os componentes de uma tarefa comunicativa, que so objetivos, input, atividades, papel do professor, papel do aluno e cenrio. O autor afirma que as tarefas vo conter alguma forma de input, que pode ser verbal ou no, e uma atividade que de algum modo derivada do input e que prope o que os alunos devem fazer em relao ao input.12 (Nunan, 1989,p. 10). Esses componentes, no entanto, alm de serem bastante genricos, mesmo para definir as tarefas comunicativas pedaggicas, no servem para definir tarefas avaliativas, pois, no contexto de avaliao em testes de proficincia, o objetivo no o de ensinar, e sim o de proporcionar as condies necessrias para que se possam fazer inferncias vlidas e confiveis sobre a capacidade de algum usar a lngua em contextos diversos.

Para que estabeleamos quais os componentes especficos das tarefas de avaliao do exame Celpe-Bras, preciso que compreendamos como o exame define o uso da linguagem, j que as tarefas devem refletir os pressupostos tericos da avaliao. Considerando a definio de proficincia explicitada no Manual do Candidato - uso adequado da lngua para desempenhar aes no mundo (Brasil, 2006, p.3) - pode-se dizer que a perspectiva adotada coerente com uma viso de uso da linguagem feita por meio de gneros do discurso13.

Falamos apenas atravs de determinados gneros do discurso, isto , todos os nossos enunciados possuem formas relativamente estveis e tpicas de construo do todo. Dispomos de um rico repertrio de gneros de discursos orais (e escritos). Em termos prticos, ns os empregamos de forma segura e habilidosa, mas em termos tericos podemos desconhecer inteiramente a sua existncia. (Bakhtin, 2003, p.282)

Considerando que as tarefas do exame Celpe-Bras compem-se por interlocutores assumindo papis sociais envolvidos em propsitos comunicativos, pode-se dizer que elas explicitam as condies de produo para o uso da lngua, assim,

12 tasks will contain some form f input data which might be verbal or non-verbal and an activity which is

in some way derived from the input and which sets out what the learners are to do in relation to the input (Nunan, 1989, p,10). 13

Schlatter et al,(no prelo, p.12) esclarecem que o conceito de gnero discursivo no est explicitado nos manuais do exame Celpe-Bras, embora as especificaes do exame mencionem e listem diferentes gneros do discurso e as caractersticas das tarefas da Parte Coletiva apontem para essa orientao.

18

compondo diferentes gneros do discurso, pelos quais os candidatos devem se mostrar aptos a circular.

1.3 Gneros do discurso

Bakhtin (2003) define gneros do discurso como tipos relativamente estveis de enunciados que so elaborados em cada domnio de uso da linguagem:

O contedo temtico, o estilo e a construo composicional esto indissoluvelmente ligados no todo do enunciado e so igualmente determinados pela especificidade de um determinado campo da comunicao. Evidentemente, cada enunciado particular individual, mas cada campo de utilizao da lngua elabora seus tipos relativamente estveis de enunciados, os quais denominamos gneros do discurso. (BAKHTIN, 2003 p.262)

Em vez de delimitar os gneros pela estabilidade das caractersticas formais dos textos, Bakhtin relaciona os enunciados com as condies especficas de cada campo da comunicao, demonstrando a interdependncia da lngua com as atividades humanas. O autor14, no texto Os Gneros do discurso, salienta tanto a caracterstica estvel dos gneros, a partir da sua historicidade, como a dificuldade de delimit-los, por serem inesgotveis as possibilidades da atividade humana (Faraco, 2003). Mesmo havendo uma certa estabilidade, os gneros no so fixos, eles esto constantemente se modificando ao longo da histria. Na medida em que surgem outras atividades humanas, ou outras finalidades na comunicao, surgem outros gneros. A relao da lngua com a vida, ento, fica evidente na definio Bakhtiniana de gnero, por tratar da lngua em uso, e no da lngua em abstrao.

A interlocuo outro aspecto fundamental na definio de gneros de Bakhtin, pois, conforme o autor, o enunciado assume sempre uma natureza ativamente responsiva. Isso quer dizer que as pessoas usam a lngua com um propsito em mente em relao ao outro do discurso. O interlocutor delimita o que pode ou no ser dito em determinada situao. H, por exemplo, assuntos que so adequados para conversar com um familiar prximo e que no so adequados para conversar com um estranho. Em cada campo de utilizao da lngua, em cada situao comunicativa, haver papis possveis de serem assumidos pelos interlocutores, e, a partir dos papis definidos no momento da interao, haver uma delimitao de propsitos comunicativos adequados

14 Apesar de me referir apenas a Bakhtin, as idias aqui expostas so atribudas ao Crculo de Bakhtin

(grupo de intelectuais Russos, dentre os quais fizeram parte Bakhtin, Voloshinov e Medvedev). H discusso entre os pesquisadores sobre a autoria de alguns dos textos da dcada de 1920, publicados por Voloshinov e Medvedev e atribudos Bakhtin.( Rodrigues, 2005, p. 152)

19

interlocuo. Se estou conversando com meu colega de trabalho, por exemplo, no posso ter o propsito de pedi-lhe um aumento de salrio se sei que isso no de sua competncia, a no ser que estejamos simulando uma situao hipottica, em que meu colega assuma o papel irreal de chefe. A interlocuo situada, ento, fundamental para que se estabeleam os propsitos, os assuntos e as maneiras de se construir o texto, seja ele oral ou escrito, pois sempre construmos o discurso, considerando o papel assumido pelo outro e por ns mesmos na situao especfica de comunicao que nos encontramos: Cada discurso dialgico, orientado a outra pessoa e a sua compreenso e a sua efetiva ou potencial resposta (Voloshinov, 1993 /1930, p. 256, grifos do autor). Os enunciados so vinculados uns aos outros por relaes dialgicas, que so relaes de sentido (Rodrigues, 2005, p. 160) e relaes entre seres sociais, e no relaes entre palavras.

Segundo Rodrigues (2005, p.165), a situao social de interao dos gneros pode ser articulada noo de cronotopos15, pois, qualquer interveno na esfera dos significados s se realiza atravs da porta do cronotopos (Bakhtin (1993 (1937-1938), p. 362). A autora afirma que cada gnero est assentado em um diferente cronotopos, pois inclui um horizonte espacial e temporal, um horizonte temtico e axiolgico e uma

concepo de autor e destinatrio. (Rodrigues, 2005, p. 165)

Bakhtin define gneros do discurso pelo vis da produo, e no das formas lingsticas, na medida em que discute como os sentidos so construdos no uso da lngua. Nessa concepo, os tipos relativamente estveis no podem ser distinguidos apenas pelas suas propriedades formais, pois a estabilidade relativa se refere a enunciados, que, diferentemente da orao, so constitudos por uma dimenso social, que envolve interlocutores situados em um contexto, assumindo papis, com finalidades comunicativas prprias de cada esfera da atividade humana. No h como classificar gneros do discurso, nessa perspectiva, olhando apenas para o texto, pois a discusso do autor se d em torno do enunciado, que, conforme Rodrigues (2005, p. 162), seria o texto mais a situao social de interao.

Cada esfera, com sua funo socioideolgica particular (esttica, educacional, jurdica, religiosa, cotidiana, etc.) e suas condies concretas especficas (organizao socioeconmica, relaes sociais entre os participantes da interao, desenvolvimento tecnolgico, etc.) historicamente formula na /para

15 Conceito desenvolvido por Bakhtin para o estudo do romance. O termo cronotopo serve para dar conta

da questo do tempo-espao, que equivale a histrico-social.

20

interao verbal gneros discursivos que lhe so prprios. (Rodrigues, 2005, p. 164)

Como filsofo da linguagem, Bakhtin no parece estar preocupado em apresentar um modelo para a definio dos gneros, nem para a classificao dos mesmos. A definio de gneros do discurso serve para refletir sobre como se d o uso da lngua, sobre como os sentidos so construdos e sobre como a lngua materializada em cada esfera social, em um momento histrico e em uma situao de interao. A importncia da definio est em afirmar que aprendemos a nos comunicar atravs dos gneros, e no adquirindo um sistema lingstico abstrato, pois sabemos o que dizer e como dizer, bem como compreendemos o que lemos e ouvimos pela experincia com o uso da lngua nas diferentes situaes de comunicao ao longo de nossas vidas.

Por um lado, vrias tentativas de operacionalizar a teoria Bakhtiniana de gneros do discurso, ao simplificarem os gneros em listas de formatos de texto, acabam apagando sua essncia terica, tomando o texto e suas caractersticas formais como modelo de gneros sem considerar a situao social de interao da qual resultou tal texto. Charaudeau (2004), entretanto, apresenta um modelo sem apagar a essncia terica bakhtiniana por dar nfase aos fatores situacionais e no formais na definio dos gneros.

Charaudeau (2004) define gnero do discurso articulando alguns nveis de restries que intervm no uso da linguagem. Conforme o autor, uma definio de gneros de discurso passa pela articulao entre (...) trs nveis (nvel situacional, nvel das restries discursivas e o nvel da configurao textual) e a correlao dos dados que cada um desses nveis prope (Charaudeau, 2004, p.38).

O nvel situacional o lugar onde se instituem as restries que determinam a expectativa da troca. Essas restries, ento, seriam determinadas pela identidade dos parceiros, do papel que eles assumem na troca, da finalidade que os religa em termos de visada, do propsito (a temtica) 16e das circunstncias materiais nas quais a troca se realiza (escrita, oralidade, utilizao de desenho, etc.). Esse nvel situacional o que determina a maneira de materializar a lngua, contendo todos os aspectos presentes no

16 Os termos usados por Charaudeau diferem dos termos usados neste trabalho. O que chamamos de

propsito comunicativo, que seria o objetivo comunicativo da interao situada, Charaudeau chama de finalidade. Propsito, para o autor, significa a temtica ou o assunto da interao. Em relao aos estudos sobre gnero, em geral, as terminologias so bastante flutuantes, como se pode constatar em J.L. Meurer, A. Bonini, D. Motta-Roth, 2005.

21

uso da lngua discutidos por Bakhtin. O nvel das restries discursivas o lugar onde se instituem as diferentes

maneiras de dizer, sob o efeito das restries situacionais. O nvel situacional descrito acima pode determinar a escolha dos modos descritivo, narrativo ou argumentativo, dependendo das finalidades de cada comunicao. O nvel situacional tambm pode determinar um quadro de tratamento enunciativo mais distante, ou mais prximo, dependendo do papel assumido pela instncia destinatria.

O nvel da configurao textual a materializao do discurso determinada, ento, pelas restries discursivas que, por sua vez, so determinadas pelas restries situacionais expostas acima, pois, conforme Charaudeau (2004), se levarmos em conta que o texto, seja ele verbal ou escrito, produzido em uma situao contratual, o texto depende, para sua significao, daquilo que caracteriza uma situao (finalidade e visada enunciativa, identidade dos parceiros, propsito tematizante e circunstncias materiais particulares) (Charaudeau, 2004, p.29).

Apesar de o autor separar esses trs nveis na definio, ele mesmo afirma que os articulamos, ao usarmos a linguagem, sendo difcil pensar neles de forma independente. Se estou em meu ambiente de trabalho conversando com minha colega, a maneira de eu falar vai ser influenciada pela relao que eu tenho com ela, e com as identidades que assumimos nessa situao, pelos papis que assumimos relacionados ao objetivo da comunicao e pelo assunto. Se o objetivo de uma comunicao entre mim e minha colega o de contar sobre o que fiz no fim de semana, por exemplo, vou escolher a narrao e a descrio para materializar meu discurso. Essa escolha, entretanto, no aleatria, mas sim determinada pela situao em que me encontro. Ao mesmo tempo, a maneira que juntas construmos a interao vai constituindo-a e fortalecendo ou mudando medida que nossas identidades mudam na relao interlocutiva.

Conforme Charaudeau, ento, as formas textuais seriam apenas ndices semiolgicos que remeteriam aos dados situacionais, permitindo o reconhecimento do gnero nas situaes comunicativas.

Para o autor, finalidade e visada so termos fundamentais para delimitar os gneros. As visadas seriam as possibilidades de propsito comunicativo (no sentido que damos ao termo neste trabalho) em relao ao interlocutor. Ou seja, dependendo dos papis que os interlocutores assumem em determinada situao interativa, h propsitos possveis interlocuo. No posso, por exemplo, mandar prender algum, se no tenho autoridade para isso, se no possuo a posio social que me autoriza a ter esse

22

propsito. O autor apresenta alguns tipos de visadas: Os tipos de visada so definidos por um duplo critrio: a inteno pragmtica do eu em relao com a posio que ele ocupa como enunciador na relao de fora que o liga ao tu; a posio que da mesma forma tu deve ocupar. (Charaudeau, 2004, p.23)

As visadas serviriam para cumprir as finalidades dos atos comunicativos. Charaudeau (2004, p. 23) descreve seis principais, so elas:

- Visada de prescrio: eu quer mandar fazer, tendo autoridade de poder sancionar; tu se encontra em posio de dever fazer. - Visada de solicitao: eu quer saber, tendo posio de inferioridade de saber diante do tu, mas legitimado em sua demanda; tu est em posio de dever responder solicitao. - Visada de incitao: eu quer mandar fazer, mas no estando em posio de autoridade, como no caso da prescrio, no pode seno incitar a fazer; ele deve, ento, fazer acreditar (por persuaso ou seduo) ao tu que ele ser o beneficirio de seu prprio ato, ento em posio de dever acreditar que, se ele age, para o seu bem. - Visada de informao: eu quer fazer saber, legitimado em sua posio de saber; tu se encontra na posio de dever saber alguma coisa sobre a existncia dos fatos, ou sobre o porqu ou como de seu surgimento. - Visada de instruo: eu quer fazer saber-fazer, encontrando-se ao mesmo tempo em posio de autoridade de saber fazer e de legitimao para transmitir o saber fazer, tu est em posio de dever saber fazer, segundo um modelo que proposto por eu. - Visada de demonstrao: eu quer estabelecer a verdade e mostrar as provas, segundo uma certa posio de autoridade de saber (cientista, especialista); tu est em posio de ter que receber e ter que avaliar uma verdade e, ento, ter a capacidade de faz-lo.

Em um local de trabalho, por exemplo, o chefe, com a finalidade de que o servio seja cumprido, pode usar a visada de prescrio com um subordinado, pois o lugar que ele assume em relao ao subordinado autoriza que ele a utilize.

Dessa forma, possvel afirmar que, assim como para Bakhtin, para

Charaudeau, a interlocuo tambm imprescindvel para delimitar os gneros, na medida em que as finalidades, ou propsito (termo usado neste trabalho) derivam da relao estabelecida entre os participantes da interao comunicativa. A diferena entre os autores que Bakhtin centra sua discusso no plano mais filosfico do uso da linguagem, preocupado em refletir sobre como os sentidos so construdos na comunicao humana, enquanto Charaudeau prope um modelo explicitando todos os aspectos que influenciam na materializao da lngua. 17

17 Em Meurer, Bonini, Motta-Roth (2005), h uma sntese das principais abordagens tericas sobre

gneros: abordagens scio-semiticas , nas quais se enquadram Ruqaya Hasan, Martin, Roger Fowler, Gunther Kress e Fairclough; abordagens scio-retricas nas quais se enquadram John M. Swales, Miller e Bazerman; e abordagens scio-discursivas, nas quais se enquadram Bakhtin, Jean-Michel Adam e Bronckart. Na leitura dos captulos, percebe-se que essas abordagens tanto se aproximam, ao lanarem um olhar social e discursivo sobre a linguagem, quanto se distanciam ao tratarem de conceitos-chave de

23

Os gneros do discurso, ento, servem como uma espcie de contrato de comunicao, pois, em todos os domnios de comunicao, h algumas condies que definem a expectativa da interao comunicativa, sem a qual no haveria possibilidade de intercompreenso. E, nessa perspectiva, entendemos que gnero do discurso definido principalmente pelos papis assumidos pelos interlocutores com um propsito comunicativo em uma situao especfica. Esses aspectos da produo do discurso que delimitaro as formas do produto final, ou seja, a materialidade lingstica. Diferente de uma viso que considera gnero do discurso como tipos de textos, cuja classificao depende das suas caractersticas formais em comum, estamos classificando gneros a partir de critrios situacionais (e no lingsticos), utilizando como parmetro os papis dos participantes, suas finalidades, seu enquadramento espao-temporal, o tipo de organizao textual que eles implicam, entre outros. (Maingueneau, 2004, p. 45)

Com base nessas noes scio-discursivas de gnero, possvel afirmar que as tarefas do exame Celpe-Bras estabelecem uma situao interlocutiva, na qual candidato e avaliador tero de assumir papis enunciativos hipotticos. Diferentemente de uma situao comunicativa real, nessa situao imposta pela tarefa, o candidato deve imaginar que est acontecendo a situao proposta e representar um papel. O avaliador tambm deve assumir o papel interlocutivo proposto no enunciado da tarefa, imaginando o que seria adequado em tal interao. A situao comunicativa e os papis assumidos restringiro os propsitos possveis. A situao, os papis e os propsitos restringiro o contedo informacional adequado interlocuo estabelecida. A seleo de vocabulrio e estrutura gramatical da produo textual so restringidas pela situao, pelo propsito e pelos papis dos interlocutores, conforme verificamos no trecho abaixo:

os dados da finalidade, pelo vis de suas visadas, determinam uma certa escolha dos modos-enoncivos (descritivo, narrativo,argumentativo) que o sujeito falante deve empregar; os dados da identidade dos parceiros

forma bastante distinta. (p.8) A opo que fao aqui por autores que privilegiam os fatores situacionais, como Bakhtin e Charaudeau. Outros autores centram suas pesquisas na descrio de marcas lingsticas para a classificao dos gneros, remetendo-as aos possveis contextos de uso (Hasan, 1996; Fowler, 1979; Kress, 1989; Bronkart, 2003). A meu ver, isso os distancia da noo bakhtiniana de gneros, pois, como os enunciados se constituem pela dimenso social e histrica compartilhada entre os participantes de cada interao, a cada vez que se olha um texto, tem-se um novo enunciado, j que a situao scio-histrica e os participantes so diferentes. Da leitura de Bakhtin, se infere que a anlise dos gneros deve ser feita ao contrrio: em vez de buscar nas formas os possveis contextos de uso e os possveis efeitos de sentido, deve-se buscar nos contextos de uso os sentidos das formas.

24

determinam certos modos enunciativos (alocutivo, elocutivo, delocutivo) nos quais ele deve se engajar; os dados do propsito determinam certos modos de tematizao, quer dizer, a organizao dos temas e sub temas a serem tratados; os dados das circunstncias materiais determinam certos modos de semiologizao, quer dizer, a organizao da mise em scene material (verbal e/ou visual) do ato de comunicao. As restries discursivas no correspondem a uma obrigao de emprego desta ou daquela forma textual, mas a um conjunto de comportamentos discursivos possveis entre os quais o sujeito comunicante escolhe aqueles que so suscetveis de satisfazer s condies dos dados externos. (Charaudeau, 2004,p.27)

Por estabelecer uma situao comunicativa, os componentes das tarefas do exame se assemelham aos de uma interao comunicativa real, tais como, situao de comunicao, interlocutores assumindo papis especficos, propsitos e contedo informacional. Entretanto, como especificidade das tarefas de avaliao, temos o fato de a situao estabelecida ser uma simulao. Dessa forma, o candidato est inserido em dois contextos comunicativos ao mesmo tempo. O primeiro, e real, o fato de estar sendo avaliado, respondendo a questes de um exame de cujo resultado depende sua certificao de proficiente em lngua Portuguesa. Nesse contexto, o papel assumido o de candidato a ser avaliado, e a sua interlocuo um corretor que dar uma nota ao seu desempenho, o propsito comunicativo o de convencer a banca examinadora de que ele est apto a receber o certificado de proficincia. O segundo, e hipottico, estabelecido pelo enunciado da tarefa, no qual o candidato deve se inserir, imaginando como seria adequado usar a lngua levando em conta o novo papel a ser assumido por ele e pelo corretor, o propsito comunicativo a ser alcanado e o contedo informacional que deve estar presente na materializao do discurso.

O desempenho do candidato, ento, avaliado pela capacidade de reconhecer um gnero e produzir em um gnero, como, por exemplo, na Tarefa IV do exame de 2005: Com o intuito de estimular a discusso sobre a deciso do Tribunal Superior do Trabalho (TST) apresentada na reportagem da Revista Voc S.A. (Junho de 2005), escreva um texto para ser afixado no quadro de avisos de sua empresa, argumentando contra a invaso de privacidade. No basta saber reconhecer os signos e ter conhecimento das estruturas da lngua, em uma tarefa como esta, necessrio reconhecer o gnero-contrato estabelecido pelo enunciado da tarefa, que dar as instrues tanto para a leitura do texto-base, como para a produo textual. Para tanto, no enunciado da tarefa, devem ser fornecidos os elementos necessrios para a (re)construo dos gneros que a compem, tais como, a situao comunicativa, os interlocutores e os papis que devem assumir, os propsitos da interao. Essas

25

indicaes orientaro tanto a seleo dos recursos lingsticos quanto os critrios de avaliao adotados pelo grupo que elabora a grade de correo e pelos corretores do exame.

Passamos agora a discutir os conceitos de leitura e escrita e sua integrao nas tarefas do Celpe-Bras, pois, como foi dito anteriormente, a mesma tarefa do exame orienta o candidato tanto para a leitura como para a produo textual.

1.4 Tarefas integradas de leitura e produo de textos

Leitura e escrita so entendidas, neste trabalho, como aes interrelacionadas de uso da linguagem com interlocutores envolvidos em propsitos comunicativos em situaes de interao, tendo o texto escrito como mediador. A interrelao entendida como uma construo de sentidos resultante de um processo interativo entre leitura e escrita (Rottava, 2001: 29). Priorizando a interlocuo no uso da lngua, podemos afirmar que os componentes principais tanto da leitura quanto da escrita so o texto, o leitor e o escritor. Ao ler, estamos construindo sentidos, interagindo com o texto e com os discursos ali materializados. Estamos, de certa forma, escrevendo um texto a partir da nossa experincia de leitura e de conhecimento de mundo, levando em conta a situao comunicativa presente que estabelece os propsitos da interao, na medida em que toda a compreenso uma construo ativamente responsiva. Ao escrever, estamos tambm construindo sentido e mobilizando nossa bagagem de leitura. O processo de escrita tambm requer a ao de ler, pois o texto uma produo em construo e sua completude estabelecida pela negociao de sentidos que leitores/escritores realizam com o texto assim que so (re)construdos os sentidos na interao que se estabelece no processo. (Rottava, 2001, p.30)

Para testar leitura e escrita de forma integrada, no exame Celpe-Bras, as tarefas apresentam uma situao comunicativa em que o interlocutor ter de assumir um papel que orienta tanto para o propsito de leitura como para o de escrita. O enunciado da tarefa pode, por exemplo, pedir que o candidato se coloque no papel de morador de uma comunidade, que deve pedir patrocnio para os jovens da sua comunidade (exemplo Tabuleiro Popular, em anexo). Assumindo esse papel, o candidato deve entender qual o seu propsito de leitura e construir sentidos adequados situao, retirando do texto base as informaes necessrias para cumprir o propsito de escrita.

26

Essas tarefas, ento, exigem que os candidatos faam uma retextualizao de um texto a outro. Conforme DellIsola (2007, p.36), retextualizao a refaco ou a reescrita de um texto para outro, cujo processo de transformao de uma modalidade textual em outra envolve operaes especficas de acordo com o funcionamento da linguagem. A autora nos lembra que o processo de retextualizao no deve ser visto como uma tarefa artificial que ocorre apenas em contextos escolares, e sim como uma

tarefa comum na vida diria. Como exemplo, ela cita uma reunio de condomnio onde se debatem vrios assuntos que culminam na produo de um regulamento (retextualizao de texto oral para escrito), que pode ser transformado em documento escrito para ser registrado em cartrio como adendo da conveno do condomnio (texto escrito para outro escrito). Isso ratifica a noo de que os textos no so unidades autnomas e de que h sempre uma interdependncia entre os textos. As produes orais ou escritas so uma recriao de outros textos existentes na histria , ou seja, a intertextualidade est sempre presente no uso da linguagem. Na parte coletiva do exame Ceple-Bras, h processos de retextualizao em todas as tarefas, pois sempre se solicita que o candidato produza um texto baseado nas informaes apresentadas em um outro, seja oral ou escrito, integrando-se compreenso e produo. A tarefa pode, por exemplo, apresentar um artigo de opinio como texto base para leitura, cujo propsito de leitura seja identificar a posio do autor em relao ao tema, e solicitar um outro artigo de opinio a ser publicado na mesma coluna do veculo de publicao do texto base, contrariando a posio apresentada no texto. Nesse caso, houve a solicitao de retextualizao de textos com o mesmo formato. Em outros casos, h a solicitao de retextualizao de textos de um formato para outro. A tarefa pode apresentar, por exemplo, uma reportagem para leitura, cujo propsito seja identificar informaes sobre uma notcia jornalstica, e solicitar, para produo textual, um e-mail para uma amiga cujo propsito seja convenc-la sobre um aspecto informado na reportagem.

Assim, o objetivo das tarefas integradas avaliar, em uma mesma tarefa, tanto a habilidade de leitura quanto a habilidade de escrita, refletindo o pressuposto de que ler e escrever so processos interrelacionados. Alm disso, solicitar uma retextualizao d aos candidatos a mesma oportunidade de conhecimento de informaes relevantes para construo do texto, na medida em que h um texto base comum com o contedo informacional necessrio ao cumprimento do propsito de escrita.

Por outro lado, os enunciados de tarefas integradas devem explicitar a relao

27

entre leitura e escrita de forma muito clara sob pena de invalidar os objetivos da avaliao: O enunciado deve estabelecer uma situao comunicativa em que os interlocutores assumam papis com propsitos que exijam a informao do texto base de leitura. importante lembrar que a avaliao que tem como construto o uso da linguagem no pode penalizar um texto que no mobilizou as informaes do texto base, e sim outras de outros textos lidos pelo autor, mas que cumpriu perfeitamente uma das possibilidades de interlocuo inferidas pelas pistas contextuais que havia no enunciado18.

Douglas (2000) afirma que, se queremos avaliar o uso da linguagem, temos que trazer para a tarefa de avaliao pistas que possibilitem ao candidato reconstruir a situao comunicativa de uso apresentada no exame. Bachman (2002) discute a complexidade de se selecionar tarefas que reflitam a situao de uso da qual se quer fazer inferncias sobre o desempenho do candidato. Na situao real de uso da lngua h pistas contextuais especficas da interlocuo e que orientam a maneira de produzir a lngua adequada situao, como a familiaridade entre os interlocutores e as informaes compartilhadas. Nas tarefas integradas, as pistas contextuais devem ser ainda mais explicitadas, para que a apresentao das informaes consideradas importantes para a verificao da leitura sejam, de fato, coerentes com a interlocuo e imprescindveis na produo textual.

Neste trabalho, um dos aspectos analisados ser a relao entre o propsito de leitura e escrita e os descritores de adequao na grade de avaliao. Como veremos mais adiante, h tarefas cujo enunciado no explicita as pistas necessrias (como papel a ser assumido pelo interlocutor e contexto de produo) para a exigncia das informaes descritas na grade de avaliao, o que pode ser um fator que prejudica a validade da tarefa.

1.5 Critrios de correo

O desempenho dos candidatos nas tarefas do exame Celpe-Bras avaliado

18 Schoffen (2009) analisa algumas tarefas e grades de avaliao do Celpe-Bras demonstrando que a

avaliao acaba priorizando as informaes e no a singularidade da interlocuo na produo textual, prejudicando a validade do exame, que se prope a testar o uso da lngua. A autora prope uma nova grade de avaliao baseada nos conceitos bakhtinianos de linguagem que priorize a interlocuo e a recontextualizao da informao de acordo com a interlocuo construda.

28

holisticamente. Em vez de pontuar os componentes envolvidos na execuo da tarefa separadamente, o texto avaliado globalmente, baseado em uma impresso geral da produo do candidato, levando-se em conta determinados critrios, como adequao contextual, discursiva e lingstica (Brasil, 2006, p.5).

As respostas s tarefas do exame so avaliadas atravs de uma escala mtrica com descritores dos objetivos de cada tarefa e especificao do desempenho esperado para cada nvel19. A construo dos descritores das escalas baseada nos objetivos de compreenso e produo estabelecidos por cada tarefa. A avaliao de proficincia por escalas mtricas condizente com a perspectiva terica norteadora dos testes comunicativos, como o Celpe-Bras, pois tem um carter mais qualitativo (Sidi, 2002).

Contemplando a perspectiva de linguagem com foco no uso, os critrios de avaliao no exame Celpe-Bras devem ser semelhantes aos critrios utilizados pelos falantes nas diversas situaes comunicativas. No se usa a lngua apenas de uma maneira. Dependendo de cada situao, usamos uma linguagem mais ou menos formal, com mais ou menos consistncia argumentativa, dependendo do nosso propsito e dos papis que estamos assumindo enquanto interlocutores das situaes. Sempre que usamos a lngua, temos em mente um propsito relacionado a algum interlocutor ou interlocutores.

Conforme MacNamara (1996 apud Weigle, 2002), a grade que usada na avaliao das tarefas representa implcita ou explicitamente a base terica que fundamenta o exame. fundamental, ento, que os critrios de correo presentes na grade de avaliao sejam coerentes com a concepo terica que embasa a elaborao das tarefas de um exame. Os critrios da grade de correo das tarefas de leitura e produo de texto so os seguintes (Brasil, 2006, p.5):

a) Adequao contextual (adequao ao gnero discursivo): formato, interlocutor, propsito e informaes;

b) Adequao discursiva: clareza e coeso; c) Adequao lingstica: adequao lexical e gramatical

Como cada tarefa uma situao comunicativa diferente, para cada tarefa no Celpe-Bras os critrios so ajustados situao proposta. Se a tarefa solicita que o candidato se coloque no papel de amigo que escreve um e-mail a um outro amigo com o propsito de alertar sobre as informaes lidas em uma reportagem, por exemplo, os

19 Para uma reviso sobre avaliao da proficincia com escalas mtricas ver Sidi (2002).

29

critrios de correo devem ser baseados nessa situao. Espera-se, ento, que a produo textual tenha uma linguagem menos formal, que haja uma interlocuo clara com esse amigo especfico, que seja explicitado o alerta sobre o assunto da reportagem e que o texto tenha um formato de e-mail. Os critrios de correo so, assim, baseados na noo de gneros do discurso apresentada acima, na qual a materialidade lingstica deve estar determinada pela situao proposta no enunciado. A grade prioriza os elementos essenciais da produo da linguagem como os interlocutores, os propsitos, as informaes e avalia gramtica e lxico na medida de sua contribuio para a adequao do texto ao gnero da tarefa, pensando em gnero pelo vis da produo, isto , a maneira de produzir a linguagem estar sempre relacionada aos fatores situacionais apresentados no enunciado da tarefa.

Ter tarefas que refletem o uso da linguagem em um teste implica que os critrios de correo sejam tambm semelhantes aos das avaliaes que se faz quando se usa a linguagem em situaes parecidas fora do teste. Entretanto, no to simples estabelecer critrios coerentes, para cada tarefa, com a real situao de uso da lngua, por haver vrios aspectos que podem influenciar a avaliao nas situaes reais de comunicao. Determinar o que , ou no, adequado a uma situao comunicativa especfica requer, muitas vezes, um estudo que investigue com profundidade os aspectos de tal situao. Douglas (2000, p. 92) aborda algumas tcnicas de investigao de situaes de uso da lngua para elaborao de tarefas semelhantes em testes, so elas: pesquisa etnogrfica, pesquisa baseada em contexto e pesquisa com informantes especialistas. A pesquisa etnogrfica uma abordagem que descreve a situao de uso da lngua alvo da perspectiva dos participantes, atravs da observao da ocorrncia natural e da descrio dada pelos co-participantes. A pesquisa baseada em contexto o estudo da aquisio da lngua e seu uso em contextos reais e relevantes. A pesquisa com informantes especialistas a consulta aos especialistas de reas especficas sobre as quais os elaboradores de testes tm muito pouco ou nenhum conhecimento. Esses especialistas poderiam ajudar com termos tcnicos usados na rea, escolhas gramaticais e lexicais, entre outros. (Douglas, 2000, p. 97)

difcil avaliar um desempenho em uma tarefa conforme seria avaliado em uma situao real, pois, muitas vezes, tanto a banca que elabora a grade de correo, como os corretores, divergem no que seria considerado adequado ou no em uma situao comunicativa. Isso se deve ao fato de que, se por um lado h um certo padro historicamente construdo do que poderia ser aceito pela maioria dos falantes em cada

30

situao, por outro lado, h espao sempre para o diferente, pois os gneros se constituem na esfera do cronotopos, ou seja em um tempo e em um espao definidos. Por isso, a relativa estabilidade pode ser difcil de ser estabelecida previamente. O problema, ento, de se ter uma avaliao que priorize a noo de gneros pelo vis Bakhtiniano o de delimitar a estabilidade de cada situao, sendo que o contexto para o uso da lngua, no exame, inventado, envolvendo papis fictcios para os interlocutores. Dependendo dos papis e dos propsitos estabelecidos no enunciado, estabelecer critrios de correo em uma perspectiva de uso situado e co-contrudo da linguagem pode ser impossvel. Se o enunciado prope que se escreva um email a uma amiga sobre o assunto da reportagem, por exemplo, cada candidato pode imaginar um amigo diferente que compartilha informaes diferentes, com uma relao mais ou menos ntima, com necessidade de contextualizar mais ou menos as informaes apresentadas.

Com o propsito de testar o uso da linguagem, a grade de avaliao de desempenho deve contemplar aspectos que estejam presentes nas situaes de uso fora do contexto do exame. Para isso, na grade de avaliao do exame h certos critrios que so priorizados, como a adequao aos fatores contextuais (interlocutores, propsito, contedo informacional, formato), ou seja, a produo textual deve revelar ser um resultado das restries impostas pela situao apresentada no enunciado. Mesmo que o texto no tenha nenhuma inadequao gramatical, o texto s ter um resultado satisfatrio se os aspectos contextuais (interlocuo, propsito, informaes relevantes) estiverem adequados situao comunicativa proposta. Neste trabalho, para a anlise da complexidade das tarefas, os fatores contextuais sero priorizados, j que so eles os que mais definem o desempenho dos candidatos.

A avaliao das produes textuais no Celpe-Bras resultado da interao no apenas entre o escritor do texto e o texto em si, mas entre o escritor do texto, a tarefa de escrita, o texto produzido, os avaliadores e a grade de avaliao (Weigle, 2002). Se por um lado temos uma avaliao mais coerente com os pressupostos tericos que embasam o exame, por outro, temos o problema de construir tarefas e grades de correo vlidas e confiveis para que se possam fazer inferncias possveis a partir dos resultados dos candidatos. Alm disso, nesse tipo de avaliao, fundamental que os corretores conheam os pressupostos tericos que fundamentam a elaborao das tarefas e das grades de correo. Discutiremos a seguir os conceitos de validade e de confiabilidade que devem fundamentar a avaliao.

31

1.6 Validade e confiabilidade em avaliao

Na rea de lnguas, os instrumentos de avaliao servem para fazer inferncias sobre a capacidade de uma pessoa usar uma determinada lngua adequadamente em diferentes situaes e, com base nessas inferncias, tomar decises. Fazer inferncias vlidas e confiveis sobre a capacidade dos indivduos, em relao ao que se est testando, essencial para uma avaliao justa e adequada aos propsitos assumidos.

Ao revisar o conceito de validade, Chapelle (1999) afirma que atualmente a validade considerada um argumento para justificar as interpretaes de um teste e de seu uso. Essa concepo difere da noo anterior (Lado, 1961)20, na qual validade era considerada uma caracterstica de um teste, ou seja, o teste era considerado vlido se media aquilo a que se propunha medir. Foram Bachman (1990a) e Messick (1989), afirma Chapelle (1999), que introduziram a idia de validade como um conceito unitrio, enfatizando que as inferncias feitas com base nos resultados de um teste e os usos dessas inferncias que so os objetos da validade e no os testes por si mesmos.

A mudana no conceito de validade se deve ao advento da abordagem comunicativa no final da dcada de 70, em que o foco de ensino passou a ser na competncia comunicativa em vez de ser em componentes abstratos da lngua, a gramtica e o vocabulrio descontextualizados de situaes de uso. Com a mudana de foco, os testes tambm passaram a refletir essa nova concepo, surgindo os testes de desempenho no lugar dos testes de itens isolados, pois se passou a considerar o conhecimento como uma rede integrada e no segmentado em partes (Schlatter et al, 2005). Os testes de desempenho, como o Celpe-Bras, so instrumentos de avaliao em que os candidatos precisam usar seu conhecimento de maneira direta e semelhante ao que fariam em situaes reais (Schlatter et al, 2005, p. 14). Assim, avaliar o conhecimento de maneira integrada, solicitando o uso da lngua, em vez de testar itens isolados da lngua, como acontecia anteriormente, parece ser mais vlido. Por exemplo, se queremos testar a capacidade de um indivduo em escrever uma carta para solicitar um emprego, mais vlido que haja, no teste, uma tarefa solicitando a prpria escrita da carta, em vez de uma tarefa de mltipla escolha, em que o indivduo ter de decidir qual a carta mais adequada.

20 Lado (1961, p.321, apud Chapelle,1999, p.255) define validade da seguinte forma: Does a test

measure what it is supposed to measure? If it does, it is valid.

32

Para avaliar a validade de um teste, h vrios aspectos que devem ser levados em considerao. Um deles a validade de contedo, obtida quando um teste avalia amostras de contedo representativas do contedo que o teste se prope a avaliar. (Fulcher, 1999; Hughes, 1989; Mcnamara, 2000; Brown, 2004). Outro aspecto a validade de critrio, obtido quando os resultados de uma avaliao esto coerentes com os resultados de uma outra avaliao que tenha os mesmos critrios (Schlatter et al, 2005). Brown (2004) enquadra esse ltimo aspecto em validade paralela, resultados confirmados por um desempenho paralelo do indivduo em uma situao que no seja de avaliao, e em validade preditiva, predies sobre desempenhos futuros baseadas nos resultados dos testes.

J a validade de construto obtida quando um teste avalia a habilidade que se prope medir de acordo com seus pressupostos tericos. (Bachman, 1988). Construto, conforme Chapelle (1998, p.33) uma interpretao significativa de um comportamento observado 21. A noo de proficincia de um teste, por exemplo, um construto e revelado atravs das tarefas que o compe. Se analisamos as tarefas de leitura e produo textual do Celpe-Bras, percebemos que o conceito de leitura e escrita que embasa o exame vinculado s motivaes sociais, pois sempre h interlocutores envolvidos com algum propsito comunicativo em um dado contexto. Ao contrrio disso, h testes que avaliam a capacidade de escrever apenas atravs de questes sobre aspectos lingsticos, revelando um conceito de escrita completamente diferente do apresentado acima. a partir do construto, concepo terica que embasa um exame, que as tarefas sero elaboradas, bem como os critrios de avaliao.

Bachman e Palmer (1996) relacionam a validade de construto s interpretaes que se faz sobre o desempenho dos indivduos, e o quanto se pode generalizar desse desempenho. De acordo com Chapelle (1998, p.50), a evidncia da validade de construto se refere ao julgamento e justificao emprica que sustentam as inferncias feitas atravs dos resultados dos testes. Alm disso, conforme Bachman (2002), as tarefas que so includas em uma avaliao daro a base para uma parte da validade do argumento: a relevncia de contedo e a representatividade de contedo. A relevncia do contedo se refere ao fato de o contedo selecionado para o teste ser realmente coerente com o seu construto. As tarefas de um teste, para que tenham relevncia de contedo, devem medir as habilidades a que o exame se prope medir. Se o construto de

21 is a meaningful interpretation of observed behavior"(Chapelle, 1998,p. 33)

33

um exame, por exemplo, o de que a linguagem serve para agir no mundo, e de que proficincia em uma lngua significa saber us-la adequadamente em situaes de comunicao, tarefas que no apresentem uma situao de comunicao para o uso da linguagem no sero coerentes com o esse construto, e, portanto, uma avaliao desse tipo ter a relevncia de contedo comprometida. J a representatividade de contedo se refere ao fato de o teste refletir adequadamente o contedo do domnio de uso de interesse da lngua e dar a base para se fazer generalizaes. Ou seja, as tarefas de um exame devem ser amostras suficientes das habilidades que se quer testar para que se possam fazer inferncias justas e generalizar sobre os desempenhos futuros dos indivduos em tarefas semelhantes. necessrio que as tarefas sejam representativas do domnio de uso da lngua que se quer avaliar para que se faam inferncias vlidas em relao a um resultado em uma avaliao. Levando esses aspectos em considerao, Bachman (2002) salienta a complexidade do processo de selecionar tarefas para a avaliao, dada a complexidade e diversidade dos domnios de uso da lngua na vida cotidiana.

O autor salienta, ainda, a complexidade de se fazer predies baseadas em resultados de um teste, pois difcil demonstrar que determinado desempenho em uma tarefa de um teste seja generalizvel para uma outra, ou que tal desempenho ser o mesmo em uma tarefa fora do contexto de teste. Desse modo, h uma complexidade de aspectos envolvidos nas interpretaes dos desempenhos de uma avaliao, e quanto mais conhecermos sobre os aspectos que influenciam nos resultados, maiores sero as probabilidades de fazermos inferncias vlidas em relao ao desempenho futuro dos candidatos em tarefas cotidianas de uso da linguagem. Conforme Chapelle (1999), o grau de confiabilidade de um teste, a explicitao de seu construto, sua autenticidade, a correlao de seus resultados com a de outros testes e o impacto das interpretaes e usos dos resultados obtidos contribuem como evidncias para construir a validade. A confiabilidade de um teste se refere igualdade de oportunidades aos candidatos avaliados, com o mnimo de efeito de fatores externos ao teste. Conforme Schlatter et al (2005, p.19), um dos fatores externos pode ser a discrepncia de referenciais tericos entre os avaliadores, por exemplo. Para amenizar esses fatores externos importante que se faa uma especificao cautelosa do teste, e de suas grades de avaliao. claro que toda a avaliao envolve um julgamento subjetivo e est sujeito a discordncias. Por isso, fundamental que se estabeleam claramente os critrios de avaliao, baseados no construto do instrumento de avaliao,

34

para que as divergncias de julgamento sejam minimizadas. Alm disso, importante que cada candidato seja avaliado por, no mnimo, dois corretores, e que, no caso de discrepncias, haja discusso para decidir qual seria a avaliao mais justa. Por isso, mais adequado que o grupo de corretores se rena no mesmo local para a correo (Weigle, 2002).

A anlise detalhada das tarefas de um exame e da suas grades de avaliao contribui para sua validade e confiabilidade. Como vimos, atravs da interpretao do desempenho do candidato nas tarefas propostas, procura-se fazer inferncias de como ser o seu desempenho em situaes semelhantes em momentos futuros de sua vida, sendo necessrio que as especificidades das tarefas de avaliao estejam claras o bastante para que se possam fazer inferncias consistentes em relao ao que se est avaliando (Bachman, 2002, p.548). Atravs da anlise das tarefas, das grades de avaliao e das respostas s tarefas, o presente estudo pode contribuir com as pesquisas na rea de avaliao sobre validade e confiabilidade. Ao analisar os aspectos que podem contribuir para a definio da complexidade das tarefas do exame, este trabalho d subsdios para que se possam fazer inferncias mais vlidas dos resultados obtidos pelos candidatos.

35

2. A COMPLEXIDADE DE TAREFAS DE LEITURA E PRODUO DE TEXTO

No se pode negar que h, em nossas vidas, situaes comunicativas que consideramos mais fceis, pois alcanamos o resultado almejado com menos esforo. H situaes que consideramos mais complexas, pois temos que fazer um esforo maior para conseguirmos alcanar o sucesso pretendido. Para a maioria das pessoas, uma conversa informal com uma pessoa da famlia com o objetivo de trocar informaes cotidianas sobre os ltimos acontecimentos pode ser considerada mais fcil do que uma entrevista de emprego em que h muitos concorrentes disputando por uma mesma vaga de trabalho. muito pouco provvel que, na conversa informal com um familiar, no se alcance o resultado almejado, considerando que esta uma atividade com a qual normalmente temos maior experincia de participao ao longo de nossas vidas. O mesmo, entretanto, no se pode dizer sobre uma entrevista de empregos, em que o desempenho do candidato na interao definir a obteno ou no da contratao. Em relao a tarefas de um exame, tambm h uma percepo de que elas difiram em grau de dificuldade. Candidatos e alunos costumam comentar, depois de se submeterem a um exame, que o teste estava muito difcil, ou muito fcil. Os avaliadores do exame tambm percebem que h certas tarefas que a maioria dos candidatos consegue realizar com sucesso, enquanto h outras em que o desempenho da maioria no satisfatrio. Apesar de percebermos que a dificuldade de fato existe, no h muita clareza em relao ao que define a dificuldade das tarefas. bom deixar claro desde o incio, que no pretendo, com esta pesquisa, definir fatores de dificuldade de qualquer tarefa, pois vimos, no captulo anterior, que h diversas concepes do termo, sendo que cada teste prope tarefas condizentes com seu construto. Nesta pesquisa, trato de tarefas de avaliao de um exame cujo construto embasado na perspectiva de uso de linguagem. Estabelecer claramente as especificidades das tarefas que iremos analisar fundamental, conforme Bachman (2002), para que no caiamos no erro de generalizar, para outras tarefas, algo que especfico de um dado desempenho em um dado exame. Alm disso, se estamos tratando de avaliao, no podemos analisar apenas as tarefas, procurando nelas onde reside a dificuldade, mas temos que considerar a relao entre tarefa-sujeito-avaliao, e explorar os seus componentes. Douglas (2000, p.92) afirma que o desempenho em um teste o resultado da interao entre os atributos do

36

candidato (como habilidade com a lngua e conhecimento prvio) e o contexto estabelecido pelas caractersticas dos mtodos do teste. Assumo a posio de Bachman (2002) de que a dificuldade no um fator separado, intrnseco tarefa em si, mas que ela est na interao entre todos os componentes envolvidos na avaliao, ou seja, na habilidade do candidato, nas caractersticas da tarefa, nos critrios de avaliao e na maneira em que os avaliadores usam a grade de correo.

2.1 Os conceitos de complexidade e de dificuldade Bachman (2002, p.462) afirma que as pesquisas sobre dificuldade de tarefas

pouco tem contribudo para esclarecer sobre os fatores da dificuldade. O autor aponta vrias inconsistncias nas concluses e metodologias dessas pesquisas, afirmando que as concluses dos estudos da primeira abordagem (Anderson et al., 1991; Freedle and Kostin, 1993; Perkins e Brutten, 1993 ; Bachman et al, 1996) so impossveis de serem generalizados por terem lidado com diferentes conjuntos de caractersticas de tarefas. J os estudos da segunda abordagem (Skehan, 1996; 1998; Norris et al., 1998; Brown et al., no prelo; Brindley e Slatyer, 2002; Elder et al., 2002 apontam para a impossibilidade de relacionar sistematicamente uma estimativa a priori da dificuldade e os indicadores empricos de dificuldade (Bachman, 2002, p. 463).

Bachman (2002), afirma ainda que as pesquisas tambm no conseguiram dar conta da relao entre as caractersticas da tarefa e a dificuldade devido a problemas conceituais e metodolgicos. Segundo o autor, muitos dos fatores de dificuldade apontados no so inerentes s tarefas em si, mas sim conseqncias da interao entre a habilidade dos candidatos e as caractersticas das tarefas. Como exemplo da inconsistncia nas pesquisas sobre dificuldade, ele cita o trabalho de Norris et al. (1998, p.47), que conceitua dificuldade de tarefas conforme a integrao de habilidades solicitadas e caractersticas das tarefas. Para Norris, as caractersticas das tarefas poderiam ser manipuladas com o intuito de aumentar ou diminuir a dificuldade da tarefa e isso seria o maior determinante no desempenho dos candidatos. Nesta mesma abordagem, Skehan (1996; 1998) prope trs tipos de fatores que poderiam afetar o desempenho nas tarefas:

- a complexidade lingstica solicitada para efetuar a tarefa; - a complexidade cognitiva- familiaridade cognitiva ( familiaridade com o tpico, familiaridade com o gnero discursivo, familiaridade com a tarefa), processamento cognitivo (organizao de informaes, quantidade de

37

raciocnio, clareza das informaes dadas, informaes suficientes ou no); - o estresse comunicativo, ou as condies para desempenhar a tarefa- presso de tempo, dimenso ( nmero de participantes, extenso do texto, modalidade, riscos, oportunidade de controle).

Bachman (2002) critica essa abordagem de Skehan, afirmando que esses fatores de dificuldade confundem os efeitos da habilidade do candidato com os efeitos da tarefa do teste, e que apenas o primeiro fator, a complexidade lingstica, poderia ser considerado como uma caracterstica apenas da tarefa do teste, os outros dois dependeriam da relao entre o candidato e a tarefa. Para o autor, a dificuldade das tarefas no pode ser considerada como uma entidade separada, facilmente identificada. A dificuldade das tarefas reside na interao entre todos os componentes envolvidos na avaliao e no apenas uma caracterstica da tarefa.

Brindley (1998), ao discutir sobre a relao entre os descritores das grades de avaliao e os estgios de aquisio de segunda lngua, menciona vrias pesquisas sobre dificuldade de tarefas em uma perspectiva psicolingstica (Shohamy and Inbar, 1991; Pollit and Hutchinson, 1985/1987; Lumey, 1993; Pollit, 1993; Biber, 1986; Brindley, Hamp-Lyons And Mathias, 1994). As concluses dessas pesquisas, segundo o autor, ainda no so suficientes para que se estabeleam os critrios definidores da dificuldade das tarefas. Algumas delas, como Robinson (1995), apesar de terem trazido informaes teis em relao s exigncias cognitivas das tarefas, segundo Brindley (1998), ainda so muito incipientes para delimitar os fatores causadores da dificuldade.

As pesquisas referidas refletem uma perspectiva psicolingstica por estarem preocupadas em hierarquizar as habilidades exigidas nas tarefas em relao ao esforo cognitivo despendido no desempenho das mesmas (Bialystok, 1994; Pollit, 1993; Lumley, 1993). Entretanto, que