Relatório Nacional Saeb 2003

Relatório NacionalSaeb 2003 91

92 Relatório NacionalSaeb 2003

6As desigualdades

de desempenho escolar no Brasil: algumas indicações a par� r

do Saeb 2003


6.1 O Saeb e a medida das desigualdades educacionais no Brasil

As análises das médias de profi ciência, nos diversos estratos amostrais do Saeb, permitiram constatar a falta de efi ciência nos sistemas de ensino no Brasil. São graves as defi ciências e pouco o aprendizado dos alunos da educação básica em todo o País: esse é o problema central da educação nacional.

O desempenho médio nas redes públicas em todo o País está distante do minimamente satisfatório. Isso se verifi ca em todas as séries investigadas na avaliação do Saeb: 4ª e 8ª séries do Ensino Fundamental (EF) e 3ª série do Ensino Médio (EM). A falta de efi ciência ocorre também nos dois componentes curriculares avaliados: Língua Portuguesa e Matemática. Também as redes privadas têm problemas de falta de efi ciência, pois muitas delas estão abaixo das médias mínimas consideradas satisfatórias para cada série.

A análise comparativa entre as redes privada e pública deve ser feita tomando-se alguns cuidados. Deve-se considerar que são redes que atendem públicos muito distintos, com características também distintas e que impactam no aprendizado. Neste sentido, as diferenças verifi cadas nas médias da rede pública frente à rede privada são produzidas também pelo efeito seleção que favorece as escolas privadas.

A rede privada seleciona seus alunos e professores, portanto, têm condições de contratar melhores professores e de substituí-los a qualquer tempo. Quanto aos alunos, a seleção é feita pelo critério econômico. Elas recebem alunos oriundos de famílias com maior capital econômico, social e cultural. Os fatores derivados da origem familiar e socioeconômica dos alunos representam variáveis que pesam no desempenho escolar do aluno.

As desigualdades existentes no sistema educacional brasileiro serão tratadas, aqui, em três dimensões, com foco nos alunos: cor, região geográfi ca do domicílio, e nível socioeconômico dos alunos.

6.2 Cor dos estudantes e desempenho educacional

Em 2003, a coleta da cor dos estudantes no Saeb foi feita com as mesmas categorias utilizadas nos levantamentos do Instituto Brasileiro de Geografi a e Estatística (IBGE), branco, pardo, preto, amarelo e indígena. A pesquisa é feita por meio de autodeclaração dos indivíduos, assim como no Censo Demográfi co e na Pesquisa Nacional por Amostra em Domicílios (Pnad).

Os três gráfi cos a seguir mostram a distribuição percentual de estudantes segundo a cor autodeclarada, em cada uma das três séries avaliadas pelo Saeb.


Comparando-se os percentuais coletados na última avaliação com o levantamento promovido pelo IBGE, em 2003, percebe-se uma diferença signifi cativa. Na Pnad 2003 a distribuição percentual da cor da população brasileira registrou 52,1% de brancos; 41,4% de pardos; 5,9% de pretos e 0,6% somando-se amarelos e indígenas. Comparando-se estes números com os que foram coletados pelo Saeb percebe-se uma diferença signifi cativa quanto aos brancos, em menor número no Saeb do que na Pnad. A diferença entre os dois levantamentos também é considerável em relação ao percentual de amarelos e indígenas. Este é maior no Saeb.

Essa diferença não se deve à meto-dologia de coleta dos dados. Seus fatores determinantes muito provavelmente são oriundos das características do público envolvido em cada um dos levantamentos. Os estudantes que respondem aos testes aplicados pela avaliação têm entre 10 a 19 anos de idade, em sua maioria. Na amos-tragem domiciliar, a idade média é maior, pois, em geral, se entrevistam os chefes de domicílio. Pode-se supor que as crianças e jovens não tenham clareza ainda do fa-tor cor, especialmente por ser um fator socialmente construído e por eles ainda não terem estabelecido sua identidade com base em tal aspecto.

Gráfi co 18 – Cor dos estudantes (auto-declaração)4ª série do ensino fundamental – Brasil

Fonte: MEC/Inep

Gráfi co 19 – Cor dos estudantes (auto-declaração) 8ª série do ensino fundamental – Brasil

Fonte: MEC/Inep


Na análise dos resultados de profi ciência média dos estudantes, constata-se que a média dos estudantes brancos, na 4ª série, tanto em Língua Portuguesa quanto em Matemática, está acima das médias nacionais. Em Língua Portuguesa a média Brasil em 2003 foi de 169,4 pontos e, em Matemática, 177,7 pontos.

Todos os grupos de cor têm média de profi ciência abaixo do patamar satisfatório para a 4ª série, 200 pontos na escala de profi ciência do Saeb. Em termos de desigualdade pode-se notar que a distância de pardos para os brancos é cerca de 10 pontos. Trata-se de um hiato com magnitude considerável.

A diferença entre pretos e brancos é, de fato, grande. Em Língua Portugue-sa é de 25 pontos e em Matemática de 26 pontos. Portanto, em ambas as disciplinas a diferença é de meio desvio-padrão na es-cala do Saeb, que vai de 0 a 500 pontos, com média de 250 pontos e desvio-padrão de 50 pontos.

Cabe notar que entre pretos e pardos existe uma diferença de desempenho médio próxima de 17 pontos, tanto em Língua Portuguesa quanto em Matemática. Ela é menor que entre os pardos e brancos, mas é intensa o bastante para denotar desigualdade no desempenho.

Gráfi co 20 – Cor dos estudantes (autodeclaração)3ª série do ensino médio – Brasil

Fonte: MEC/Inep

Gráfi co 21 – Média de profi ciência em Língua Portuguesa na 4ª série do ensino fundamental conforme a cor do estudante – Brasil – 2003

Fonte: MEC/Inep


Os resultados de profi ciência dos estudantes da 8ª série mostram que todos os grupos de cor estão abaixo, tanto em Língua Portuguesa quanto em Matemática, da média mínima satisfatória para esta série, que é de 300 pontos. Aqui este hiato se apresenta ainda maior do que na 4ª série. A julgar pelas médias do Saeb, os estudantes concluintes do Ensino Fundamental estão terminando esta etapa de escolarização com um acúmulo de aprendizagem alto. A diferença das médias obtidas em relação à média mínima satisfatória é de quase 60 pontos para os brancos, em Língua Portuguesa; para os demais grupos de cor

está acima das seis dezenas de distância. Em Matemática, essa distância para os estudantes que se autodeclararam brancos é de 45 pontos, e para os pardos, pretos, amarelos e indígenas, acima de 60 pontos.

A diferença entre os grupos de cor na 8ª série é alta, como na 4ª série. Entre pardos e brancos é de 14 pontos em Língua Portuguesa e de 17,5 em Matemática. Já entre pretos e pardos é de 16,3 pontos em Língua Portuguesa e de 11,6 em Matemática. A distância de escore dos pretos diante dos brancos revela-se mais intensa do que na 4ª Série. Em Língua Portuguesa é de mais de 30 pontos e em Matemática é de mais de 29.

Gráfi co 22 – Média de profi ciência em Matemática na 4ª série do ensino fundamental conforme a cor do estudante – Brasil – 2003

Fonte: MEC/Inep.

Gráfi co 23 – Média de profi ciência em Língua Portuguesa na 8ª série do ensino fundamental conforme a cor do estudante – Brasil – 2003

Fonte: MEC/Inep.


Os resultados de profi ciência em Língua Portuguesa e em Matemática no ensino médio, desagregados por cor, apresentam um mesmo padrão de diferença entre os grupos, já detectados na 4ª e 8ª séries do ensino fundamental, porém, entre os concluintes do ensino médio, revela-se uma diferença ainda maior do que nas séries anteriores.

Também é comum às séries anterio-res a posição inferior da média de todos os grupos diante ao que seria mínimo para cada componente curricular. A média mínima em Língua Portuguesa razoável para o Ensino Médio é de 350 pontos e em Matemática é de 375. Todos os grupos estão abaixo do mínimo, revelando que a efi ciência dos sistemas de ensino no Brasil é um grave problema a ser enfrentado de for-ma concreta pelas políticas públicas para a educação no Brasil. Os dados apresentados conforme a cor dos estudantes têm mos-trado, até aqui, uma falta de eqüidade dos sistemas de ensino no Brasil.

A diferença de profi ciência entre o pardo e o branco é de 15 pontos em Língua Portuguesa e de 26 pontos em Matemática. Entre pretos e pardos é de mais de 11 pontos em Língua Portuguesa e cinco pontos em Matemática. Comparando-se pretos e brancos, verifi ca-se uma diferença de 25 pontos a mais para os brancos, tanto em Língua Portuguesa quanto em Matemática.

No ensino médio, a falta de efi ciência e de eqüidade aprofunda-se. Difi cilmente poderia ser diferente, pois a profi ciência alcançada ao fi nal do Ensino Médio espelha uma trajetória de onze anos de escolarização. Alunos que começam tendo uma má qualidade no ensino-aprendizagem mantêm o baixo aprendizado. Muitas das vezes isso pode até ser aprofundado. A trajetória escolar, para ser bem-sucedida, deve começar com uma boa estrutura desde o início, pois uma má alfabetização irá deixar marcas por toda a vida escolar do indivíduo.

Gráfi co 24 – Média de profi ciência em Matemática na 8ª série do ensino fundamental conforme a cor do estudante – Brasil – 2003

Fonte: MEC/Inep


Para constatar se as diferenças de desempenho entre estudantes brancos, pardos e pretos nas três séries do Saeb se mantêm em função dos cruzamentos da variável dependente – a profi ciência – com outras variáveis, foram incluídos outros elementos na mesma análise, como

a situação de atraso escolar. A idéia é averiguar se existem diferenças em cada grupo em função da cor e de acordo com a trajetória escolar do aluno.

Analisando-se a situação em função da cor do estudante, pode-se constatar como o atraso escolar tem incidindo de

Gráfi co 25 – Média de profi ciência em Língua Portuguesa na 3ª série do ensino médio conforme a cor do estudante – Brasil – 2003.

Fonte: MEC/Inep.

Gráfi co 26 – Média de profi ciência em Matemática na 3ª série do ensino médio conforme a cor do estudante – Brasil – 2003.

Fonte: MEC/Inep


forma mais intensa entre os estudantes pardos e pretos.

Na 4ª série do ensino fundamen-tal, a proporção de estudantes que se autodeclararam brancos e que estão em situação de atraso escolar é de 30%. Entre os estudantes de cor parda, 40%, e entre os pretos é de 60%. Um primeiro elemen-to a destacar com relação a esta questão é que a probabilidade de reprovação e abandono atinge de forma mais intensa os pardos e, sobretudo, os pretos do que os brancos.

Entre os concluintes do ensino fundamental, o atraso afeta 34% dos brancos, entre os pardos afeta 47% e entre os pretos, 58%.

Entre os brancos, no ensino médio, 35% estão em situação de atraso escolar. Entre os pardos são 51% de crianças matriculadas e que estão fora da idade correta. Entre os pretos são 60%. Portanto, os pardos e, mais ainda, os pretos são reprovados e abandonam as escolas, gerando assim a situação de atraso.

Como se pode notar pelas pro-porções de estudantes fora da idade correta para a série que freqüentam, as desigualdades, conforme a cor dos estu-dantes, são grandes. Tanto entre pardos e brancos quanto entre pretos e pardos, e, principalmente, entre pretos e bran-cos. São dados que juntamente com as médias de proficiência, até então apre-sentadas, ajudam a compor um quadro de análise em que a questão racial (no sentido sociológico e fenotípico) se faz presente para um entendimento da falta de eqüidade nos sistemas de ensino em todo o Brasil.

Outra análise importante para o conhecimento da situação de desigual-dade em função da cor do estudante é por meio dos desempenhos segundo a rede – pública ou privada. Neste sen-tido, o Gráfico 27 mostra que todos os grupos de cor têm proficiência média

maior entre os estudantes matriculados na re de privada. Tais diferenças não são explicadas apenas pelos fatores intra-es-colares. Como foi dito, há um efeito de seleção atuando em favor das escolas privadas. Parte da diferença média de seu desempenho diante das instituições públicas é originado na composição sócioeconômica dos alunos.

Vale destacar que estudantes par-dos e pretos têm maior diferença de de-sempenho em relação aos brancos dentro da rede privada. Isso ajuda a entender que as diferenças de desempenho escolar em função da cor não se explicam apenas por aspectos econômicos. Ou seja, a questão da desigualdade racial não se explica pelo nível socioeconômico.

Entender as desigualdades raciais passa por considerar o aspecto geracional impactando tanto na questão da pobreza quanto no desempenho educacional. Os pardos e principalmente os negros têm uma inserção mais recente na estrutura econômica; há poucas gerações livres do trabalho servil. Além disso, as gerações de negros apenas mais recentemente têm adquirido mais capital educacional e, portanto, apenas mais recentemente têm podido transferir, para seus fi lhos, o capital cultural.

Mas a questão também tem que ser entendida numa dinâmica das rela-ções raciais no Brasil. Assim, as classifi-cações e hierarquizações, o preconceito e o racismo podem também estar ope-rando na dinâmica do cotidiano das es-colas, contribuindo de forma incisiva na auto-estima dos estudantes negros. Para enfrentar tal situação é preciso adotar políticas públicas capazes de impactar na formação dos docentes, visando pre-pará-los para trabalhar com as diferen-ças. Igualmente, é importante eliminar qualquer vestígio nos materiais didáti-cos que possa contribuir para reiterar o racismo e veicular uma imagem negativa da população negra.


6.3 Nível socioeconômico e desempenho escolar

Desde os anos 60, a pesquisa quantitativa em educação tem-se desen-volvido na explicação dos fatores escolares e intra-escolares que contribuem para um maior aprendizado dos estudantes.

Os primeiros estudos concluíram que o nível socioeconômico do aluno cumpria um papel determinante para que sua trajetória escolar fosse mais bem sucedida. Os avanços na pesquisa, contudo, e o maior conhecimento das características das chamadas escolas efi cazes foram responsáveis por atribuir ao nível socioeconômico um peso menor no resultado da aprendizagem.

Nesta perspectiva, as pesquisas têm-se concentrado em buscar conhecer de forma mais sistemática quais são os fatores mais determinantes na formação das escolas efi cazes.

A evolução das pesquisas mostra que qualquer posição extremada não é sufi ciente para compreender o peso dos fatores intra e extra-escolares na magnitude da aprendizagem dos estudantes. Deve-se considerar um modelo explicativo que considere ambas as dimensões. Por outro lado, avaliações em caráter internacional, como o Pisa, têm mostrado que nos países com menor desigualdade econômica entre as famílias é menor a desigualdade de desempenho escolar e desempenhos médios maiores. Neste sentido, tais países conseguiram alcançar maior eqüidade e efi ciência em seus sistemas de ensino.

O nível socioeconômico dos estudantes foi classifi cado em cinco classes, de A (mais alto) até E (mais baixo). A seguir, são apresentados gráfi cos que mostram a distribuição percentual dos níveis em cada uma das séries investigadas pela avaliação da educação básica e a média de profi ciência de cada um dos níveis.

Gráfi co 27 – Média de profi ciência em Matemática na 3ª série do ensino médio por rede de ensino e cor do estudante – Brasil – 2003

Fonte: MEC/Inep


A profi ciência média de cada um dos grupos de nível socioeconômico mostra diferenças substanciais entre eles. Os grupos A e B estão acima da média mínima satisfatória de profi ciência em Leitura na 4ª série, que é de 200 pontos. O grupo C está abaixo da média mínima, porém acima da média Brasil em 2003, que foi de 169,4 pontos. Já os dois grupos mais pobres, D e E, estão muito aquém do desempenho nacional. São médias situadas no estágio crítico da 4ª série. De maneira geral, pode-se afi rmar que os patamares de profi ciência

dos dois grupos mais pobres estão muito abaixo dos da 4ª série. São alunos com pouca competência em Leitura.

O comportamento da profi ciência em Matemática na 4ª série, em cada uma das classes socioeconômicas, segue um padrão similar ao resultado em Leitura. Os grupos mais ricos (A e B) apresentam profi ciência acima do mínimo satisfatório, que é de 200 pontos. O grupo intermediário C, embora com profi ciência abaixo do mínimo, alcançou um patamar acima da média geral do Brasil, de 177 pontos.

Gráfi co 28 – Distribuição dos alunos da 4ª série do ensino fundamental conforme o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.

Gráfi co 29 – Média de profi ciência em Leitura na 4ª série do ensino fundamental de acordo com o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.


A mesma análise, voltada para os resultados do ensino fundamental, mostra mudanças quando se comparam os gráfi cos da 8ª série (com o percentual de estudantes desta série em cada um dos níveis de classifi cação socioeconômica) e da 4ª Série.

Essas mudanças, de maneira geral, são mais contundentes no aumento do percentual de B e C, com menor proporção dos grupos D e E. Possivelmente, tais alterações são refl exos da evasão escolar que afetou de maneira mais intensa os grupos mais pobres.

Gráfi co 30 – Média de profi ciência em Matemática na 4ª série do ensino fundamental de acordo com o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.

Gráfi co 31 – Distribuição percentual dos alunos por nível socioeconômico na 8ª série do ensino fundamental – Brasil – 2003

Fonte: MEC/Inep.


Gráfi co 32 – Média de profi ciência em Leitura na 8ª série do ensino fundamental de acordo com o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.

Gráfi co 33 – Média de profi ciência em Matemática na 8ª série do ensino fundamental de acordo com o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.

Gráfi co 34 – Distribuição percentual de estudantes da 3ª série do ensino médio por nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.


6.4 Desigualdade no desempenho escolar entre as regiões geográfi cas

As diferenças regionais também marcam a educação no País. Essa consta-tação pode ser confi rmada pelas médias de desempenho de cada região na avaliação nacional.

Em Matemática, dois grupos nítidos de regiões se constituem em função das diferenças de desempenho no Saeb. Norte e Nordeste possuem médias signifi cativamente menores do que as demais, acima de 15 pontos na escala do Saeb. Além disso, as Regiões Sul, Sudeste e Centro-Oeste possuem médias superiores à media nacional, que é de 177 pontos.

Gráfi co 35 – Média de profi ciência em Leitura na 3ª série do ensino médio de acordo com o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.

Gráfi co 36 – Média de profi ciência em Matemática na 3ª série do ensino médio de acordo com o nível socioeconômico – Brasil – 2003

Fonte: MEC/Inep.


Situação idêntica ao desempenho em Matemática ocorre em Língua Portuguesa. Mais uma vez, as Regiões Norte e Nordeste apresentam um patamar abaixo das demais regiões e têm médias abaixo da média nacional, que é de 196,4 pontos. O Sul, o Sudeste e o Centro-Oeste possuem médias regionais acima da nacional.

A média nacional de profi ciência em Matemática na 8ª série foi de 245 pontos em 2003. A média qualifi cada como mínima para este nível de ensino é de 300 pontos. A média de cada uma das

Gráfi co 37 – Média de profi ciência em Matemática na 4ª série do ensino fundamental – Regiões – 2003

Fonte: MEC/Inep

Gráfi co 38 – Média de profi ciência em Leitura na 4ª série do ensino fundamental – Regiões – 2003

Fonte: MEC/Inep

regiões também se encontra abaixo do patamar mínimo aceitável.

Se falta efi ciência em todas as regiões, falta também eqüidade entre elas: o Norte e o Nordeste continuam atrás dos desempenhos medidos, nessa série, nas outras três regiões geográfi cas do Brasil, tanto em Matemática como em Língua Portuguesa.

Contudo, cabe destacar que enquanto as Regiões Sudeste, Sul e Centro-Oeste estão acima da média nacional, que é de 231 pontos, e o Norte e o Nordeste estão abaixo, todas as regiões do País estão abaixo do patamar mínimo aceitável de 300 pontos.


Os Gráfi cos 41 e 42 apresentam as profi ciências médias obtidas pelos alunos da 3ª série do ensino médio em cada região. O tema da eqüidade é o que mais chama a atenção pela leitura dos dados. Tanto no aprendizado da Língua quanto no de Matemática, constatam-se fortes desigualdades entre as regiões do País. O padrão se repete nas duas áreas e está coerente com os dados das séries anteriores. As Regiões Norte e Nordeste têm desempenhos médios inferiores às demais. As diferenças superam 30 pontos na escala do Saeb, nos exemplos mais extremados, como é o caso das médias em Matemática.

Também cabe destacar que o proble-ma da efi ciência dos sistemas e, conseqüen-temente, de suas escolas aparece também no ensino médio. Tal afi rmação se torna mais fácil de ser entendida comparando-se a mé-dia estimada de cada região com a média mínima satisfatória. Em Língua Portugue-sa, na 3ª série do ensino médio, a média é de 350 pontos e, em Matemática, é de 375 pontos. Em nenhuma das regiões o mínimo foi atingido em 2003. Portanto, em todas as regiões a baixa qualidade da educação ofe-recida torna-se um problema central. Um desafi o para os governos, em todos os níveis, e uma questão para a qual a sociedade deve estar mais atenta.

Gráfi co 39 – Média de profi ciência em Matemática na 8ª série do ensino fundamental – Regiões – 2003

Fonte: MEC/Inep

Gráfi co 40 – Média de profi ciência em Leitura na 8ª série do ensino fundamental – Regiões – 2003

Fonte: MEC/Inep.


Gráfi co 41 – Média de profi ciência em Leitura na 3ª série do ensino médio – Regiões – 2003

Fonte: MEC/Inep.

Gráfi co 42 – Média de profi ciência em Matemática na 3ª série do ensino médio – Regiões – 2003

Fonte: MEC/Inep

7Aspectos metodológicos do Saeb 2003


7.1 O delineamento dos testes do Saeb

Um teste educacional é um instrumento de levantamento de dados que funciona como uma régua que mede o comprimento de um objeto. Uni ou multidimensional depende da delimitação do objeto e do alcance do instrumento.

Quando o objeto da ciência é o sujeito, ou seja, o estudante, do ensino fundamental ou médio, mede-se a mag-nitude de sua profi ciência – competência em apreender o conhecimento ministrado nas salas de aula – por meio de seu desempenho em um teste.

Como o teste deve ser preciso e válido para possibilitar uma estimação justa das profi ciências, a Diretoria de Avaliação da Educação Básica (Daeb) do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) reuniu especialistas de diversas áreas para a preparação dos testes do Saeb 2003, professores das disciplinas avaliadas, especialistas em avaliação, psicometristas e estatísticos. E, em todas as fases da preparação dos testes, contribuições pedagógicas e psicométricas foram consideradas.

Em 2003, a Daeb avaliou a profi ciência dos estudantes em Língua

Portuguesa, sob o foco Leitura, e em Matemática, sob o foco Resolução de Problemas. Avaliou-se, na mesma linha do que vinha sendo praticado nos últimos ciclos do Saeb, o desempenho dos estudantes da 4a e 8a séries do ensino fundamental (EF) e 3a série do ensino médio (EM). As profi ciências foram estimadas de forma que os resultados do Saeb 2003 fossem perfeitamente comparáveis com os resultados dos Saeb anteriores (1995, 1997, 1999 e 2001).

As tabelas de especifi cação da avaliação do Saeb 2003 são as Matrizes de Referência, publicadas no documento Saeb 2001: Novas Perspectivas, em 2002. Com base nos descritores destas matrizes, construíram-se itens de teste no formato de múltipla escolha.

Os itens foram submetidos a uma revisão técnica, lingüística e pedagógica e foram pré-testados em três oportunidades: primeiro e segundo pré-testes de 2001 e pré-teste de 2002.

Com exceção daqueles já utilizados no Saeb 2001, os itens pré-testados foram submetidos a uma análise psicométrica com base nas estatísticas calculadas pela Teoria Clássica dos Testes (TCT) e estimadas pela Teoria de Resposta ao Item (TRI). A Tabela 19 apresenta o quantitativo de itens analisados por pré-teste.


Os resultados das análises pedagógi-ca e psicométrica distinguiram: (i) os itens de boa qualidade e que poderiam fazer par-te dos testes do Saeb 2003; (ii) os itens de qualidade ruim e que não poderiam fazer parte dos testes; (iii) os itens que, embora apresentassem uma qualidade não muito boa, com pequenos ajustes poderiam fazer parte dos testes; (iv) os itens que, embora apresentassem uma qualidade estatística ruim, estavam pedagogicamente perfeitos e poderiam fazer parte dos testes. Especi-fi camente para esta categoria, geralmente os itens se referiam a alguns determinados descritores. Percebeu-se que os estudantes, em sua maioria, não se saíam bem em to-dos os itens referentes a estes descritores, comprometendo os resultados estatísticos. Estes itens ajudaram a compor os testes com a função principal de identifi car com-petências que não vêm sendo consolidadas pelos estudantes.

Os resultados da análise psicomé-trica permitiram, ainda, a agregação ao item de informações quanto à sua difi cul-dade ou complexidade, fundamentais para a composição de um teste equilibrado.

7.1.1 Os testes do Saeb 2003

Um teste de 169 itens foi elaborado para cada série e disciplina avaliadas pelo Saeb. Na composição destes testes,

buscou-se selecionar itens com as seguintes características:

• correlação bisserial para a alternativa correta superior a 0.30;

• correlação bisserial negativa para os distratores;

• parâmetro a (TRI) superior a 1.00;

• parâmetro c inferior a 0.20 (TRI); e• curva Característica do Item

(CCI) que apresentasse um bom comportamento, ou seja, com proximidade entre os pontos empíricos e estimados.

Os 169 itens por série e disciplina compuseram 13 blocos de 13 itens que, combinados três a três, a partir da orientação matricial de itens por Blocos Incompletos Balanceados - BIB, geraram 26 cadernos ou formas de teste (Tabela 20).

O quantitativo total de itens (169) é maior que o apresentado geralmente pelos testes tradicionais. Essa característica possibilita uma ampla cobertura das habilidades listadas nas matrizes de referência do Saeb, ou seja, nas tabelas de especifi cações desta avaliação. Permite ainda garantir uma boa precisão do instrumento, pois uma grande quantidade de itens é reservada para cobrir cada uma das habilidades, representadas pelos descritores. Este número de itens por

Tabela 19 – Número de itens submetidos à análise psicométrica

Pré-testeLíngua Portuguesa Matemática

4a E.F. 8a E.F. 3a E.M. Total 4a E.F. 8a E.F. 3a E.M. Total

1o Pré-teste de 2001 155 191 233 579 154 205 242 6012o Pré-teste de 2001 91 91 91 273 91 91 91 273Pré-teste de 2002 507 247 247 1001 507 247 247 1001Total 753 529 571 1.853 752 543 580 1.875

Fonte: MEC/Inep


descritor permite também compor o teste com complexidades variadas para cada uma das habilidades, alcançando, em última instância, uma melhor medida e melhor representação do traço latente.

A distribuição de itens por blocos e de blocos por cadernos permite, dentre outros aspectos, que um mesmo conjunto de itens esteja localizado na primeira posição (primeiro bloco) em dois cadernos de teste; na segunda posição, em outros dois cadernos; e na terceira posição, em outros dois. Por exemplo, o bloco 1 está localizado na primeira posição nos cadernos 1 e 14; na segunda posição nos cadernos 13 e 25; e na terceira posição nos cadernos 10 e 20. Esta variação na ordem dos blocos torna controlável uma possível perda de dados gerada pelo cansaço ou falta de tempo, já que a aplicação do Saeb é realizada bloco a bloco, em que todos os estudantes iniciam cada bloco no mesmo momento. Este tipo de procedimento permite que os dados perdidos sejam distribuídos igualmente entre os 13 blocos.

A aplicação dos testes do Saeb ocorre segundo os seguintes procedimentos: cada aluno recebe um modelo de teste de uma das disciplinas. Como em 2003 foram avaliadas as disciplinas Língua Portuguesa e Matemática, o aluno que estava sentado

na primeira carteira recebeu o caderno 1 da disciplina Matemática; o que estava sentado na segunda carteira recebeu o caderno 1 de Língua Portuguesa; o terceiro aluno recebeu o caderno 2 de Matemática; o quarto, o caderno 2 de Língua Portuguesa, e assim sucessivamente. A seqüência de aplicação dos cadernos de teste foi mantida para a sala seguinte e, seqüencialmente, para a próxima. Desta forma, caso o último estudante que respondeu ao teste de Matemática tivesse recebido o caderno número 15, por exemplo, o primeiro estudante da outra sala, que também fez o teste de Matemática, teria recebido o caderno 16. Esse esquema de aplicação foi previsto para dentro da escola, entre as escolas de um determinado município, entre os municípios e, num nível mais amplo, para a Unidade da Federação.

Os procedimentos de aplicação, aqui resumidamente relatados, têm impactos diretos no delineamento da montagem dos testes. Atente-se para o fato de que cada aluno responde a apenas um dos 26 cadernos de teste de apenas uma das disciplinas, pela impossibilidade de, com um erro de estimação baixo, se comparar os resultados de estudantes de uma mesma sala ou de uma mesma escola. Não é sem propósito que os resultados do Saeb só

Tabela 20 – Delineamento de Blocos Incompletos Balanceados (BIB)

Caderno Primeiro Bloco

Segundo Bloco

Terceiro Bloco Caderno Primeiro

BlocoSegundo

BlocoTerceiro

Bloco1 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 104 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7

Fonte: MEC/Inep


são divulgados em nível dos estratos amostrais (Unidades da Federação, Rede, Localização, por exemplo).

Os testes do Saeb 2003 são compostos por (i) Itens inéditos, ou seja, aqueles não utilizados anteriormente no Saeb ou em outra avaliação; e (ii) Itens

comuns entre anos, ou seja, aqueles aplicados no Saeb 2001 e que entraram no Saeb atual para efeitos de comparação dos resultados. A Figura 1 apresenta o esquema de montagem dos testes de Língua Portuguesa e Matemática. Considere cada retângulo como um bloco de 13 itens.

Observa-se que, para as três séries avaliadas, dos treze blocos de itens aplicados no Saeb 2003, onze são de itens inéditos e dois de itens provenientes do Saeb 2001.

Os testes de 8a série do ensino fundamental e da 3a série do ensino médio são compostos por onze blocos de itens inéditos, sendo que três deles são provenientes da série anterior (cf. Figura 1).

Esta confi guração de utilização de itens da aplicação anterior do Saeb e da série imediatamente anterior permite que os resultados dos testes estejam na mesma métrica da Escala do Saeb e sejam comparados entre anos e séries.

7.2 A matriz de especifi cações e as prioridades de descritores, temas e tópicos

Os testes do Saeb 2003 foram organi-zados com base no planejamento de priori-dades elaborado para o Saeb 2001. A utili-zação da hierarquia de prioridades permitiu defi nir quantos itens dos testes abordariam cada um dos temas ou tópicos e descritores das Matrizes de Referência. Para o Saeb 2003, na medida do possível, um número maior de itens foi reservado para os temas ou tópicos e descritores considerados mais importantes ou pedagogicamente mais relevantes para cada disciplina e série avaliadas.

Figura 1 – Confi guração dos testes do Saeb 2003


Cabe ressaltar a importância da utilização de um modelo de prioridades, no que se refere à validade do teste. Se pedagogicamente um aspecto da competência é mais importante do que outro para a resolução de problemas matemáticos, o teste deve ser capaz de contemplar essa diferença. Quando se trabalha com a Matriz de Referência do Saeb, esta tarefa torna-se um pouco mais complexa, porque alguns temas ou tópicos apresentam uma prioridade alta para uma determinada série e possuem poucos descritores na matriz. Uma distribuição igualmente proporcional de itens por descritores acaba por reservar um número

muito grande de itens para estes temas e tópicos, muito mais do que o sufi ciente para garantir uma boa representação das habilidades.

A alternativa encontrada para a construção do teste é a correção da proporção de itens. Desta forma, é possível que se encontre nos testes do Saeb 2003 temas e tópicos da matriz considerados prioritários com um número menor de itens do que outros considerados menos prioritários.

As tabelas de 21 a 32 apresentam o planejamento do número de itens por descritor, tópico e tema utilizados para a composição dos testes de Língua

Tabela 21 – Número de itens por tópicos e descritores do teste de Língua Portuguesa 4a série do ensino fundamental

Fonte: MEC/Inep


Portuguesa e de Matemática, das três séries do Saeb 2003. Para estas tabelas, foram considerados os onze blocos de itens inéditos da série em questão (143 para a 4a e 104 para as demais). Embora a composição dos blocos de itens provenientes do Saeb 2001 tenha seguido a orientação de prioridades, outros critérios como a manutenção da posição do item no bloco também foi utilizada.

Cabe ressaltar que os tópicos ou temas são o primeiro nível da hierarquia. Depois de defi nir quais dos tópicos terão mais representatividade no teste, passa-se para o segundo nível da hierarquia, que é a defi nição, dentro de cada tema ou tópico, de quais descritores terão mais ou menos representatividade na prova. Assim, é

possível que o descritor com prioridade 2 do tópico I não seja abordado com o mesmo número de itens que outro descritor também de prioridade 2 do tópico IV. Na tabela 21, pode-se verifi car este exemplo para os descritores 3 e 4 do tópico I e para os descritores 7 e 8 do tópico IV.

Para Língua Portuguesa, 4a série (Tabelas 21 e 22), o planejamento cumpriu à risca a hierarquia prevista. O mesmo se pode falar sobre o planejamento do número de itens por descritor dentro do tópico. Prioridades maiores (números menores) sempre mereceram uma reserva maior de itens.

O modelo reservou um número de itens por tópico variando de 9 a 47 e por descritor, de 9 a 11.

Tabela 22 – Síntese do número de itens por tópicos e descritores do teste de Língua Portuguesa – 4ª série do ensino fundamental

Fonte: MEC/Inep

Para o planejamento de Língua Portuguesa, 8a Série (Tabelas 23 e 24), foi reservado um maior número de itens para aqueles tópicos que apresentaram uma prioridade maior, com exceção

dos tópicos II e VI, que apresentaram o mesmo grau de prioridade (5) e proporções planejadas diferentes. O tópico II apresenta dois descritores e o tópico VI, apenas um.


Tabela 23 – Número de itens por tópicos e descritores do teste de Língua Portuguesa8a série do ensino fundamental

Fonte: MEC/Inep

Tabela 24 – Síntese do número de itens por tópicos e descritores do teste de Língua Portuguesa – 8ª série do ensino fundamental

Fonte: MEC/Inep


Tabela 25 – Número de itens por tópicos e descritores do teste de Língua Portuguesa 3a série do ensino médio

Fonte: MEC/Inep.

Tabela 26 – Síntese do número de itens por tópicos e descritores do teste de Língua Portuguesa – 3a série do ensino fundamental

Fonte: MEC/Inep.


Tabela 27 – Número de itens por temas e descritores do teste de Matemática 4a série do ensino fundamental

Fonte: MEC/Inep

Tabela 28 – Síntese do número de itens por temas e descritores do teste de Língua Portuguesa – 4a série do ensino fundamental

Fonte: MEC/Inep


Tabela 29 – Número de itens por temas e descritores do teste de Matemática8a série do ensino fundamental

Fonte: MEC/Inep

Tabela 30 – Síntese do número de itens por temas e descritores do teste de Língua Portuguesa – 8a série do ensino fundamental

Fonte: MEC/Inep.


Tabela 31 – Número de itens por temas e descritores do teste de Matemática 3a série do ensino médio

Fonte: MEC/Inep

Tabela 32 – Síntese do número de itens por temas e descritores do testede Língua Portuguesa – 3a série do ensino médio

Fonte: MEC/Inep.


O planejamento apresentado ante-riormente trata do número de itens para os testes como um todo. Como o Saeb é deli-neado pela composição de 13 blocos de 13 itens, pensou-se também no número de itens de cada tópico ou tema para cada bloco. O objetivo deste planejamento é propiciar um equilíbrio dos temas e tópicos por bloco.

7.3 Os testes montados

Cada bloco de provas deveria ser composto por itens de todos os temas

ou tópicos. Se a prioridade do tópico ou tema é maior, um maior número de itens de cada bloco é reservado para cada um deles. Devido à confi guração da matriz e da disponibilidade de itens, principalmente, nem sempre foi possível atingir este ideal.

As Tabelas 33 a 35 apresentam a distribuição de número de itens por tópicos ou temas e descritores contrastando o previsto com o efetivamente utilizado nos testes do Saeb 2003.

Tabela 33 – Distribuição real do número de itens por tópicos e descritores do teste de Língua Portuguesa – 4a série do ensino fundamental

Fonte: MEC/Inep.


Tabela 35 – Número de itens planejados e efetivamente utilizados por tópicos e descritores no teste de Língua Portuguesa – 4a série do ensino fundamental

Fonte: MEC/Inep.

Tabela 34 – Distribuição real do número de itens por tópicos e descritores do teste de Língua Portuguesa8a série do ensino fundamental

Fonte: MEC/Inep.


O planejamento acima permitiu que o teste de Matemática da 4a série seguisse à risca a hierarquia de prioridades. Temas com prioridade maior (número menor) foram abordados com mais itens. Em média, foram utilizados cinco itens para abordar cada descritor. Todos os descritores foram cobertos com, pelo menos, três itens e a maioria deles foi coberta com quatro, cinco ou seis itens, número sufi ciente para a obtenção de precisão para a mensuração de cada habilidade.

O teste de Matemática da 8a série seguiu à risca a hierarquia de prioridades. Temas com prioridade maior (número menor) foram abordados com mais itens. Em média, foram utilizados cinco itens para abordar cada descritor. Todos os descritores foram cobertos com, pelo menos, três itens e a maioria deles foi coberta com quatro, cinco ou seis itens, número sufi ciente para a obtenção de precisão para a mensuração de cada habilidade.

8Os ques� onários de contexto do Saeb


8.1 Para que servem os questionários?

O Sistema Nacional de Avaliação da Educação Básica (Saeb) constitui-se relevante instrumento para subsidiar políticas orientadas para a melhoria da qualidade da educação brasileira. O Saeb avalia a qualidade do ensino e da aprendizagem contextualizando as condições socioeconômicas em que elas se desenvolvem. Assim, ao mesmo tempo em que oferece subsídios concretos para a formulação, a reformulação e o monitoramento das políticas públicas voltadas para a educação básica, dá indicações gerais para ações governamentais na área de infra-estrutura social.

A avaliação nacional, segundo os padrões propostos e defi nidos para o Saeb, tem ainda como objetivo estimular as secretarias estaduais e municipais de Edu-cação a implementarem e consolidarem suas próprias avaliações de uma forma mais detalhada, onde o desempenho de microrregiões ou de escolas em particular possa ser avaliado.

A conjunção dos fatores sociais que conformam o ambiente no qual os alunos vivem com o que lhes é oferecido nas escolas é essencial para a construção do nível de profi ciência de cada um ou de cada grupo. Ou seja, a competência pessoal em apreender o conhecimento tem nítida relação com as condições físicas e psicológicas que a estrutura social permite, considerando-se o convívio familiar,

renda, alimentação, saúde e, ainda, as infl uências do grupo social comunitário a que pertencem.

Para cumprir os objetivos propostos, a avaliação, no âmbito do SAEB parte do estabelecimento de parâmetros cognitivos e contextuais. As provas a que são submetidos os alunos captam o que eles sabem – e também o que não sabem – nas diversas disciplinas de cada série e são as medidas cognitivas. Já as medidas contextuais, que visam ao estabelecimento do contexto socioeconômico dos alunos e as condições em que eles estudam, são obtidas a partir de questionários respondidos pelos próprios alunos e também por professores e diretores de escola.

Em estudos de avaliação da educação, os questionários contextuais desempenham o papel de oferecer fatores explicativos para a modelagem do desempenho dos alunos, medida pelos instrumentos cognitivos. Alguns autores ressaltam a importância de um papel complementar para os questionários sobre contexto: a produção de indicadores de qualidade das condições de escolarização e a aplicação desses indicadores em grupos de alunos de origem demográfi ca distinta. Para tanto, é necessário identifi car fatores que captem o que importa para a aprendizagem e a construção de questionários que operacionalizem esses fatores.

Entretanto, a identifi cação dos fatores associados ao desempenho do aluno é feita, no âmbito do Saeb, com extrema


cautela. Não é estabelecida uma relação direta, e de certo modo mecânica, entre diferentes variáveis para a determinação desses fatores. No caso do Saeb, utilizam-se modelos multiníveis para a análise dos construtos científi cos específi cos, ou seja, dos dados coletados para a caracterização do perfi l demográfi co dos alunos, bem como o controle de algumas variáveis, como o nível socioeconômico dos alunos avaliados.

Com o objetivo de aprimorar a qualidade das informações de contexto produzidas pelos questionários do Saeb e, ainda, possibilitar a exploração de novos aspectos da realidade educacional, cuja análise ora se mostra importante, a Diretoria de Avaliação da Educação Básica do Inep desenvolveu, no decorrer do ano de 2003, uma série de atividades, das quais a primeira foi a revisão dos questionários utilizados nas aplicações do Saeb em 1995, 1997, 1999 e 2001.

8.2 O processo de revisão dos questionários de contexto para o Saeb 2003

Como já foi dito, a estrutura dos questionários do Saeb em 2001 priorizou a construção de variáveis que operacionalizassem indicadores do perfi l socioeconômico e demográfi co dos alunos, bem como das condições em que a escolarização acontece, mais especifi camente naqueles aspectos que, segundo a literatura aponta, afetam signifi cativamente a aprendizagem.

Já a revisão desses instrumentos surgiu da identifi cação de uma série de questionamentos acerca da validade dos dados coletados e ainda do grau de adequação de cada um dos questionários à realidade brasileira.

O primeiro passo, no sentido de reformular os questionários, foi a realização de uma leitura das

freqüências de respostas às perguntas dos questionários, em busca de produzir novas informações sobre as condições e processos de escolarização. Nesse momento verificou-se que o número de não respostas era elevado em alguns casos, especialmente no questionário do aluno, principalmente nos questionários de 4ª série.

As não-respostas e as perguntas que apresentavam problemas de discriminação foram observadas pelas séries, isoladamente e relacionadas com a profi ciência dos alunos em Leitura. Quanto menor a profi ciência em Leitura, maior o percentual de não-respostas; assim também foi observada uma relação inversa entre as séries e o número de não-respostas.

Num segundo momento, fez-se uma releitura dos resultados obtidos a partir dos construtos pré-defi nidos para a análise dos questionários. A impressão primeira foi a de que algumas variáveis não eram as mais adequadas aos construtos para os quais foram elaboradas.

Foi realizada, então, uma análise comparativa entre os questionários do Saeb e os questionários utilizados em avaliações internacionais. Esta comparação foi feita visando à identifi cação de construtos semelhantes entre os questionários, mas que fossem investigados por variáveis diferentes e mais pertinentes ao foco do que pretendiam medir. Foram analisados e comparados os questionários das seguintes pesquisas:

• National Assessment of Educa-tional Progress (NAEP);

• Trends in International Ma-thematics and Science Study (TIMSS);

• Programme for International Students Assessment (Pisa);

• Evaluación Nacional de Apren-dizajes de Uruguay;

• Ofi cina Regional de Educaci-ón para la América Latina y el Caribe (Orealc).


Nestas análises notou-se que, em larga medida, as variáveis utilizadas nos estudos internacionais eram basicamente as mesmas dos questionários do Saeb. Também se verifi cou que, na maioria das vezes, as questões provenientes de estudos de outros países estavam adaptadas da melhor forma possível ao nosso idioma e ao nosso contexto socioeconômico e cultural.

Contudo, uma das principais diferenças observadas entre os questionários dos estudos internacionais e os do Saeb foi a defi nição do foco. Os questionários das avaliações internacionais tendem a centralizar suas perguntas em um grupo muito resumido e bem delimitado de aspectos a serem investigados, enquanto os do Saeb propunham-se a explorar um leque muito amplo de fenômenos educacionais (insumos e processos) que poderiam contribuir para o desempenho dos alunos.

O passo seguinte foi promover a discussão dos questionários por uma equipe multidisciplinar, que contou com a colaboração de especialistas em educação, estatística, ciências sociais, representantes das secretarias do MEC e pesquisadores. Como resultado destas discussões e das análises anteriores, foram encaminhadas observações e sugestões a serem contempladas na reestruturação dos questionários do Saeb.

Citam-se, a seguir, as principais delas:1) adaptação dos questionários do

aluno às séries em que serão aplicados, no que diz respeito tanto à forma (extensão, lingua-gem e diagramação) quanto ao foco de investigação;

2) aperfeiçoamento da adequação dos questionários do profes-sor e do diretor à realidade educacional brasileira;

3) defi nição de novos construtos a serem investigados de acordo com o cenário das políticas pú-blicas educacionais, e, se possível, de outras políticas sociais em voga. Por exemplo: violência, trabalho infantil, programa Bolsa-Escola, entre outros;

4) elaboração e revisão de questões para otimizar a operacionaliza-ção das categorias de análise de-fi nidas como prioritárias para o ciclo do SAEB a ser realizado em 2003;

5) reorganização das questões já existentes de forma a com-porem blocos de análise mais coesos.

Em seguida, montou-se um esquema das categorias estruturais a constituírem os questionários do Saeb 2003, utilizando como aporte as análises e discussões já mencionadas e ainda as informações obtidas em publicações do próprio Inep e de outros órgãos que pesquisam temas sociais, como violência e discriminação de raça e gênero.

Construiu-se uma tabela de controle das alterações propostas, onde estão registrados os motivos para a exclusão, modifi cação ou inclusão de cada questão a compor os novos questionários e, ainda, notas de memória dos aspectos e averiguações a serem considerados na proposta fi nal.

Como último procedimento, foram elaboradas propostas fi nais de questionário estando as variáveis distribuídas de acordo com os aspectos abordados nas categorias de análise criadas inicialmente.

A seguir, apresenta-se tabela com as modifi cações realizadas nos questionários, com a indicação, na coluna da esquerda, do status de cada variável no Saeb 2001, e, na coluna da direita, que alterações foram efetuadas.


8.3 Questionários dos alunos da 4ª série do ensino fundamental

Aperfeiçoamento da forma de coleta dos dados:

– enunciados mais claros e ade-quados à idade dos alunos, com especial ênfase na 4ª série;

– clara separação das questões que correspondem à caracterização ou perfi l do aluno com relação à sua vida escolar (Questionário 1 e Questionário 2);

– eliminação de quadros que agru-pavam muitas variáveis, trans-formando cada item em uma pergunta independente, com as

Quadro 7 – Modifi cações realizadas no Questionário 1 – Caracterização do aluno de 4ª série do ensino fundamental

(continua)

Status em 2001 e indicação de mudanças 4ª série 2003

“Cor e etnia”

Foram realizadas algumas mudanças:– Eliminação da alternativa “mulato” que

estava junto com “pardo”;– A alternativa “negro” foi substituída por

“preto”. – Adoção da mesma forma de coleta

utilizada pelo IBGE em seus levantamentos.

As alternativas para “Cor e Etnia” são:– Branco– Pardo– Preto– Amarelo– Indígena

“Idade”

Em 2001, havia três questões que indagavam sobre a idade do aluno.

Em 2003, foram mantidas duas delas, eliminando “Qual a sua idade?”.

Também foram introduzidas mudanças nas alternativas.

No grupo “Idade” fi caram:– Mês do aniversário;– Ano de nascimento.

alternativas de respostas cabí-veis;

– alternativas iniciam-se com SIM, seguida pelo NÃO e, utilizando-se NÃO SEI ou NÃO EXISTE, quando necessário;

– substituição, quando possível, dos quadros contendo muitos itens e colocados de forma ver-tical por blocos com as alterna-tivas de resposta na horizontal, principalmente para os alunos da 4ª série;

– aplicação dirigida do Questioná-rio, a fi m de que as questões se-jam devidamente compreendidas pelos alunos da 4ª série.



“Capital Econômico da Família”

Em 2001, foi utilizado o Critério Brasil, do qual fazia parte o quantitativo de: cozinha, sala, quarto, banheiro, rádio, TV em cores, videocassete, geladeira, freezer, máquina de lavar roupa, aspirador de pó, computador, automóvel. Também, a disponibilidade de empregada doméstica e a escolaridade da pessoa responsável pelo aluno.

Em 2003, manteve-se o Critério Brasil com algumas mudanças:

– Solicitação do quantitativo, só quando a quantidade faz diferença; caso contrário, pergunta-se pela existência ou não do item.

– Melhor explicitação quando se trata do número de quartos (para dormir).

– Separação do único item sobre computadores de 2001 em duas questões.

– A questão sobre a escolaridade dos pais ou responsável de 2001 foi dividida em três questões independentes com alternativas melhor explicitadas.

– As questões sobre geladeira e freezer foram melhor explicadas.

As variáveis para o grupo “Capital Econômico da Família” são:

– Quantitativo de TV em cores.– Quantitativo de rádios.– Existência de videocassete.– Quantitativo de banheiros dentro de

casa.– Quantitativos de quartos para dormir.– Existência de geladeira.– Existência de freezer junto a geladeira.– Existência de freezer separado da

geladeira.– Existência de máquina de lavar roupa.– Existência de aspirador de pó.– Quantitativo de carros.– Existência de computador com Internet.– Existência de computador sem Internet.– Disponibilidade de empregada

doméstica.– Escolaridade do pai.– Escolaridade da mãe.– Escolaridade do responsável pela vida

escolar do aluno.

“Lócus do Aluno”

Em 2001, indagava-se sobre a existência de água, eletricidade e calçamento.

Em 2003, foi eliminado o terceiro item.

No grupo “Lócus do Aluno” fi caram:– Existência de eletricidade.– Existência de água pela torneira.

“Estrutura Familiar”

Em 2001 havia duas questões: quantitativo de pessoas que moravam com o aluno e quem morava com ele.

Em 2003, foram introduzidas as seguintes mudanças:

– Acrescentada uma outra alternativa para assinalar a quantidade de pessoas que moram com o aluno (“até 10 ou mais”).

– Acrescentado item para saber se o aluno mora ou não com a mãe.

– Acrescentado item para saber se o aluno mora ou não com o pai.

– Acrescentado item para identifi car quem é o responsável pela vida escolar do aluno.

No grupo “Estrutura Familiar” fi caram:– Além de você, quantas pessoas moram

em sua casa?– Aluno mora com a mãe.– Aluno mora com o pai.– Quem é o responsável pela vida escolar

do aluno.


(continuação)



“Capital Cultural do Aluno”

Em 2001, foram utilizados os seguintes itens: – Leitura de revistas em quadrinhos ou de

humor; de livros de fi cção ou romances, de jornais, de revistas de informação geral.

– Quantitativo de livros em casa. – Existência de lugar calmo para estudar

ou fazer dever de casa; de jornal diário, de revistas de informação geral, de enciclopédia, de Atlas, de dicionário, de calculadora.

Em 2003, foram eliminadas as seguintes questões:

– Existência em casa de lugar calmo para estudar e fazer dever de casa.

– Existência em casa de revistas de informação geral (Veja, Atlas, Época, etc).

– Existência em casa de enciclopédia.– Existência em casa de Atlas.– Existência em casa de calculadora.

Em todos os casos de leitura, foi perguntado se o aluno “lê”, no presente do indicativo, e não como em 2001 que era: “desde o início do ano, você leu...”

Foram acrescentadas algumas variáveis e modifi cados os enunciados de outras.

No “Capital Cultural do Aluno”:– Mãe sabe ler e escrever.– Pai sabe ler e escrever.– Vê a mãe lendo.– Vê o pai lendo.– Freqüência com que costuma ir ao

cinema.– Freqüência com que costuma ir ao

teatro.– Freqüência com que costuma ir a shows

de música.– Freqüência com que lê ou faz consulta

em biblioteca da escola.– Freqüência com que lê ou faz consulta

em biblioteca fora da escola.– Freqüência com que chega em casa jornal

para ler.– Freqüência com que lê revistas em

quadrinhos (eliminando “ou de humor”).

– Freqüência com que lê livros de histórias infantis (no lugar de livros de fi cção, romances).

– Freqüência com que lê outras revistas;– Freqüência com que lê jornais.

“Uso do Tempo no Dia-a-Dia do Aluno”

Em 2001, existia a pergunta “Você trabalha?” que, em 2003, foi substituída por duas questões mais específi cas.

Também foi incorporada uma questão sobre o tempo que o aluno gasta assistindo TV.

No “Uso do tempo no Dia-a-Dia do Aluno” fi caram:

– Quantidade de horas que, em dia de aula, o aluno fi ca vendo TV.

– Quantidade de horas que, em dia de aula, o aluno fi ca fazendo tarefa doméstica em casa.

– Quantidade de horas que, em dia de aula, o aluno trabalha fora de casa.


(continuação)



“Envolvimento dos Pais com a Vida Escolar”

Em 2001 existia um grupo de questões que, em 2003, foi eliminado:

“Desde o início do ano, quantas vezes os seus pais ou responsáveis foram à escola para:

– Conversar sobre boletim de notas.– Festas da escola.– Atender chamados relativos ao

comportamento do aluno.– Trabalho voluntário.– Conversar com professores ou com o

diretor da escola”.

Foi eliminada ainda a questão: “Seus pais ou responsáveis procuram fazer com que você não chegue atrasado à escola?” e foram incorporadas algumas variáveis conforme descrito na coluna à direita.

Em todos os casos, as freqüências mudaram de quatro alternativas para três:

– Sempre ou quase sempre.– De vez em quando.– Nunca ou quase nunca.

No grupo “Envolvimento dos Pais com a Vida Escolar” permaneceram:

– Freqüência com que os pais ou responsáveis ajudam a fazer a lição de casa.

– Freqüência com que os pais ou responsáveis cobram se fez a lição de casa.

– Freqüência com que os pais ou responsáveis falam para não faltar à escola.

– Freqüência com que os pais ou responsáveis falam para tirar boas notas;

– Freqüência com que os pais ou responsáveis vão à reunião de pais na escola.

“Relação Pessoal entre Pais e Filhos”

Em 2001, havia sete variáveis: “Pais ou responsáveis: conversam sobre livros, conversam sobre fi lmes, conversam sobre programas de Tv, conversam sobre o que acontece na escola, conversam sobre outros assuntos, ouvem música com o aluno, almoçam ou jantam com o aluno, têm conversado com amigos do aluno, têm conversado com os pais de amigos do aluno”.

Em 2003, foi eliminada a variável: “Freqüência com que os pais/responsáveis têm conversado com o pai, a mãe ou o responsável por um amigo do aluno” e reformulada a questão sobre conversar com amigos do aluno.

Em todos os casos, as freqüências mudaram de quatro alternativas para três:

– Sempre ou quase sempre.– De vez em quando.– Nunca ou quase nunca.

No grupo “Relação Pessoal entre Pais e Filhos” fi caram:

– Freqüência com que os pais ou responsáveis almoçam ou jantam com o aluno.

– Freqüência com que os pais ou responsáveis ouvem música com o aluno.

– Freqüência com que os pais ou responsáveis conversam sobre livros como aluno.

– Freqüência com que os pais ou responsáveis conversam sobre fi lmes com o aluno.

– Freqüência com que os pais ou responsáveis conversam sobre programas de TV com o aluno.

– Freqüência com que os pais ou responsáveis conversam com os amigos do aluno.

– Freqüência com que os pais ou responsáveis conversam sobre o que acontece na escola.

Expectativas de futuro

Do questionário de 2001, foi eliminada a questão sobre as expectativas do aluno quanto ao que pretende fazer no futuro (estudar/trabalhar ou ambas).

Fonte: MEC/Inep.


(continuação)


Quadro 8 – Modifi cações realizadas no Questionário 2 do aluno – Vida escolar do aluno de 4a série do ensino fundamental

(continua)


“Trajetória Escolar”

De 2001, foram eliminadas duas questões:– Desde a 1ª série, quantas vezes já mudou

de escola.– Em que tipo de escola estudou.

Em 2003, acrescentou-se a primeira questão à direita.

As três seguintes foram reformuladas, tanto no enunciado quanto nas alternativas de resposta.

Na “Trajetória Escolar” fi caram: – Quando começou a estudar.– Vezes que já foi reprovado.– Vezes que abandonou a escola e voltou

para a mesma série no ano seguinte.– Deixou de freqüentar a escola durante

algum tempo (em anos).

“Gostar da Disciplina”

Do questionário de 2001, foram mantidas as mesmas variáveis da coluna à direita.

No grupo “Gostar da Disciplina” fi caram:

– Gosta de estudar Língua Portuguesa.– Gosta de estudar Matemática.

“Lição de Casa”

Em 2001, havia três questões: – Se o aluno fazia a lição de casa.– Se o professor corrigia a lição de casa.– Se o aluno usava o computador para

fazer a lição de casa.

Em 2003, permanecem a primeira e segunda com alternativas diferentes; a terceira foi eliminada. Foi acrescentada a última questão da coluna à direita.

Sobre “Lição de casa” fi caram:– Freqüência com que faz a lição de casa.– Freqüência com que o professor corrige a

lição de casa.– O professor corrige a lição na sala de aula

com os alunos.

“Clima dentro da Sala de Aula”

Em 2001, existia somente uma variável que poderia ser considerada como medida de auto-estima ou clima dentro da sala de aula: “como se compara o aluno com relação aos colegas de turma” (desempenho em cada disciplina avaliada) que, em 2003, foi eliminada.

Assim, considera-se o agrupamento à direita, basicamente, um construto novo.

O grupo de variáveis do “Clima dentro da sala de aula” está composto por:

– Alunos fazem barulho e desordem na sala de aula.

– Alunos prestam atenção ao que o professor diz na sala de aula.

– Alunos fazem o que o professor pede na sala de aula.

– O aluno tem muitos amigos na sala de aula.

– O aluno se sente deixado de lado na sala de aula.

“Relação do Aluno com o Professor”

O agrupamento à direita corresponde a um construto novo.

O grupo “Relação do Aluno com o Professor” está composto por:

– O professor dá importância ao que o aluno diz.

– O professor elogia ou dá parabéns quando o aluno tira boas notas.

– O professor “dá uma força” quando o aluno não tira boas notas.

– O professor trata-o com carinho.



Participação em Atividades Extra Classe:

Do questionário de 2001, foi eliminado o grupo de questões sobre a participação do aluno nas atividades promovidas pela escola que incluía:

– Esportes.– Música, teatro, trabalhos manuais.– Trabalho solidário.– Aula de reforço escolar ou recuperação.– Excursões e acampamentos.– Festas e outras comemorações.

Participação do Aluno em Cursos Fora da Escola:

Do questionário de 2001, foi eliminado o grupo de questões sobre a participação do aluno em cursos fora da escola sobre:

– Língua estrangeira.– Computação.– Música, teatro, artes plásticas, dança.– Aula de reforço escolar.

Conversa com o Professor sobre as Avaliações:

Do questionário de 2001, foi eliminada a questão sobre a freqüência que o professor conversa com os alunos sobre as avaliações utilizadas.

Atitude do aluno diante das difi culdades de entendimento dos assuntos tratados em sala de aula:

Do questionário de 2001, foi eliminada a questão que indaga sobre a atitude tomada pelo aluno quando não entende a matéria que os professores dão em sala de aula.

Hábito de Escrever Redações:

Do questionário de 2001, foi eliminada a questão que indaga sobre a freqüência com que o aluno fez redações.

Fonte: MEC/Inep.

Quadro 8 – Modifi cações realizadas no Questionário 2 do aluno – Vida escolar do aluno de 4a série do ensino fundamental

(conclusão)

8.4 Questionários dos alunos da 8ª série do ensino fundamental

Aperfeiçoamento da forma de coleta dos dados:

– enunciados mais claros e adequados à idade dos alunos;

– clara separação das questões que correspondem à caracterização ou perfi l do aluno com relação a sua vida escolar (Questionários 1 e 2);

– eliminação de quadros que agrupavam muitas variáveis, transformando cada item em


uma pergunta independente, com as alternativas de resposta cabíveis.

– alternativas iniciam-se com SIM, seguida pelo NÃO (utilizando-se NÃO SEI ou NÃO EXISTE quando necessário;

– substituição, quando possível, dos quadros contendo muitos

itens e colocados de forma vertical por blocos com as alternativas de resposta na horizontal;

– aplicação dirigida do Ques-tionário, a fi m de que as questões sejam devidamente c ompreendidas pelos alunos da 8ª série.


(continua)


“Cor e Etnia”

Foram realizadas algumas mudanças:– eliminação da alternativa “mulato”, que

estava junto com “pardo”;– a alternativa “negro” foi substituída por

“preto”.

As alternativas para “Cor e Etnia” são:– Branco– Pardo– Preto– Amarelo– Indígena

“Idade”

Em 2001 havia duas questões que indagavam sobre a idade do aluno.

Em 2003, foram mantidas as duas questões e introduzidas mudanças nas alternativas da segunda.

No grupo “Idade” fi caram:– Mês do aniversário.– Ano de nascimento.

“Capital Econômico da Família”

Em 2001, foi utilizado o Critério Brasil, do qual fazia parte o quantitativo de: cozinha, sala, quarto, banheiro, rádio, TV em cores, videocassete, geladeira freezer, máquina de lavar roupa, aspirador de pó, computador, automóvel. Também a disponibilidade de empregada doméstica e a escolaridade da pessoa responsável pelo aluno.

Em 2003, manteve-se o Critério Brasil com algumas mudanças:

– solicitação do quantitativo só quando a quantidade faz diferença; caso contrário, pergunta-se pela existência ou não do item;

– melhor explicitação quando se trata do número de quartos (para dormir);

– separação do único item sobre computadores de 2001 em duas questões;

– a questão sobre a escolaridade dos pais ou responsável de 2001 foi dividida em três questões independentes com alternativas melhor explicitadas;

– as questões sobre geladeira e freezer foram melhor explicadas.

As variáveis do grupo “Capital Econômico da Família” são:

– Quantitativo de TV em cores.– Quantitativo de rádios.– Existência de videocassete.– Quantitativo de banheiros dentro de

casa.– Quantitativos de quartos para dormir.– Existência de geladeira.– Existência de freezer junto a geladeira.– Existência de freezer separado da

geladeira.– Existência de máquina de lavar roupa.– Existência de aspirador de pó.– Quantitativo de carros.– Existência de computador com Internet.– Existência de computador sem Internet.– Disponibilidade de empregada

doméstica.– Escolaridade do pai.– Escolaridade da mãe.– Escolaridade do responsável pela vida

escolar do aluno.

Relatório Nacional Saeb 2003

Documents

Transcript of Relatório Nacional Saeb 2003