Escola Eficaz e SAEB

O SAEB Sistema Nacional de Avaliaoda Educao Bsica: objetivos, caractersticas

e contribuies na investigao daescola eficaz *

Maria Eugenia Ferro **

Kaiz Iwakami Beltro**

Cristiano Fernandes ***

Denis Santos**

Mayte Surez***

Adler do Couto Andrade ****

O artigo descreve o Sistema Nacional de Avaliao da Educao Bsica(SAEB) quanto aos seus objetivos e caractersticas e relata uma pesquisadesenvolvida para a identificao dos fatores associados ao desempenho escolare eficincia do sistema educacional. Modelos de regresso multinvel foramaplicados aos dados do SAEB-99, tendo sido dada maior nfase anlise da 4a

srie do ensino fundamental. Considerou-se a estrutura hierrquica de dois nveis,sendo aluno a unidade do nvel 1 e escola a unidade do nvel 2. A varivelresposta a proficincia dos alunos nas cinco disciplinas testadas: Matemtica,Portugus, Cincias, Geografia e Histria. Foram ajustados modelos para as cincomacrorregies do Brasil Norte (NO), Nordeste (NE), Sudeste (SE), Sul e Centro-Oeste (CO). O artigo apresenta, ainda, alguns dos resultados da pesquisarelacionados ao perfil dos alunos e escolas.

Introduo

Este artigo unifica as palestrasapresentadas pelos autores no seminrioDemografia e Educao, organizado epromovido pela Associao Brasileira deEstudos Populacionais (ABEP) emSalvador, nos dias 7 e 8 de junho de 2001.As palestras intitularam-se SistemaNacional da Avaliao do Ensino Bsico eAvaliao educacional: modelagemmultinvel dos dados do SAEB.

O artigo est estruturado da seguinteforma: a prxima seo dedicada descrio do SAEB; a seguinte apresenta

a especificao formal do modelo multinvelutilizado para tratar a varivel de interesse proficincia; na quarta seo aborda-se oreferencial terico que inspirou a seleodas variveis explicativas utilizadas namodelagem e na quinta apresentam-sealguns dos resultados obtidos. Por fim,enunciam-se as linhas de pesquisa que semantm em desenvolvimento.

O Sistema Nacional de Avaliao daEducao Bsica (SAEB)

O Sistema Nacional de Avaliao daEducao Bsica (SAEB), coordenado pelo

* Os autores agradecem ao INEP a disponibilizao da base de dados do SAEB-99 e de algumas variveis do Censo Escolar de1999, que viabilizaram esta investigao. Agradecem tambm as valiosas contribuies e sugestes dos pareceristas annimosda REBEP.** Escola Nacional de Cincias Estatsticas (ENCE), do Instituto Brasileiro de Geografia e Estatstica (IBGE).*** Departamento de Engenharia Eltrica da PUC-RJ.**** Analista de poltica educacional da Diretoria de Avaliao da Educao Bsica (DAEB), INEP/MEC.

112

Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001Ferro, M.E. et al.

Instituto Nacional de Estudos e PesquisasEducacionais (INEP), um dos maisamplos esforos empreendidos em nossopas de coleta, sistematizao e anlisede dados sobre os ensinos fundamental emdio. Para atingir seus objetivos, articula-se com um conjunto de aes voltadaspara a melhoria da qualidade do ensino eda aprendizagem.

O SAEB pretende contribuir, por um lado,para a universalizao do acesso escolae, por outro, para a ampliao da eqidadee da eficincia do sistema educacionalbrasileiro. Nesse contexto, fornece subsdios formulao de polticas e diretrizesadequadas diversidade de situaespresentes nos estados e regies brasileiras,constituindo-se como uma referncianacional no que diz respeito ao desempenhoescolar da populao discente.

Implementado em 1990, as caracte-rsticas gerais do SAEB em termos deobjetivos, estrutura e concepo tm-semantido constantes ao longo desses dezanos de existncia. As mudanas efetiva-das foram de ordem metodolgica eoperacional, a fim de aperfeioar normas eprocedimentos especficos e assegurarcientificidade, confiabilidade e compara-bilidade a seus resultados.

De fato, o SAEB utiliza procedimentosmetodolgicos de pesquisa, formais ecientficos, com o objetivo de coletar dadossobre o desempenho dos alunos e ascondies intra e extra-escolares que neleinterferem. Alm disso, com base nosdados coletados pelo SAEB possvelsugerir programas que contribuam para amelhoria do funcionamento das escolas. Aanlise dos resultados do desempenho doaluno no mbito do SAEB permite,ulteriormente, verificar o desempenho dossistemas de ensino, fornecendo infor-maes que possibilitam a adoo deprogramas e projetos voltados melhoriade sua qualidade.

consolidao do SAEB correspondea disseminao de uma cultura deavaliao no Brasil. Afinal, os dadoscoletados por meio de sistemas deavaliao educacional como o SAEB

permitem a pais, alunos, professores,diretores e a todos aqueles que gerenciamo sistema educacional avaliar se nossosestudantes esto adquirindo as habili-dades e os conhecimentos indispensveis sua plena insero na sociedade.

Para realizar a avaliao proposta peloSAEB so utilizados, fundamentalmente,dois instrumentos: provas, pelas quais determinado o nvel de desempenho dosalunos em diferentes disciplinas e sries; equestionrios contextuais para alunos,turmas, professores, diretores e escolas,pelos quais so investigados os fatoresassociados ao desempenho desses alunos.Para realizar essa avaliao em larga escala definida uma amostra representativa doalunado brasileiro da 4a e da 8a sries doensino fundamental e da 3a srie do ensinomdio.

Dentre os objetivos especficos doSAEB podemos citar: identificar osproblemas do ensino e suas diferenasregionais; oferecer dados e indicadores quepossibilitem uma maior compreenso dosfatores que influenciam o desempenho dosalunos; proporcionar aos agentes edu-cacionais e sociedade uma viso dosresultados dos processos de ensino eaprendizagem e das condies em que sodesenvolvidos; desenvolver competnciatcnica e cientfica na rea de avaliaoeducacional, ativando o intercmbio entreinstituies educacionais de ensino epesquisa; consolidar uma cultura deavaliao nas redes e instituies deensino.

Em 1999 o SAEB cumpriu seu quintociclo de avaliao. Participaram do SAEB-99 cerca de 280 mil alunos, 43 milprofessores e 7 mil diretores, emaproximadamente 7 mil escolas de todosos estados brasileiros e do Distrito Federal.As disciplinas integrantes da avaliaorealizada em 1999 foram LnguaPortuguesa, Matemtica, Geografia,Histria e Cincias, nas 4 e 8 sries doensino fundamental. Na 3a srie do ensinomdio foram testadas as mesmasdisciplinas exceo de Cincias, que foisubstituda por Fsica, Qumica e Biologia.

113


Especificao formal do modelomultinvel

O modelo de regresso multinvelincorpora naturalmente a estruturahierrquica ou de agrupamento dapopulao em estudo, ou seja, alunosagrupados em escolas. Esse modelo dedois nveis trata aluno como a unidade donvel 1 (ndice i) e escola como a unidadedo nvel 2 (ndice k). Assim, considere-seuma amostra de k escolas, cada uma delascom Ik alunos.

Poderamos considerar um nvelintermdio na hierarquia para representaro efeito da turma e, de forma mais rigorosa,alocar neste nvel as variveis explicativasa mensuradas (por exemplo, as referentesao professor). No entanto, o plano amostraldo SAEB contempla poucas turmas porescola, o que torna invivel a imple-mentao do nvel intermdio.

Para efeito de ilustrao, considereproficinciaik a varivel que representa odesempenho escolar do aluno i na escola k.

O modelo multinvel nulo (sem variveisexplicativas) para a proficincia especifica-se como segue:

O valor esperado e a varincia daproficincia so:

Pode-se observar que a diferena entreo modelo de regresso clssica e estemodelo o intercepto que, neste caso, aleatrio entre as escolas. A primeira linhado modelo (1) vulgarmente conhecidacomo equao do nvel 1 e a segunda linha,como equao do nvel 2.

Cada uma das equaes tem associadauma componente aleatria, sendo eik o efeitoaleatrio associado ao nvel 1 (indivduo ik)e u0k o efeito aleatrio associado ao nvel 2(escola k). Assume-se que ambos os efeitosseguem distribuio normal com mdia zeroe varincia e

2 e u02, respectivamente, e

so independentes.Substituindo a equao do nvel 2 na

equao do nvel 1 obtm-se:

A varincia da proficincia estdecomposta na varincia entre as escolas,u0

2, e na varincia intra-escola, e2. Se, por

hiptese, u02 fosse estatisticamente igual a

zero, toda a varincia da proficincia ficariaa dever-se variabilidade entre alunos e,por conseguinte, no se verificaria o efeitodo grupo (escola) nos resultados escolaresatingidos pelos alunos. Mesmo quando u0

2

estatisticamente diferente de zero, deinteresse saber qual o seu tamanhorelativamente varincia total. O coeficientede correlao intra-escola (3) mede aproporo da varincia entre escolas emface da varincia total, permitindo aoinvestigador ter melhor noo damagnitude do efeito-escola (heterogenei-dade entre as escolas).

Esta estatstica mede ainda acorrelao entre o desempenho escolar dedois alunos que estudam na mesma escola.O coeficiente varia de 0 a 1. Quando o seuvalor nulo, significa que as escolas sohomogneas entre si e que o desempenhoescolar do aluno independe da escola queele freqenta. Na situao extrema a esta,quando o coeficiente de correlao intra-escola tem valor 1, toda a variabilidade nodesempenho dos alunos deve-se diferena entre as escolas e, nesta situaohipottica, as caractersticas individuais doaluno em nada afetam o seu desempenhoescolar, ficando este a dever-se inteira-mente s caractersticas da escolafreqentada. Mais adiante sero apresen-tadas as estimativas do coeficiente decorrelao intra-escola da 4 srie paracada macrorregio do Brasil.

Considere agora a renda do agregadofamiliar, varivel renda_familiarik, do mesmo

(1)

(2)

(3)

114


aluno e a redek que identifica se a escola kest sob administrao particular oupblica. A incluso das variveisexplicativas renda_familiar (mensurada nonvel 1) e rede (mensurada no nvel 2) nomodelo (1) d-se, respectivamente, naprimeira e segunda equaes. Depois dasubstituio da equao do nvel 2 naequao do nvel 1 obtm-se o seguintemodelo:

modelo, a primeira e a segunda linhas dolado direito da equao (5).

Mais detalhes sobre os modelos deregresso multinvel podem ser encontradosem Bryk e Raudenbush (1992), Longford(1993) e Goldstein (1995).

Referencial terico para a modelagemdos dados do SAEB-99

Escola eficaz e estratgia de modelagemdos dados

A base de dados do SAEB-99 constituda por elevado nmero de variveis.A seleo das variveis explicativas usadasna modelagem do desempenho escolar doaluno foi fortemente influenciada pelaliteratura internacional sobre os fatores-chaveassociados escola-eficaz, particu-larmente pela extensiva reviso bibliogrficaapresentada em Sammons, Hillman eMortimore (1995). Estes autores enunciam11 fatores-chave que estariam associados auma escola eficaz, de que trataremos maisadiante.

Nesse contexto, escola eficaz aquela em que os resultados escolares doaluno superam o resultado que ele obteriaem qualquer outra escola, levando-se emconta o seu nvel socioeconmico e culturale o seu conhecimento prvio.

Encontraram-se algumas limitaes aouso desta definio em sentido estrito. Umadelas a inexistncia de mensurao doconhecimento prvio do aluno. Assim,assumimos o pressuposto de que oconhecimento prvio do aluno entrada naescola e o seu nvel socioeconmico sofortemente correlacionados. como se amedida de nvel socioeconmico, que podeser inferida a partir das informaes nosquestionrios, contivesse o conhecimentoprvio. Um outro fator que dificulta a anlise a possibilidade da mobilidade dosestudantes entre escolas. Se o conhe-cimento ou aptido do aluno o efeitocumulativo das suas experincias edu-cativas e estas foram vivenciadas em vriasescolas, no h maneira de introduzir estainformao na modelagem, dado que osquestionrios so aplicados na escola onde

A generalizao deste modelo situao em que tanto o intercepto como ocoeficiente de inclinao so variveisaleatrias e com variveis explicativasmensuradas em ambos os nveis d origemao modelo especificado em (5):

onde u1k o efeito aleatrio associado equao do nvel 2 definida para ocoeficiente de inclinao. Assume-se queu1k segue distribuio normal com mdia 0e varincia u1

2, que independente do errodo nvel 1, e que a covarincia entre u10 eu1k u10. Os parmetros desconhecidos domodelo so:Os primeiros quatro parmetros sousualmente designados por parmetrosfixos e os quatro ltimos, por parmetrosaleatrios. Dependendo do programacomputacional utilizado na estimaodestes modelos (MlwiN, HLM ou outros), oprocedimento de estimao pode ser demxima verossimilhana ou de mnimosquadrados generalizados iterativos. Quan-do a varivel resposta segue distribuionormal, as estimativas produzidas soequivalentes (Goldstein, 1995).

No demais reforar a idia de que aparte aleatria ou estocstica do modelo, aterceira linha do lado direito da equao(5), representa os numerosos efeitosaleatrios que impactam a proficincia doaluno, atuando tanto no nvel do alunocomo no nvel da escola, e que no socaptados pela parte determinstica do

(4)

(5)

115


o aluno se encontra no momento dapesquisa. Entretanto, j que o objetivo dopresente estudo no a comparabilidadede escolas, nem sequer a produo delistas ordenadas de eficcia1, alargou-se adefinio de escola eficaz. Considerou-se como escola eficaz, em sentido lato, omodelo de escola que, apesar de no terexistncia fsica, tem configuraodesenhada a partir das caractersticascomuns s escolas eficazes do sistemaonde os alunos atingem melhor desem-penho, em contraponto com as caracte-rsticas das escolas onde os alunos apre-sentam piores resultados.

Assim sendo, optou-se por dar priori-dade modelagem dos dados da 4a sriedo ensino fundamental e replicar osmodelos encontrados para as demais sriesavaliadas2, de forma a minimizar as limi-taes acima enunciadas e conhecermelhor os fatores associados ao sucessoeducativo em escolas cuja populaoestudantil tem espectro social mais largo.Alm disso, a literatura internacional mostraevidncias de que a escola primria exerceefeito de longo prazo no percurso escolardos indivduos. Um bom aluno nas sriesiniciais tem grande chance de ser um bomaluno nas sries seguintes.

Fatores associados ao sucesso educativoe escolha das variveis

Sammons, Hillman e Mortimore (1995)enunciam 11 fatores-chave associados sescolas eficazes. So eles:

1. Liderana profissional;

2. Viso e metas compartilhadas pelosagentes educativos;

3. Ambiente de aprendizagem;

4. Concentrao no processo ensino-aprendizagem;

5. Ensino estruturado com propsitosclaramente definidos;

6. Expectativas elevadas;

7. Reforo positivo das atitudes;

8. Monitoramento do progresso;

9. Direitos e deveres dos alunos;

10.Parceria famlia-escola;

11.Organizao orientada apren-dizagem.

Em seguida, descreveremos como foifeita a seleo das variveis explicativasincludas nos modelos estatsticos ajusta-dos durante a nossa pesquisa, tendo comoreferncia os fatores acima enunciados.Como se poder observar, nem todos os 11fatores foram testados nos nossos modelos,principalmente devido insuficincia dosdados obtidos a partir das respostas aosquestionrios. Na nossa modelagemacrescentaram-se variveis explicativasque captam fenmenos que so relevantesno contexto educacional brasileiro. A TabelaA, em anexo, contm a descrio,caracterizao, codificao e fonte dosdados para todas as variveis usadas napesquisa. Listam-se, a seguir, aquelas cujosresultados so reportados neste artigo.

Liderana profissionalNo questionrio do diretor no h nenhumaquesto a partir da qual se possa aferir asua capacidade de liderana na conduoadministrativa e pedaggica da escola.Consideraram-se, no entanto, algumasvariveis relativas ao perfil do diretor, taiscomo escolaridade, experincia profissionale nvel socioeconmico.

Viso e metas compartilhadas pelosagentes educativosConsideraram-se as respostas s questesrelativas ao Conselho de Escola e aoConselho de Classe, bem como ao mentordo projeto pedaggico.

Ambiente de aprendizagemA partir das respostas obtidas atravs doquestionrio da escola constituiu-se umindicador da qualidade da infra-estrutura

1 A academia tem produzido muitas advertncias sobre a falcia das listas ordenadas das escolas segundo a eficcia. Ver, porexemplo, Goldstein e Spiegelhalter (1996).2 A deciso de modelar os dados da 4a srie e replicar os modelos para as outras sries pode no atender s especificidades da8a srie do ensino fundamental e da 3a srie do ensino mdio.

116


fsica, segurana e limpeza da escola. Apartir de questes respondidas peloprofessor constituiu-se outro indicador,representando a limitao de materialdidtico e de equipamento enfrentada peloprofessor no exerccio da funo.

Concentrao no processo ensino-aprendizagemTestou-se a hiptese segundo a qual amaximizao do tempo de aprendizagem turno integral beneficia os resultadosescolares.

Ensino estruturadoRelativamente a este fator, usou-se aresposta do professor acerca dapercentagem do contedo programtico jlecionado e dos critrios de criao deturmas e da alocao do professor turma.

Expectativas elevadasUsou-se a resposta do professor sobre suaexpectativa quanto aprovao da turma.

Monitoramento do progressoUsou-se a resposta dada pelo diretor daescola sobre o processo de recuperaode notas.

Parceria casa-escolaO questionrio do SAEB-99 aplicado aosalunos contm a nica questo que poderiaser usada para mensurar a parceria famlia-escola. A questo a seguinte: Os seuspais conhecem o diretor da escola/professor/seus amigos?. A distribuiopercentual das respostas mostra que amaioria dos pais de alunos na 4a srie

conhece o diretor, o professor e os amigosdo seu filho. Basta o pai/me acompanharo seu filho escola no primeiro dia de aulaspara ficar conhecendo o diretor e oprofessor, sem que isso implique o seuenvolvimento na vida escolar. Tendo emvista a sua m qualidade em face doconstructo que se pretende mensurar, aquesto no foi usada na modelagem.

Outras variveis foram usadas nosmodelos, medidas nos seguintes nveis:

Aluno: nvel socioeconmico, raa/cor,sexo, defasagem idade/srie, faz lio decasa, gosta da disciplina, sabe usar ocomputador;

Escola/turma: varivel contextual do nvelsocioeconmico, regime de organizao doensino, porte da escola, proporo dealunos reprovados no ltimo ano letivo,tamanho mdio da turma, rotatividade deprofessores na turma, critrio de criao deturmas, critrio para alocao do professor turma.

Professor: escolaridade, experinciaprofissional, nvel socioeconmico.

Resultados

Nesta seo apresentam-se alguns dosresultados referentes a alunos e escolas.Os resultados completos do estudo estodisponveis nos relatrios tcnicos (Barbosaet al., 2000a, 2000b e 2001) e foramresumidos em Ferro, Beltro e Fernandes(2002).

TABELA 1Estimativas da varincia e efeito-escola

Fonte: SAEB-99.

117


Efeito-escola

Nesta subseo apresentam-se asestimativas dos parmetros aleatrios e aestimativa do efeito-escola aferido pelocoeficiente de correlao intra-escola. Osresultados do estudo do efeito-escola (verterceira seo) realizado com os dados da4a srie do SAEB-99 so enunciados naTabela 1. O modelo (1) da terceira seoest subjacente a estas estimativas e foiajustado com intercepto separado paracada disciplina.

Verifica-se que o efeito-escola, ou deagrupamento, mais intenso na regio SE(35%) e mais fraco nas regies Sul e NO(21%). Apesar de, primeira vista, podermosser levados a pensar que esse o potencialque a escola tem para influenciar odesempenho acadmico dos seus alunos,isso no de todo verdade. J que aalocao dos alunos s escolas no aleatria, e que o nvel socioeconmico dasfamlias contribui em muito na escolha daescola que o aluno vai freqentar, o efeito-escola acima tabulado dever serexpurgado dessa componente. Assim,levando em conta os resultados do modelocom controle socioeconmico dos alunos,chegamos ao efeito-escola controlado,apresentado na Tabela 2. O modelosubjacente o seguinte:

acima citadas. Meno especial deve serfeita ao poder discriminativo que o nvelsocioeconmico tem nos resultadosescolares na regio SE. Digno de nota tambm o fato de as escolas na regio NEapresentarem o efeito-escola controlado de17%, bastante acima do das demais regies.

Estes valores esto em sintonia comos mencionados na literatura. Creemers eScheerens (1994) referem que, aproxima-damente, de 12% a 18% da varincia totaldos resultados dos alunos explicada porfatores associados escola ou turma; Daly(1991) reporta estimativas mais modestas 8% a 10%.

O 1 Estudo Internacional Comparativodos Resultados de Lngua, Matemtica eFatores Associados nos 3o e 4o Graus doEnsino Bsico, promovido pela OREALC erealizado pelo LLECE (LaboratorioLatinoamericano de Evaluacion de laCalidad de la Educacion), reportaestimativas comparativas do efeito-escola(no controlado pelo nvel socioeconmico)nos pases da Amrica Latina e Caribe.Assim, no que diz respeito s estimativaspara o Brasil, o LLECE (2001) reporta 25%e 30,7%, respectivamente, para Linguageme Matemtica. Tais estimativas socomparveis s apresentadas na Tabela 1,sendo da mesma ordem de grandeza. OChile apresenta os valores mnimos (17,1%em Linguagem e 19,5% em Matemtica) eo Peru tem os valores mximos (37,3% emLinguagem e 44,5% em Matemtica). Oreferido relatrio no mostra as estimativascontroladas pelo nvel socioeconmico. Noentanto, regista a varincia entre escolasdo mesmo nvel socioeconmico, donde seobserva que o seu valor mnimo relativo aCuba (28,8%).

TABELA 2Estimativas da varincia residual com controle socioeconmico e efeito-escola controlado

Fonte: SAEB-99.

Verifica-se que, controlando pelo nvelsocioeconmico, o efeito-escola bastantemenor do que mencionado nas pesquisas

(6)

118


O modelo subjacente aos resultados daTabela 2 e, por conseguinte, ao efeito-escola controlado inclui a varivel explica-tiva do nvel socioeconmico contextual naequao do nvel 2. Esta varivel obtidaatravs da mdia do nvel socioeconmicodos alunos de cada escola. J que existemvariveis intra-escolares que so correla-cionadas com aquela varivel contextual,podemos aceitar que as estimativasapresentadas nas Tabelas 1 e 2 repre-sentam, respectivamente, os limites superiore inferior do efeito da escola nos resultadosescolares atingidos pelos alunos.

Alunos

Nvel socioeconmicoOs itens do questionrio de alunos

permitem a sua classificao econmica deacordo com o Critrio de ClassificaoEconmica Brasil (CCEB) desenvolvidoconjuntamente pela Associao Nacionalde Empresas de Pesquisa (ANEP), aAssociao Brasileira de Anunciantes (ABA)e a Associao Brasileira dos Institutos dePesquisas de Mercado (Abipeme, cujoobjetivo avaliar o poder de compra daspessoas e famlias urbanas. Este critrioabandona a classificao da populaopor classes sociais, substituindo-a pela

classificao por classe econmica. So seteas classes econmicas arroladas (A1 com omaior poder aquisitivo e E com o menor poderaquisitivo, varivel recodificada em ordemcrescente de classe de 1 a 7, respectiva-mente), determinadas por um sistema depontuao que toma como base de clculo aposse de bens, a escolaridade do chefe defamlia e a presena de empregadamensalista. A ttulo de informao comple-mentar, oportuno referir que, de acordo comeste critrio, a distribuio percentual dapopulao urbana por classe econmica aseguinte: 1% pertence classe A1, 4% classe A2, 8% B1, 11% B2, 31% C, 33% D e 12% classe E.

O Grfico 1 permite observar a relaopositiva entre a proficincia mdia do alunonas cinco disciplinas e seu nvel socioeco-nmico, confirmando o fato amplamenteconhecido de que o desempenho acad-mico do aluno fortemente influenciadopela envolvente social, cultural e econmica(dimenses geralmente correlacionadas).

Raa/CorA Tabela 3 mostra a distribuio per-

centual dos alunos das sries abrangidaspelo SAEB por raa/cor declarada etambm a distribuio da populaobrasileira. Observando a tabela no sentido

GRFICO 1Proficincia mdia na 4 srie por nvel socioeconmico

119


horizontal, verifica-se que a participao dosalunos brancos aumenta do ensino funda-mental para o ensino mdio, ao passo que ados alunos pardos/mulatos e negros diminui.Num primeiro momento, poderamos ser le-vados a pensar sobre a to falada seletivi-dade do sistema educacional, mas tal seriaprecipitado. O assunto ainda est sob pesquisa.

Idade e repetnciaO Grfico 2 e a srie de Grficos 3

permitem analisar a relao bivariada entrea defasagem idade/srie (para a 4 srie) ea distribuio dos alunos por idade3 nas trssries avaliadas. Torna-se evidente que osalunos com atraso escolar tm resultados

escolares reduzidos comparativamente aosque esto na idade adequada para a srie.Aproximadamente 48% dos alunos da 4srie esto acima da idade adequada e 38%dos alunos foram reprovados ao menos umavez (ver Tabela 4). A diferena uma estima-tiva dos alunos que entraram tardiamente naescola ou que, tendo entrado na idadeadequada, se evadiram e reingressaramposteriormente no sistema. O questionrio doSAEB-99 no permite discriminar estes casos,pois contm apenas uma questo sobre onmero de anos que o aluno j repetiu.

As Tabelas B1 a B4, em anexo, contmas estimativas4 dos modelos de dois nveisajustados com as variveis explicativas dos

TABELA 3Distribuio dos alunos e da populao por raa/cor

* Fonte: IBGE, Anurio estatstico 1998.

GRFICO 2Proficincia mdia na 4 srie por defasagem idade/srie

3 Idade completa a 31 de julho. Data arbitrada para o clculo a partir da informao de que a maioria das escolas aceita alunos de6 anos na 1 srie do ensino fundamental, contanto que eles completem os 7 anos no primeiro semestre.4 Considerou-se o nvel de significncia de 5%.

120


TABELA 4Distribuio percentual dos alunos da 4 srie por nmeros de anos letivos repetidos

GRFICO 3.1Distribuio percentual dos alunos da 4a serie do E.F.,

por idade

GRFICO 3.2Distribuio percentual dos alunos da 8a srie do E.F.,

por idade

GRFICO 3.3Distribuio percentual dos alunos da 3a srie do Ensino Mdio,

por idade

121


alunos e escolas. O modelo subjacente sTabelas B3 e B4 o seguinte:

impacto da defasagem em determinadasescolas maior do que em outras. Ferro eBeltro (2001) ajustam curvas por escolacom o efeito aleatrio associado defasagem para melhor ilustrar avariabilidade entre escolas da regioSudeste. O resultado o que se mostra noGrfico 4.

Pode-se observar no Grfico 4 que,dependendo da escola que os alunosdefasados freqentam, o efeito marginal dadefasagem idade/srie no seu desem-penho varia. Compare, por exemplo, duasdas curvas apresentadas no grfico. Oaluno que esteja quatro anos defasado emrelao idade adequada para a srie podeter o seu desempenho reduzido, em mdia,em 45 unidades ou apenas 5, dependendoda escola onde ele estuda.

Com respeito ao comportamento dianteda lio de casa, os coeficientes estimadosobedecem ordem esperada. Tendo comoreferncia o nunca faz dever de casa (valorzero), raramente tem valor maior(estatisticamente significativo para NO, NEe SE), porm menor do que usualmente(diferena estatisticamente significativa paratodas as regies), que por sua vez menordo que sempre (diferena estatisticamentesignificativa para todas as regies menosNO). Os modelos ajustados separadamentepor disciplina mostram que a influncia documprimento do dever de casa maispronunciada em Portugus.

Verifica-se elevada influncia docontexto familiar nos resultados escolaresdo aluno. Aferindo a envolvente familiarpelo seu nvel socioeconmico, na regioSE onde tal ocorre com mais incidncia eonde se verifica maior variabilidade entreescolas atribuvel s diferenas de cartersocial e econmico.

As raas/cores amarela e indgenano apresentam diferenas estatisticamen-te significativas em relao raa branca( exceo da raa/cor amarela no NO); osmulatos apresentam melhores resultadosdo que os brancos no NO e NE, piores noSE e com diferenas no estatisticamentesignificativas no Sul e CO; em todas asregies, os alunos declarados de raa/cornegra apresentam desempenho inferiorcomparativamente aos demais alunos.

O desempenho dos alunos atrasadosrelativamente idade adequada para asrie inferior ao dos alunos em idadeadequada, mas o efeito aleatrio (exceo da regio Sul). Isto sugere que o

(7)

GRFICO 4Curvas ajustadas para as escolas com o efeito marginal de defasagem idade/srie na proficincia

dos alunos da 4 srie na regio SE

122


Escola ou turma

As estimativas5 apresentadas na TabelaB4, em anexo, suportam a anlise que seapresenta a seguir. As estimativas dos pa-rmetros fixos associados a alunos mostram-se consistentes com as do modelo anterior.Adicionalmente, o modelo sugere que:

Escolas com melhor infra-estrutura,segurana e limpeza servem popu-lao discente com nvel socioecon-mico mais elevado. A varivel estpositivamente correlacionada com avarivel contextual do nvel socioeco-nmico da escola. A varivel tem umimpacto positivo no desempenho dosalunos.

Os resultados associados aos critriosadotados para a criao de turmasno indicaram a existncia de algumpadro que permita afirmar que um prefervel ao outro em termos dosresultados escolares.

No foi encontrada relao esta-tisticamente significativa entre oprocesso de recuperao de notas ea melhoria do desempenho escolar.

O regime de organizao do ensinoadotado na escola (ensino organiza-do em ciclos em face de ensino seria-do ou misto6) apresenta, em mdia,impacto negativo. O ensino em ciclosest mais amplamente disseminadona regio Sudeste, particularmentenos estados de So Paulo e MinasGerais. Ferro, Beltro e Santos(2001) aprofundaram o estudo paraestes estados e mostram que, a partirdos dados do SAEB-99, no h evi-dncias, na escola pblica de MinasGerais e So Paulo, de que o ensinoorganizado em ciclos conduza a resul-tados escolares substancialmenteinferiores aos do ensino seriado. Osautores relatam a necessidade de

prosseguir a pesquisa com os dadosdo SAEB-2001, uma vez que o ques-tionrio da turma contm informaomais precisa sobre o assunto.

A incluso desta varivel no modelofaz com que o porte da escola,mensurado em nmero de turmas noensino fundamental, seja estatis-ticamente significativo (negativo)apenas na regio Centro-Oeste. Sema varivel, o porte da escola significativo em todas as regies. Foitestado o termo de interao entreambas as variveis, mas estemostrou-se no significativo. Pareceser um caso de multicolinearidadeentre as variveis envolvidas.

A incluso das variveis relacionadascom Conselho de Escola e Conselhode Classe nos modelos no mostroua existncia de qualquer padrocomum a todas as regies relati-vamente ao efeito da existncia eperiodicidade de reunies destesrgos da escola na melhoria dosresultados atingidos.

Alm disso, alunos em turno integralno apresentam vantagem em facedos alunos em turno parcial.

Futuros desenvolvimentos

necessrio aprofundar diversos pon-tos abordados nesta fase da pesquisa. Ogrupo estabeleceu uma ordem de prioridadenos temas que merecem abordagem ime-diata, tendo como critrio sua relevncia nacontribuio para a garantia da eqidade eeficincia do sistema educacional. Os temasem agenda so:

Procurar explicao para o efeito deraa/cor negro na proficincia.

Estender o estudo sobre defasageme regime de organizao do ensinoa outras unidades da Federao.

5 Considerou-se o nvel de significncia de 5%.6 Varivel retirada do Censo Escolar de 1999. H escolas que declaram ter em funcionamento ambos os regimes de organizaodo ensino. Nestes casos, impossvel saber sob que regime se encontra a turma selecionada na amostra do SAEB-99. Esclarecidaesta indeterminao, os resultados do impacto do regime de organizao do ensino nos resultados escolares podem mudar. Aanlise dever ser repetida com os dados do SAEB-2001, que contempla, no questionrio da turma, a pergunta sobre qual oregime de organizao de ensino a que a turma est sujeita.

123


Referncias bibliogrficas

BARBOSA, Maria E. Ferro, FERNANDES,C., SANTOS, D., BELTRO, K. e FARIAS,M. Anlise descritiva dos dados do SAEB-99. Relatrio tcnico INEP/MEC, 2000a.No publicado.

______. Reduo da dimensionalidade dosdados do SAEB-99. Relatrio tcnico, INEP/MEC, 2000b. No publicado.

BARBOSA, Maria E. Ferro, BELTRO, K.,FARIAS, M., FERNANDES, C. e SANTOS,D. Modelagem do SAEB-99. Modelos deregresso multinvel. Relatrio tcnico,INEP/MEC, 2001. No publicado.

BRYK, A. e RAUDENBUSH, S. Hierarchicallinear models. Newbury Park: Sage, 1992.

CREEMERS, B. e SCHEERENS, J.Developments in the educationaleffectiveness research programme.International Journal of EducationalResearch, 21 (2), p. 125-139, 1994.

DALY, P. How large are secondary schooleffects in Northern Ireland? SchoolEffectiveness and School Improvemente,2 (4), p. 305-323, 1991.

FERRO, Maria E. e BELTRO, Kaiz.Tracing schools which do not penalise overage students. Trabalho apresentado na 27th

Annual Conference of the InternationalAssociation for Educational Assessment,Rio de Janeiro, 2001.

FERRO, Maria E., BELTRO. K. e SANTOS,D. O impacto da promoo automtica naproficincia dos alunos da 4 srie nosestados de Minas Gerais e So Paulo.Relatrio tcnico, ENCE/IBGE, 2001.

FERRO, Maria E., BELTRO, K. eFERNANDES, C. Aprendendo sobre aescola eficaz evidncias do SAEB-99.Braslia: INEP/MEC, 2002.

FLETCHER, P. procura do ensino eficaz.Relatrio de pesquisa, PNUD/MEC/SAEB,1997.

GOLDSTEIN, H. Multilevel statisticalmodels. 2.ed. Londres: Edward Arnold,New York: Halsted Press, 1995.

GOLDSTEIN, H. e SPIEGELHALTER, D. J.League tables and their limitations:statistical issues in comparisons ofinstitutional performance. Journal of theRoyal Statistical Society, v. 159A, p. 385-443, 1996.

IBGE. Sntese de indicadores sociais 1999.Estudos & Pesquisas. Informao demogr-fica e socioeconmica. IBGE, 2000.

LLECE. (2001). Primer estudio internacionalcomparativo sobre lenguaje, matemticay factores asociados, para alumnos deltercer y cuarto grado de la educacinbsica. Relatrio tcnico, OREALC, agosto2001.

LONGFORD, N. Random coefficientmodels. Oxford: Clarendon Press, 1993.

RASBASH, J., BROWNE, W., HEALY, M.,CAMERON, B. e CHARLTON, C. MlwiN.Multilevel models project. Institute ofEducation, University of London, 2000.

SAMMONS, P., HILLMAN, J. e MORTIMORE,P. Key characteristics of effective schools:a review of schol effectiveness research.Londres: Office for Standards in Education(OFSTED),1995.

124


Anexos

TAB

ELA

AR

ela

o d

os c

onst

ruto

s e

vari

vei

s

125


126


127


TABELA B.1 Estimativas do modelo nulo

TABELA B.2Estimativas do modelo com controle socioeconmico

128


TABELA B.3Estimativas do modelo com variveis de aluno e ambiente da escola

129


TABELA B.4Estimativas do modelo com variveis de aluno, ambiente da escola, gesto-administrao-organizao do ensino

130


Abstract

The article describes the National Basic Education Evaluation System (SAEB) for regardingits objectives and characteristics, and reports on a study carried out to identify the factorsassociated with school performance and with the efficiency of the educational system. Multi-level regression models were applied to the data from the SAEB-99, with special emphasis onthe analysis of the fourth grade of elementary school. The two-level hierarchical structure wasconsidered, with students being Unit Level 1 and schools being Unit Level 2 . The responsevariable is the students proficiency in the five subjects tested: mathematics, Portuguese, science,geography, and history. Models were adjusted for the five major geographical regions in Brazil North (NO), Northeast (NE), Southeast (SE), South (SO), and Central-West (CO). The articlealso presents partial results of the study in regard to the profile of students and schools.

Enviado para publicao em 10/10/2001.

Escola Eficaz e SAEB

Documents

Transcript of Escola Eficaz e SAEB