Distribuição espacial do desempenho dos alunos de escolas

públicas no ENEM: município de São Paulo (2011 – 2017)

EDUARDO FELIX JUSTINIANO1

ALFREDO PEREIRA DE QUEIROZ2

RESUMO

Este estudo avalia a eficiência de cinco zoneamentos do município de São Paulo para a

representação espacial do desempenho dos alunos no ENEM. Dados de 294 mil alunos do ensino

médio, agrupados em 680 escolas, extraídos dos censos escolares e do ENEM de 2011 a 2017, foram

reunidos em áreas modificáveis. A renda familiar e a participação dos estudantes do ENEM foram as

variáveis que melhor se correlacionaram com a pontuação média. Dentre os zoneamentos avaliados,

o das prefeituras regionais mostrou representação cartográfica mais eficiente.

Palavras-chave: ENEM, MAUP, Escola pública, Zoneamento

ABSTRACT

This study evaluates the efficiency of five zoning in the city of São Paulo for the spatial

representation of students' performance in ENEM. Data of 294 thousand high school students, grouped

in 680 schools, extracted from the school censuses and ENEM from 2011 to 2017, were gathered in

modifiable areas. The family income and participation of students on ENEM were the variables that best

correlated with the mean score. Among the evaluated zonings, the one of regional prefectures showed

more efficient cartographic representation.

Keywords: ENEM, MAUP, Public school, Zoning

1 - Introdução

O Exame Nacional do Ensino Médio (ENEM) é um dos maiores testes

educacionais do mundo, em relação ao número de candidatos. Em 2014, eram mais

de 8,7 milhões de inscritos, porém 2,5 milhões se abstiveram da prova.

1 Acadêmico do Programa de Pós-Graduação em Geografia Física da Universidade de São Paulo. E-mail de contato: e.justiniano@usp.br.

2 Docente do Programa de Pós-Graduação em Geografia Física da Universidade de São Paulo. E-mail de contato: aqueiroz@usp.br.

Diversos autores evidenciam uma relação entre o rendimento escolar,

expressos pelos resultados dos testes educacionais, e as características

socioeconômicas dos alunos. Thieme et al. (2016) aborda variáveis contextuais e

socioeconômicas que estão além do controle da escola. Tekwe et al. (2004) questiona

se as escolas podem ser responsabilizadas pelos efeitos significativos de fatores

sociodemográficos nos resultados obtidos pelos seus alunos em testes educacionais.

Meyer (1997) considera que os resultados dos testes educacionais como indicador

escolar é falho porque o desempenho dos alunos pode estar contaminado pela

mobilidade destes entre escolas e por fatores extraescolares. Para Wodtke et al.

(2011) a exposição contínua dos alunos a bairros desfavorecidos, caracterizados pela

alta pobreza, desemprego e recebimento de benefício social, famílias numerosas,

chefiadas por mulheres e poucos adultos graduados (ensino médio e superior),

durante todo o curso de vida da infância tem um impacto devastador sobre as chances

de formação no ensino médio.

No Brasil, poucos estudos procuram espacializar a relação entre o rendimento

escolar e as características socioeconômicas. Merecem destaque, no entanto, as

pesquisas desenvolvidas por Torres et al. (2003), na Região Metropolitana de São

Paulo e o de Cunha et al. (2009), que abordaram a relação entre os resultados obtidos

pelo SARESP e as condições socioeconômicas, de moradia e as estruturas das

escolas de Campinas.

Um dos aspectos que dificulta a representação espacial deste tipo de pesquisa

é que a proximidade entre a escola e o local de moradia dos alunos não é condição

específica para sua matrícula. Em decorrência, há restrições para representar

espacialmente o desempenho dos alunos por escola, usando metodologias como a

área de influência dos polígonos de Thiessen, a relação de vizinhança, a estimativa

de densidade de Kernel e o decaimento por distância.

Uma das alternativas é o agrupamento de alunos por escolas, distribuídas em

zonas contíguas, que possibilitaria a representação da pontuação média dos alunos

no ENEM e a correlação com suas características socioeconômicas. Contudo, dadas

às características de representação, sempre haverá questionamento sobre a eficácia

dos zoneamentos.

A correlação de variáveis em zonas que podem ser modificáveis é uma antiga

discussão da Geografia. Henry Sheldon, em 1931, observou a modificação de valor

da correlação entre variáveis na medida em que a dimensão e o número de áreas

analisadas eram alterados. Esta questão se tornaria conhecida, décadas depois,

como o problema das unidades de área modificáveis (modifiable área unit problem -

MAUP).

Este trabalho tem como objetivo analisar a eficiência dos zoneamentos para a

representação do desempenho médio no ENEM dos alunos de escolas públicas

correlacionado com a renda familiar. Utilizou a metodologia proposta por Openshaw

(1984) para auxiliar na avaliação de zoneamentos gerados por procedimentos

automáticos.

2 - Embasamento teórico

De acordo com Openshaw (1984), o MAUP é composto por dois problemas

distintos, mas muito relacionados: escala e agregação. Indica que os resultados

decorrentes do seu agrupamento variam quando: 1) a escala de análise é alterada

pela agregação de zonas (ex.: de setor censitário para área de ponderação) e 2) o

número de zonas é mantido, porém os limites destas se alteram e, consequentemente,

os dados são agregados de maneira diversa.

Outros pioneiros sobre o assunto foram Gehlke e Biehl (1934). Demonstraram

que a variação nos valores do coeficiente de correlação pode estar condicionada ao

tamanho das unidades de área utilizadas e que, quanto maior a área e o agrupamento,

maior seria a correlação entre as variáveis.

Robinson (1950) estabeleceu uma diferenciação entre correlação ecológica e

correlação individual. Na correlação individual, o objeto estatístico é indivisível e as

variáveis são propriedades descritivas de indivíduos. Seu valor é o da correlação de

Pearson entre duas variáveis de todos os indivíduos, desconsiderando-se o

posicionamento geográfico. Na correlação ecológica, o objeto estatístico é um grupo

de pessoas e as variáveis podem ser expressas em percentagens, medianas e,

principalmente, médias. O valor da correlação ecológica não é normalmente calculado

com ponderação e certamente não é igual ao valor da correlação individual

correspondente.

Para Alker (1969), a atribuição de valores das correlações (ou covariâncias)

ecológicas aos indivíduos é conhecida como falácia ecológica. Na direção inversa, a

atribuição de valores das correlações individuais para o zoneamento é conhecida

como falácia individualista. Além destas, as falácias podem ocorrer quando na

atribuição de valores de covariância ou de correlação de um indivíduo para uma zona

(falácia universal), da zona para o indivíduo (falácia seletiva) e de uma zona para o

zoneamento ou grupo de zonas e vice-versa (falácia de escala). As falácias também

podem ocorrer quando o contexto ou a estrutura social altera a força ou a forma das

relações causais ou estatísticas (falácia contextual).

Os zoneamentos atuam como um detector de padrões espaciais e a análise

dos padrões depende dos limites do zoneamento. As zonas se constituem em objetos

ou áreas geográficas individualizadas que são a unidade básica para a observação e

medição de fenômenos espaciais (OPENSHAW, 1984). A agregação de área pode

diminuir os valores da variância da população, distorcendo ou eliminando a

heterogeneidade espacial (JELINSKI; WU, 1996).

2.1. Metodologia

Openshaw (1984) afirma que os resultados do estudo de dados zonais

dependem dos zoneamentos adotados, que são essencialmente arbitrários e

modificáveis. Recomenda que, ao invés de aceitar qualquer resultado que um

zoneamento produz, deve-se especificar previamente qual é o resultado esperado

(hipótese). Se o resultado desejado violar as suposições estatísticas ou fatores

geográficos, a hipótese deve ser rejeitada.

O referido autor sugere uma metodologia, baseadas em cinco etapas, para

avaliar os zoneamentos e unidades de área, essencialmente arbitrárias e

modificáveis. Esta metodologia pode ser utilizada para indicar os zoneamentos que

melhor representem a distribuição das pontuações médias dos alunos no ENEM.

Neste estudo, optou-se por simplificar as etapas propostas, como mostra a Tabela 1.

Cada zona deverá conter um número mínimo de alunos, por faixa de renda e

por ano, de forma a não gerar um coeficiente de variação de valor elevado das

pontuações médias anuais ao longo do período observado.

Etapa Procedimentos

1 Definir o propósito de pesquisa de forma explícita, especulando-se quanto ao

resultado esperado, tomando-se como base o conhecimento prévio ou o

resultado desejado. Esse resultado desejado seria expresso como uma

hipótese e estabelecido como uma função objetivo.

2 Tentar obter o resultado desejado identificando os zoneamentos que

otimizam a função objetivo.

3 Interpretar os resultados no sentido estatístico e verificar se os resultados

esperados foram alcançados com grau de erro tolerável. Se não, rejeitar ou

alterar a hipótese e retomar a etapa 1.

4 Verificar a necessidade de introduzir restrições sobre as zonas para garantir

que estas sejam conectadas internamente.

5 Se em um resultado satisfatório for necessário a introdução de restrições,

retornar à etapa 3 para reinterpretação ou verificar as consequências de não

satisfazer algumas ou todas as restrições.

Tabela 1 – Procedimentos para testar zoneamentos. Fonte: Openshaw (1984).

2.1.1. Procedimentos

A Figura 1 ilustra os procedimentos para testar os diferentes zoneamentos,

descritos na Tabela 1. Optou-se por categorizar a média dos alunos em três faixas de

notas (Tabela 2) para verificar a variação zonal centro periferia das pontuações

médias com e sem segmentação por faixa de renda.

Figura 1 – Organograma dos procedimentos para testar os zoneamentos. Organizada pelos autores.

Faixa Notas Alunos

Abaixo de meio desvio-padrão da média Abaixo de 2.376,0 95.726

Da média menos meio desvio-padrão até média

mais meio desvio-padrão De 2.376,0 a 2.691,6 114.017

Acima da média mais meio desvio-padrão Acima de .2691,6 84.186

Tabela 2 – Faixas de pontuação consideradas para testar os zoneamentos.

Os zoneamentos testados foram: Prefeituras Regionais, com 32 zonas e a

agregação destas em 8 macrorregiões administrativas; as Diretorias de Ensino da

Capital, com 13 zonas, agregação em 4 regiões e um zoneamento proposto com 58

zonas. Em cada zona foi atribuído um grupo de escolas, possibilitando estabelecer os

resultados médios das pontuações no ENEM dos alunos e de suas características

socioeconômicas.

Após a definição do zoneamento mais adequado, as pontuações médias dos

alunos foram reclassificadas para uma melhor representação da pontuação média no

ENEM no município de São Paulo e das variáveis correlacionadas.

2.1.2. Análise exploratória dos dados

Os microdados do ENEM e dos censos escolares de 2011 a 2017 foram

utilizados. Os alunos de escolas públicas do município de São Paulo, de até 18 anos

e matriculados no último ano letivo do ensino médio foram selecionados. Dos 375 mil

alunos concluintes de escolas públicas, cerca de 294 mil alunos de 680 escolas se

inscreveram e pontuaram em todas as provas e na redação.

As provas objetivas do ENEM são divididas em 4 áreas do conhecimento e

redação. A somatória da pontuação obtida pelos alunos de todas as provas e da

redação se mostrou como a variável de desempenho mais apropriada para comparar

os resultados dos exames de um ano para o outro.

Foram avaliadas as variáveis cor/raça, renda familiar, grau de instrução dos

pais e número de moradores na residência. A renda familiar apresentou maior

correlação individual com a pontuação no ENEM.

Para o teste dos zoneamentos, optou-se por reclassificar a renda familiar em 4

faixas: até um salário mínimo; mais de um até 2 s.m.; mais de 2 até 5 s.m. e acima de

5 s.m.. Todos os zoneamentos avaliados apresentaram correlação ecológica

altamente positiva entre a renda familiar média e a pontuação média no ENEM de

2011 a 2017, variando de 0,957052 a 0,989779. A correlação ecológica entre a

pontuação média e a participação de alunos encontrada também foi altamente

positiva, variando de 0,916882 a 0,988401.

3 - Resultados

Os zoneamentos testados foram: Regiões de Diretorias de Ensino da Capital (

Figura 2A); Diretorias de Ensino da Capital (

Figura 2B); Macrorregiões Administrativas (

Figura 2C); Prefeituras Regionais (

Figura 2D) e Zoneamento Proposto (

Figura 2E).

Os melhores resultados foram obtidos somente nos zoneamentos Prefeituras

Regionais e o zoneamento proposto (Figuras 2 D e 2E). Eles mostraram a variação

zonal das notas e evidenciaram a relação centro periferia em diferentes faixas de

renda.

Figura 2 – Distribuição da pontuação média em zoneamentos do Município de São Paulo.

O coeficiente de variação das pontuações médias anuais por zona e por faixa

de renda foi elevado, principalmente, onde ocorreu um número inferior a 10 alunos.

Assim, o zoneamento proposto foi desconsiderado pela ocorrência de zonas com

poucos alunos em um ou mais anos, resultando numa alta variabilidade anual da

pontuação média no período.

Como o zoneamento Prefeitura Regional (2D) apresentou conexão interna em

todas as zonas e satisfez o esperado para a etapa 4, tornou-se desnecessário realizar

a etapa 5.

A correlação ecológica entre a média das pontuações dos alunos por zona e o

percentual de participação dos alunos no ENEM para o zoneamento Prefeituras

Regionais foi altamente positiva: 0,934194. Em relação à participação de alunos por

faixa de renda, o valor da correlação ecológica entre a pontuação e o percentual de

alunos de renda familiar de até 2 S.M. foi 0,531673 e é inferior ao valor da correlação

ecológica com o percentual de alunos de renda familiar acima de 2 S.M., 0,908989.

Estes valores permitiram a confecção de um mapa (Erro! Fonte de referência

não encontrada.) que representa a pontuação média dos alunos por Prefeitura

Regional e que também reflete a participação dos alunos no ENEM e a proporção dos

alunos por renda familiar. As faixas de notas foram classificadas por quintis e a renda

familiar e a participação dos alunos no ENEM foram representadas por meio de

gráficos.

Figura 3 – Pontuação média dos estudantes de escolas públicas no ENEM no Município de São

Paulo (2011-2017). Organizada pelos autores.

4 - Conclusões

A AED revelou que a renda familiar é a variável socioeconômica que apresenta

maior correlação individual com a pontuação no ENEM dos alunos de escolas

públicas. A correlação ecológica entre a pontuação média no zoneamento Prefeituras

Regionais e o percentual de alunos de renda familiar de acima de 2 S.M. é maior do

que a correlação com o percentual de alunos de renda familiar inferior. Isto indicaria

que a pontuação média tem uma relação mais próxima com a participação de alunos

de maior renda familiar.

Apesar de todos os zoneamentos testados representarem a pontuação média

no ENEM e diferenciarem o centro da periferia, os procedimentos propostos por

Openshaw (1984) possibilitaram reconhecer a maior eficiência do zoneamento

Prefeituras Regionais do Município de São Paulo.

A representação das distribuições espaciais da pontuação média no ENEM foi

coerente com a das variáveis de altas correlações com a pontuação média. A

pontuação média é maior nas zonas nas quais o número de abstenções no teste

educacional é inferior ao número de participantes no ENEM com renda superior a 2

S.M. Por outro lado, a pontuação média é menor nas zonas onde o número de alunos

de renda superior a 2 S.M. é inferior ao número de abstenções e de alunos de renda

inferior (Erro! Fonte de referência não encontrada.).

A representação cartográfica das pontuações médias do ENEM no zoneamento

aprovado permitiu verificar uma curva negativa da renda familiar como indicador social

à medida que se vai do centro à periferia como apontado por Torres et al. (2003),

porém, não foi possível observar a heterogeneidade das áreas periféricas.

Os zoneamentos reprovados, com menores números de zonas e de maior

agregação, apresentaram baixa ou nenhuma diferenciação zonal da pontuação obtida

no teste educacional. Este resultado é compatível com o exemplificado por Jelinski e

Wu (1996) que relacionaram a diminuição da heterogeneidade espacial da agregação

com a diminuição da variância.

O zoneamento Região de Diretorias de Ensino contém áreas que são agregadas do zoneamento

Diretorias de Ensino da Capital, da mesma forma que a Macrorregião Administrativa contém áreas

que foram agregadas das Prefeituras Regionais (Figura 2

Figura 2). Nesta agregação, a diminuição da heterogeneidade espacial

exemplifica a falácia de escala, descrita por Alker (1969).

5 - BIBLIOGRAFIA

ALKER, H. R. A Typology of Ecological Fallacies. In: DOGAN, M.; ROKKAN, S. (Eds.).

Quantitative Ecological Analysis in the Social Sciences. Cambridge: MIT Press, 1969.

CUNHA, J. M. P. D. et al. Social segregation and academic achievement in state-run

elementary schools in the municipality of Campinas, Brazil. Geoforum, v. 40, n. 5, p.

873–883, 2009.

GEHLKE, C. E.; BIEHL, K. Certain Effects of Grouping Upon the Size of the Correlation

Coefficient in Census Tract Material. Journal of the American Statistical Association,

v. 29, n. 185, p. 169, 1934.

JELINSKI, D. E.; WU, J. The modifiable areal unit problem and implications for

landscape ecology. Landscape Ecology, v. 11, n. 3, p. 129–140, jun. 1996.

MEYER, R. H. Value-added indicators of school performance: A primer. Economics of

Education Review, v. 16, n. 3, p. 283–301, 1997.

OPENSHAW, S. The Modifiable Areal Unit Problem. Concepts and Techniques in

Modern Geography, v. 38, p. 169–174, 1984.

ROBINSON, W. S. Ecological Correlations and the Behavior of Individuals. American

Sociological Review, v. 15, n. 3, p. 351, jun. 1950.

TEKWE, C. D. et al. An Empirical Comparison of Statistical Models for Value-Added

Assessment of School Performance. Journal of Educational and Behavioral Statistics,

v. 29, n. 1, p. 11–36, 23 mar. 2004.

THIEME, C. et al. Value added, educational accountability approaches and their

effects on schools’ rankings: Evidence from Chile. European Journal of Operational

Research, v. 253, n. 2, p. 456–471, 2016.

TORRES, H. DA G. et al. Pobreza e espaço: padrões de segregação em São Paulo.

Estudos Avançados, v. 17, n. 47, p. 97–128, abr. 2003.

WODTKE, G. T.; HARDING, D. J.; ELWERT, F. Neighborhood effects in temporal

perspective: The impact of long-term exposure to concentrated disadvantage on high

school graduation. American Sociological Review, v. 76, n. 5, p. 713–736, 2011.