Investigando a qualidade daeducação com dados públicos

Instrutores: Ernesto Martins Faria (Fundação Lemann) Ricardo Meirelles (PrimaPagina)

Acesso à educação eindicadores de qualidade

Parte 1

Acesso à educação no Brasil

• Durante muitos anos, um dos principais problemas foi a grande quantidade de crianças fora da escola.

Fonte: Delso Renault, O dia-a-dia do Rio de Janeiro segundo os jornais (1870-1889)

Acesso à educação no Brasil

Fonte: Olavo Bilac, A Defesa Nacional

O problema foi captado, por exemplo, pela literatura“Também tudo trabalha. Aprender a ler é luxo que pobre não pode ter. É

viver como Deus cria batata: — dá terra e chuva, pra que mais?”

(Lauro Palhano, O Gororoba, 1931)

“A cidade grande, cheia de pessoas fortes. Os meninos em escolas, aprendendo coisas difíceis e necessárias”

(Graciliano Ramos, Vidas Secas, 1938)

“Mas Pai tinha tirado por tino, conversava: — Seo Deográcias, o senhor que sabe escola, podia querer ensinar o Miguilim e o Dito algum começo, assim por vez, domingo ou outro, para eles não seguirem atraso de ignorância?”

(Guimarães Rosa, Manuelzão e Miguilim, 1956)

A melhora foi paulatina

Fonte: IBGE e INEP

O que explica a melhoria

• Urbanização (desde 1970 a maioria dos brasileiros vive em cidades);

• Maior presença de indústrias e serviços, sofisticação da agricultura;

• Vinculação de recursos da União, dos estados e municípios para educação (Constituição 1988);

• Instituição de fundos de financiamento à educação: Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do Magistério (Fundef, de 1996) e Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais de Educação (Fundeb, 2006).

Hoje, escolarização é quase universal no ensino fundamental (6 a 14 anos)

Ainda assim, o contingente fora da escola é expressivo

Fonte: IBGE, 2010

E afeta mais os de menor renda (veja o gráfico sobre acesso à escola por faixa de renda)

60,00%

70,00%

80,00%

90,00%

100,00%

4 5 6 7 8 9 10 11 12 13 14 15 16 17idade

Até 1/4 salário mínimo De 1/4 até 1/2 salário mínimo De 1/2 até 1 salário mínimo

de 1 até 3 salários mínimos De 3 a 5 salários mínimos Mais de 5 salários mínimos

Fonte: Elaborado pelo Todos Pela Educação a partir da PNAD / IBGE.

Desafio importante, atualmente, é melhorar a qualidade do ensino

Indicadores importantes para monitorar a qualidade da educação

• Sistema Nacional de Avaliação da Educação Básica (Saeb) – Aneb• criado em 1990 e atualmente aplicado a cada dois anos; • verifica o desempenho em Matemática e Língua

Portuguesa;• alunos do final de cada ciclo: 5º e 9º ano do ensino

fundamental e 3º ano do ensino médio; • feita por amostragem, resulta em dados sobre a

educação oferecida pelas redes pública e privada do país, das grandes regiões e das unidades da Federação.

Qualidade da educação:indicadores• Sistema Nacional de Avaliação da Educação

Básica (Saeb) – Prova Brasil: • também bienal, foi aplicado pela primeira vez em

novembro de 2005;

• verifica desempenho em Matemática e Língua Portuguesa;

• apenas alunos de 5º e 9º ano do ensino fundamental;

• é mais abrangente que a Aneb: é quase “censitária” (aplicada em todas as instituições com pelo menos 20 alunos por série), traz dados da rede pública por escola.

Qualidade da educação:indicadores• Exame Nacional do Ensino Médio (Enem):

• prova anual;

• abrange todas as áreas do ensino médio, divididas em:

• Linguagens, códigos e suas tecnologias (gramática, interpretação de texto, literatura, inglês ou espanhol), matemática e suas tecnologias, ciências da natureza e suas tecnologias (química, física e biologia), ciências humanas e suas tecnologias (geografia, história, filosofia, sociologia e conhecimentos gerais);

• aplicada para alunos do 3º ano ou que já terminaram o 3º ano do ensino médio (serve de certificação para o ensino médio).

• como a nota é levada em conta em vários vestibulares, na seleção do ProUni e do Sisu, a participação é expressiva.

Como se mede o desempenhodos alunos, nessas avaliações?

• Nas pesquisas que dão origem a indicadores, quase sempre as perguntas são semelhantes ao longo dos anos, para permitir comparação adequada.

Exemplo: Censo IBGE

2000

2010

Como comparar, então, provas que trazem perguntas necessariamente diferentes?

Prova Brasil, 9º ano do ensino fundamental

Prova Brasil, 9º ano do ensino fundamental

A comparação é possível quando se usa a Teoria de Resposta ao Item (TRI)• É um método estatístico para avaliar, entre outras

coisas, a proficiência de estudantes em áreas diferentes do conhecimento.

• Começou a ser desenvolvida na década de 1950.

• Usada em vários países, como Estados Unidos, França, Holanda, Coreia do Sul e China.

• Usada em provas tradicionais, como Pisa, Toefl (exame de proficiência em inglês) e SAT (o “Enem” norte-americano).

• É usado no Saeb (que inclui a Prova Brasil) e no Enem.

Teoria de Resposta ao Item (TRI) – processo de elaboração das provas• Inicialmente, faz-se um grande banco de questões

• Essas questões são submetida a pré-testes — provas com número menor de alunos, que indicam o nível de dificuldade de cada pergunta e a capacidade de cada uma delas diferenciar os estudantes.

• As questões:• Diferenciam o desempenho dos alunos e indicam o

padrão de resposta dos estudantes;

• Geralmente são classificadas como fáceis, médias e difíceis (a classificação é feita após a prova).

Teoria de Resposta ao Item (TRI)

• Vantagens:• Permite comparação do desempenho ao longo

do tempo (por exemplo: comparação do resultado da Prova Brasil desde que começou a ser aplicada, em 2005);

• Permite elaborar provas diferentes e comparar o desempenho dos alunos nelas.

Uma prova tradicional, em caso de equívocos, tem de ser refeita para todos. Numa prova que use TRI, não

Quando houve problemas com o Enem ,a Justiça chegou a tomar decisões como se o exame fosse igual a uma prova tradicional

Depois, voltou atrás

Teoria de Resposta ao Item (TRI)

• Correção:• Considera:

• Número de acertos;• Grau de dificuldade das questões acertadas;• Padrão de erros e acertos.

Teoria de Resposta ao Item (TRI)

• Numa correção tradicional, todo aluno que acertar metade de uma prova de 10 questões tira 5.

• Na Teoria de Resposta ao Item, não: estudantes com o mesmo número de acertos podem tirar notas diferentes.

• A nota varia de acordo com dois fatores:

Teoria de resposta ao item (TRI)

• O grau de dificuldade da questão (o pressuposto é que nem todas as perguntas medem o mesmo grau de conhecimento: quem acerta uma conta de somar não sabe o mesmo de matemática do que quem acerta uma equação de segundo grau).

• A “coerência” das respostas (a correção leva em conta o padrão de erros e acertos de cada aluno. Se um aluno acerta todas as perguntas fáceis, erra todas as médias e acerta uma difícil, o sistema considera que este último acerto foi “chute”, e diminui o peso no total da nota).

Desvantagens

• Comunicação pouco intuitiva (as pessoas estão acostumadas com as provas tradicionais)

• Gestão do banco de questões precisa ser adequada

O Estadão fez, há tempos, uma matéria que explica bem a TRI: http://bit.ly/estadaotri

Como olhar a qualidade usando o QEdu

Parte 2

Indicadores de qualidade no QEdu

• O QEdu (http://qedu.org.br/) tem foco no aprendizado;

• Baseia a avaliação da qualidade da educação nos dados do Saeb (incluindo a Prova Brasil) sobre o nível de aprendizado dos alunos no ensino fundamental. Também apresenta informações que ajudam a explicar os resultados.

• A partir da Prova Brasil, os estudantes podem se encaixar em um dos quatro grupos, segundo a proficiência (domínio da disciplina):

QEdu - Aprendizado adequado

QEdu - Aprendizado adequado

• No QEdu, adota-se o mesmo parâmetro do movimento Todos Pela Educação: um estudante tem nível de aprendizado adequado quando está em um destes dois grupos:

QEdu - Aprendizado adequado

• Para se encaixar em um desses grupos, o estudante teve as seguintes pontuações na Prova Brasil, dependendo do ano/série que estava cursando:

Série do ensino

fundamentalPortuguês Matemática

5º ano 200 pontos ou mais

225 pontos ou mais

9º ano 275 pontos ou mais

300 pontos ou mais

Quando se entra no QEdu (por exemplo, clicando em Brasil), cai-se na página que mostra a proporção de alunos com aprendizado adequado

QEdu - Aprendizado adequado

• Note que as porcentagens:– Baseiam-se nos resultados mais recentes da Prova

Brasil (2011);– Estão divididas por disciplina (português e

matemática, as duas áreas abrangidas pela Prova Brasil);

– Estão divididas por ano/série (5º e 9º ano do ensino fundamental).

Cuidado ao interpretar os dados

• Diferenças de resultados sobre aprendizado adequado do 5º para o 9º ano não significam que os estudantes “desaprenderam” o conteúdo ao longo dos quatro anos.

No QEdu: Proficiência

• Na aba “Proficiência”, veem-se detalhes sobre o desempenho dos alunos nas últimas três edições da Prova Brasil (2007, 2009 e 2011)

A primeira parte da tela sintetiza os dados de aprendizado adequado para a localidade escolhida

Mais para baixo, aparecem os dados nas quatro categorias

No QEdu: Proficiência

• Clicando sobre cada item, é possível refinar a visualização de acordo com o ano desejado (5º ou 9º), disciplina (Português ou Matemática) e tipo de escola.

E como fazer comparações regionaisde qualidade de educação?

No QEdu: comparaçõesregionais• Por meio da aba “Compare”, podem-se exibir

dados de um estado e dos estados da região em que ele está…

No menu, escola um estado

O QEdu vai mostrar o percentual de aprendizado adequado no estado escolhido e em alguns outros da região

É possível fazer também comparações entre municípios

O QEdu apresenta os dados do município selecionado e de quatro cidades vizinhas

E por escola

Neste caso, o critério de comparação usado pelo QEdu não é geográfico, mas socioeconômico

Veja que, nesses casos, quem deu os parâmetros de comparação (geográfica, no caso dos estados e municípios, e por nível socioeconômico, no caso das escolas) foi o próprio Qedu.

• Em “Explore”, é possível fazer comparações mais amplas e exportar os dados para uma planilha eletrônica.

No QEdu: Comparaçõesregionais• Por padrão, os resultados são exibidos em

ordem alfabética.

No QEdu: Comparaçõesregionais

• Clicando em cada item, é possível ordenar por disciplina, ano, tipo de escola e nível de aprendizado.

No QEdu: Comparaçõesregionais• No modo avançado, é possível, também,

filtrar por tamanho da rede de ensino (número de matrículas).

• Para isso, é preciso estar cadastrado no site.

Vamos fazer um exercício com os municípios de São Paulo• Comece digitando “São Paulo” e selecionado

o estado na página inicial do QEdu

Clique em “Explore” e, depois, “Modo avançado”

O QEdu vai apresentar os municípios em ordem alfabética. Clique em “Aprendizado” para mudar a ordenação

Os municípios são apresentados por ordem crescente de aprendizado adequado (da menor para a maior porcentagem). Vamos inverter (da maior para a menor). Clique novamente em “Aprendizado”.

Quando se observam redes de todos os tamanhos, há vários municípios paulistas com bom nível de aprendizado adequado. O que acontece se o enfoque concentrar-se em cidades com redes maiores?

Desloque para a direita, com o mouse, o quadradinho que indica o número mínimo de matrículas. Note que o número de municípios com aprendizado adequado diminui.

Para exportar os dados, basta clicar em “Exportar” e escolher o formato de sua preferência.

Exportar — vamos ver, por exemplo, a situação do aprendizado de matemática no 9º ano, em todas as unidades da Federação

Explorar

• Após você clicar em “Explorar” e fazer o dowload, o arquivo será aberto no programa escolhido. Primeiro, vamos eliminar as colunas que não nos interessam no momento — deixaremos apenas o nome da unidade da Federação, o percentual de aprendizado adequado e o crescimento em pontos percentuais.

Apagando as colunas: clique sobre o “B”, letra da primeira coluna a ser eliminada, depois aperte “Shift” e, em seguida, clique sobre o “J”, letra da última a ser deletada. Assim, você terá selecionado todas as colunas

Clique com o botão direito do mouse sobre a área selecionada e, depois, em “Excluir”

Com a tabela mais enxuta, vamos verificar em qual estado o crescimento foi maior entre 2009 e 2011. Selecione todas as informações, clique em “Dados” e, depois, em “Classificar”

No quadro que abrirá, selecione as condições com as quais vamos trabalhar: classificar segundo o crescimento entre 2009 e 2011 e em ordem crescente (de modo que o maior apareça primeiro)

É possível verificar que o percentual de alunos do 9º ano com aprendizado adequado em matemática caiu em dois estados e cresceu mais onde já era mais alto

Cuidados ao comparar

• Comparações e rankings devem sempre ser feitos com cuidado.

• É preciso observar a existência de possíveis distorções, por exemplo: a presença de uma escola com porcentagem muito alta de estudantes com aprendizado adequado pode puxar a média de um município para cima, dando a impressão errada de que o município como um todo é melhor.

No QEdu: comparaçõesregionais• Se quiser comparar um pequeno número de

localidades de sua escolha, selecione-as, clicando sobre cada uma delas.

• Primeiro, no menu esquerdo, clique em “Ativar modo avançado”

No QEdu: comparaçõesregionaisVamos selecionar todos os estados do Sudeste:

No QEdu: comparaçõesregionais• Clique em “Comparar”

• E, depois, em “Abrir”

No QEdu: comparaçõesregionais

No QEdu: comparaçõesregionais• A aba “Explore” permite também que se

visualize, em mapas, a distribuição de alguns resultados em determinada região.

No QEdu: comparaçõesregionais• Municípios de São Paulo em que a proporção

de alunos do 9º ano com aprendizado adequado em matemática é superior a 20%.

No QEdu: comparaçõesregionais• No menu à esquerda, selecione “Matemática” e 9º ano;

• Depois, entre no “Modo Avançado” (lembre-se: para isso, é preciso estar logado).

No QEdu: comparaçõesregionais• Em “Filtros avançados”, vá em “Aprendizado” e

arraste, com o mouse, o quadradinho do lado esquerdo até 20%.

No QEdu: comparaçõesregionais• Depois, clique em “Mapa”

No QEdu: comparaçõesregionais• Todos os municípios em branco têm menos de 20% de

aprendizado adequado em matemática (alunos do 9º ano).

No QEdu: comparações entre escolas

• Ainda na aba “Explore”, os filtros avançados permitem selecionar as escolas por nível socioeconômico (que sintetiza dados sobre escolaridade, ocupação e renda das famílias).

• Haverá escolas em São Paulo de menor nível econômico que tiveram bom resultado na Prova Brasil?

No QEdu: comparações entre escolas

• Selecionar “Português” e “5º ano”.

• Aprendizado de 50% ou mais. NSE “Mais baixo” e “Médio”

No QEdu: comparações entre escolas

Evolução da qualidadeao longo do tempo• Na aba “Evolução”, é possível fazer um

acompanhamento histórico dos dados sobre aprendizado adequado.

• A comparação entre os diversos anos é possível por causa do uso da Teoria da Resposta ao Item (TRI).

Evolução da qualidadeao longo do tempo

Evolução da qualidadeao longo do tempo• É possível comparar os avanços dos estados

em relação ao país• Sempre olhando o mesmo período, mesma série

e mesma disciplina

Evolução da qualidadeao longo do tempo• É possível comparar os avanços dos estados

em relação a outros estados• Sempre olhando o mesmo período, mesma série

de mesma disciplina

Cuidados ao avaliar a evolução

• Taxas de crescimento maiores podem ser resultado sobretudo de um ponto de partida mais baixo

Crescimento de 16,6%

Crescimento de 25%

QEdu e os envolvidos na educação

• O QEdu traz alguns dados que ajudam a analisar o contexto do ensino e do aprendizado;

• São o resultado do Ideb e as respostas aos questionários da Prova Brasil, respondidos por alunos, professores e diretores;

• Abrangem temas tão diversos como hábitos culturais, violência na escola e remuneração.

Em “Contexto” há um resumo dos dados

Em “Pessoas” há mais detalhes, a partir das respostas dos participantes da Prova Brasil

QEdu e os envolvidos na educação

• Os questionários são divididos por tema. O dos professores, por exemplo, divide-se em:

QEdu e os professores

• Vamos ver as respostas sobre agressão no questionário dos professores do município de São Paulo.

Clique em “Pessoas”, depois “Professores”

No questionário, clique em “Violência” e, depois, “Agressão física”

QEdu e os professores

• A página traz as respostas dos professores de todas as redes e dos dois anos/séries pesquisados. É possível desagregar os dados

QEdu e os professores

• Colocando-se o mouse sobre a bandeira, veem-se os dados do estado ou do Brasil.

Os mesmos recursos valem para as respostas dos diretores...

... e dos alunos

Censo Escolar no QEdu

• O QEdu também traz alguns dados do Censo Escolar, incluindo os de infraestrutura e fluxo escolar

Censo Escolar no QEdu

• Em “Matrícula e Infraestrutura”, é possível obter informações só das escolas que participaram da Prova Brasil ou de todas

É possível, no menu esquerdo, escolher a área sobre a qual se quer obter informação (Serviços, por exemplo)

Na aba “Taxas de Rendimento” há informações sobre reprovação, abandono e aprovação nas etapas inicias e finais do ensino fundamental e no ensino médio

Descendo na página, há as informações detalhadas por ano

• Porcentagens entre 5% e 15% (destacadas em laranja) indicam necessidade de adotar estratégias para deter o problema. Porcentagens maior que 15% (marcadas em vermelho) indicam que há necessidade urgente de adotar tais estratégias

No menu do lado direito, há links para explicações sobre os conceitos e para baixar os dados

Casos exemplares

• A análise da evolução e dos resultados dos diversos estados, municípios e escolas pode indicar casos bem e malsucedidos;

• Um estudo inserido no próprio QEdu mapeou alguns bons exemplos

Casos exemplares

Casos exemplares