Exames de Larga Escala: Análises Quantitativas e Qualitativas 

em uma Prova de FísicaMaurício Kleinke

Dep. de Física Aplicada, Inst. de Física GlebWataghin, Unicamp

Programa Multiunidades de Ensino de Ciências e Matemática, Unicamp

Manaus, 1º de fevereiro de 2011

Sumário • Exames de acesso ao ensino superior

– Enem e vestibulares• Análise de uma prova

– Validade e confiabilidade• Análise das questões

– Razão de chance, análise diferencial– Análise qualitativa

• Políticas públicas– Contextualização, treinamento,  

Exames de Acesso 

Por que examinar os vestibulares e o Enem?

Alguns números

• Aprox. 90% dos estudantes do ensino médio estão na rede pública de ensino;

• Uma parcela significativa desses não irão prestar nenhuma processo seletivo para o terceiro grau;

• Se a formação no EM é final, por que discutir o acesso ao ensino superior?

Influências no ensino“Uma das influências preeminentes, com uma função normativa mais poderosa do que os programas oficiais, livros didáticos, propostas curriculares ou os atuais parâmetros, sempre foi o exame vestibular. 

Assim, essas provas, mais do que cumprir a função classificatória para decidir quais os alunos que podem entrar nas escolas superiores, têm grande influência nos ensinos fundamental e médio.”

KRASILCHIK, M. Reformas e Realidade: o caso do ensino das ciências (2000).

Influência nos problemas apresentados

• Quase todos os materiais didáticos (cadernos da SEE‐SP, livros didáticos em geral, GREF, etc.) utilizam questões dos vestibulares e/ou Enem como exemplo de problemas.

Influência nos livros didáticos

“Numa entrevista dada a mim, o prof. Nicolau Ferraro, um dos autores do “Fundamentos de Física”, afirmou que o conteúdo do livro foi definido pelos vestibulares das escolas de engenharia de São Paulo, principalmente da Escola Politécnica da USP.”

M.J. Chiquetto, XII EPEF

Influência nos livros didáticos

Ricardo Gauche

CursinhosApostilas 

ExamesQuestões 

EditorasAutores 

Livros Didáticos 

Influência nos professores

“O professor deverá equilibrar‐se entre a necessidade de levar coletivamente os estudantes a desenvolverem a habilidade de pensar o mundo e transformá‐lo a partir dos conhecimentos de Física, e a contingência pragmática de ensinar os conteúdos que são exigidos pelos exames, entre formar o cidadão e treinar o estudante para ser aprovado em concursos.”

Ana M. M. Silva, R. F. Prestes XVIII SNEF

porque...

...exames e/ou questões elaborados para selecionar passa a ser tratados como uma diretriz formativa para a educação básica.

... o treinamento para desempenho nos exames é incorporado aos materiais e à estrutura didática da educação básica.

Validade de um exame

Avaliação qualitativa do exame

Validade de um exame

• Validade é uma medida do quanto a prova avalia o que se espera, do quanto uma prova cumpre com seus objetivos de medida.

• A validade apresenta distintos aspectos:– Análise do conteúdo por especialistas;– A amostragem do conteúdo analisado;– Análise do desempenho posterior dos selecionados com a prova. 

Validade dos exames

• Acadêmica;– Poucas ou quase nenhuma crítica da sociedade.– “Os vestibulares são as instituições mais republicanas desse país” Fernando Prado, Vunesp. 

– Existe uma confiança e/ou aceitação na avaliação das provas, superior às outras avaliações.

• Logística– Só aparece quando não funciona.– Enem: 50 a 100 vezes maior que os vestibulares tradicionais;

Qual a função do exame?

• O Enem é hoje um exame de acesso ao ensino superior:– Não é uma prova para avaliar a formação do cidadão;

– Não é uma prova para classificar escolas.

• Os vestibulares, bem como o Enem, servem como seleção para o acesso ao ensino superior. 

Validade amostral do exame

• Ter uma ampla cobertura dos temas escolhidos para a prova. 

• Pouco/nunca analisado nos vestibulares

• Matriz de referências do Enem.

Validade comparável ao seu objetivo

• Acompanhar o desempenho dos candidatos nos seus cursos, e comparar com a seleção, ver se a seleção realiza uma predição adequada do desempenho dos candidatos. 

• Exemplo de acompanhamento• Unicamp/UFBA – Ação afirmativa• Acompanhamento do desempenho

Comparar diferentes notas em diferentes épocas e situações?

• Nota reduzida, nota padronizada

DP

XXZ

Utilizar variáveis padronizadaspermite comparar diferentes provas em diferentes momentos.

Confiabilidade de um exame

Avaliação quantitativa do exame

Confiabilidade de um exame

• Se eu repetir o mesmo exame, no mesmo grupo de alunos, nas mesmas condições de aplicação, vou selecionar os mesmos candidatos? 

• O meu exame é confiável?

A correlação de Pearson

• Um dos conceitos básicos em ciência comportamental ou em avaliação educacional é compreender a relação entre diferentes variáveis. Essa indicação pode ser dada pelo coeficiente de correlação

yx

n

i ii

XY SS

YYXXN

1

1

n

i i XXn

Sx 1

22 1

Coeficientes de correlação

• Três provas:– 13334 analisados, 2ª fase vestibular 2010 Unicamp.

– Redação, Matemática e Física

• Coeficientes de correlaçãoRedação Física Matemática

Redação 1,000

Física 0,357 1,000Matemática 0,338 0,871 1,000

0 10 20 30 40 500

10

20

30

40

50

Red

ação

Física

357,0FR

Correlação entre Física e Redação

0 10 20 30 40 500

10

20

30

40

50

Mat

emát

ica

Física

Correlação entre Física e Matemática

871,0FM

Chance do candidato repetir a nota em uma prova similar?

Chance do candidato repetir a nota em uma prova similar?

Uma prova

Prova par

Prova ímpar

Confiabilidade da prova total

• Prova inteira: par + ímpar • X=Y+Y’

• Fórmula de Spearman‐Brown

'

'

'12

YY

YYXX

Confiabilidade da provaÍmpar Par Física

Ímpar 1,000Par 0,882 1,000Física 0,971 0,969 1,000

937,012

'

'

'

YY

YYXX

Valores acima de 0,8 indicam uma prova com alto grau de confiabilidade

Qual a probabilidade de uma questão favorecer um grupo?

Razão de chanceAnálise diferencial de questões

Chance de um grupo realizar “algo”

Grupo Realizou “algo”

Não realizou “algo” 

Total de membrosdos grupos

Focal A B A+B

Controle C D C+D

• Grupo focal : quem estamos observando, quem estamos interessados.

• Grupo controle : nossa referência para comparação.

Probabilidades• Grupo focal 

– Realizar algo : PA =A/(A+B)– Não realizar algo : PB = B/(A+B)

• Grupo referência– Realizar algo : PC = C/(C+D)– Não realizar algo : PD = D/(C+D)

Grupo Realizou “algo”

Não realizou “algo” 

Total de membrosdos grupos

Focal A B A+B

Controle C D C+D

Razão de chance ‐ probabilidades

• É a chance do grupo focal realizar algo com a mesma probabilidade do grupo de referência/controle.

• Um número igual a um indica a mesma chance;• Um número maior que um indica um desempenho do focal superior ao do controle. 

BCAD

DC

BA

PP

PP

RC

D

C

B

A

Razão de chanceEnsino médio público e não público 

EM N Média DP

Não Público 10652 24,4 12,9

Público 2682 16,0 13,1

Ao comparar todo o conjunto ao mesmo tempo, a diferença de desempenho é tamanha que não é possível saber se existe algum viés na estrutura das questões. 

Razão de chance todos os candidatos

NRazão de chance

Q01 0,40Q02 0,45Q03 0,41Q04 0,38Q05 0,48Q06 0,33Q07 0,36Q08 0,37Q09 0,44Q10 0,44Q11 0,37Q12 0,35

• Grupo focal – EM público;• Grupo referência – EM não público. 

Análise diferencial• Analisar se uma questão apresenta tendência a favorecer um grupo em relação aos demais.

• Assume que o total da prova pode apresentar favorecimento a um grupo por outros fatores, que não dependem exatamente da prova.

• Propicia uma medida direta do efeito da questão sobre algum grupo focal específico.

Análise diferencialEnsino médio público e privado 

EM N Média DP

Não Público 10652 24,4 12,9

Público 2682 16,0 13,1

Em vez de analisar o todo, separar a análise por grupos de notas, de forma que  não estejam sendo comparados candidatos  com um desempenho muito distinto um do outro.

Análise diferencialEnsino médio público e privado 

EM N Média DP

Não Público 10652 24,4 12,9

Público 2682 16,0 13,1

EM Grupo N Média DPNão Público 1 2987 7,6 4,2Público  1 1457 5,6 4,3

EM Grupo N Média DPNão Público 2 3698 23,4 4,7Público  2 747 22,5 4,8

EM Grupo  N Média DPNão Público 3 3967 38,1 4,0Público  3 478 37,3 4,0

Análise diferencial de questõesÍndice de Mantel Haeszman

grupos

i i

ii

grupos

i i

ii

NCB

NDA

1

1 )ln(25,3 MH

Mantel‐Haesman Influência da questão  ES*

|MH|<1 Nenhuma Não 

1<|MH|<1,5 Algum viés favorável a um grupo Sim 

|MH|>1,5 Viés ou desvio muito grande, deve ser substituída Sim

* Estatisticamente significativo

Análise diferencial

N α MH

Q01 0,75 ‐0,92Q02 0,98 ‐0,06Q03 0,91 ‐0,31Q04 0,69 ‐1,21Q05 0,96 ‐0,13Q06 0,50 ‐2,23Q07 0,67 ‐1,33Q08 0,67 ‐1,29Q09 0,88 ‐0,42Q10 0,89 ‐0,36Q11 0,72 ‐1,09Q12 0,60 ‐1,66

• Grupo focal – EM público;• Grupo referência – Outro EM. 

Lateral

Atacante

Zagueiro

Goleiro

Razão de chance

NRazão de chance

Q01 0,51Q02 0,36Q03 0,60Q04 0,66Q05 0,67Q06 0,69Q07 0,59Q08 0,48Q09 0,42Q10 0,58Q11 0,70Q12 0,62

• Grupo focal –Mulheres;• Grupo referência – Homens. 

Análise diferencial

N α MH

Q01 0,80 -0,73Q02 0,43 -2,73Q03 1,20 0,58Q04 1,24 0,70Q05 1,17 0,51Q06 1,21 0,61Q07 1,07 0,23Q08 0,72 -1,07Q09 0,58 -1,76Q10 1,02 0,06Q11 1,73 1,77Q12 1,12 0,38

• Grupo focal –Mulheres;• Grupo referência – Homens. 

Contextualização ...no contexto de quem?

• As contextualizações são, em geral, no universo dos elaboradores de questões, autores de livro texto, professores em sala de aula. 

• Alto capital cultural.

• Qual é o contexto do candidato, do leitor, do aluno? 

• Como todas as questões das minorias ou de grupos mais oprimidos são tratadas nessas questões?

Qual é o contexto do jovem hoje?

• Em que impacta toda essa parafernália eletrônica de comunicação?

• Como as experiências sensoriais estão diminuindo, e as virtuais aumentando, o que isso implica em nossas analogias e apresentações em Física?

• Experimentos “virtuais” e “reais”

Olhando as provas

Análise qualitativa

Leitura das provasA. Resposta correta com raciocínio completo;B. Resposta correta sem raciocínio demonstrado: resposta “seca” 

correta;C. Transposição do enunciado para a formulação física correta, 

interpretação do enunciado correta, erro aritmético/matemático;

D. Transposição do enunciado para a formulação física correta, interpretação do enunciado incorreto;

E. Transposição do enunciado para a formulação física incorreta: equação proposta errada, modelamento confuso ou inadequado da proposta; resposta completamente desorganizada e/ou muito incompleta

F. Raciocínio não demonstrado: ausência de resposta, em branco, resposta “seca” incorreta;

Análise quali/quantiItem A Item B

SEXO Análise N % Análise N %Feminino

A 19 37% A 9 18%B 1 2% B 1 2%C 3 6% C 3 6%D 7 14% D 14 27%E 9 18% E 8 16%F 12 24% F 16 31%

Masculino

A 92 53% A 63 36%B 16 9% B 3 2%C 1 1% C 2 1%D 18 10% D 38 22%E 20 11% E 28 16%F 27 16% F 40 23%

Análise quali/quantiItem A Item B

SEXO Anl. N % Anl. N %

Feminino

A 19 37% A 9 18%B 1 2% B 1 2%C 3 6% C 3 6%D 7 14% D 14 27%E 9 18% E 8 16%F 12 24% F 16 31%

Masculino

A 92 53% A 63 36%B 16 9% B 3 2%C 1 1% C 2 1%D 18 10% D 38 22%E 20 11% E 28 16%F 27 16% F 40 23%

BCADRC

Razão de ChanceItem A Ítem B0,46 0,36

Políticas públicas

O que as provas medem?

Anos de escolaridade dos pais vs. Prova de Física

0 5 10 15 20 25 30-1,0

-0,8

-0,6

-0,4

-0,2

0,0

0,2

0,4 Pública Não Pública

Z

Anos de Escolaridade dos Pais

Modelos estatísticos

• Como o resultado depende de variáveis socioeconômicas:

• Mulheres• Cursinho Pré Vestibular• Rede Pública de Ensino• Um dos pais com curso superior

Regressão Variáveis dicotomizadas

• Nota em Física = 21,3 ‐ 5,74 Mulher + 5,06 CPV ‐ 7,56 Rede Pública + 4,16 Algum dos pais com ensino superior.

Regressão LogísiticaVariáveis dicotomizadas

• Razão de chance associada a cada variável• Sucesso: atingir metade da nota possível. 

Grupo Prob. Razão de chance

Mulher 0,000 0,42CPV 0,000 2,08Rede Pública 0,000 0,36Esc. Pais 0,000 1,73

Provocações finais

• As provas servem a que?• A confiabilidade desses exames é, em geral, elevada.• A validade dos exames é bem aceita• A influência positiva que os exames podem ter na educação básica

• Os riscos de uma contextualização em contexto errado• Necessidade de políticas públicas compensatórias para a rede pública de ensino, visto que não são preditoresexatos do desempenho posterior.