Ensino de Física: o Enem e a aprendizagem ao final do...

4/25/2016

1

Ensino de Física:

Marta F. BarrosoInstituto de Física - UFRJ

Ensino de Física: o Enem e a aprendizagem ao final

do ensino médio

Instituto de Física [email protected]/~martawww.if.ufrj.br/~marta/enem

abril / 2016LABORATÓRIO DE PESQUISA E DESENVOLVIMENTO EM ENSINO DE MATEMÁTICA E CIÊNCIAS

PEF: Programa de Pós-Graduação em g çEnsino de Física

Curso: Mestrado Profissional em Ensino de Física (2008)

PEMAT: Programa de Pós-Graduação em Ensino de g çMatemática

Cursos:

Mestrado em Ensino de Matemática (2006)

Doutorado em Ensino e História da Matemática e da Física (2015)

4/25/2016

2

ENEM

Trabalho desenvolvido por:

Marta Feijó Barroso (IF-UFRJ)

Gustavo Rubini (doutorando Ensino e História da Matemática e da Física, PEMAT –IM/UFRJ)

Marcelo Shoey O. Massunaga (UENF)Wanderley P. Gonçalves Jr. (PEF, CAp-UFRJ)

José Christian Lopes (PEF Col PII)José Christian Lopes (PEF, Col. PII)

Bruno Rinaldi (PEF, Col. PII)

OBSERVATÓRIO DA EDUCAÇÃO

ENEM

Introdução: por que e para que avaliarIntrodução: por que e para que avaliar

O ENEM

Resultados atuais

4/25/2016

3

ENEM

1. Introdução: por que e para que avaliarç p q p q

algumas considerações gerais, um tanto teóricas… e longe da perspectiva dos alunos

ENEM

1. Introdução: por que e para que avaliar

Avaliações Educacionais e o Ensino de Ciências e Matemática

Objetivos: “compreensão do papel, das técnicas e metodologias de realização dessas avaliações, de reflexão sobre o uso dessas avaliações como subsídio às atividades de sala de aula e como subsídio à produção de materiais didáticos inovadores e cursos de formação de professores que incorporem os resultados dessas análises.”

AVALIAÇÕES

DESENVOLVIMENTOSTÉCNICOS

AtenaMEAVALIAÇÕES

PRODUÇÃO DE MATERIAIS DIDÁTICOS

PISA, ENEMProLetramento MatemáticaMateriais Didáticos em Uso

AtenaMEFísica 1

4/25/2016

4

ENEM

Avaliações

três principais finalidades (Black, 1998):

avaliação formativa (elemento essencial em qualquer programa de aprendizagem)

avaliação somativa para revisão, transferência e certificação

(utilizada na certificação do conhecimento adquirido)

avaliação somativa para responsabilidade para com a sociedadeavaliação somativa para responsabilidade para com a sociedade(utilizada para prover evidências que eles promovem a aprendizagem de seus alunos)

o “esforço” necessário para realização desse processo pode deturpar qualquer

afeto que se possa ter por ele.

ENEM

o que se pode fazer com as avaliações de sistemas?

• pode-se negar sua validade

• pode-se utilizá-la para fazer rankings e comparações

• pode-se estudar seus resultados e produzir informações que nos permitam retornar ao sistema, melhorando-o

4/25/2016

5

Políticas públicas:O ENEM constitui-se atualmente do principal mecanismo de acesso ao ensino superior, e está dentro de um

ENEM

contexto em que o acesso a esse ensino vem sendo ampliado e democratizado, em conjunto com a lei das cotas que prevê reserva de vagas para estudantes provenientes de escolas da rede pública.

“high stake assessment”

Di õ t ó i t d ló i Discussões teóricas e metodológicas: Quais são os eixos teóricos e metodológicos do exame?Como é a metodologia de elaboração de questões?Como é obtida a “nota” do aluno (alguns aspectos da Teoria da Resposta ao Item)?

Principalmente

ENEM

o que se aprende sobre “como / o que os alunos aprenderam”

Quais os resultados – o desempenho - dos estudantes nas provas de Ciências da Natureza em 2009, 2010, 2011, 2012 (2013 e 2014)?

O que esse desempenho nos revela sobre a aprendizagem em física no ensino médio?

4/25/2016

6

ENEM

2. O ENEM

colocando alguma ordem em ideias….

aprendizagem: conceito abstrato

avaliações em larga escala

ENEM

1212

W.P.Gonçalves Jr, Dissertação PEF 2012

4/25/2016

7

ENEM

1313

Avaliação educacional em larga escala

- vem se tornando cada vez mais freqüentes, no Brasil e no mundo - o termo “avaliação em larga escala” serve para um conjunto enorme de processos avaliativos, com diferentes objetivos,

ENEM

Para que se avalia, do ponto de vista dos sistemas - para conhecer melhor - e para, com base neste conhecimento, definir possibilidades de correção de rumo e implementação de políticas públicas

políticas de mudanças de rumo

formas, propostas…

- políticas de mudanças de rumo

- políticas de responsabilização?Do ponto de vista acadêmico,

-para conhecer melhor

- para usar os diagnósticos para refletir e melhorar a nossa prática

benefícios versus riscos

4/25/2016

8

Avaliação educacional no Brasil – em larga escala

nacionais (MEC) – no âmbito federal

“O Ministério da Educação acompanha a qualidade do ensino oferecido à população pelas escolas e pelos cursos de graduação.

ENEM

oferecido à população pelas escolas e pelos cursos de graduação. As informações estão disponíveis e, com elas, pais e estudantes podem pressionar os gestores para promover melhorias e ampliar o acesso à sala de aula.”

âmbitos regional e municipal: vários e diversos processos

Índice de Desenvolvimento da Educação Básica

Avaliação educacional no Brasilno âmbito federal: INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

ENEM

ç

SAEB

Prova Brasil

Exame Nacional do Ensino Médio

ENADE/SINAES – Exame Nacional de Desempenho dos Estudantes &

Índices de evasão

Taxa de aprovação(Provinha Brasil)

Sistema Nacional de Avaliação da Educação Superior

Nota EnadeIDD – Indicador de Diferença de Desempenho CPC – Conceito Preliminar de CursoIGC – Indicador Geral de Curso......... ??

4/25/2016

9

Ano Organização Sigla Conteúdos Abordados Países1969-70 IEA FISS Ciências 191983-86 IEA SISS Ciências 171988 ETS IEAP Ciências e Matemática 6

As principais avaliações internacionais de larga escalaENEM

1992 ETS IEAP Ciências e Matemática 201994-95 IEA TIMSS Ciências e Matemática 421999 IEA TIMSS-R Ciências, Matemática 392000 OECD PISA Leitura (ciências/matemática) 392003 IEA TIMSS Ciências e Matemática 482003 OECD PISA Matemática (leitura/ciências) 412006 OECD PISA Ciências (leitura/Matemática) 572007 IEA TIMSS Ciências e Matemática 502009 OECD PISA Leitura (Matemática/Ciências) 652009 OECD PISA Leitura (Matemática/Ciências) 652011 IEA TIMSS Ciências e Matemática 77Legenda: IEA = Associação Internacional para a Avaliação do Desenvolvimento Educacional (InternationalAssociation for the Evaluation of Educational Achievement), ETS = Serviço de Testes Educacionais (EducationalTesting Service), OECD = Organização para Cooperação Econômica e Desenvolvimento (Organization for EconomicCo-Operation and Development), FISS= Primeiro Estudo Internacional em Ciências (First International ScienceStudy), SISS = Segundo Estudo Internacional em Ciências (Second International Science Study), TIMSS=Tendências nos Estudos de Matemática e Ciências (Trends in Mathematics and Science Study), PISA = Programapara Avaliação Internacional dos Estudantes (Programme for International Student Assessment).

Gonçalves Jr. 2012; Britton e Schneider 2007

avaliação de aprendizagem

- é uma forma de mensurar um conceito abstrato, a “aprendizagem”, a partir do estabelecimento de um conceito operacional com variáveis que podem ser medidas

ENEM

Para avaliar a aprendizagem dos alunos, definem-se objetivos, métodos, ...

Quase sempre, são apresentadas aos alunos problemas ou questões, discursivas ou objetivas.

Em geral, é utilizada a chamada “teoria clássica dos testes” para obtenção de um “escore” a nota

operacional com variáveis que podem ser medidas.

1818 W.P.Gonçalves Jr, Dissertação PEF 2012

obtenção de um “escore” – a nota.

4/25/2016

10

ENEM

1919

e voltando ao ponto – o ENEM….

ENEM

2020

4/25/2016

11

Em 2009, o Ministério da Educação, juntamente com reitores das instituições federais de ensino superior

ENEM

reitores das instituições federais de ensino superior, cria o denominado “Novo ENEM”.

Esse exame, modificado em relação ao seu objetivo inicial, serviria como processo de acesso para as recém criadas instituições públicas de ensino superior, e o MEC forneceria um sistema classificatório

2121

e o MEC forneceria um sistema classificatóriounificado no país para as instituições que assim o desejassem, o denominado Sistema de Seleção Unificada – SiSU.

Segundo o documento básico do “Novo ENEM” [MEC/INEP, 2009],

“Até 2008, o Enem era uma prova clássica com 63 questões interdisciplinares, sem articulação direta com os conteúdos

ENEM

ministrados no ensino médio, e sem a possibilidade de comparação das notas de um ano para outro. A proposta é reformular o Enem para que o exame possa ser comparável no tempo e aborde diretamente o currículo do ensino médio. O objetivo é aplicar quatro grupos de provas diferentes em cada processo seletivo, além de redação. O novo exame será composto por perguntas objetivas em quatro áreas do conhecimento: linguagens, códigos e suas tecnologias (incluindo redação); ciências humanas e suas tecnologias; ciências da natureza e

2222

redação); ciências humanas e suas tecnologias; ciências da natureza e suas tecnologias e matemática e suas tecnologias. Cada grupo de testes será composto por até 45 itens de múltipla escolha, aplicados em dois dias. (...) A grande vantagem que o MEC está buscando com o novo Enem é a reformulação do currículo do ensino médio. (...) A proposta é sinalizar para o ensino médio outro tipo de formação, mais voltada para a solução de problemas.” (p. 93)

4/25/2016

12

ENEM

2323

ENEM

2424

4/25/2016

13

ENEM

2525

ENEM

2626

4/25/2016

14

ENEM

2727

ENEM

2828

4/25/2016

15

ENEM

Habilidades (por área) – 30 em CiNat

Obj t d h i t ( á )Objetos de conhecimento (por área)

2929

ENEM

As questões do ENEM

3030

4/25/2016

16

ENEM

3131

ENEM

4/25/2016

17

ENEM

ENEM

4/25/2016

18

ENEM

ENEM

A Teoria da Resposta ao Item e o escore do aluno

A metodologia utilizada pelo ENEM (para obtenção do escore do estudante e análise das questões) é a Teoria da Resposta ao Item.

Esta metodologia vem sendo largamente utilizada, no mundo, desde a década de 70/80, quando tem início a utilização em larga escala de computadores e torna-se mais comum a realização de ajustes matemáticos para modelos

3636

realização de ajustes matemáticos para modelos.

É a metodologia utilizada pelo PISA e pelo SAEB.

4/25/2016

19

ENEM

- psicometria: a medida em ciências sociais (psicologia)

- modelos da psicometria:

TCT – Teoria Clássica dos Testes

o resultado final é a soma das respostas dadas a uma série de itens (fornecendo um escore total); se um teste tem 30 itens (questões), e 1=certo, 0=errado, e há 20 certos, o escore é 20; o foco é o comportamento, ou escore, num teste, constituído de um conjunto de comportamentos

TRI – Teoria da Resposta ao Item

3737

não há interesse num escore total, diretamente; o que se quer saber é a probabilidade de acerto de cada item individualmente, e quais os fatores que afetam esta probabilidade

ENEM

A TRI – Teoria da Resposta ao Item (IRT)

- dois postulados básicos:

(a) o desempenho num item do teste pode ser prevista (ou explicada) ( ) p p p ( p )por um conjunto de fatores denominados traços, traços latentes, ou habilidades;

(b) a relação entre o desempenho em um item e o conjunto de traços que permitem este desempenho no item pode ser descrita pela uma função monotonamente crescente denominada função característica do item ou curva característica do item (ICC, item characteristic curve)

3838

)

A curva característica do item especifica que à medida que a habilidade aumenta, a probabilidade de resposta correta a um item aumenta.

4/25/2016

20

ENEM


A curva característica do item especifica que à medida que a habilidade aumenta, a probabilidade de resposta correta a um item aumenta.

Probabilidade

Habilidade

Curva característica do item para dois grupos 1 e 2 diferentes

3939

Habilidade

ENEM

Interrupção: histograma

2 dados são jogados, e n=soma dos valores obtidos

f(n)

n f(n)2 1/36

3 1/18

4 1/12

5 1/9

6 5/360.10

0.15

0.20

f(n)

4040

7 1/6

8 5/36

9 1/9

10 1/12

11 1/18

12 1/36

1 2 3 4 5 6 7 8 9 10 11 12

n0.00

0.05

4/25/2016

21

ENEM

Interrupção: sobre a distribuição gaussiana

Distribuição de Gauss

( )[ ]1

22

21h

=σf(x)

h2/√π

α2

σ

( ) ( )[ ]22 2/exp2

1)( σσπ

mxxf −−=

4141

x

m

h1/√π

σ2

α1

σ1

ENEM


Interpretação gráfica

( ) ( )∫=b

adxxfb,aP f(x)

4242

x

dx

x a b

4/25/2016

22

ENEM

Interrupção: alguns conceitos básicos de estatística


A probabilidade total que uma medida esteja em algum lugar é evidentemente um; assim, a área total sob a curva deve ser um.

( ) ( )[ ]22 2/exp1)( σmxxf −−=

Em termos da definição de média e desvio padrão, m e σ, a distribuição fica

4343

( ) ( )[ ]p2

)(σπ

f

ENEM


( ) ( )[ ]22 2/exp1)( σmxxf −−= x

f(x)

h1/√π

h2/√π

α2

σ2

α1

σ1

Interrupção: sobre a distribuição gaussiana

( ) ( )[ ]2/exp2

)( σσπ

mxxf =

A distribuição de Gauss pode ser usada para obter a probabilidade que uma medida caia entre quaisquer limites especificados. Em particular, é importante calcular a probabilidade que ela caia a uma distância que seja igual a σ ou múltiplos de seu valor médio.

( ) ( )[ ]m

∫+σ 221

x

m

6830)1(P

4444

( ) ( )[ ]

[ ]dtt

mxP

m

m

m

m

∫

∫+

−

+

−

−=

=−−=

σ

σ

σ

σ

π

σσπ

2

22

exp21

2/exp2

1

σ/)( mxt −= 997.0)3(954.0)2(683.0)1(

===

PPP

4/25/2016

23

ENEM

Interrupção: distribuição gaussiana

Aplicada ao ENEM:f(x)

h1/√π

h2/√π

α2

σ2

9540)2(683.0)1(

==

PP

x

m

h1/√π

α1

σ1997.0)3(954.0)2(

==

PP

A média é normalizada em 500 pontos, e o desvio padrão é normalizado para 100 pontos (em 2009):

68,3% das notas estão entre 400 e 600 pontos (1 desvio

4545

padrão em torno da média);

95,4% das notas estão entre 300 e 700 pontos (2 desvios padrão em torno da média);

99,7% das notas estão entre 200 e 800 pontos (3 desvios padrão em torno da média).

ENEM


A curva característica do item especifica que à medida que a habilidade aumenta, a probabilidade de resposta correta a , p pum item aumenta.

Probabilidade

Habilidade

Curva característica do item para dois grupos 1 e 2 diferentes

4646

Habilidade

4/25/2016

24

Proficiência em Ciências

Todos os países1.0

PROB

PISA (peso: senado)

PISA 2000 - ICC

GREENHOUSE Q3

Curva característica do item – Exemplo de construçãoProbabilidade de acerto do item para um estudante (aleatório) com habilidade conhecida

ENEM

Todos os países

PISA 2000

üênc

ia

400

300

200

100 Std. Dev = 100,63 0.3

0.4

0.5

0.6

0.7

0.8

0.9PISA (peso: senado)

ajuste dados

Proficiência (com peso)

775675

575475

375275

175

Freq

ü

0Mean = 475

N = 2501,08

0 100 200 300 400 500 600 700 800 900 1000WLESCIE

0.0

0.1

0.2

1.0

PROB

PISA (peso: senado)

PISA 2000 - ICC

GREENHOUSE Q3

Curva característica do item Teoria da Resposta ao Item – dois parâmetros

índice de dificuldade b

discriminação

ENEM

0.4

0.5

0.6

0.7

0.8

0.9PISA (peso: senado)

ajuste dados

0 100 200 300 400 500 600 700 800 900 1000WLESCIE

0.0

0.1

0.2

0.3

b

4/25/2016

25

Hipótese: a função característica do item reflete a relação verdadeira entre as variáveis não observáveis

ENEM

(habilidades) e as variáveis observáveis (respostas aos itens). Modelos Populares na TRI- Modelo Logístico de um parâmetro- Modelo Logístico de dois parâmetros

M d l L í ti d t ê â t- Modelo Logístico de três parâmetros

Modelo Logístico de um parâmetro

( ) ( )[ ]( )[ ]

( )[ ] 1expexp

exp11

+θθ

=θ−+

=θy

yy

Pi

( ) bθθ0.4

0.6

0.8

1

ENEM

( ) iby −θ=θ

Pi(θ) é a probabilidade que um examinando escolhido aleatoriamente com habilidade θ responda ao item i corretamente (é um número que varia entre 0 e 1)

0 2 4 6 8 10

0

0.2

corretamente (é um número que varia entre 0 e 1)bi é o parâmetro de dificuldade do item – é o ponto para o

qual a probabilidade de uma resposta correta é 0,5 (e indica a posição da ICC em relação à escala de habilidade)

n é o número de itens do testeEste é o modelo utilizado no PISA.

4/25/2016

26

Modelo Logístico de dois parâmetros( ) ( )[ ]

( )[ ]( )[ ] 1exp

expexp1

1+θ

θ=

θ−+=θ

yy

yPi

( ) ( )bD θθ0.4

0.6

0.8

1

ENEM

( ) ( )ii bDay −θ=θ

0 2 4 6 8 10

0

0.2

Pi(θ) é a probabilidade que um examinando escolhido aleatoriamente com habilidade θ responda ao item i corretamente (é um número que varia entre 0 e 1)

bi é o parâmetro de dificuldade do item – é o ponto para o qual a probabilidade de uma resposta correta é 0,5 (e

D é um fator de escala (considerações estatísticas)ai é o parâmetro de discriminação do item – é proporcional à

inclinação da ICC no ponto bi na escala de habilidades

qual a probabilidade de uma resposta correta é 0,5 (e indica a posição da ICC em relação à escala de habilidade)

n é o número de itens do teste

0 6

0.7

0.8

0.9

1.0

PROB

DAYLIGHT - Q1 PISA BRAZIL JAPAN UNITED KINGDOM

PISA 2000 - ICC

ENEM

0 100 200 300 400 500 600 700 800 900 1000WLESCIE

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

PROB

DAYLIGHT - Q2 PISA BRAZIL JAPAN PORTUGAL UNITED KINGDOM

PISA 2000 - ICC

0 100 200 300 400 500 600 700 800 900 1000WLESCIE

0.0

0.1

0.2

0.3

0.4

0.5

0.6

4/25/2016

27

Modelo Logístico de três parâmetros

( ) ( )[ ]θ−+−

+=θy

ccP ii exp11

ENEM

( )[ ]yp

ci é incorporado ao modelo para levar em conta o desempenho no nível mais baixo do contínuo de habilidades, onde o “chute” é um fator em desempenhos

ni ,,2,1 K=

( ) iby −θ=θ

, pem itens de testes de múltipla escolha (parâmetro de “pseudo azar”).

Tipicamente, ci deve assumir valores menores do que o valor resultante de uma escolha aleatória do item.

Este é o modelo utilizado no ENEM.

AtenaME, UFRJ[Barroso 2015, não

4/25/2016

28

ENEM

3 RESULTADOS (atuais) 3. RESULTADOS (atuais)

um recorte de muitos dados e informações...

ENEM

Wanderley P. Gonçalves Jrdissertação em 2012, análise (qualitativa e quantitativa) das

provas de 2009 e 2010José Christian Lopes

dissertação em 2015, análise da prova de 2011Bruno Rinaldi

dissertação em andamento, prova de 2013Gustavo Rubini

tese em andamento – TRI e análises globais

Revista Brasileira de Ensino de Física, 2014

4/25/2016

29

ENEM

Estudo das características qualitativas da provaEstudo das características qualitativas da prova

Estudo dos dados quantitativos dos estudantes

Combinação das duas informações

5757

ENEM

4/25/2016

30

Distribuição percentual dos candidatos por gênero

Participantes Concluintes2009 2010 2009 2010

ENEM

Feminino 60,2% 59,4% 60,6% 60,2%Masculino 39,8% 40,6% 39,4% 39,8%

Distribuição percentual das respostas relativas à dependência administrativa da escola em que cursou o ensino médio

Participantes Concluintes2009 2010 2009 20102009 2010 2009 2010

Federal 0,8% 0,6% 1,7% 1,7%Estadual 30,5% 25,8% 75,0% 75,5%Municipal 0,7% 0,5% 1,6% 1,4%Privada 10,5% 7,3% 21,7% 21,4%Não Informado 57,5% 65,9% 0,0% 0,0%

ENEM 2009Enem 2009 - Ciências da NaturezaConcluintes

150000

Enem 2009 - Ciências da NaturezaConcluintes

150000

ENEM

50000

100000

150000

Freq

uênc

ia

50000

100000

150000

Freq

uênc

ia

média:

2992497 .. ±( )2143

55215....

±±

0 200 400 600 800 1000Nota da prova de Ciências da Natureza

0

10 20 30 40Total de acertos Ciências da Natureza

0

média:

4/25/2016

31

Correlação (0.93)

ENEM

250000

Enem 2010 - Ciências da Natureza

Concluintes

ENEM 2010ENEM

Freq

uênc

ia

300000

200000

100000

0

50000

100000

150000

200000

Freq

uênc

ia

Total de acertos em Ciências da Natureza

4540

3530

2520

1510

50

F 0

0 200 400 600 800 1000

Nota da prova de Ciências da Natureza

6814481 .. ±( )3113

75014....

±±

média: média:

4/25/2016

32

ENEM 2011ENEM

9850461 .. ±( )2113

65014....

±±

média: média:

ENEM

A nota na prova de Matemática segundo a TRI, para os concluintes do Enem 2010.

100000

80000

A nota na prova de Matemática segundo a TRI, para os concluintes do Enem 2009.

120000

100000

80000

Nota da prova de Matemática

925825

725625

525425

325

Freq

uênc

ia

60000

40000

20000

0

A nota na prova de Matemática segundo a TCT, para os concluintes do Enem 2009.

Nota da prova de Matemática

950850

750650

550450

350

Freq

uênc

ia

60000

40000

20000

0

300000

A nota na prova de Matemática segundo a TCT, para os concluintes do Enem 2010.

6464Total de acertos na prova de Matemática

4540

3530

2520

1510

50

Freq

uênc

ia

400000

300000

200000

100000

0

Total de acertos na prova de Matemática

4540

3530

2520

1510

50

Freq

uênc

ia

300000

200000

100000

0

4/25/2016

33

ENEM 2012

ENEM

Enem 2009 Enem 2010 Enem 2011Enem 2012

Escore Médio TRI 501,1 485,0 466,5 473,0

ENEM

Desvio Padrão TRI 98,5 81,2 85,1 79,9Mínimo TRI 263,3 297,3 265,0 315,8Máximo TRI 903,2 837,6 867,2 847,6Escore Médio TCT 3,4 3,2 3,2 3,0Desvio Padrão TCT 1,2 1,3 1,3 1,3Mínimo TCT 0,0 0,0 0,0 0,0Máximo TCT 10,0 9,8 9,8 9,8

Número de estudantes 863.018 1.059.227 1.268.791 1.278.394

4/25/2016

34

Diferenças por tipo de escola

Tipo de escola (sistema)

ENEM

Tipo de escola (sistema)(%) 2009 2010 2011 2012

Federal 1.7 1.7 1.7 1.9Estadual 75.0 75.5 76.4 74.9Munic. 1.6 1.4 1.2 1.1Privada 21 7 21 4 20 6 22 1Privada 21.7 21.4 20.6 22.1Total 100.0 100.0 99.9 100.0

Escore TRI Prova de Ciências da Natureza


ENEM

Escore TRI – Prova de Ciências da Natureza

2009 2010 2011 2012Federal 599.9 ± 93.2 565.0 ± 78.4 546.9 ± 84.7 552.9 ± 82.1Estadual 472.2 ± 83.8 460.9 ± 69.7 439.8 ± 72.2 448.2 ± 64.4Municipal 480.3 ± 87.2 471.6 ± 73.1 455.0 ± 76.4 461.6 ± 70.4Privada 579.4 ± 100.3 547.8 ± 81.5 534.0 ± 88.9 536.5 ± 85.3Todos 497 2 ± 99 2 481 4 ± 81 6 461 0 ± 85 9 470 0 ± 79 8Todos 497.2 ± 99.2 481.4 ± 81.6 461.0 ± 85.9 470.0 ± 79.8

4/25/2016

35

Nota TCC – Ciências da Natureza

2009 2010 2011 2012Federal 21.1 ± 6.0 20.5 ± 6.5 20.2 ± 6.6 19.3 ± 7.3State 13.8 ± 4.4 13.0 ± 4.5 12.7 ± 4.3 11.6 ± 4.0City 14.2 ± 4.6 13.7 ± 4.8 13.7 ± 4.8 12.4 ± 4.6Private 19.9 ± 6.2 19.0 ± 6.6 19.1 ± 6.7 17.9 ± 7.2All 15.2 ± 5.5 14.0 ± 5.7 14.0 ± 5.6 13.0 ± 5.7

Nota TCC – Ciências da Natureza – de 0 a 10

2009 2010 2011 2012Federal 4.7 ± 1.3 4.7 ± 1.4 4.5 ± 1.5 4.3 ± 1.6State 3.1 ± 1.0 2.9 ± 1.0 2.8 ± 1.0 2.6 ± 1.0City 3.2 ± 1.0 3.0 ± 1.1 3.0 ± 1.1 2.8 ± 1.0Private 4.4 ± 1.4 4.2 ± 1.5 4.2 ± 1.5 4.0 ± 1.6All 3.4 ± 1.2 3.1 ± 1.3 3.1 ± 1.2 2.9 ± 1.3

Estudantes da rede federal (1.7% do total) têm d h i ifi ti t lh


ENEM

desempenho significativamente melhor.Escolas estaduais (75% do total) têm desempenho pior.

Há impacto, favorável às escolas federais.Algumas questões também apresentam DIF, que pode ser

li d l t úd d it (f á l d f á l)explicado pelo conteúdo do item (favorável e desfavorável)

Escolas privadas (20%) apresentam desempenho melhor que as estaduais e pior que as federais.

4/25/2016

36

80

100 ENEM 2009 Prova de Ciências da Natureza

Percentual de acertos - Concluintes

ENEM

40

60

Perc

entu

al d

e ac

erto

média (33,9%)

01 03 05 07 09 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45Número da questão - Prova Azul

0

20

80

100 ENEM 2010 Prova de Ciências da Natureza

Percentual de acertos - Concluintes

ENEM

40

60

Perc

entu

al d

e ac

erto

média (32,0%)

46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80 82 84 86 88 90Número da questão - Prova Azul

0

20

4/25/2016

37

ENEM

7373

e agora – as questões de física no ENEM

4/25/2016

38

0 7

0.8

0.9

1

o

ENEM 2009 - Ciências da NaturezaICC - questão 17 (prova azul)

200 300 400 500 600 700 800 900Nota - CiNat

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Perc

entu

al d

e ac

ert

dados - concluintes ajuste - R

4/25/2016

39

passos cognitivos: lembrar (a expressão para aceleração centrípeta), calcular a velocidade (distância / intervalo de tempo) mudar unidades (horas e minutos/ intervalo de tempo), mudar unidades (horas e minutos para segundos), compreender (máxima aceleração 1 m/s2), e manipulação algébrica

este assunto está presente em praticamente todos os livros didáticos do país

quantitativa, exigindo conhecimento disciplinar, raciocínio lógico, …

é uma questão muito difícil

Análise qualitativa• A questão 17 foi, então, aplicada a diferentes estudantes com

características similares às dos estudantes que prestam o ENEM: cinco grupos de alunos, três compostos por alunos concluindo o ensino médio, pertencentes às redes privada, federal e estadual , p p ,de ensino, e os outros dois compostos por alunos cursando o primeiro ano de uma Universidade federal.

(Lucas Duarte, TCC Licenc. Física, 2013)

Respostas Grupo 1 Grupo 2 Grupo 3 Grupo 4 Grupo 5 Total

A 8,9 12,5 3,5 21,8 3,9 9,7

B 2,2 43,8 9,4 16,4 11,5 12,3

C 2,2 25 16,5 12,7 7,7 12,3

D 4,4 0 7,1 10,9 3,9 6,6

E 60 0 48,2 20 34,6 38,8

Não Concluíram

22,2 18,8 15,3 18,2 38,5 20,3

Distribuição de respostas em percentagem dos alunos para o item 17.

4/25/2016

40

[J.C. Lopes 2015]

ENEM 2011 - Ciências da Natureza (Física) - Percentual de Escolha das Alternativas - Concluintes do Ensino Médio

Alternativa 46 54 56 60 63 66 67 70 73 74 77 78 80 84 86tivaA 29,212,538,116,312,516,113,624,914,723,217,625,817,425,4 9,9B 26,517,1 5,9 20,026,011,429,0 6,5 23,317,314,116,715,826,112,9C 13,036,128,022,418,325,620,227,722,124,923,818,723,512,143,8D 19,722,9 6,7 26,214,324,420,734,229,610,328,311,021,221,712,1E 11,210,821,014,628,422,016,0 6,3 9,8 23,815,627,321,514,120,7

Branco 0,2 0,4 0,2 0,4 0,2 0,3 0,3 0,3 0,5 0,4 0,4 0,3 0,4 0,4 0,4Inválido 0,1 0,1 0,2 0,1 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2

[Lopes, Rubini, Massunaga, Barroso2015]

TOTAL 100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

100,0

4/25/2016

41

Curvas Características dos ItensQuestões de Física (CN), ENEM 2011Concluintes (numeração: prova azul)- modelo de 3 parâmetros (R, ltm)- empírica (todos, federais)

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

1.00

Fraç

ão d

as r

espo

stas

cor

reta

sempíricoajuste TRI

Curva Característica do ItemEnem 2011 CN - 46

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

1.00

Fraç

ão d

as r

espo

stas

cor

reta

s

empíricoajuste TRI


0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

1.00

Fraç

ão d

as r

espo

stas

cor

reta

s

empíricoajuste TRI

Curva Característica do Item Enem 2011 CN - 56

1.00empírico


1.00empírico


1.00empírico


1.00empírico


0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

Fraç

ão d

as r

espo

stas

cor

reta

s

ajuste TRI

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

Fraç

ão d

as r

espo

stas

cor

reta

s

ajuste TRI

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

Fraç

ão d

as r

espo

stas

cor

reta

s

ajuste TRI

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

0.80

Fraç

ão d

as r

espo

stas

cor

reta

s

ajuste TRI

0.80

1.00

etas

empíricoajuste TRI


0.80

1.00

etas

empíricoajuste TRI


0.80

1.00

etas

empíricoajuste TRI


0.80

1.00

etas

empíricoajuste TRI


0.40

0.60

0.80

1.00

ão d

as r

espo

stas

cor

reta

s

empíricoajuste TRI


0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

Fraç

ão d

as r

espo

stas

cor

re

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

Fraç

ão d

as r

espo

stas

cor

re

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

Fraç

ão d

as r

espo

stas

cor

re

0 200 400 600 800 1000escore TRI

0.00

0.20

0.40

0.60

Fraç

ão d

as r

espo

stas

cor

re

0.40

0.60

0.80

1.00

ão d

as r

espo

stas

cor

reta

s

empíricoajuste TRI


0.40

0.60

0.80

1.00

ão d

as r

espo

stas

cor

reta

s

empíricoajuste TRI


0.40

0.60

0.80

1.00

ão d

as r

espo

stas

cor

reta

s

empíricoajuste TRI


0 200 400 600 800 1000escore TRI

0.00

0.20Fraç

ã

0 200 400 600 800 1000escore TRI

0.00

0.20Fraç

ã

0 200 400 600 800 1000escore TRI

0.00

0.20Fraç

ã

0 200 400 600 800 1000escore TRI

0.00

0.20Fraç

ã

4/25/2016

42

4/25/2016

43

Gonçalves Jr. 2012

O perfil desse exame que emerge da análise: itens predominantemente qualitativos, extensos e contextualizados.

Gonçalves Jr. - Conclusões

Os itens podem ser associados a mais de uma habilidade (unidimensionalidade na TRI ?);Distribuição não homogênea dos objetos de conhecimento nos itens (currículos do ensino médio);Questões que envolvem raciocínios quantitativos apresentam percentuais de acerto menores;Itens que possuem exigência de conhecimento especifico de física tem percentuais de acertos menores;

4/25/2016

44

Dificuldades:- questões que envolvem resolução de problemas (mais de um passo cognitivo)

tõ l d í i d

Inferências

- questões que envolvem domínio de atividades práticas-questões que envolvem raciocínioquantitativo- questões que envolvem linguagem nãoverbalverbal- questões que exigem compreensãoconceitual profunda- professores com dificuldades similares

4/25/2016

45

Conclusões

O Enem permite um diagnóstico um pouco melhor do que está acontecendo com o processo de aprendizagem em física no ensino médio.

E há muito trabalho pela frente ainda…

ReferênciasP. Black. Testing: Friend or Foe? Theory and Practice of Assessmentand Testing. RoutledgeFalmer, 1998.W.P. Gonçalves Jr. Avaliações em Larga Escala e o Professor de Física. Dissertação, IF-UFRJ, 2012 (www.if.ufrj.br/pef/producao_academica/dissertacoes.html)E Babbie Métodos de pesquisas de Survey Tradução de GuilhermeE. Babbie, Métodos de pesquisas de Survey. Tradução de Guilherme Cezarino, Belo Horizonte: Ed. UFMG, 1999. E.D. Britton e S.A. Schneider, Large-Scale Assessments. In S.K. Abell e N.G. Lederman, Handbook of Research on Science Education. Laurence Erlbaum Associates, 2007.R. K. Hambleton, H. Swaminathan, H.J. Rogers. Fundamentals of Item Response Theory. Sage Publications, 1991.W P G l J M F B A tõ d Fí iW.P. Gonçalves Jr e M.F. Barroso. As questões de Física e o desempenho dos estudantes no Enem. Revista Brasileira de Ensino de Física, 2014.J. C. Lopes. As questões de física do Enem 2011. Dissertação, IF-UFRJ, 2015.J.C. Lopes, G. Rubini, M.S.O. Massunaga, M. F. Barroso, Estudo das questões de física do Enem 2011. Simpósio da ABAVE 2015.

4/25/2016

46

Obrigada.

[email protected]/~martawww if ufrj br/pefwww.if.ufrj.br/pef

Ensino de Física: o Enem e a aprendizagem ao final do...

Documents

Transcript of Ensino de Física: o Enem e a aprendizagem ao final do...