PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para...

37
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS Programa de Pós-Graduação em Ensino de Ciências e Matemática ENADE PARA A LICENCIATURA EM FÍSICA Guia de orientação para professores João Paulo de Castro Costa Maria Inês Martins Belo Horizonte 2013

Transcript of PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para...

Page 1: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS Programa de Pós-Graduação em Ensino de Ciências e Matemática

ENADE PARA A LICENCIATURA EM FÍSICA

Guia de orientação para professores

João Paulo de Castro Costa Maria Inês Martins

Belo Horizonte 2013

Page 2: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

SUMÁRIO

Apresentação ............................................................................................................................. 3 Contextualização ....................................................................................................................... 4 Matriz de Referência ... ............................................................................................................. 6 Taxonomia de Bloom Revisada ................................................................................................ 18 Considerações Finais ................................................................................................................ 35 Referências ............................................................................................................................... 37

Page 3: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

APRESENTAÇÃO

Trata-se de um guia de orientação para professores de Cursos de Licenciatura em Física

sobre a complexidade do Exame Nacional de Desempenho dos Estudantes (ENADE) aplicados

nos anos 2005, 2008 e 2011.

Cada questão foi classificada e alocada na matriz de referência levando em conta o

aspecto do perfil profissional avaliado e o recurso (habilidade e competência) o estudante deve

mobilizar para resolvê-la. Através dos relatórios síntese divulgados pelo MEC avaliou-se o

índice de facilidade apresentado em cada questão do exame.

Consta do produto educacional a construção das Matrizes de Referência do ENADE

MR05, MR08 e MR11, bem como a superposição destas matrizes em um gráfico de densidade.

O produto educacional contém também a análise das questões do ENADE à luz da Taxonomia

Revisada de Bloom. Os itens de Prova foram alocados em Tabela Bidimensional que cruza

dimensões do conhecimento (efetivo/factual, conceitual, procedural e metacognitivo) com a

dimensão do processo cognitivo (lembrar, entender, aplicar, analisar, avaliar e criar).

Page 4: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

CONTEXTUALIZAÇÃO

O ENADE ancora-se nas Diretrizes Curriculares Nacionais (DCN) para a

Formação de Professores, Res. CNE/CP 1/2002 (BRASIL, 2002a) e para a área de

Física, Res. CNE/CES 9/2002 (BRASIL, 2002b). Destacam-se nas DCN: o perfil

esperado dos egressos, as capacidades/recursos (competências e habilidades) a

serem desenvolvidas, bem como os objetos de conhecimento (conteúdos) a serem

explorados durante a formação dos alunos.

A Res. CNE/CES 9/2002 (BRASIL, 2002b) estabelece as Diretrizes Curriculares

para os cursos de Bacharelado e Licenciatura em Física, resolvendo nos parágrafos 1˚

e 2˚ que as DCN devem orientar a formulação do Projeto Pedagógico do Curso (PPC),

o qual deve explicitar, dentre outros aspectos, as competências e habilidades – gerais

e específicas – a serem adquiridas pelo aluno no decorrer do curso.

As Diretrizes Curriculares Nacionais (DCN) do curso de Física preconizam

currículos que contemplem maior flexibilidade, de forma que seus egressos possam ter

mais opções de inserção no mercado. Aproximadamente metade da carga horária

deve ser distribuída em um núcleo básico e a outra metade em disciplinas específicas

que definirão a ênfase do curso, seja Licenciatura ou Bacharelado. (BRASIL, 2001)

“O físico, seja qual for sua área de atuação, deve ser um profissional que, apoiado em conhecimentos sólidos e atualizados em Física, deve ser capaz de abordar e tratar problemas novos e tradicionais e deve estar sempre preocupado em buscar novas formas do saber e do fazer científico ou tecnológico. Em todas as suas atividades a atitude de investigação deve estar sempre presente, embora associada a diferentes formas e objetivos de trabalho.” (BRASIL, 2001, p.3)

As DCN orientam a formação de um curso de Licenciatura ou Bacharelado em

Física, de forma a contemplar o perfil profissional almejado, as competências e as

habilidades a serem adquiridas pelo estudante durante sua formação. Nessa

perspectiva, o documento enuncia cinco competências essenciais para os profissionais

graduados em Física:

1. Dominar princípios gerais e fundamentos da Física, estando familiarizado com suas áreas clássicas e modernas; 2. Descrever e explicar fenômenos naturais, processos e equipamentos tecnológicos em termos de conceitos, teorias e princípios físicos gerais; 3. Diagnosticar, formular e encaminhar a solução de problemas físicos, experimentais ou teóricos, práticos ou abstratos, fazendo uso dos instrumentos laboratoriais ou matemáticos apropriados; 4. Manter atualizada sua cultura científica geral e sua cultura técnica profissional específica; 5. Desenvolver uma ética de atuação profissional e a consequente responsabilidade social, compreendendo a Ciência como conhecimento

Page 5: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

histórico, desenvolvido em diferentes contextos sócio-políticos, culturais e econômicos.

(BRASIL, 2001, p.4)

As competências desenvolvidas estão diretamente ligadas às habilidades que

deverão ser adquiridas pelo estudante no decorrer do curso, independente da área de

atuação escolhida. Constam das DCN:

1. Utilizar a matemática como uma linguagem para a expressão dos fenômenos naturais; 2. Resolver problemas experimentais, desde seu reconhecimento e a realização de medições, até à análise de resultados; 3. Propor, elaborar e utilizar modelos físicos, reconhecendo seus domínios de validade; 4. Concentrar esforços e persistir na busca de soluções para problemas de solução elaborada e demorada; 5. Utilizar a linguagem científica na expressão de conceitos físicos, na descrição de procedimentos de trabalhos científicos e na divulgação de seus resultados; 6. Utilizar os diversos recursos da informática, dispondo de noções de linguagem computacional; 7. Conhecer e absorver novas técnicas, métodos ou uso de instrumentos, seja em medições, seja em análise de dados (teóricos ou experimentais); 8. Reconhecer as relações do desenvolvimento da Física com outras áreas do saber, tecnologias e instâncias sociais, especialmente contemporâneas; 9. Apresentar resultados científicos em distintas formas de expressão, tais como relatórios, trabalhos para publicação, seminários e palestras.

(BRASIL, 2001, p.4)

As DCN incluem ainda, como habilidades específicas da Licenciatura:

1. O planejamento e o desenvolvimento de diferentes experiências didáticas em Física, reconhecendo os elementos relevantes às estratégias adequadas; 2. A elaboração ou adaptação de materiais didáticos de diferentes naturezas, identificando seus objetivos formativos, de aprendizagem e educacionais;

(BRASIL, 2001, p.5)

Observa-se a preocupação das DCN com a vivência do graduado em Física

com a prática de laboratório; o uso de equipamentos de informática; a pesquisa

bibliográfica, sabendo identificar e localizar fontes de informação relevantes; a leitura

de textos básicos com conceitos fundamentais de Física e ciências; a elaboração de

artigo ou monografia, de modo a sistematizar suas ideias e seus conhecimentos e no

caso da Licenciatura, participar da elaboração e desenvolvimentos de atividades

relacionadas ao ensino. Para verificar o cumprimento das Diretrizes no âmbito dos

cursos de graduação foram criados mecanismos de avaliação, regulados pela Portaria

40/2007, republicada em 2010, que em seu artigo 33-D, 1º e 2º afirma:

O ENADE será realizado pelo INEP, sob a orientação da CONAES, e contará com o apoio técnico de Comissões Assessoras de Área... O INEP constituirá um banco de itens, elaborados por um corpo de especialistas, conforme orientação das Comissões Assessoras de Área, para composição das provas do ENADE. (BRASIL, 2011, p.12)

Page 6: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

O ENADE para os cursos de Física foi aplicado pela primeira vez no ano de

2005. O Exame contém de 10 (dez) itens (questões) de formação geral, sendo 07

(sete) itens objetivos e 03 (três) discursivos. Nos conteúdos específicos, constavam 20

(vinte) itens comuns para ambos os cursos (licenciatura e bacharelado) sendo 17

(dezessete) itens objetivos e 03 (três) discursivos. Para as áreas específicas, 10 (dez)

itens para cada uma (licenciatura e bacharelado), separadamente, sendo 08 (oito)

objetivos e 02 (dois) discursivos. No exame de 2008, foram propostos 19 (dezenove)

itens objetivos para o núcleo específico comum e 01 (um) item discursivo, seguindo o

mesmo padrão de 2005 para os itens da licenciatura. O último exame, aplicado em

2011, avaliou 17 (dezessete) itens objetivos no núcleo específico comum e 10 (dez)

itens objetivos na prova para a Licenciatura, sendo que os 03 (três) itens discursivos

avaliados na prova deveriam ser resolvidos por todos os estudantes. A tabela 1 a

seguir, apresenta os itens avaliados nos três exames:

Tabela 1 – Itens do conteúdo específico do ENADE pa ra a Licenciatura

ENADE Núcleo Comum

(Bacharelado/Licenciatura) Licenciatura Total

Objetivas Discursivas Objetivas Discursivas Objetivas Discursivas Total 2005 17 03 08 02 25 05 30 2008 19 01 08 02 27 03 30 2011 17 03 10 00 27 03 30

TOTAL 53 07 26 04 79 11 90 Fonte: Dados da pesquisa

A estrutura da prova do ENADE consubstancia-se nas Diretrizes Curriculares

Nacionais (DCN) para os cursos graduação e, especificamente neste trabalho, as DCN

dos cursos de Licenciatura em Física. Destacam-se nas DCN: o perfil esperado dos

alunos egressos e as competências e habilidades a serem desenvolvidas, bem como

os objetos de conhecimento estruturados em núcleos de conteúdos.

MATRIZ DE REFERÊNCIA

Os exames de larga escala como o ENEM (Exame Nacional do Ensino Médio),

ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos)

e PISA (Program for Internacional Student Assessment), tem seus itens estruturados

em matrizes de referência (MR) por vezes denominadas matrizes de competência ou

matrizes de especificação. Para tais exames, as MR são públicas.

Cada questão foi classificada e alocada na matriz de referência levando em

conta o aspecto do perfil profissional avaliado e o recurso (habilidade e competência) o

estudante deve mobilizar para resolvê-la. Através dos relatórios síntese divulgados

pelo MEC avaliou-se o índice de facilidade apresentado em cada questão do exame.

Page 7: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

A partir das portarias do Inep de 2005 (BRASIL, 2005), 2008 (BRASIL, 2008) e

2011 (BRASIL, 2011) construímos as matrizes MR05, MR08 e MR11, que permitem a

localização dos itens de prova dos respectivos Exames (2005, 2008 e 2011).

Após a análise e comparação das três “bonecas de matrizes” construídas,

observa-se grande proximidade dos aspectos do perfil profissional e dos recursos

avaliados. Optou-se por trabalhar com apenas uma estrutura de matriz, pautada no

ENADE 2011, por ser mais completa e contemplar os aspectos do perfil profissional e

capacidades suficientes para classificar os itens das três provas, possibilitando a

comparação e a superposição das provas.

Para a elaboração das matrizes de referências MR05, MR08 e MR11, foi

necessário entender a complexidade da prova, estudar as portarias que norteiam o

exame, assim como os manuais de cada ano. Para os itens das matrizes MR05, MR08

e MR11, a classificação índice de facilidade foi retirada dos relatórios síntese das

provas [(BRASIL, 2007), (BRASIL, 2010) e (BRASIL, 2013)]. O relatório classifica os

itens segundo o índice de facilidade da seguinte forma: se mais que 86% dos

estudantes acertaram o item, este é classificado como muito fácil; se o percentual de

acertos encontra-se entre 61% e 85% o item é classificado como fácil; entre 41% e

60% de acertos classificam-se os itens como médio. Para itens que tiveram percentual

de acerto entre 16% e 40% a classificação é difícil e para percentuais de acertos

abaixo de 15% o item foi classificado como muito difícil.

As portarias do ENADE norteiam a elaboração da prova. Nelas, além dos

recursos e perfis avaliados nos itens, são encontrados os conteúdos curriculares que a

prova tomará como referência para a elaboração de seus itens. A Portaria Normativa

219/2011 (BRASIL, 2011) traz os conteúdos Gerais e Específicos, denominados

objetos de conhecimento, resumidos para a Licenciatura no quadro 1:

Quadro 1 – Sigla x Objeto de Conhecimento Sigla Objeto de Conhecimento

Con

teúd

os

Ger

ais

Ga Evolução das Ideias da Física Gb Mecânica Gc Termodinâmica Gd Eletricidade e Magnetismo Ge Física Ondulatória e Óptica Física Gf Física Moderna Gg Estrutura da Matéria

Con

teúd

os

Esp

ecífi

cos

da

Lice

ncia

tura

La Fundamentos históricos, filosóficos e sociológicos da Física e o ensino da Física

Lb Políticas educacionais e o ensino de Física

Lc Resolução de problemas e a organização curricular para o ensino da Física

Ld Metodologia do ensino de Física Fonte: Dados da pesquisa

Feita a classificação com relação ao aspecto do perfil profissional e o recurso

requerido para a resolução do item passamos para a classificação dos conteúdos. Os

Page 8: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

itens avaliados serão nomeados com a seguinte sigla “NÚMERO DO ÍTEM” “TIPO DE

ITEM – O(Objetivo)/D(Discursivo)” “CONTEÚDO – G(Geral)L(Específico para a

Licenciatura)” “OBJETO DO CONHECIMENTO AVALIADO”. Por exemplo: 25OLa –

Item 25 Objetivo do conteúdo específico de Licenciatura com o objeto de

conhecimento (a): “Fundamentos históricos, filosóficos e sociológicos da Física e o

ensino da Física”. A cor hachurada representa o índice de facilidade do item, sendo o

item classificado como fácil na cor verde, o item médio na cor amarela e o item com a

classificação difícil na cor vermelha. Os itens sem hachura foram anulados,

impossibilitando sua classificação quanto ao índice de facilidade.

Apresentam-se, nos quadros 2, 3 e 4, as matrizes de referência MR05, MR08 e

MR11, respectivamente, nas quais os aspectos do perfil profissional esperado estão

identificados de P1 a P11 e os recursos R1 a R10 são habilidades e competências

gerais dos estudantes egressos do curso de Física e de R11 a R17 são os recursos

específicos para os graduandos em Licenciatura em Física. Nas matrizes estão

alocados os itens do ENADE 2005, 2008 e 2009 para a Licenciatura em Física.

Quadro 2 – MR05 – Itens do ENADE 2005 na Matriz do ENADE 2011 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11

ASPECTO DO PERFIL PROFISSIONAL

RECURSOS (Competências/Habilidades) D

om

inar

in

stru

men

tos

con

ceit

uai

s (m

od

elo

s e

teo

rias

),

de

mo

do

a

op

erac

ion

aliz

á-lo

s n

os

div

erso

s âm

bit

os

de

suas

prá

tica

s p

rofi

ssio

nai

s;

Po

ssu

ir

cap

acid

ade

de

abst

raçã

o

e d

e m

od

elag

em

de

fen

ôm

eno

s

uti

lizan

do

a li

ngu

agem

mat

emát

ica

na

med

ida

do

nec

ess

ário

Ter

exp

eriê

nci

a la

bo

rato

rial

e c

om

pu

taci

on

al;

Rec

on

hec

er a

imp

ort

ânci

a d

a Fí

sica

par

a o

des

envo

lvim

ento

de

área

s af

ins

e co

mp

reen

der

a r

elev

ânci

a d

e tr

abal

ho

s in

terd

isci

plin

ares

;

Po

ssu

ir v

isão

ab

ran

gen

te d

o p

apel

da

Ciê

nci

a en

qu

anto

ele

men

to b

ásic

o

de

des

envo

lvim

ento

do

paí

s;

Man

ter

um

a é

tica

de

atu

ação

pro

fiss

ion

al e

de

resp

on

sab

ilid

ade

soci

al;

Co

mp

reen

der

a

Ciê

nci

a co

mo

p

roce

sso

h

istó

rico

, d

esen

volv

ido

em

dif

eren

tes

con

text

os

sóci

o-p

olít

ico

s, c

ult

ura

is e

eco

mic

os

Esta

r ap

to a

div

ulg

ar a

Ciê

nci

a p

ara

tod

a a

soci

edad

e.

Ser

cap

az d

e re

aliz

ar p

esq

uis

as b

iblio

gráf

ica

em li

vro

s, p

erió

dic

os

e b

anco

s

de

dad

os.

An

alis

ar c

riti

cam

ente

o c

on

hec

imen

to c

ien

tífi

co e

seu

s m

od

os

de

pro

du

ção

An

alis

ar c

riti

cam

ente

a c

on

trib

uiç

ão d

o c

on

hec

imen

to f

ísic

o n

a fo

rmaç

ão

de

ind

ivíd

uo

s e

no

exe

rcíc

io d

a ci

dad

ania

Comuns ao Bacharelado e à Licenciatura

R1

Demonstração do domínio dos princípios e conceitos básicos da Física;

25OLa

17OGa 22OGf 24OGf

R2 Utilização da linguagem científica na expressão de conceitos físicos e na descrição da natureza;

R3

Planejamento e realização de experimentos e medições bem como a interpretação dos resultados decorrentes

20OGe

23OGf

R4 Utilização dos elementos básicos da Instrumentação Científica na realização de experimentos de Física

R5

Representação e interpretação de propriedades físicas em gráficos

13OGc

09OGb 15OGd 16OGd 21OGf

R6

Compreensão da utilização, das possibilidades e dos limites do método experimental, avaliando a qualidade de dados, formulando modelos e identificando seus domínios de validade

Page 9: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11

ASPECTO DO PERFIL PROFISSIONAL

RECURSOS (Competências/Habilidades) D

om

inar

in

stru

men

tos

con

ceit

uai

s (m

od

elo

s e

teo

rias

),

de

mo

do

a

op

erac

ion

aliz

á-lo

s n

os

div

erso

s âm

bit

os

de

suas

prá

tica

s p

rofi

ssio

nai

s;

Po

ssu

ir

cap

acid

ade

de

abst

raçã

o

e d

e m

od

elag

em

de

fen

ôm

eno

s

uti

lizan

do

a li

ngu

agem

mat

emát

ica

na

med

ida

do

nec

ess

ário

Ter

exp

eriê

nci

a la

bo

rato

rial

e c

om

pu

taci

on

al;

Rec

on

hec

er a

imp

ort

ânci

a d

a Fí

sica

par

a o

des

envo

lvim

ento

de

área

s af

ins

e co

mp

reen

der

a r

elev

ânci

a d

e tr

abal

ho

s in

terd

isci

plin

ares

;

Po

ssu

ir v

isão

ab

ran

gen

te d

o p

apel

da

Ciê

nci

a en

qu

anto

ele

men

to b

ásic

o

de

des

envo

lvim

ento

do

paí

s;

Man

ter

um

a é

tica

de

atu

ação

pro

fiss

ion

al e

de

resp

on

sab

ilid

ade

soci

al;

Co

mp

reen

der

a

Ciê

nci

a co

mo

p

roce

sso

h

istó

rico

, d

esen

volv

ido

em

dif

eren

tes

con

text

os

sóci

o-p

olít

ico

s, c

ult

ura

is e

eco

mic

os

Esta

r ap

to a

div

ulg

ar a

Ciê

nci

a p

ara

tod

a a

soci

edad

e.

Ser

cap

az d

e re

aliz

ar p

esq

uis

as b

iblio

gráf

ica

em li

vro

s, p

erió

dic

os

e b

anco

s

de

dad

os.

An

alis

ar c

riti

cam

ente

o c

on

hec

imen

to c

ien

tífi

co e

seu

s m

od

os

de

pro

du

ção

An

alis

ar c

riti

cam

ente

a c

on

trib

uiç

ão d

o c

on

hec

imen

to f

ísic

o n

a fo

rmaç

ão

de

ind

ivíd

uo

s e

no

exe

rcíc

io d

a ci

dad

ania

R7

Reconhecimento das relações do desenvolvimento histórico e conceitual da Física com outras áreas do saber, com as diversas tecnologias e com diferentes instâncias sociais;

26OLa

R8 Realização de estimativas numéricas de fenômenos naturais;

14OGc

R9

Aplicação dos conhecimentos básicos da Física à solução de problemas

18OGe 19OGe

08OGb 11OGb 12OGc 04DGc 05DGd

10OGb 06DGb

R10

Articulação das relações de síntese e de análise, interpretando de modo interdisciplinar e contextualizado a produção do conhecimento

Licenciatura

R11

Demonstração do domínio das Tecnologias da Informação e da Comunicação (TIC) na produção e na utilização de material didático para o ensino da Física

R12

Organização das programações curriculares para o ensino de Física nos diversos níveis de escolaridade da Educação Básica, em consonância com a realidade social de sua implementação, tendo por base a consideração crítica tanto das orientações contidas nas normativas legais, como das expectativas apontadas nos exames e avaliações nacionais

32OLb

R13 Organização e desenvolvimento de práticas educativas em situações cotidianas escolares e não escolares

R14 Domínio dos aportes básicos teóricos e práticos da área de Educação e do Ensino de Física

R15

Elaboração de diagnósticos para situações-problema, avaliando riscos e possibilidades, de modo a subsidiar a implementação de soluções adequadas à realidade escolar brasileira no que diz respeito ao ensino da Física

29OLc 31OLb

08DLd

07DLc

R16

Planejamento, implementação e avaliação de atividades didáticas para o ensino da Física, utilizando recursos diversos

30OLd 27OLd 28OLd

R17

Elaboração e/ou adaptação críticas de materiais didáticos ou projetos de ensino da Física de diferentes naturezas e origens, estabelecendo seus objetivos educacionais e de aprendizagem

Legenda: FÁCIL – MÉDIA – DIFÍCIL – *Questão Anulada Fonte: Dados da pesquisa

Page 10: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Quadro 3 – MR08 – Itens do ENADE 2008 na Matriz do ENADE 2011 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11

ASPECTO DO PERFIL PROFISSIONAL

RECURSOS (Competências/Habilidades) D

om

inar

in

stru

men

tos

con

ceit

uai

s (m

od

elo

s e

teo

rias

),

de

mo

do

a

op

erac

ion

aliz

á-lo

s n

os

div

erso

s âm

bit

os

de

suas

prá

tica

s p

rofi

ssio

nai

s;

Po

ssu

ir

cap

acid

ade

de

abst

raçã

o

e d

e m

od

elag

em

de

fen

ôm

eno

s

uti

lizan

do

a li

ngu

agem

mat

emát

ica

na

med

ida

do

nec

ess

ário

Ter

exp

eriê

nci

a la

bo

rato

rial

e c

om

pu

taci

on

al;

Rec

on

hec

er a

imp

ort

ânci

a d

a Fí

sica

par

a o

des

envo

lvim

ento

de

área

s af

ins

e co

mp

reen

der

a r

elev

ânci

a d

e tr

abal

ho

s in

terd

isci

plin

ares

;

Po

ssu

ir v

isão

ab

ran

gen

te d

o p

apel

da

Ciê

nci

a en

qu

anto

ele

men

to b

ásic

o

de

des

envo

lvim

ento

do

paí

s;

Man

ter

um

a é

tica

de

atu

ação

pro

fiss

ion

al e

de

resp

on

sab

ilid

ade

soci

al;

Co

mp

reen

der

a

Ciê

nci

a co

mo

p

roce

sso

h

istó

rico

, d

esen

volv

ido

em

dif

eren

tes

con

text

os

sóci

o-p

olít

ico

s, c

ult

ura

is e

eco

mic

os

Esta

r ap

to a

div

ulg

ar a

Ciê

nci

a p

ara

tod

a a

soci

edad

e.

Ser

cap

az d

e re

aliz

ar p

esq

uis

as b

iblio

gráf

ica

em li

vro

s, p

erió

dic

os

e b

anco

s

de

dad

os.

An

alis

ar c

riti

cam

ente

o c

on

hec

imen

to c

ien

tífi

co e

seu

s m

od

os

de

pro

du

ção

An

alis

ar c

riti

cam

ente

a c

on

trib

uiç

ão d

o c

on

hec

imen

to f

ísic

o n

a fo

rmaç

ão

de

ind

ivíd

uo

s e

no

exe

rcíc

io d

a ci

dad

ania

Comuns ao Bacharelado e à Licenciatura

R1 Demonstração do domínio dos princípios e conceitos básicos da Física;

26OGf 28OGf 29OGf

19OGa

R2 Utilização da linguagem científica na expressão de conceitos físicos e na descrição da natureza;

20OGd

R3

Planejamento e realização de experimentos e medições bem como a interpretação dos resultados decorrentes

23OGe

R4 Utilização dos elementos básicos da Instrumentação Científica na realização de experimentos de Física

R5 Representação e interpretação de propriedades físicas em gráficos

16OGc 18OGc 22OGe

R6

Compreensão da utilização, das possibilidades e dos limites do método experimental, avaliando a qualidade de dados, formulando modelos e identificando seus domínios de validade

R7

Reconhecimento das relações do desenvolvimento histórico e conceitual da Física com outras áreas do saber, com as diversas tecnologias e com diferentes instâncias sociais;

42OLa

R8 Realização de estimativas numéricas de fenômenos naturais;

25OGe

R9

Aplicação dos conhecimentos básicos da Física à solução de problemas

17OGc

11OGb 12OGb 13OGb 14OGb 15OGc 21OGd 24OGe 27OGf

R10

Articulação das relações de síntese e de análise, interpretando de modo interdisciplinar e contextualizado a produção do conhecimento

30DGc

Licenciatura

R11

Demonstração do domínio das Tecnologias da Informação e da Comunicação (TIC) na produção e na utilização de material didático para o ensino da Física

46OLd*

R12

Organização das programações curriculares para o ensino de Física nos diversos níveis de escolaridade da Educação Básica, em consonância com a realidade social de sua implementação, tendo por base a consideração crítica tanto das orientações contidas nas normativas legais, como das expectativas apontadas nos exames e avaliações nacionais

44OLb 48OLb

R13 Organização e desenvolvimento de práticas educativas em situações cotidianas escolares e não escolares

R14 Domínio dos aportes básicos teóricos e práticos da área de Educação e do

43OLd

Page 11: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11

ASPECTO DO PERFIL PROFISSIONAL

RECURSOS (Competências/Habilidades) D

om

inar

in

stru

men

tos

con

ceit

uai

s (m

od

elo

s e

teo

rias

),

de

mo

do

a

op

erac

ion

aliz

á-lo

s n

os

div

erso

s âm

bit

os

de

suas

prá

tica

s p

rofi

ssio

nai

s;

Po

ssu

ir

cap

acid

ade

de

abst

raçã

o

e d

e m

od

elag

em

de

fen

ôm

eno

s

uti

lizan

do

a li

ngu

agem

mat

emát

ica

na

med

ida

do

nec

ess

ário

Ter

exp

eriê

nci

a la

bo

rato

rial

e c

om

pu

taci

on

al;

Rec

on

hec

er a

imp

ort

ânci

a d

a Fí

sica

par

a o

des

envo

lvim

ento

de

área

s af

ins

e co

mp

reen

der

a r

elev

ânci

a d

e tr

abal

ho

s in

terd

isci

plin

ares

;

Po

ssu

ir v

isão

ab

ran

gen

te d

o p

apel

da

Ciê

nci

a en

qu

anto

ele

men

to b

ásic

o

de

des

envo

lvim

ento

do

paí

s;

Man

ter

um

a é

tica

de

atu

ação

pro

fiss

ion

al e

de

resp

on

sab

ilid

ade

soci

al;

Co

mp

reen

der

a

Ciê

nci

a co

mo

p

roce

sso

h

istó

rico

, d

esen

volv

ido

em

dif

eren

tes

con

text

os

sóci

o-p

olít

ico

s, c

ult

ura

is e

eco

mic

os

Esta

r ap

to a

div

ulg

ar a

Ciê

nci

a p

ara

tod

a a

soci

edad

e.

Ser

cap

az d

e re

aliz

ar p

esq

uis

as b

iblio

gráf

ica

em li

vro

s, p

erió

dic

os

e b

anco

s

de

dad

os.

An

alis

ar c

riti

cam

ente

o c

on

hec

imen

to c

ien

tífi

co e

seu

s m

od

os

de

pro

du

ção

An

alis

ar c

riti

cam

ente

a c

on

trib

uiç

ão d

o c

on

hec

imen

to f

ísic

o n

a fo

rmaç

ão

de

ind

ivíd

uo

s e

no

exe

rcíc

io d

a ci

dad

ania

Ensino de Física

R15

Elaboração de diagnósticos para situações-problema, avaliando riscos e possibilidades, de modo a subsidiar a implementação de soluções adequadas à realidade escolar brasileira no que diz respeito ao ensino da Física

50DLd

R16

Planejamento, implementação e avaliação de atividades didáticas para o ensino da Física, utilizando recursos diversos

41OLa 45OLd

49DLb

R17

Elaboração e/ou adaptação críticas de materiais didáticos ou projetos de ensino da Física de diferentes naturezas e origens, estabelecendo seus objetivos educacionais e de aprendizagem

47OLb

Legenda: FÁCIL – MÉDIA – DIFÍCIL – *Questão Anulada Fonte: Dados da pesquisa

Quadro 4 – MR11 – Itens do ENADE 2011 na Matriz do ENADE 2011 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11

ASPECTO DO PERFIL PROFISSIONAL

RECURSOS (Competências/Habilidades) D

om

inar

in

stru

men

tos

con

ceit

uai

s (m

od

elo

s e

teo

rias

),

de

mo

do

a

op

erac

ion

aliz

á-lo

s n

os

div

erso

s âm

bit

os

de

suas

prá

tica

s p

rofi

ssio

nai

s;

Po

ssu

ir

cap

acid

ade

de

abst

raçã

o

e d

e m

od

elag

em

de

fen

ôm

eno

s

uti

lizan

do

a li

ngu

agem

mat

emát

ica

na

med

ida

do

nec

ess

ário

Ter

exp

eriê

nci

a la

bo

rato

rial

e c

om

pu

taci

on

al;

Rec

on

hec

er a

imp

ort

ânci

a d

a Fí

sica

par

a o

des

envo

lvim

ento

de

área

s af

ins

e co

mp

reen

der

a r

elev

ânci

a d

e tr

abal

ho

s in

terd

isci

plin

ares

;

Po

ssu

ir v

isão

ab

ran

gen

te d

o p

apel

da

Ciê

nci

a en

qu

anto

ele

men

to b

ásic

o

de

des

envo

lvim

ento

do

paí

s;

Man

ter

um

a é

tica

de

atu

ação

pro

fiss

ion

al e

de

resp

on

sab

ilid

ade

soci

al;

Co

mp

reen

der

a

Ciê

nci

a co

mo

p

roce

sso

h

istó

rico

, d

esen

volv

ido

em

dif

eren

tes

con

text

os

sóci

o-p

olít

ico

s, c

ult

ura

is e

eco

mic

os

Esta

r ap

to a

div

ulg

ar a

Ciê

nci

a p

ara

tod

a a

soci

edad

e.

Ser

cap

az d

e re

aliz

ar p

esq

uis

as b

iblio

gráf

ica

em li

vro

s, p

erió

dic

os

e b

anco

s

de

dad

os.

An

alis

ar c

riti

cam

ente

o c

on

hec

imen

to c

ien

tífi

co e

seu

s m

od

os

de

pro

du

ção

An

alis

ar c

riti

cam

ente

a c

on

trib

uiç

ão d

o c

on

hec

imen

to f

ísic

o n

a fo

rmaç

ão

de

ind

ivíd

uo

s e

no

exe

rcíc

io d

a ci

dad

ania

Comuns ao Bacharelado e à Licenciatura

R1

Demonstração do domínio dos princípios e conceitos básicos da Física;

14OGf 23OGf 25OGf

16OGb 12OGc 04DGf

R2 Utilização da linguagem científica na expressão de conceitos físicos e na descrição da natureza;

R3

Planejamento e realização de experimentos e medições bem como a interpretação dos resultados decorrentes

13OGd 10OGe 15OGd

R4 Utilização dos elementos básicos da Instrumentação Científica na realização de experimentos de Física

R5 Representação e interpretação de 18OGc* 22OGd*

Page 12: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11

ASPECTO DO PERFIL PROFISSIONAL

RECURSOS (Competências/Habilidades) D

om

inar

in

stru

men

tos

con

ceit

uai

s (m

od

elo

s e

teo

rias

),

de

mo

do

a

op

erac

ion

aliz

á-lo

s n

os

div

erso

s âm

bit

os

de

suas

prá

tica

s p

rofi

ssio

nai

s;

Po

ssu

ir

cap

acid

ade

de

abst

raçã

o

e d

e m

od

elag

em

de

fen

ôm

eno

s

uti

lizan

do

a li

ngu

agem

mat

emát

ica

na

med

ida

do

nec

ess

ário

Ter

exp

eriê

nci

a la

bo

rato

rial

e c

om

pu

taci

on

al;

Rec

on

hec

er a

imp

ort

ânci

a d

a Fí

sica

par

a o

des

envo

lvim

ento

de

área

s af

ins

e co

mp

reen

der

a r

elev

ânci

a d

e tr

abal

ho

s in

terd

isci

plin

ares

;

Po

ssu

ir v

isão

ab

ran

gen

te d

o p

apel

da

Ciê

nci

a en

qu

anto

ele

men

to b

ásic

o

de

des

envo

lvim

ento

do

paí

s;

Man

ter

um

a é

tica

de

atu

ação

pro

fiss

ion

al e

de

resp

on

sab

ilid

ade

soci

al;

Co

mp

reen

der

a

Ciê

nci

a co

mo

p

roce

sso

h

istó

rico

, d

esen

volv

ido

em

dif

eren

tes

con

text

os

sóci

o-p

olít

ico

s, c

ult

ura

is e

eco

mic

os

Esta

r ap

to a

div

ulg

ar a

Ciê

nci

a p

ara

tod

a a

soci

edad

e.

Ser

cap

az d

e re

aliz

ar p

esq

uis

as b

iblio

gráf

ica

em li

vro

s, p

erió

dic

os

e b

anco

s

de

dad

os.

An

alis

ar c

riti

cam

ente

o c

on

hec

imen

to c

ien

tífi

co e

seu

s m

od

os

de

pro

du

ção

An

alis

ar c

riti

cam

ente

a c

on

trib

uiç

ão d

o c

on

hec

imen

to f

ísic

o n

a fo

rmaç

ão

de

ind

ivíd

uo

s e

no

exe

rcíc

io d

a ci

dad

ania

propriedades físicas em gráficos

R6

Compreensão da utilização, das possibilidades e dos limites do método experimental, avaliando a qualidade de dados, formulando modelos e identificando seus domínios de validade

R7

Reconhecimento das relações do desenvolvimento histórico e conceitual da Física com outras áreas do saber, com as diversas tecnologias e com diferentes instâncias sociais;

11OGa

R8 Realização de estimativas numéricas de fenômenos naturais;

09OGe 21OGc

R9

Aplicação dos conhecimentos básicos da Física à solução de problemas

17OGe

19OGc 20OGd 24OGd 05DGe

R10

Articulação das relações de síntese e de análise, interpretando de modo interdisciplinar e contextualizado a produção do conhecimento

03DGc

Licenciatura

R11

Demonstração do domínio das Tecnologias da Informação e da Comunicação (TIC) na produção e na utilização de material didático para o ensino da Física

29OLd

R12

Organização das programações curriculares para o ensino de Física nos diversos níveis de escolaridade da Educação Básica, em consonância com a realidade social de sua implementação, tendo por base a consideração crítica tanto das orientações contidas nas normativas legais, como das expectativas apontadas nos exames e avaliações nacionais

26OLb 28OLb 35OLb

R13 Organização e desenvolvimento de práticas educativas em situações cotidianas escolares e não escolares

R14 Domínio dos aportes básicos teóricos e práticos da área de Educação e do Ensino de Física

30OLb 34OLd

R15

Elaboração de diagnósticos para situações-problema, avaliando riscos e possibilidades, de modo a subsidiar a implementação de soluções adequadas à realidade escolar brasileira no que diz respeito ao ensino da Física

31OLa

R16

Planejamento, implementação e avaliação de atividades didáticas para o ensino da Física, utilizando recursos diversos

33OLa

R17

Elaboração e/ou adaptação críticas de materiais didáticos ou projetos de ensino da Física de diferentes naturezas e origens, estabelecendo seus objetivos educacionais e de aprendizagem

27OLd 32OLb

Legenda: FÁCIL – MÉDIA – DIFÍCIL – *Questão Anulada Fonte: Dados da pesquisa

Page 13: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

A alocação dos itens na matriz possibilita compreender seus condicionantes e a

matriz possibilita uma fotografia do ENADE. Cada MR fornece uma visão geral da

estrutura da prova, da distribuição de itens, perfis, recursos e objetos de conhecimento

e do nível de dificuldade do Exame. O gráfico de densidade de itens, a seguir, fornece

uma imagem das três matrizes sobrepostas.

Gráfico 1 – Densidade das questões do ENADE, nas ed ições 2005, 2008 e 2011

Fonte: Dados da pesquisa

Avaliando primeiramente as habilidades gerais a todos os estudantes egressos,

pode-se observar que há uma grande concentração de itens no cruzamento P2xR9.

Esses itens avaliam se o estudante possui a “capacidade de abstração e de

modelagem de fenômenos utilizando a linguagem matemática na medida do

necessário” (P2) “aplicando os conhecimentos básicos da Física à solução de

problemas” (R9); trata-se de questões clássicas, a maior parte contextualizada, que

exigem que o estudante faça cálculos matemáticos de situações físicas ou que use de

equações matemáticas para resolvê-las.

Sete itens foram alocados na célula P1xR1,em que o estudante deve “dominar

instrumentos conceituais (modelos e teorias), de modo a operacionalizá-los nos

diversos âmbitos de suas práticas profissionais” (P1) ao mesmo “demonstrar domínio

dos princípios e conceitos básicos da física”. Nesse caso, a diferença é que os itens

não necessitavam de cálculos matemáticos para sua resolução e sim de conceitos e

Page 14: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

princípios da Física, além do conteúdo específico (objeto de conhecimento) de cada

um em particular. Exemplifica-se esse cruzamento com o item 14 do ENADE 2011:

14. Quando a radiação eletromagnética interage com a matéria, pode ocorrer a transferência da energia do fóton, ou de parte dela, para as partículas que compõem o meio material. Alguns dos principais tipos de interação da radiação eletromagnética com a matéria são: efeito fotoelétrico; espalhamento Compton e produção de pares, que se diferenciam entre si pelas características do meio material; energia do fóton incidente; energia transferida e situação do fóton após a interação (absorção total ou espalhamento com perda de energia do fóton). Entre os mecanismos de interação da radiação eletromagnética com a matéria, o efeito fotoelétrico ocorre (A) quando o fóton incidente interage com o núcleo atômico do átomo do material atenuador, cedendo toda a sua energia e originando um par de partículas. (B) quando o fóton incidente é totalmente absorvido por um elétron livre de um metal e este é ejetado do material. (C) quando o fóton de raios X ou gama é desviado por um elétron das camadas mais externas, transferindo a esse elétron parte de sua energia. (D) mais predominantemente quando a energia do fóton incidente é muito maior que a energia transferida às partículas produzidas na interação. (E) independentemente da energia do fóton incidente e do número atômico do meio.

Observa-se uma concentração de itens que avaliam o recurso “Representação

e interpretação de propriedades físicas em gráficos” (R5), distribuídas nos perfis P1,

P2 e P3 que avalia se o estudante tem “experiência laboratorial e computacional”. Para

resolvê-los, o aluno deve saber efetuar, ou ter participado de uma prática de

laboratório (P3), e interpretar o(s) gráfico(s) dos resultados obtidos (R5).

O cruzamento P2xR3 apresenta 1 (uma) questão por prova, em todas as

edições do Exame. São itens que além de operacionalizar matematicamente o

fenômeno (P2), requerem do estudante interpretar os resultados decorrentes da

realização de um experimento (R3).

Entre os itens avaliados na prova específica de Licenciatura em Física, a célula

P1xR12 é a mais densa, ainda que compreenda somente 6 (seis) itens,

correspondendo a 20% das questões avaliadas nos três anos. São itens que requerem

“Organização das programações curriculares para o ensino de Física nos diversos

níveis de escolaridade da Educação Básica, em consonância com a realidade social

de sua implementação, tendo por base a consideração crítica tanto das orientações

contidas nas normativas legais, como das expectativas apontadas nos exames e

avaliações nacionais”. Esses itens tratam dos PCN e as avaliações aplicadas em nível

nacional, como o item 44 do ENADE 2008, apresentado a seguir:

44. Os Parâmetros Curriculares Nacionais (PCN) redirecionaram a Física, no Ensino Médio, para estimular, nos alunos, o interesse por conhecer o mundo físico a partir de procedimentos para formar cidadãos autônomos intelectualmente. Considerando esse referencial, analise as seguintes abordagens presentes em materiais didáticos:

Page 15: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

I - procedimentos de pesquisa de concepções de senso comum; II - privilégio de aspectos teóricos; III - utilização de novo saber em sua dimensão aplicada; IV - apresentação do conhecimento como fruto da genialidade dos cientistas. Para selecionar materiais didáticos que atendam às orientações dos PCN para o Ensino Médio, devem ser consideradas APENAS as abordagens (A) I e III (B) I e IV (C) II e III (D) II e IV (E) III e IV

Foram também analisados os itens dos três exames quanto ao índice de

facilidade. A compilação por dados por Exame encontram-se no gráfico 2.

Gráfico 2 – Frequência de itens do ENADE por índice de facilidade

Fonte: Dados da pesquisa

Observa-se discrepância entre os itens fáceis e difíceis de todos os exames. Em

todas as edições do exame só 01 (um) item foi classificado como fácil, classificação

esta consubstanciada nos relatórios síntese liberados pelo MEC, de acordo com o

número de estudantes que acertaram o item.

Os Exames 2005 e 2008 apresentaram 36% das questões em nível difícil. No

ENADE 2011, ocorreu o maior número de itens difíceis (72% das questões, segundo o

relatório síntese). Embora a prova de 2011 apresente itens mais bem elaborados e

contextualizados, não se verifica melhoria no desempenho dos alunos, o que parece

indicar estranheza dos estudantes diante da complexidade da prova.

O gráfico 3 repete a densidade das questões, ora acrescentando na

identificação dos itens o índice de facilidade:

0

5

10

15

20

25

Fácil Média Difícil

Fre

qu

ên

cia

do

s ít

en

s

Índice de facilidade

Enade 2005

Enade 2008

Enade 2011

Page 16: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Gráfico 3 – Densidade das questões do ENADE, com o índice de facilidade

Fonte: Dados da pesquisa

Quase todas as questões do ENADE foram classificadas como médias e

difíceis. Nas três edições do exame tivemos 48,3% das questões classificadas no nível

médio e a mesma quantidade no nível difícil e uma minoria de questões (3,4%)

classificadas no nível fácil. É importante lembrar que a classificação desses itens foi

realizada com base nos relatórios síntese divulgados pelo MEC. No entanto, esses

relatórios classificam o item com relação ao índice de facilidade de acordo com a

porcentagem de estudantes que o acertaram, o que indica que o item pode ter sido

encomendado pelo seu autor para ser fácil e tornou-se difícil na classificação devido à

porcentagem de acertos ou vice-versa. Sendo assim, a classificação de acordo com

relação ao índice de facilidade das questões dos exames aplicados, as provas de

Física dos Exames 2005, 2008 e 2011 têm 96,6% de seus itens classificados entre

médio e difícil.

Os itens foram ainda compilados com relação ao conteúdo (objeto de

conhecimento - OC) requerido e o gráfico 4, a seguir, fornece uma visão dos OC mais

e menos frequentes nas provas. Percebem-se OC sempre presentes e ainda aqueles

não requeridos em Exame algum.

Page 17: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Gráfico 4 – Frequência dos Objetos de Conhecimento (OC) no ENADE

Fonte: Dados da pesquisa

O gráfico 4 fornece uma visão dos OC que mais ocorrem nas três provas. O OC

relativo aos conteúdos Gerais sobre a Evolução das Ideias da Física foi requerido para

resolver 01 (uma) questão de cada edição do Exame.

Percebe-se que o número de itens sobre Mecânica está decrescendo com o

passar dos exames, contemplando uma evolução do número de itens relacionados aos

conteúdos de Eletricidade e Magnetismo. Entre os itens específicos da Licenciatura o

aumento é percebido no OC Políticas Educacionais, que, em 2011, foi requisitado em

cinco questões. Itens que contemplam os conteúdos Gerais de Termodinâmica, Física

Ondulatória e Óptica Física, Física Moderna e os conteúdos da Licenciatura

relacionados aos Fundamentos Históricos da Física e Metodologia do Ensino de

Física, mantiveram uma frequência praticamente constante nos três exames.

Dois fatos observados e que devem ser mencionados: o conteúdo geral

Estrutura da Matéria nunca foi requerido para a Licenciatura. No exame de 2005, dois

itens contemplavam o OC que avaliava o domínio dos conteúdos relativos à resolução

de problemas e a organização curricular para o ensino de Física. No entanto, esse

objeto de conhecimento não mais ocorreu nos exames posteriores.

0

1

2

3

4

5

6

Fre

qu

ên

cia

Objetos de Conhecimento

Enade 2005

Enade 2008

Enade 2011

Page 18: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Ao observar a frequência dos objetos de conhecimento avaliados no exame;

percebem-se conteúdos nunca avaliados. Cada curso de graduação respeita seu

Projeto Pedagógico, no entanto, alguns currículos podem estar contemplando

demasiadamente alguns perfis, recursos e objetos de conhecimento, em detrimento de

outros enfatizados no ENADE.

TAXONOMIA DE BLOOM REVISITADA (TBR)

Para avaliar a complexidade da resolução dos itens do ENADE optou-se pela

Taxonomia de Bloom Revisada (TBR). A TBR reconhece uma tarefa determinando o

conhecimento recorrido em sua realização nas dimensões do conhecimento

categorizadas em: efetiva (factual), conceitual, procedural (procedimental) e

metacognitiva, bem como o processo cognitivo mobilizado na resolução, categorizados

em seis verbos: lembrar, entender, aplicar, analisar, avaliar e criar.

A TBR possibilita a interpolação dos objetivos de conhecimento e processos

cognitivos da aprendizagem, isto é, ao elaborar uma tarefa é possível avaliar “o que”

(dimensão do conhecimento) deve ser feito e “como” (processo cognitivo) deve

proceder. Apresenta-se no quadro 5 a classificação bidimensional da TBR:

Quadro 5 – Classificação bidimensional da TBR Dimensão:

Conhecimento

Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual

Conceitual

Procedural

Metacognitivo

Fonte: Ferraz & Belhot, 2010, p.429

As questões do ENADE foram elaboradas, a partir do cruzamento de perfis

profissionais e recurso (C/H), traduzidos em Matrizes de Prova não públicas. Adota-se

a TBR para classificar as questões do ENADE na perspectiva de descobrir quais níveis

de conhecimento são requeridos do aluno ao resolvê-las, além de discutirmos quais

processos cognitivos estão envolvidos na resolução de cada item.

Para resolver uma questão o estudante deve demonstrar domínio de uma

dimensão do conhecimento (efetivo, conceitual, procedural ou metacognitivo), que foi

verificada na prova do ENADE através da classificação proposta na TBR, porém pode-

se usar de um ou mais processos cognitivos para resolvê-la. O processo mais simples

que o aluno utiliza na resolução de uma questão, segundo a TBR, é lembrar seguido

dos processos entender, aplicar, analisar, avaliar e criar. Todavia, na análise dos itens

Page 19: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

percebe-se que em algumas questões não é necessário que o aluno lembre-se de

conceitos para entender ou aplicar, pois algumas questões exigem apenas um dos

processos para sua resolução; outras questões exigem que o aluno a entenda, aplique

seus conhecimentos e analise; outras questões requerem que o aluno apenas a

analise ou avalie para sua resolução. Cada questão foi analisada separadamente para

sua classificação correta e, posteriormente, discutiremos essa classificação específica.

O quadro 6 mostra a classificação dos itens objetivos da prova de conteúdos

gerais específicos de Física e os da prova de Licenciatura em Física no ano de 2005.

Quadro 6 – Questões objetivas do ENADE 2005 (Licenc iatura) Dimensão:

Conhecimento Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual 18,29

Conceitual 24,25 08,11,14,17,19

08,12,30 17,19,22,31,32

11,14,30,31

Procedural 10,13,15,

21,27

09,10,13,16,20,21,23,26,27,

28

13,15,16,20,26 23,28

Metacognitivo

Fonte: Dados da pesquisa

Apresentam-se, a seguir, exemplos de questões objetivas e discursivas,

exemplificando cada nível do domínio do conhecimento e os processos cognitivos

mobilizados em sua resolução.

A dimensão do conhecimento Efetivo/Factual, que está ligada ao conhecimento

de terminologias e elementos específicos, é encontrada nos itens que avaliam os

conhecimentos básicos. Nesse caso o estudante necessita apenas reproduzir o

conhecimento como apresentado, não precisando entender ou combinar os fatos.

Geralmente são questões mais simples que não mobilizam conhecimentos mais

apurados, apenas conhecimentos básicos adquiridos ao longo do curso e reproduzidos

de forma direta. Na prova do ENADE 2005, identificamos que 8% das questões

objetivas, de conhecimentos específicos gerais e da Licenciatura, avaliam essa

dimensão do conhecimento. Exemplifica-se a questão 29 da prova de Licenciatura:

29. Suponha que um professor leve à sala de aula as duas fotos abaixo que representam uma bexiga antes e depois de ser imersa em nitrogênio líquido.

Page 20: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Em seguida, com a participação dos alunos, ele elabora o enunciado de um problema a respeito dessas fotos procurando orientá-los para que levem em consideração todos os aspectos que julga relevantes em função do conteúdo que pretende trabalhar. Essa metodologia é recomendada pelos pesquisadores em ensino de ciências, entre outras razões, por garantir o envolvimento do aluno na resolução do problema, além de desenvolver a habilidade de levantar hipóteses. Neste exemplo, o professor pretende trabalhar o seguinte conteúdo: (A) teoria cinética dos gases. (B) mudança de fase. (C) calor específico de líquidos e gases. (D) relação entre escalas termométricas. (E) rendimento em um ciclo de Carnot.

Essa questão trata do conhecimento de conceitos básicos da termodinâmica e

mesmo apresentada com contextualização, para sua resolução, o estudante não

mobiliza nenhum conhecimento apurado para chegar à resposta correta, necessitando

apenas de conhecimentos básicos de termologias do conteúdo de Física Térmica. A

questão encontra-se no nível efetivo do conhecimento e, como citado anteriormente, o

estudante deve reconhecer uma informação da situação, que, nesse caso, é a

diminuição do grau de agitação molecular, reproduzindo seu conhecimento usando o

processo cognitivo mais simples, segundo a TBR, de lembrar.

O Conhecimento Conceitual avalia se o estudante consegue fazer a inter-

relação entre os conhecimentos básicos adquiridos em um contexto mais apurado.

Esse conhecimento é avaliado em questões que os alunos relacionam as informações

apresentadas com os conhecimentos já adquiridos. Para resolvê-las, o estudante deve

ter conhecimento de princípios e generalizações, teorias e modelos e inter-relacioná-

los com as informações apresentadas. A dimensão do conhecimento conceitual pode

Page 21: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

ser observada em 44% das questões objetivas, do componente específico geral e da

Licenciatura, na prova do ENADE 2005. Exemplifica-se a questão 08:

08. Um caminhão de 6 toneladas colidiu frontalmente com um automóvel de 0,8 toneladas. Na investigação sobre o acidente, o motorista do caminhão disse que estava com velocidade constante de 20 km/h e pisou no freio a certa distância do automóvel. Já o motorista do automóvel disse que estava com velocidade constante de 30 km/h no momento da colisão. A perícia constatou que o carro realmente colidiu com a velocidade mencionada e os veículos pararam instantaneamente, ou seja, não se deslocaram após o choque. Pode-se afirmar que o motorista do caminhão (A) certamente mentiu, pois se chocou com velocidade constante inicial. (B) certamente mentiu, pois acelerou antes do choque. (C) pode ter falado a verdade, pois a sua velocidade era nula no momento do choque. (D) pode ter falado a verdade, pois a sua velocidade era 4 km/h no momento do choque. (E) pode ter falado a verdade, pois a sua velocidade era 15 km/h no momento do choque.

A questão apresentada requer que o estudante tenha conhecimentos básicos

de Mecânica, neste caso específico de conservação do momento linear, porém para

isso deve relacionar as informações contidas no enunciado, sem precisar saber como

realizar o fato descrito no enunciado ou quais métodos específicos utilizados para

resolver tal situação. Diante disso, conclui-se que a questão exige do estudante o

conhecimento conceitual para resolvê-la. Com relação aos processos cognitivos

mobilizados, nota-se que inicialmente o estudante deve entender a situação,

interpretando-a e aplicando seus conhecimentos específicos em uma nova situação.

Ainda na dimensão do conhecimento conceitual identificam-se questões que

exigem processos cognitivos mais elevados em que o estudante, além de entender os

comandos, interpretando-os, deve ainda julgar os resultados, checando sua

veracidade. A questão 11 da prova de conhecimentos específicos gerais, do ENADE

2005, ilustra essa classificação:

11. Em um jogo de futebol, um jogador fez um lançamento em profundidade para o atacante. Antes de chegar ao atacante, a bola toca o gramado e ele não consegue alcançá-la. Um conhecido locutor de televisão assim narrou o lance: “a bola quica no gramado e ganha velocidade”. Considere as possíveis justificativas abaixo para o aumento da velocidade linear da bola, como narrou o locutor. A velocidade linear da bola I. sempre aumenta, pois independentemente do tipo de choque entre a bola e o solo, ao tocar o solo a velocidade de rotação da bola diminui. II. pode aumentar, se a velocidade angular da bola diminuir no seu choque com o solo. III. aumenta quando o choque é elástico e a bola aumenta a sua energia cinética de rotação. Está correto o que se afirma em (A) I, somente.

Page 22: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

(B) II, somente. (C) III, somente. (D) I e II, somente. (E) I, II e III.

Para a resolução dessa questão o estudante precisa interpretar (entender) a

situação do jogo de futebol relacionando com seus conhecimentos dos princípios e

teorias do conteúdo de mecânica (momento linear). Para chegar à resposta esperada

do item, o estudante deve avaliar as situações propostas, julgando a veracidade de

cada afirmação, embasado em seus conhecimentos de Mecânica.

As questões em que o estudante deve mobilizar conhecimentos procedurais,

ligados ao conhecimento específico de conteúdos, habilidades e algoritmos, bem como

técnicas, métodos e procedimentos específicos, assim como as questões de

conhecimento conceitual, têm grande destaque na prova do ENADE 2005, e totalizam

44% das questões objetivas do componente específico geral e da Licenciatura. As

questões que se encontram na dimensão do conhecimento procedural são questões

mais elaboradas, que exigem um nível de complexidade maior do estudante.

Apresenta-se a seguir, a questão 27 do ENADE 2005:

27. A figura representa o esquema de uma montagem experimental didática, na qual F simboliza uma fonte de luz (uma lâmpada fluorescente pequena), L uma lente convergente (lupa) apoiada em um suporte e A um anteparo de cartolina branca.

A atividade consiste em procurar posições de F, L e A de tal forma que seja possível observar a imagem nítida da fonte F projetada sobre o anteparo A por meio da lente L. Sabendo que a lente tem distância focal de 20 cm, pode-se afirmar que uma dessas situações ocorre quando a distância da fonte à lente é de (A) 10 cm, e a distância da lente ao anteparo é de 20 cm; nesse caso a imagem aparece direita e menor do que a lâmpada. (B) 20 cm, e a distância da lente ao anteparo é de 40 cm; nesse caso a imagem aparece invertida e menor do que a lâmpada. (C) 30 cm, e a distância da lente ao anteparo é de 60 cm; nesse caso a imagem aparece invertida e maior do que a lâmpada. (D) 40 cm, e a distância da lente ao anteparo é de 80 cm; nesse caso a imagem aparece direita e maior do que a lâmpada. (E) 50 cm, e a distância da lente ao anteparo é de 100 cm; nesse caso a imagem aparece direita e menor do que a lâmpada.

Identifica-se, então, o domínio do conhecimento procedural (ou procedimental),

isto é, para o estudante resolver a questão corretamente deve saber como realizar um

procedimento, nesse caso, como realizar um experimento, desenvolvendo uma

atividade prática no ensino de Física. No que diz respeito aos processos cognitivos

Page 23: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

mobilizados, o estudante deve entender o problema, interpretando a situação descrita

e aplicar seus conhecimentos de Física na resolução.

Os itens discursivos apresentados a seguir, foram analisados tomando como

referência o padrão de respostas, fornecido pelo autor do item, disponibilizado pela

comissão responsável pelo Exame. Identificam-se os objetos de conhecimento

requeridos, bem como o aspecto do perfil do profissional esperado, o recurso

(competência/habilidade) exigido pelo item e sua alocação em uma célula da matriz de

referência. O quadro 7 distribui os itens discursivos de acordo com a proposta da TBR:

Quadro 7 – Questões discursivas do ENADE 2005 (Licenciatura) Dimensão:

Conhecimento Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual

Conceitual 08 08 08 08

Procedural 04 05 04,05,06,

07 06 06,07

Metacognitivo

Fonte: Dados da pesquisa

Observam-se 5 (cinco) questões discursivas que exigem domínios do

conhecimento mais elevados, sendo apenas 01 (uma) questão do domínio conceitual e

as demais o domínio procedural. Exemplifica-se a Questão 7:

07. Durante muitos anos, a aplicação exclusiva de longas listas de exercícios foi considerada uma boa estratégia para ensinar Física no ensino médio. Hoje, sabe-se que as longas listas têm eficiência limitada. a) Comente as principais limitações dessa estratégia. (valor: 4,0 pontos) b) Proponha atividades complementares a essa estratégia. (valor: 3,0 pontos) c) Justifique as atividades propostas anteriormente. (valor: 3,0 pontos)

O primeiro item discursivo da Licenciatura da prova de 2005 avalia o objeto de

conhecimento “Resolução de Problemas e a organização curricular para o ensino da

Física: resolução de problemas como estratégia didática; aspectos teóricos e

metodológicos envolvidos no processo de resolução de problemas; resolução de

problemas e novas tecnologias” (Lc), previsto na portaria do exame. Em sua resolução,

o estudante usa conhecimentos específicos de Licenciatura relacionados aos métodos

Page 24: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

utilizados na resolução de problemas no Ensino de Física, no qual percebe como e

quando usar esse procedimento, mobilizando então, o conhecimento procedural.

Avaliando o padrão de resposta esperado pelo autor do item para a letra (a) temos:

Ao solicitar que o estudante comente as limitações da estratégia da aplicação

de longas listas de exercícios, para responder corretamente usa o processo cognitivo

aplicar, implementando conceitos trabalhados nos conteúdos de práticas de ensino, na

Licenciatura, na situação descrita, comentando quais as limitações dessa estratégia,

usando do processo cognitivo avaliar, criticando o uso de uma estratégia a outra.

Ao analisar somente o item (b), poderíamos pensar que o estudante mobilizaria

o processo cognitivo criar, pois requisita a proposição de uma atividade que

complemente a estratégia utilizada, que “envolve o desenvolvimento de ideias novas e

originais, produtos e métodos por meio da percepção da interdisciplinaridade e da

interdependência de conceitos” (FERRAZ & BELHOT, 2010, p.429). Entretanto, ao

avaliar o padrão de respostas percebe-se requerer do estudante o processo entender

que, segundo a TBR, deve conectar o novo conhecimento com o adquirido

previamente. No processo entender “a informação é entendida quando o aprendiz

consegue reproduzi-la com suas ‘próprias palavras” (FERRAZ & BELHOT, 2010,

p.429), que nesse caso, deve trazer os conhecimentos associados às disciplinas de

Práticas de Ensino de Física para a sua resolução.

A letra (c) pede que o estudante justifique as propostas anteriores e, em acordo

com o padrão de respostas, deve fazer julgamentos baseados em critérios e padrões

de eficácia, através do processo cognitivo avaliar, checando e criticando a melhor

forma de realizar a atividade.

O estudante deve “compreender a Ciência como processo histórico,

desenvolvido em diferentes contextos sócio-políticos, culturais e econômicos” (P7). O

estudante precisa entender que os métodos utilizados na resolução de longas listas de

exercícios são menos eficientes do que os métodos utilizados de problemas

contextualizados, pois os processos mutáveis na ciência alteram as diversas áreas do

Page 25: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

conhecimento e o estudante deve acompanhar este processo histórico em que

paradigmas são rompidos. É necessário então, determinar as limitações de uma

atividade em relação à outra, diagnosticando os problemas e avaliando a melhor forma

de resolvê-los, realizando a “elaboração de diagnósticos para situações-problema,

avaliando riscos e possibilidades, de modo a subsidiar a implementação de soluções

adequadas à realidade escolar brasileira no que diz respeito ao ensino de Física” (R9).

Apresenta-se, a seguir, a análise pela TBR dos itens do ENADE 2008:

Quadro 8 – Questões objetivas do ENADE 2008 (Licenc iatura) Dimensão:

Conhecimento Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual 20,26,28,

29,42,45 46

Conceitual 15,19,27,

47

12,25,27,

41

11,12,22,

41,43

19,22,25,

48 25

Procedural 17,18 13,16,18,

23

13,14,18,

21,23,24 16,17,44 16,44

Metacognitivo

Fonte: Dados da pesquisa

O ENADE 2008 apresenta uma distribuição mais uniforme na dimensão do

domínio de conhecimento. O quadro 8 mostra que nesta edição do Exame há mais

itens no nível da dimensão do conhecimento Efetivo/Factual. Aproximadamente 26%

dos itens, no núcleo específico geral e de Licenciatura, foram classificados, com base

na TBR, nesta dimensão de conhecimento, em contraposição a 8% dos itens em 2005.

Reitera-se que as questões do ENADE não foram elaboradas na perspectiva da

tabela bidimensional da TBR, porém essa análise nos fornece uma classificação dos

domínios e processos cognitivos mobilizados pelos estudantes, na resolução dos itens.

As questões em que o estudante usa o conhecimento conceitual estão ligadas ao

conhecimento das terminologias e elementos específicos, não precisando combinar ou

entender os fatos, apenas reproduzi-los. Nas questões desse nível de conhecimento, o

estudante apenas reproduz os conceitos aprendidos, sem interpretar uma situação ou

utilizar métodos e critérios. Exemplifica-se a questão 28:

28. Em relação à Teoria da Relatividade Restrita, analise as afirmações a seguir.

Page 26: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

I - O módulo da velocidade da luz no vácuo é independente das velocidades do observador ou da fonte. II - A Teoria Eletromagnética de Maxwell é compatível com a Teoria da Relatividade Restrita. III - As leis da Física são as mesmas em todos os referenciais inerciais. Está correto o que se afirma em (A) I, apenas. (B) II, apenas. (C) III, apenas. (D) I e III, apenas. (E) I, II e III.

A questão avalia conhecimentos da teoria quântica da matéria, porém o

estudante não necessita relacionar elementos do conteúdo em outros contextos mais

elaborados. O aluno deve apenas demonstrar conhecimentos de detalhes e elementos

específicos do objeto de conhecimento “Física Moderna” (Gf), usando, então, o

conhecimento efetivo. No que diz respeito ao processo cognitivo mobilizado em sua

resolução, o estudante deve lembrar, buscando informações memorizadas relevantes

ao conteúdo em questão.

O ENADE 2008 teve no componente específico geral e Licenciatura

aproximadamente 41% das questões no nível do domínio do conhecimento Conceitual,

em que o estudante deve relacionar elementos mais simples conectando-os em

contexto mais elaborado. Exemplifica-se a questão 25:

25. Microondas são ondas eletromagnéticas que, quando absorvidas pela água, geram calor no interior do alimento por aumentar a vibração de suas moléculas. Na porta de vidro de um forno de microondas existe uma rede metálica de proteção. A rede metálica tem orifícios de 2 mm de diâmetro. Durante a operação, é possível ver o interior do forno. No entanto, o cozinheiro está protegido da radiação microondas. A esse respeito, foram feitas as afirmativas a seguir. I - A radiação com comprimento de onda no infravermelho Próximo (~1µm) é bloqueada pela grade. II - A largura dos orifícios é da ordem de grandeza do comprimento de onda da luz visível. III - A rede metálica impede a transmissão das microondas, mas não impede a transmissão da radiação visível, por causa da diferença entre as frequências. IV - O comprimento de onda da radiação microondas é maior do que o da luz visível. Está(ão) correta(s) APENAS a(s) afirmação(ões) (A) I (B) II (C) III (D) I e II (E) III e IV

Essa questão considere um nível do conhecimento mais elevado, mas não

atinge o domínio procedimental, pois o estudante não precisa saber como realizar algo

ou quais critérios deve usar em certo procedimento. Todavia, o aluno precisa

relacionar as informações apresentadas com os princípios e teorias de ondas

Page 27: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

eletromagnéticas, em um contexto mais elaborado, usando o domínio do

conhecimento conceitual. Na sua resolução o estudante deve entender a situação

conectando o que sabe sobre os fenômenos ondulatórios com a nova informação

apresentada, analisar a veracidade das informações apresentadas nos itens I,II, III e

IV, inter-relacionando-as com as informações contidas no texto e avaliar o que se

afirma, por exemplo no item III, checando se a situação é possível.

O domínio do conhecimento procedimental é requerido em aproximadamente

33% das questões do exame em 2008, no componente específico geral e Licenciatura.

Esse domínio é ligado aos conteúdos e habilidades específicas de realização de um

procedimento específico, utilizando métodos, técnicas e critérios. Exemplifica-se a

questão 16 do núcleo dos componentes específicos gerais:

16. Cinco sensores foram utilizados para medir a temperatura de um determinado corpo. As curvas de calibração da resistência elétrica, em função da temperatura destes sensores, são apresentadas no gráfico abaixo.

Analisando-se o gráfico, foram feitas as afirmativas a seguir. I - O sensor (2) só deve ser utilizado para temperaturas superiores a 20 K. II - Para temperaturas entre 1 K e 3 K apenas o sensor (5) pode ser utilizado. III - Quando a resistência do sensor (1) atingir o valor de cerca de 7Ω, o sensor (4) estará com uma resistência um pouco superior a 2 kΩ . IV - O sensor (3) é o único a ser empregado para temperaturas na faixa de 20 K a 300 K. São verdadeiras APENAS as afirmações (A) I e II (B) I e IV (C) II e III (D) II e IV (E) III e IV

Identifica-se, nessa questão, o domínio do conhecimento procedimental. O

estudante deve aplicar seu conhecimento abstrato em uma nova situação proposta,

nesse caso sensores que relacionam a resistência elétrica de um corpo com sua

temperatura. E além de requerer conhecimentos básicos da termodinâmica, deve

aplicá-los em novos contextos. Em sua resolução, o estudante deve entender o

gráfico, interpretando suas informações e, a partir disso, relacioná-las com as

sentenças apresentadas nos itens I, II, III e IV, usando o processo cognitivo analisar.

Page 28: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Por fim, avaliar situações propostas nos mesmos itens checando sua viabilidade de

acordo com a interpretação e análise do gráfico.

O quadro 9 classifica pela TBR os itens discursivos do ENADE 2008:

Quadro 9 – Questões discursivas do ENADE 2008 (Lice nciatura) Dimensão:

Conhecimento Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual

Conceitual

Procedural 30,49,50 30,49,50 49,50 30

Metacognitivo

Fonte: Dados da pesquisa

Os 03 (três) itens discursivos avaliados no ENADE 2008 estão no nível do

conhecimento procedural, o nível mais elevado a ser avaliado nesta prova. Uma

questão (30) é apresentada no núcleo comum à Licenciatura e Bacharelado, as outras

duas (49 e 50) avaliadas no núcleo específico da Licenciatura. Segue a questão 50:

50. Nos circuitos das Figuras 1 e 2 abaixo, as pilhas e as lâmpadas são idênticas. Ao prever o brilho da lâmpada L1 em relação aos brilhos das lâmpadas L2 e L3, nos dois circuitos, é muito comum que alunos do Ensino Médio apresentem concepções alternativas às concepções científicas.

a) A esse respeito, apresente uma concepção científica e uma possível concepção alternativa, com a justificativa que os alunos poderiam apresentar. (valor: 5,0 pontos) b) Descreva uma estratégia de ensino contextualizada para que os alunos avancem em direção ao conhecimento científico, realizando aprendizagem significativa dos conceitos de corrente elétrica, resistência elétrica, resistência equivalente e diferença de potencial. Indique nessa estratégia como o mundo vivencial dos alunos e as relações de Ciência, Tecnologia e Sociedade (CT&S) podem ser considerados e os recursos metodológicos a serem utilizados. (valor: 5,0 pontos)

Page 29: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

O estudante deve recorrer, mais uma vez, ao conhecimento procedural

(procedimental), no qual deve usar da abstração dos conceitos de Eletricidade para

propor uma atividade em classe na qual modifica os conhecimentos espontâneos em

conhecimentos científicos. Explica como a atividade deve ser realizada e quais

métodos são utilizados ao resolver o problema exposto. Ambos os itens, (a) e (b),

avaliam o objeto de conhecimento da Licenciatura “Metodologia do ensino de Física”

(Ld), no que diz respeito aos conhecimentos da prática pedagógica relacionados ao

“papel da linguagem na construção do conhecimento científico, organização e

desenvolvimento de atividades e materiais didáticos para o ensino de física, enfoque

CTS no ensino de Física, obstáculos de aprendizagem e mudança conceitual,

concepções, metodologias e instrumentos de avaliação na educação básica e no

ensino de Física”. Analisando o padrão de respostas para o item (a), temos:

O item, ao instruir a apresentação das concepções científica e alternativa

(espontânea), requer do estudante aplicar os conhecimentos da prática pedagógica no

que diz respeito aos “obstáculos de aprendizagem e mudança conceitual” e o “papel

da linguagem na construção do conhecimento” consciente que o conhecimento prévio

apresentado pelos estudantes deve ser modificado para o conhecimento científico,

explicando cada apontamento que fez acordado com as respectivas concepções

espontânea e científica.

Analisando o padrão de respostas para o item (b), temos:

Page 30: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Ao resolver o item (b), o estudante deve propor uma estratégia contextualizada

de ensino, isto é, a atividade proposta deve ser aplicada no cotidiano do estudante de

forma a vivenciar os conceitos de eletricidade em situações “palpáveis” ao aluno,

apresentando situações que levantem seus conhecimentos prévios, estimulando

discussões sobre as variáveis nos circuitos elétricos. O estudante deve entender o que

se propõe na tarefa, interpretando o enunciado e reproduzindo seus conhecimentos

com suas “próprias palavras”, explicando como deve ser realizada a atividade. Além

disso, deve aplicar seus conhecimentos de Física conectados à prática pedagógica,

executando-os na perspectiva da tarefa proposta do item e analisar os conteúdos

específicos de Eletricidade fazendo a inter-relação com as estratégias pedagógicas

utilizadas relativas à “organização e desenvolvimento de atividades e materiais

didáticos para o ensino de Física”, os “obstáculos de aprendizagem e mudança

conceitual” e o “enfoque CTS no ensino de Física” (Ld).

Na alocação do item na MR observou-se que o item trata tanto do conhecimento

de conceitos de Física quanto dos aportes teóricos da educação, requerendo do

estudante o aspecto do perfil profissional “dominar instrumentos conceituais (modelos

e teorias), de modo a operacionaliza-los nos diversos âmbitos de suas práticas

profissionais” (P1), utilizando-se como recurso a “elaboração de diagnósticos para

situações-problema, avaliando riscos e possibilidades, de modo a subsidiar a

implementação de soluções adequadas à realidade escolar brasileira no que diz

respeito ao ensino de Física” (R15).

Seguem as questões objetivas do núcleo específico comum do ENADE 2011,

classificadas pela TBR:

Page 31: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Quadro 10 – Questões objetivas do ENADE 2011 (Licen ciatura) Dimensão:

Conhecimento Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual 14,17,23 10 10

Conceitual 11,25,26,

31 09,18,34 09,16,29

16,18,25,

26,27,28,

33,34

16,26,

27,28,

30,33,

34

Procedural 13 12,19,32,

35

15,19,20,

21,22,24

13,15,22,

35

12,19,

32,35

Metacognitivo

Fonte: Dados da pesquisa

O ENADE 2011, como as anteriores, avaliou as três dimensões do domínio do

conhecimento (efetivo, conceitual e procedural). Em aproximadamente 15% das

questões objetivas, do componente específico geral e Licenciatura, o estudante deve

mobilizar seu conhecimento efetivo/factual, ligado aos conhecimentos básicos, sem

que aconteçam inter-relações entre conceitos. Segue a questão 14:

14. Quando a radiação eletromagnética interage com a matéria, pode ocorrer a transferência da energia do fóton, ou de parte dela, para as partículas que compõem o meio material. Alguns dos principais tipos de interação da radiação eletromagnética com a matéria são: efeito fotoelétrico; espalhamento Compton e produção de pares, que se diferenciam entre si pelas características do meio material; energia do fóton incidente; energia transferida e situação do fóton após a interação (absorção total ou espalhamento com perda de energia do fóton). Entre os mecanismos de interação da radiação eletromagnética com a matéria, o efeito fotoelétrico ocorre (A) quando o fóton incidente interage com o núcleo atômico do átomo do material atenuador, cedendo toda a sua energia e originando um par de partículas. (B) quando o fóton incidente é totalmente absorvido por um elétron livre de um metal e este é ejetado do material. (C) quando o fóton de raios X ou gama é desviado por um elétron das camadas mais externas, transferindo a esse elétron parte de sua energia. (D) mais predominantemente quando a energia do fóton incidente é muito maior que a energia transferida às partículas produzidas na interação. (E) independentemente da energia do fóton incidente e do número atômico do meio.

Essa é uma questão na qual o estudante não necessita conectar nem combinar

dados ou conteúdos apresentados para sua resolução, mobilizando seu conhecimento

efetivo/factual, pois precisa apenas ter conhecimentos básicos de Física Moderna,

Page 32: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

ocorrendo o processo cognitivo lembrar, em que reconhece o assunto, precisando

apenas reproduzir as informações acerca do efeito fotoelétrico.

O conhecimento conceitual, presente em aproximadamente 48% das questões

objetivas dos componentes específicos gerais e para a Licenciatura, faz com que o

estudante relacione os conteúdos básicos em um contexto mais elaborado, não ainda

prevendo métodos, algoritmos ou técnicas de aplicação a determinadas situações,

mas, exigindo conhecimentos de princípios e teorias da Física ou das disciplinas

ligadas à prática docente. Segue a questão 34:

34. A produção do conhecimento escolar crítico requer que a teoria anunciada na forma conceitual se transforme em ações no contexto de vida do aluno para alcançar uma visão crítica que move o seu agir no mundo para superar a visão fragmentada da realidade.

FAVERI, J. E. Filosofia da educação : o ensino da filosofia na perspectiva freireana. 2. ed. Petrópolis: Vozes, 2011, p. 44.

Na perspectiva das ideias do fragmento de texto acima, analise as seguintes asserções. A concepção crítica de conteúdo fundamenta-se na relação entre o saber cotidiano do estudante, suas condições existenciais e o saber metódico já produzido. O produto dessa relação constitui sínteses qualitativamente melhoradas.

PORQUE Pela reflexão crítica da realidade presente, o estudante busca organizar um novo saber na forma de teorias explicativas que identificam contradições e buscam sua superação com posturas concretas renovadas diante do seu contexto de vida. Acerca dessas asserções, assinale a opção correta. (A) As duas asserções são proposições verdadeiras, e a segunda é uma justificativa correta da primeira. (B) As duas asserções são proposições verdadeiras, mas a segunda não é uma justificativa da primeira. (C) A primeira asserção é uma proposição falsa, e a segunda, uma proposição verdadeira. (D) A primeira asserção é uma proposição verdadeira, e a segunda, uma proposição falsa. (E) Tanto a primeira quanto a segunda asserções são proposições falsas.

Trata-se de questão asserção-razão, muito presente no ENADE. O estudante,

além de dominar conteúdos específicos de Metodologia do Ensino de Física, para

determinar a veracidade das afirmações precisa chegar ao nível do domínio de

conhecimento conceitual e correlacionar as informações das duas asserções para

determinar se uma justifica a outra. Ao usar o processo cognitivo lembrar, associa o

conteúdo das práticas de ensino com a situação proposta, checa as informações

relevantes e verifica sua veracidade no processo avaliar e faz a inter-relação entre as

partes relevantes das duas afirmações para verificação se uma justifica a outra.

Por fim, verifica-se em aproximadamente 37% das questões objetivas do núcleo

de componentes específico geral e de Licenciatura, que os estudantes devem chegar

ao nível do conhecimento procedural ou procedimental, no qual os elementos mais

simples, abordados nas questões, conectam-se a contextos mais apurados.

Exemplifica-se a questão 19 do núcleo dos componentes específicos gerais:

Page 33: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

19. A segunda lei da termodinâmica pode ser usada para avaliar propostas de construção de equipamentos e verificar se o projeto é factível, ou seja, se é realmente possível de ser construído. Considere a situação em que um inventor alega ter desenvolvido um equipamento que trabalha segundo o ciclo termodinâmico de potência mostrado na figura. O equipamento retira 800 kJ de energia, na forma de calor, de um dado local que se encontra na temperatura de 1000 K, desenvolve uma dada quantidade líquida de trabalho para a elevação de um peso e descarta 300 kJ de energia, na forma de calor, para outro local que se encontra a 500 K de temperatura. A eficiência térmica do ciclo é dada pela equação fornecida.

MORAN, M. J., SHAPIRO, H. N. Princípios de Termodinâmica para

Engenharia . Rio de Janeiro: LTC S.A., 6. ed., 2009.

Nessa situação, a alegação do inventor é A) correta, pois a eficiência de seu equipamento é de 50% e é menor do que a eficiência teórica máxima. (B) incorreta, pois a eficiência de seu equipamento é de 50% e é maior do que a eficiência teórica máxima. (C) correta, pois a eficiência de seu equipamento é de 62,5% e é menor do que a eficiência teórica máxima. (D) incorreta, pois a eficiência de seu equipamento é de 62,5% e é maior do que a eficiência teórica máxima. (E) incorreta, pois a eficiência de seu equipamento é de 62,5% e é menor do que a eficiência teórica máxima.

O conhecimento procedimental do estudante é estimulado ao perceber que,

além de conhecimentos básicos das leis da Termodinâmica, deve entender como

funciona uma máquina térmica e como se calcula sua eficiência. O aluno deve recorrer

à abstração proposta no enunciado do exercício para determinar se a máquina

hipotética funciona de acordo com as Leis da Termodinâmica. Para tal efetua o cálculo

da eficiência da máquina operando nas duas temperaturas, no processo cognitivo

aplicar, executando a tarefa com referência o Ciclo de Carnot, checando (avaliar) se a

eficiência real é menor que a eficiência máxima que poderia ter.

O ENADE 2011 não distingue questões discursivas específicas para a

Licenciatura ou para o Bacharelado. De fato, consta da Prova três questões comuns a

todos aos estudantes concluintes dos dois cursos. O quadro 11 apresenta a

classificação pela TBR das questões discursivas.

Page 34: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Quadro 11 – Questões discursivas do ENADE 2011 (Lic enciatura) Dimensão:

Conhecimento

Dimensão: processo cognitivo

Lembrar Entender Aplicar Analisar Avaliar Criar

Efetivo/factual

Conceitual 03 03,04 03,04 03

Procedural 05 05 05

Metacognitivo

Fonte: Dados da pesquisa

Entre as questões discursivas, duas exigem o domínio do conhecimento

conceitual e uma exige o nível de conhecimento procedural. A seguir, apresenta-se a

análise da questão 3 quanto ao nível do domínio de conhecimento e aos processos

cognitivos envolvidos. Discutem-se também os aspectos do perfil do profissional

esperado e os recursos mobilizados pelo estudante. Segue a questão:

03. A seguir são apresentados os dois principais enunciados da Segunda Lei da Termodinâmica referentes a máquinas térmicas. (i) Enunciado de Kelvin-Planck: É impossível para qualquer dispositivo que opera em um ciclo receber calor de um único reservatório e produzir uma quantidade líquida de trabalho. (ii) Enunciado de Clausius: É impossível construir um dispositivo que funcione em um ciclo e não produza qual outro efeito que não seja a transferência de calor de um corpo com temperatura mais baixa para um corpo com temperatura mais alta.

BOLES, M. A. Termodinâmica . 5. ed. São Paulo: McGraw-Hill, p. 224-236, 2006.

Considerando esses princípios, faça o que se pede nos itens a seguir. a) Exemplifique um dispositivo que ilustre o enunciado de Kelvin-Planck, comentando suas características. (valor: 3,0 pontos). b) Exemplifique um dispositivo que ilustre o enunciado de Clausius, comentando suas características. (valor: 3,0 pontos). c) Mostre que, se o enunciado de Kelvin-Planck for violado, o enunciado de Clausius necessariamente também será violado. (valor: 4,0 pontos).

A questão avalia o objeto de conhecimento Termodinâmica (Gc),

especificamente da 2ª Lei, bem como o funcionamento das máquinas térmicas e

refrigeradores. O estudante deve conhecer os modelos termodinâmicos e relacioná-los

Page 35: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

aos enunciados propostos, não sendo importante a aplicação dos modelos, mas o

domínio do conhecimento conceitual. A seguir, segue o padrão de respostas esperado:

Nos itens (a) e (b) espera-se que o estudante mencione o dispositivo que o

referido enunciado está relacionado, devendo, então, mobilizar o processo cognitivo

lembrar, reconhecendo a informação dada e reproduzindo o conteúdo relevante,

retomado em sua memória. Nota-se também que a questão requer do estudante

exemplificar o conteúdo do enunciado, conectando a nova situação com

conhecimentos previamente adquiridos, mobilizando o processo cognitivo entender. A

seguir, o padrão de respostas para o item (c):

O item (c) relaciona os conceitos explicados nos itens (a) e (b) e devem ser

inter-relacionados de forma a explicar uma nova afirmação/procedimento, requerendo

do estudante a capacidade de aplicar os conhecimentos de Termodinâmica na

situação proposta e analisar os dois enunciados da Segunda Lei da Termodinâmica,

de Kelvin-Planck e Clausius, concluindo que se um for violado o outro também será.

A matriz de referência, como discutido anteriormente, relaciona os aspectos dos

perfis profissionais esperados ao aluno egresso com os recursos

(habilidade/competência) adquiridos ao longo do curso. Na resolução dessa questão o

aluno deve “dominar instrumentos conceituais (modelos e teorias), de modo a

operacionaliza-los nos diversos âmbitos de suas práticas profissionais” (P1) e que

possua “articulação das relações de síntese e de análise, interpretando de modo

interdisciplinar e contextualizando a produção do conhecimento” (R9).

CONSIDERAÇÕES FINAIS

Este Guia apresentado colaborar com o trabalho de professores e

coordenadores do ensino superior, ao fornecer uma visão geral do ENADE. Objetiva-

Page 36: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

se ampliar o conhecimento de docentes de Física acerca da complexidade do ENADE

que, como outros exames de larga escala, ENEM, ENCCEJA e PISA, estrutura-se em

uma matriz de referência de habilidades e competências, que fundamentam os itens

(questões) avaliados, norteando a elaboração da prova. O professor de Física no

ensino superior, ao conhecer a ideia de matriz de referência para ENADE, poderá

compreender a complexidade do exame e o que tem sido efetivamente avaliado.

O Projeto Pedagógico de certo curso pode estar se concentrando em perfis e

recursos que não têm sido requeridos no ENADE. Em contrapartida, sua Matriz

Curricular pode não estar enfatizando o que vem sendo avaliado pelo Exame, sendo

que é essa reflexão pode ser feita, a partir da construção da matriz de referência.

De uma forma geral, as provas do ENADE, em todas as versões do exame,

foram classificadas com os indicadores de nível médio a difícil, segundo o relatório

síntese divulgado pelo INEP. Apenas uma questão de cada exame foi classificada com

o indicador fácil, sendo o restante entre os índices médio e difícil. A prova mais difícil

dos três exames foi o ENADE 2011, com 72% dos itens no indicador difícil.

Com relação ao objeto de conhecimento (conteúdo) requerido o ENADE, no

componente de conteúdos específicos gerais à Licenciatura e Bacharelado, manteve

um patamar constante de ocorrência nas questões dos objetos de conhecimento

Termodinâmica, Ondulatória e Óptica e Física Moderna. Percebe-se com o passar dos

anos um decréscimo na frequência dos itens que avaliam o objeto de conhecimento

Mecânica, e um aumento dos itens que avaliam Eletricidade e Magnetismo.

Os domínios do conhecimento e os processos cognitivos, mobilizados pelo

estudante foram analisados através da Taxonomia de Bloom Revisitada (TBR), a qual

permite entender “o que” o estudante fez ao ler a tarefa proposta na questão e “como”

a realizou. Percebe-se que a maior parte dos itens da prova do ENADE encontra-se

nas dimensões conceitual e procedural do conhecimento, sendo o domínio do

conhecimento efetivo encontrado em poucos itens e o metacognitivo inviável de

avaliar, pelos dados disponíveis do exame. Em nenhuma questão das provas do

ENADE o estudante precisou mobilizar o processo cognitivo criar, sendo que a maior

parte das questões encontra-se nos níveis entender, aplicar, analisar e avaliar.

É importante que os docentes façam uma reflexão acerca da complexidade das

questões do exame, e sua categorização segundo a TBR, para confrontar com os

níveis de conhecimento encontrados nas tarefas propostas em sua prática docente.

Não há como “treinar” os estudantes para o ENADE, mas é possível familiarizá-

los com tarefas e atividades acadêmicas no mesmo nível de complexidade das

questões avaliadas nos exames, baseados nas orientações contidas nas DCN, bem

como os aspectos do perfil profissional e os recursos (competências e habilidades)

requeridos, os conhecimentos e os processos cognitivos envolvidos.

Page 37: PONTIFÍCIA UNIVERSIDADE CATÓLICA DE MINAS GERAIS … · ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos) e PISA (Program for Internacional Student

Parafraseando os níveis da dimensão do conhecimento propostos pela TBR,

espera-se que ao ler esse material, o docente lembre-se das discussões propostas,

tornando-se capaz de entender o que se espera do estudante na realização da prova

do ENADE, permitindo-lhe avaliar sua prática, analisando os dados relevantes

absorvidos na leitura. Por fim, espera-se que o professor aplique as informações e

condicionantes dessa leitura na criação de novas situações em sua prática docente.

REFERÊNCIAS

BRASIL. Ministério da Educação. Resolução CNE/CP 1/2002. Diretrizes Curriculares Nacionais para os Cursos de Formação de Professores da Educação Básica . Brasília: MEC, 2002a.

BRASIL. Ministério da Educação. Resolução CNE/CES 9/2002. Diretrizes Curriculares Nacionais para os Cursos de Bacharelad o e Licenciatura Física . Brasília: MEC, 2002b.

BRASIL. Ministério da Educação. Parecer CNE/CES 1.304/2001. Diretrizes Nacionais Curriculares para os Cursos de Física . Brasília, 2001. Disponível em: <http://portal.mec.gov.br/cne/arquivos/pdf/CES1304.pdf>. Acesso em 29 jun. 2012.

BRASIL. INEP. Portaria n˚ 172. DOU, Brasília, n. 165, p. 63, ago. 2005.

BRASIL. INEP. Exame Nacional de Desempenho dos Estudantes . Brasília, 2005. 36 p. Disponível em: <http://download.inep.gov.br/download/enade/2005 /provas/FISICA.pdf>. Acesso em: 15 set. 2011.

BRASIL. INEP. Enade 2005 – Relatório Síntese : Física. Brasília, 2007. 198 p. Disponível em: <http://download.inep.gov.br/download/enade/ 2005/relatorios/Fisica.pdf>. Acesso em: 26 nov. 2012.

BRASIL. INEP. Portaria n˚ 128. DOU, Brasília, n. 153, p. 9-10, ago. 2008.

BRASIL. INEP. Exame Nacional de Desempenho dos Estudantes . Brasília, 2008. 28 p. Disponível em: <http://download.inep.gov.br/download/Enade2008 _RNP/FISICA.pdf>. Acesso em: 15 set. 2011.

BRASIL. INEP. Enade 2008 – Relatório Síntese : Física. Brasília, 2010. 188 p. Disponível em: <http://download.inep.gov.br/educacao_superior/enade/relatorio _sintese/2008/2008_rel_sint_fisica.pdf>. Acesso em: 26 nov. 2012.

BRASIL. INEP. Portaria n˚ 219. DOU, Brasília, n. 142, p. 16-17, jul. 2011.

BRASIL. INEP. Exame Nacional de Desempenho dos Estudantes . Brasília, 2011. 32 p. Disponível em: <http://download.inep.gov.br/educacao_superior/ enade/provas/2011/FISICA.pdf>. Acesso em: 15 set. 2011.

BRASIL. INEP. Enade 2011: Relatório Síntese : Física. Brasília, 2013. 275 p. Disponível em: <http://download.inep.gov.br/educacao_superior/enade/relatorio _sintese/2011/2011_rel_fisica.pdf>. Acesso em: 08 abr. 2013.

FERRAZ, Ana Paula do Carmo Marcheit; BELHOT, Renato Vairo. Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetos instrucionais. Gestão e Produção , v.17, n.2, p. 421-431, 2010.