INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A...

INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A Evidência dos Estudos Internacionais

João Marôco, Ph. D.(IAVE, I. P. ; NPM PISA 2015 & NRC TIMSS 2015)

[email protected]

— Matemática —


Sumário

1. Os Estudos Internacionais de Avaliação de Alunos2. TIMSS 2015 – 4.º Ano3. PISA 20154. TIMSS Advanced5. Validade dos Resultados dos Estudos Internacionais6. Considerações finais

Os Estudos Internacionais de Avaliação de Alunos

Os Estudos Internacionais de Avaliação de Alunos

• Amostra probabilística de larga escala – representativa da realidade nacional;

• Avaliam conhecimentos (TIMSS: sobreposição curricular: +92%) e competências (PISA);

• Avaliam, num só teste, diferentes literacias (Matemática, Leitura, Ciências);

• Informação sobre as variáveis de contexto socioeconómico e cultural que influenciam o ensino e a aprendizagem

• Permitem (um)a caracterização do sistema de ensino face a um referencial externo (framework) definido por especialistas de reconhecido mérito internacional (OCDE, IEA);

• Produzem informação que concorre para a definição de políticas educativas e curriculaalinhados com recomendações internacionais;

• Método eficiente do ponto de vista estatístico (estimadores centrados e não enviesados) e económico (amostra probabilística vs. censos)

TIMSS - 4.º Ano

TIMSS – 4.º AnoTrends in International Mathematics and Science Study…avalia a literacia em matemática e em ciências de alunos do 4.º ano de escolaridade

APLICAR(44%)

Dimensões cognitivas (MAT):

RACIOCINAR(20%)

CONHECER(36%)

Números53%

Geometria eMedida

33%

Apresentaçãode Dados

14%MAT

EMÁT

ICA Ciências da

Vida46%

CiênciasFísicas35%

Ciências daTerra19%

CIÊN

CIAS

n

Áreas de Conteúdo:

(IEA, 2016)

TIMSS – 4.º Ano

MATEMÁTICA : CONTEÚDOS E COMPETÊNCIAS Efetuar cálculos com números de grandeza razoável;

Relacionar frações com números decimais;

Conceito de variável Situações quotidiano

Propriedades e características de retas e de ângulos;

Identificação de figuras planas e de sólidos geométricos;

Propriedades retas, ângulos;

Medidas de comprimento e áreas

Reconhecer e ler várias formas de representação de dados;

Interpretar dados e representações gráficas;

Retirar conclusões; Organizar e apresentar

dados graficamente

Números53%

Geometria eMedida

33%

Apresentaçãode Dados

14%

i. Ler, interpretar e representar dados em tabelas e gráficos

i. Pontos, retas e ângulos;

ii. Formas bidimensionais e tridimensionais.

i. Números inteiros; ii. Frações e

números decimais;iii. Expressões,

equações simples e relações.

(IEA, 2016)

TIMSS – 4.º Ano

MATEMÁTICA : PORTUGAL

Portugal participou nas edições de 1995, 2011 e 2015

Amostra 2015:Escolas/turmas selecionadas por amostragemaleatória multi-etapa: Estratificada (NUTS IIIe Natureza Adm.) e Clusters (turmas)

4693 alunos (9,9 anos; 51% ♂)(tx. Amostragem = 5%

A. M. Lisboa: 23%A. M. Porto: 15%Outras NUTS III: 2-4 %

217 (198 públicas; 19 particulares e cooperativas)

309 professores (75% ≥ 40 anos; 87% ♀)

4065 pais/enc. educação

TIMSS – 4.º Ano

MATEMÁTICA : PORTUGAL – EVOLUÇÃO 1995 - 2015

442

532541

400

450

500

550

600

1995 1999 2003 2007 2011 2015

Pont

uaçã

o na

Esc

ala

TIM

SS

Ciclos de Avaliação TIMSS

1000

=

=

1995 – 2015: 99 pontos2011 – 2015: 9 pontos

TIMSS – 4.º Ano

MATEMÁTICA : RESULTADOS INTERNACIONAIS50 países + 6 regiões em benchmarking

SGP (618)HKG (615)KOR (608)TPE (597)JPN (593)

n

ENG (546)BEL(546)KAZ (544)PRT (541) (13º)USA (539)DNK (539)

JOR (388)SAU (383)MAR (377)ZAF (376)KWT(353)

PISAProgramme for International Student Assessment … avalia se alunos de 15 anos, de todas as modalidades de educação e formação, conseguem mobilizar os seus conhecimentos e competências de leitura, matemática e ciências na resolução de situações do dia a dia das sociedades contemporâneas.

n

LITERACIA CIENTÍFICA: «Capacidade de envolvimento em questões sobre ciência e compreensão de ideias científicas, como cidadão reflexivo, sendo capaz de participar num discurso racional sobre ciência e tecnologia».

LITERACIA DE LEITURA: «Capacidade para compreender, utilizar, refletir e se envolver na leitura, com a finalidade de atingir os seus objetivos, de desenvolver os seus conhecimentos e o seu potencial e de participar na sociedade».

LITERACIA MATEMÁTICA:«Capacidade de formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamentadamente, como cidadão participativo, empenhado e reflexivo».

RESOLUÇÃO COLABORATIVA DE PROBLEMAS:

«Capacidade para trabalhar com duas ou mais pessoas para tentar

resolver um problema».(OCDE, 2016)

PISA

MATEMÁTICA : LITERACIA MATEMÁTICA«Capacidade de formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamen-tadamente, como cidadão participativo, empenhado e reflexivo».

Formular matematicamente as situações; Aplicar conceitos, factos, procedimentos e

raciocínio matemáticos; Interpretar, aplicar e avaliar resultados matemáticos.

Variações e relações; Espaço e forma; Grandezas; Incerteza e dados.

Individual; Ocupacional; Societal; Científico.

CAPACIDADES FUNDAMENTAIS

1. Comunicação;2. Matematização;3. Representação;4. Raciocínio e argumentação;5. Conceção de estratégias de

resolução de problemas;6. Utilização de linguagem

simbólica, formal e técnica e de operações;

7. Utilização de ferramentas matemáticas.

Processos matemáticos

Conteúdosmatemáticos

Contextos

(IAVE, 2016; OCDE, 2016)

PISA

246 (222 públicas + 24 partic./cooperativas)(Taxa Amostragem: 24%)

4228 (M = 46,7 anos; 72% ♀)

7325 (M = 15,8 anos; 50% ♂) (Taxa Amostragem: 7,5%)

R. A. Açores: 21% (sobreamostragem)A. M. Lisboa: 18%A. M. Porto: 13%Outras NUTS III: 1 - 4,5 %

6881 Pais/Enc. educação


Portugal participou em todas as edições: 2000 a 2015

Amostra 2015:Escolas/alunos selecionados poramostragem aleatória multi-etapa: 1ª. Etapa: aleatória estratificada(NUTS III e Natureza Administrativa); 2ª. Etapa: aleatória simples (alunos com idades entre 15 anose 3 meses e 16 anos e 2 mesesa frequentar pelo menos o 7.º ano ou equivalente em todasas modalidades de educaçãoe formação)

PISA

MATEMÁTICA : PORTUGAL – EVOLUÇÃO 2000 - 2015

454

466466

487487

492

410

430

450

470

490

510

530

2000 2003 2006 2009 2012 2015

Pont

os n

a es

cala

da M

atem

ática

Portugal

OCDE

1000

0

+ 38***

+ 5 n.s.

PISA

MATEMÁTICA : RESULTADOS INTERNACIONAIS72 Países e Economias

SNG (564)HKG(548)MAC (544)TPE (542)JPN (532)

FRA (493)GBR (492)CZE (492)PRT (492)22.ºITA (490)

n

TUN (367)KSV (362)DZA (360)DOM (328)

PISA

MATEMÁTICA : PORTUGAL – EVOLUÇÃO 2000 – 2015 : POR ANO ESCOLARIDADE

7.º Ano: y = 2,6773x + 329,25

8.º Ano: y = 1,7779x + 374,12

9.º Ano: y = 1,7754x + 427,5

10.º Ano: y = 2,6622x + 503,55

Média: y = 2,6207x + 455,66

300

350

400

450

500

550

0 3 6 9 12 15

Pont

uaçã

o na

esc

ala d

a M

atem

ática

2000 2003 2006 2009 2012 2015

TIMSS Advanced

TIMSS AdvancedTrends in International Mathematics and Science Study - Advanced…avalia conhecimentos e competências em matemática avançada e em física de alunos a frequentar o ano terminal do ensino secundário em cursos de acesso a carreiras STEM.

n

(IEA, 2016)

Dimensões cognitivas:

Álgebra35%

Cálculo36%

Geometria29%M

ATEM

ÁTIC

A

CONHECER(29%)

APLICAR(41%)

RACIOCINAR(30%)

Mecânica eTermodinâmica

41%Fenómenos OndulatóriosFísica Atómica

33%

Electricidade eMagnetismo

26%

FÍSI

CA

Áreas de conteúdo:

Álgebra35%

Cálculo36%

Geometria29%

MATEMÁTICA : CONTEÚDOS E COMPETÊNCIAS Operação e avaliação de expressões algébricas, incluindo números complexos;

Trabalho com progressões aritméticas e geométricas, incluindo soma de n termos

Determinar limites de funções, reconhecer e descrever condições de continuidade e diferenciabilidade;

Derivadas na resolução problemas; 1ª e 2ª derivada, gráficos e funções;

Integrais e primitivas; cálculo de áreas e volumes.

Resolução de problemas no plano e no espaço;

Propriedades dos vetores; Usar trigonometria para

problemas de triângulos; Esboçar e reconhecer

gráficos de funções trigonométricas;

Resolver problemas com funções trigonométricas.

i. Geometria com e sem coordenadas;

ii. Trigonometria.

i. Limites; ii. Derivadas;iii. Integrais.

(IEA, 2016)

TIMSS Advanced

i. Expressões e operações;

ii. Equações e inequações ;

iii. Funções


Portugal participou pela primeira vez em 2015

Amostra 2015:Escolas/turmas selecionadas por amostragemaleatória multi-etapa: Estratificada (NUTS IIIe Natureza Adm.) e Clusters (turmas)

TIMSS Advanced

221 (209 públicas + 12 partic./cooperativas)(Taxa de Amostragem: 43%)

327 (90% ≥ 40 anos; 74% ♀)

4068 (18 anos; 55% ♀)(Taxa de Amostragem: 13%)A. M. Lisboa: 14% da amostraA. M. Porto: 12% da amostraOutras NUTS III: 1 - 6 %

MATEMÁTICA : RESULTADOS NACIONAIS

Portugal participou pela primeira vez em 2015

TIMSS Advanced

MATEMÁTICA : RESULTADOS INTERNACIONAIS

9 países + RUS 6h+

TIMSS Advanced

ITA

SWE

NORSVNFRA

PRT

RUS

USA

LBN

RUS 6h+

400

450

500

550

n

Validade dos Estudos Internacionais

Os testes medem os conhecimentos/competências dos alunos que é suposto medirem?

• Referencial (framework) estabelecido por painel de peritos educacionais (internacionais); análise de sobreposição curricular;

• Tradução, adaptação e validação transcultural – países e consórcios – rigorosa;

• Métodos de estimação (estatística) «apropriados» para estudos de amostragem em larga escala com design de testes por planned missingness; estimação de aptidões por TRI; estimação de valores plausíveis para desempenho de alunos por modelos de regressão latente;

• Forte correlação item-total.

Validade dos Estudos Internacionais

Os testes são fiáveis?

• Codificação de respostas sob estrito controlo de qualidade (Coding Guides; Treino; Monitorização da fiabilidade de codificação);

• Itens trend não-públicos;

• Anchoring dos resultados em relação a T0.

Validade concorrente com provas nacionais?

Validade concorrente: grau com que um novo método se correlaciona com outro método já existente e assumido como válido.


r = 0,67 0,01(n = 3 977)

r = 0,71 0,01(n = 3 904)

MATEMÁTICA 4.º ANO - TIMSS 2015

MATEMÁTICA 9.º ANO - PISA 2015


r = 0,44 0,01(n = 4 178)

r = 0,64 0,01(n = 4 178)

MATEMÁTICA 12.º ANO – TIMSS ADVANCED 2015


r = 0,64 0,01(n = 2 934)

r = 0,71 0,01(n = 2 934)

Considerações finais

• Resultados dos estudos internacionais (matemática) têm validade concorrente com os exames nacionais de fim de ciclo:

4.º ano: r = 0,71 0,01 (n = 3 904; N = 4 693)

9.º ano: r = 0,64 0,01 (n = 4 178; N = 7 325)

12.º ano: r = 0,71 0,01 (n = 2 934; N = 4 068)

Considerações finais

• Portugal registou evoluções significativas nos desempenhos em matemática dos alunos do ensino básico e secundário entre 1995-2015 (TIMSS) e 2000-2015 (PISA):

TIMSS 4.º ano : + 99 pontos, ca. 2 anos de ensino formal na escala do TIMSSPISA: + 38 pontos, ca. 1 ano de ensino formal na escala do PISA

Obrigado pela atenção!Questões, Dúvidas, Comentários?

[email protected]


INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A...

Documents

Transcript of INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A...