Jovem de futuro

Sobre o Impacto do Jovem de Futuro

I. Impacto do quê, sobre o quê e quando?

Impacto do quê?

Projeto Jovem de Futuro

Impacto sobre o quê?

Desempenho da escola ao final da 3ª série em

Matemática e Língua Portuguesa, medido por

avaliações externas (à Secretaria e ao Instituto)

(participam dessas avaliações todas as escolas da

rede estadual).

Impacto, quando?

Após a escola estar três anos no programa.

I. Impacto do quê, sobre o quê e quando?

II. A Base para a Avaliação: “Experimentos” e Grupos de Controle

II. “Experimentos” e Grupos de Controle

Sorteio Público (experimento)

Escola controle

Escola tratada

1. Escolas são agrupadas por semelhança (pares ou grupos de 5 escolas em geral)

2. Em cada grupo, é feito um sorteio para definir quais serão as escolas de tratamento e controle.

3. As escolas tratadas entram no programa imediatamente e as de controle entram 3 anos depois.

4. Desde o piloto, formamos 414 grupos de

escolas, o que equivale a dizer que temos 414 “experimentos” e, portanto, 414 oportunidades para avaliar o programa .

5. Com escolas que já estão há pelo menos três anos no programa temos 116 “experimentos”. Utilizamos todos eles em conjunto para falar hoje sobre o impacto do programa.

Escolas candidatas

260

261

262

263

264

265

266

267

268

269

270

Antes do Programa(3a série)

Após o Programa(3a série, 3 anos depois)

Ap

ren

diz

ado

ao

fin

al d

a 3

asé

rie

Evolução do aprendizado nos grupos de Tratamento e Controle

Melhora no Grupo de

Tratamento

Impacto do Programa

Melhora no Grupo de Controle

Gráfico 1

III. O Jovem de Futuro tem Impacto?

0%

1%

2%

3%

4%

5%

6%

7%

8%

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115

vezes que o tratamento teve desempenho melhor

Distribuição das vezes que o tratamento tem um desempenho superior ao controle

116 (2x58) experimentos

7%

58

Gráfico 2

𝑝 =𝐶11658

2116= 7,4%

0%

1%

2%

3%

4%

5%

6%

7%

8%

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115




22%

5957

Gráfico 3

0%

1%

2%

3%

4%

5%

6%

7%

8%

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115




60%

6254

Gráfico 4

0%

1%

2%

3%

4%

5%

6%

7%

8%

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115




95%48 68

Gráfico 5

0,00

0,01

0,02

0,03

0,04

0,05

0,06

0,07

0,08

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115 120 125




58

Gráfico 6

Evidência de Impacto Positivo

Evidência de Impacto Positivo

Evidência de Ausência de Impacto

6848

Gráfico 7

0,00

0,01

0,02

0,03

0,04

0,05

0,06

0,07

0,08

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115 120 125



Progresso Língua Portuguesa (75)

Progresso Matemática (76)


58

6848

Gráfico 8

0,00

0,01

0,02

0,03

0,04

0,05

0,06

0,07

0,08

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115 120 125



Progresso Língua Portuguesa (75)

Progresso Matemática (76)


58

6848Chance de 1

em cada1.900 tentativas

Chance de 1 vez a cada 5 anos para

quem tenta todo dia

0,00

0,01

0,02

0,03

0,04

0,05

0,06

0,07

0,08

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115 120 125



Linha de Base Matemática (54)

Linha de Base Língua Portuguesa (53)


58

6848

Gráfico 9

0

5

10

15

20

25

30

35

40

45

50

55

60

65

70

75

80

85

90

95

100

-6,0 -5,0 -4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0 5,0 6,0

Distribuição da Estimador de Impacto do Programa sob a Hipótese que o Programa Não Tem Impacto

Estimativa de Impacto

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

2,0 2,2 2,4 2,6 2,8 3,0 3,2 3,4 3,6 3,8 4,0 4,2 4,4 4,6 4,8 5,0 5,2 5,4 5,6 5,8 6,0

Distribuição da Estimador de Impacto do Programa sob a Hipótese que o Programa Não Tem Impacto

Estimativa de Impacto

IV. Qual a Magnitude do Impacto?

Tabela 1

MédiaDesvio

padrão

Número de

estratos ou

estudos

Erro padrão

Limite inferior

do intervalo de

confiança

Limite superior

do intervalo de

confiança

Estatística t P-Valor %

Média (experimento) 6 15 116 1,4 4 8 4 0

Média (área) 5 - 7 1,1 3 6 4 0

Goiás 6 19 25 4 -1 12 2 7

Mato Grosso do Sul 4 10 23 2 1 7 2 3

Pará 10 18 15 5 2 18 2 2

Belo Horizonte 10 10 4 5 2 18 2 6

Vale do Paraíba 8 13 20 3 3 13 3 1

São Paulo 0 9 17 2 -3 4 0 44

Rio de Janeiro 7 17 12 5 -1 15 1 10

Área

Impacto do Projeto Jovem de Futuro:

Matemática

Impacto 3º ano após 3 anos de projeto

Tabela 2

MédiaDesvio

padrão

Número de

estratos ou

estudos

Erro padrão

Limite inferior

do intervalo de

confiança

Limite superior

do intervalo de

confiança

Estatística t P-Valor %

Média (experimento) 4 17 116 1,6 2 7 2,7 0

Média (área) 4 - 7 1,5 2 7 3,0 1

Goiás 5 20 25 4 -1 12 1 10

Mato Grosso do Sul 3 16 23 3 -2 9 1 19

Pará 2 18 15 5 -6 10 0 34

Belo Horizonte 10 9 4 5 2 17 2 5

Vale do Paraíba 3 13 20 3 -1 8 1 13

São Paulo 5 17 17 4 -2 12 1 11

Rio de Janeiro 6 24 12 7 -6 17 1 22

Área


Impacto do Jovem de Futuro:

Língua Portuguesa

V. A Magnitude do Impacto é Espacialmente Estável?

Tabela 5

Média

Número de

estratos ou

estudos

Erro padrão

Limite inferior

do intervalo de

confiança

Limite superior

do intervalo de

confiança

Cochran's Q

Média (área) 4,6 7 1,1 3 6 8,3

Goiás 5,8 25 3,8 -1 12 0,1

Mato Grosso do Sul 4,0 23 2,1 1 7 0,1

Pará 10,1 15 4,7 2 18 1,4

Belo Horizonte 10,0 4 5,0 2 18 1,2

Vale do Paraíba 7,9 20 2,8 3 13 1,4

São Paulo 0,3 17 2,1 -3 4 3,9

Rio de Janeiro 6,9 12 5,0 -1 15 0,2


Matemática

Área


Erro de Medida

Tabela 5

Média

Número de

estratos ou

estudos

Erro padrão

Limite inferior

do intervalo de

confiança

Limite superior

do intervalo de

confiança

Cochran's Q

Média (área) 4,6 7 1,1 3 6 8,3

Goiás 5,8 25 3,8 -1 12 0,1

Mato Grosso do Sul 4,0 23 2,1 1 7 0,1

Pará 10,1 15 4,7 2 18 1,4

Belo Horizonte 10,0 4 5,0 2 18 1,2

Vale do Paraíba 7,9 20 2,8 3 13 1,4

São Paulo 0,3 17 2,1 -3 4 3,9

Rio de Janeiro 6,9 12 5,0 -1 15 0,2


Matemática

Área


5,6

Erro de Medida

Média

Número de

estratos ou

estudos

Erro padrão

Limite inferior

do intervalo de

confiança

Limite superior

do intervalo de

confiança

Cochran's Q

Média (área) 4 7 1,5 2 7 1,9

Goiás 5 25 4 -1 12 0,0

Mato Grosso do Sul 3 23 3 -2 9 0,2

Pará 2 15 5 -6 10 0,3

Belo Horizonte 10 4 5 2 17 1,2

Vale do Paraíba 3 20 3 -1 8 0,1

São Paulo 5 17 4 -2 12 0,0

Rio de Janeiro 6 12 7 -6 17 0,0


Língua Portuguesa

Área


Tabela 4

0,00

0,02

0,04

0,06

0,08

0,10

0,12

0,14

0,16

0 2 4 6 8 10 12 14 16 18 20

Distribuição da estatística Cochran's Q

10%

Média

Evidência de Heterogeneidade

Variabilidade esperada

Acima da variabilidade esperada, dentro da margem de erro, sem evidência de heterogeneidade

Abaixo da variabilidade

esperada

Gráfico 10

0,00

0,02

0,04

0,06

0,08

0,10

0,12

0,14

0,16

0 2 4 6 8 10 12 14 16 18 20

Distribuição da estatística Cochran's Q

10%

Língua Portuguesa

Média

Matemática

Gráfico 11

Estatística Matemática Língua Portuguesa

Número de áreas de atuação 7 7

Cochran's Q ("variância

obervada")8,3 1,9

Variança esperada 6 6

Porcentagem da variância

devido a heterogeneidade (I2) 28% -209%

Análise da Heterogeneidade Espacial do Impacto

Tabela 3

VI. A Magnitude do Impacto é Substantivamente Relevante?

200

210

220

230

240

250

260

270

280

290

300

1995 1997 1999 2001 2003 2005 2007 2009 2011 2013

Fonte: Estimativas obtidas com base no Sistema de Avaliação da Educação Básica (Saeb), 1995 a 2013.

Evolução do Desempenho médio em Língua Portuguesa e Matemática: Brasil, Escolas Públicas

Fundamental

Ensino Médio 18

Um aluno em média aprende 22 pontos na escala SAEB no

Ensino Médio

Cinco pontos na Escala SAEB equivalem a 22% do que um aluno em

média aprende no Ensino Médio

Ao longo da última década, apenas quatro unidades da federação

conseguiram melhorar o aprendizado no ensino médio em ao menos 5 pontos na Escala SAEB

Cinco pontos na Escala SAEB são superiores ao progresso que 85% das Unidades da Federação

alcançaram na última década em termos de aprendizado no ensino médio

Um impacto de cinco pontos na Escala SAEB é:

Maior que o impacto de estudar com um professor experiente;

Similar ao impacto de reduzir o tamanho da sala de aula de 22

para 15 alunos.

Próximo à metade do impacto de estudar com um bom

professor (entre os 20% melhores) ao invés de estudar com um

professor fraco (ente os 20% piores)

(referência: Caminhos para Melhorar o Aprendizado,

http://www.paramelhoraroaprendizado.org.br/)

O que diz a evidência da avaliação de outros programas e intervenções educacionais

O que diz a evidência da avaliação de outros programas e intervenções educacionais

Uma resenha (meta-análise) extremamente abrangente de 76 programas diretamente voltados a promover o aprendizado obteve

uma média para a magnitude do impacto desses programas equivalente a 6-8 pontos na Escala SAEB

Hill, C. J., Bloom, H. S., Black, A. R., & Lipsey, M. W. (2007). Empirical benchmarks for interpreting effect sizes in research. Child Development Perspectives, 2, 172– 177

Jovem de futuro

Government & Nonprofit

Transcript of Jovem de futuro