Avaliação do Projeto Jovem de...

Avaliação do Projeto

Jovem de Futuro:resultados preliminares do

segundo ano do programa

Rio de Janeiro, Abril de 2010

Ricardo Barros – IPEA

Mirela de Carvalho – IETS

Samuel Franco – IETS

Andrezza Rosalém - IETS

2008

2009

Sequência de Eventos

Apresentaçãprese1. Apresntação do

programaama

2. Adesão das escolas

3. Grupamento das escolas 4. Seleção de uma escola em

cada grupo por sorteio público

6. Pesquisa socuioeconômica

5. Seleção de uma amostra de turmas

8. Avaliação somativa

7. Avaliação diagnóstica

2007

2008

-70 -60 -50 -40 -30 -20 -10 0 10 20 30 40 50 60

12

13

1

17

3

9

15

2

16

23

5

19

18

25

14

20

8

24

21

22

6

10

7

Diferença entre tratamento e controle

Es

tra

toDiferença entre os grupos de tratamento e controle segundo a

avaliação Diagnóstica de matemática: Amostra - Porto Alegre, 2008

Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre , 2008

11

13

Indicadores de resultado

Média do desempenho 78 78 61

1º quartil do desempenho 78 78 59

Mediana do desempenho 79 54 78

Porcentagem com desempenho acima da

meta do programa "Todos pela

Educação"15 15 13

Porcentagem com desempenho acima de

300 28 47 65


350 47 99 93


275 70 70 86

Nota 1: Foi considerado como meta do programa "Todos pela educação" a nota de 317.

Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas

pela Cesgranrio em Porto Alegre , 2008

P-valor do teste de Kolmogorov para igualdade entre as

distribuições das notas dos alunos nos grupos de controle e

Avaliação Diagnóstica de matemática

Porto Alegre, 2008

Total Amostra

Amostra (alunos que

fizeram diagnóstica e

somativa)

Controle Tratamento

Duas ou mais TV a cores 77 75 1,1 64

Dois ou mais rádios 53 52 1,4 56

Videocassete ou DVD 92 92 0,9 54

Freezer 31 31 -0,2 90

Máquina de lavar 81 84 -2,7 22

Aspirador de pó 32 38 -5,4 12

Carro 46 48 -2,4 51

Computador 55 60 -5,0 27

Dois ou mais banheiros 25 26 -1,0 68

Empregada doméstica ou diarista 10 9 1,4 23

Empregada doméstica ou diarista todos os

dias5 4 1,2 6

Pelo menos dois quartos de dormir 92 92 0,2 88

Mais de dois quartos de dormir 48 47 0,8 77

Porcentagem dos alunos que possuem:

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em

Porto Alegre, 2008.

Características do domicílio dos alunos das escolas de Controle e Tratamento do

programa Jovem de Futuro: Amostra - Porto Alegre, 2008

IndicadorMédia (%)

DiferençaP-valor do teste-t de

igualdade de médias

Controle Tratamento

Porcentagem dos alunos que:

Moram com mais de 2 pessoas 93 93 0,4 67

Moram com a mãe 86 83 2,8 15

A mãe ou responsável não tem o fundamental completo 43 40 2,9 51

A mãe ou responsável tem pelo menos o médio completo 32 34 -1,9 68

A mãe ou responsável sabem ler e escrever 97 97 -0,4 65

Vê a mãe ou responsável lendo 86 86 0,0 96

Mora com o pai 59 57 1,9 40

O pai ou responsável não tem o fundamental completo 36 35 0,7 86

O pai ou responsável tem pelo menos o médio completo 34 35 -1,1 75

O pai ou responsável sabe ler e escrever 95 95 -0,4 75

Vê o pai ou responsável lendo 71 72 -1,1 52

Os pais ou responsáveis o estimulam a estudar 98 98 -0,1 97

Os pais ou responsáveis o estimulam a fazer dever de casa e

trabalhos da escola94 92 1,7 7

Os pais ou responsáveis o estimulam a ler 87 88 -0,8 46

Os pais ou responsáveis o estimulam a ir à escola 98 98 0,2 76

Os pais ou responsáveis conversam sobre o que acontece na

escola71 71 0,1 96

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto

Alegre, 2008.

Características do responsável dos alunos das escolas de Controle e Tratamento do


Indicador

Média (%)



Controle Tratamento


Têm mais de 20 livros em casa 28 32 -3,7 9

Têm mais de 100 livros em casa 7 6 1,3 19

Sempre lêem revistas em quadrinhos 12 9 2,4 4

Nunca lêem revistas em quadrinhos 25 26 -1,5 53

Sempre lêem livros de literatura 18 17 0,8 61

Nunca lêem livros de literatura 30 29 1,5 46

Sempre lêem jornais 56 54 2,2 31

Nunca lêem jornais 5 6 -1,0 19

Sempre lêem revistas de informação 15 15 -0,1 90

Nunca lêem livros de informação 36 35 1,4 45

Gastam mais de duas horas assistindo TV 53 50 3,1 15

Gastam mais de duas horas fazendo trabalhos

domésticos22 21 1,1 62

Trabalham fora de casa 27 26 1,2 63

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto

Unibanco em Porto Alegre, 2008.

Hábito de leitura e uso do tempo dos alunos das escolas de Controle e

Tratamento do programa Jovem de Futuro:

Amostra - Porto Alegre, 2008

Indicador

Média (%)



Controle Tratamento


Fizeram maternal 35 37 -1,8 72

Não fizeram nem maternal nem pré-escola 37 31 5,6 13

Foram reprovados alguma vez 59 60 -0,7 83

Abandonaram alguma vez a escola durante o ano letivo 17 17 0,1 99

Completaram o ensino fundamental (antigo 1º grau) no supletivo 37 36 1,2 71

Gostam de estudar língua portuguesa 65 68 -3,1 23

Fazem dever de casa de língua portuguesa sempre ou quase

sempre55 59 -4,0 9

Gostam de matemática 60 58 2,0 51

Fazem dever de matemática sempre ou quase sempre 54 53 1,3 59

Porcentagem dos alunos que pretendem:

Continuar estudando depois de terminar o ensino médio 77 77 0,0 99

Trabalhar depois de terminar o ensino médio 81 82 -0,3 87

Trabalhar e continuar estudando depois de terminar o ensino médio 73 74 -0,9 70

Nota média em:

Língua Portuguesa 212 215 -3,5 58

Matemática 236 239 -3,1 53

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

Características educacionais dos alunos das escolas de Controle e Tratamento do


IndicadorMédia (%)



Controle Tratamento


O professor corrige o dever de casa de língua portuguesa

sempre ou quase sempre71 78 -6,6 5

O professor corrige o dever de casa de matemática sempre ou

quase sempre85 84 0,4 91

O professor elogia as boas notas sempre ou quase sempre 43 44 -1,3 65

Esudam em escolas onde os alunos costumam bater uns nos

outros31 26 4,2 25

Estudam em escolas onde existem brigas ou discussões entre

alunos e funcionários48 44 3,2 43

Esudam em escolas onde existem gangues que brigam 12 12 0,6 78

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto

Alegre, 2008.

Características da escola dos alunos das escolas de Controle e Tratamento do


Indicador

Média (%)



-20 -10 0 10 20 30 40 50

4

2

21

23

15

12

1

16

13

20

9

14

19

6

17

18

3

8

10

22

24

5

25

Diferença entre tratamento e controle

Es

tra

toDiferença entre os grupos de tratamento e controle segundo a

avaliação de matemática: Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS) - Porto Alegre, 2008

Fonte: Estimativas produzidas com base na prova do Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS), de 2008.

6

17

Gênero Etnia Taxa de

desemprego

Taxa de

desconto

intertemporal

Valor

presente da

renda do

trabalho

(R$ mil)

Benefício por

unidade de

impacto

(R$/pontos na

escala SAEB)

Impacto

mínimo para

uma relação

custo-

benefício

favorável

10% 10% 70 171 1.0

15% 15% 34 83 2.1

10% 10% 42 103 1.6

15% 15% 20 50 3.4

Branco

Mulher Negra

Avaliação ex-ante do impacto mínimo necessário para uma relação custo-

benefício favorável:

Porto Alegre, trabalhador com educação média completa

Homen

200

210

220

230

240

250

260

270

280

290

300

Diagnóstica Somativa

Evolução da Proficiência em Matemática - Porto AlegreTotal

Tratamento

Controle

Progresso

Impacto 17

30

Indicador Impacto Erro-padrão P-valor (%) Progresso

Impacto como

porcentagem do

progresso

Média 17 5 0 30 55

1o quartil 15 6 1 33 45

Mediana 20 6 0 29 69

3o quartil 18 6 0 31 57

Média entre os 25% piores 11 7 7 36 30


Média entre os 50% melhores 18 5 0 29 61


Porcentagem de alunos com nota

acima de 27515 4 0 24 64


acima de 30016 4 0 14 118

Notas:

(1) O impacto foi definido pela diferença entre as médias das escolas de Tratamento e Controle.

(2) O progresso foi definido pelas médias das escolas de Controle.

Impacto do Projeto Jovem de Futuro

Porto Alegre - Matemática

Valor Adicionado - Todos os Alunos


pelo Cesgranrio em Porto Alegre, 2008 e 2009.


Impacto como

porcentagem do

progresso

Média 16 6 1 46 34

1o quartil 19 8 1 49 38

Mediana 17 7 1 52 32

3o quartil 12 6 3 48 26






acima de 27513 4 0 28 47


acima de 30012 4 0 16 74

Notas:




Porto Alegre - Língua Portuguesa



pelo Cesgranrio em Porto Alegre, 2008 e 2009.


Impacto como

porcentagem do

progresso

Média 19 2 0 21 91

1o quartil 22 3 0 21 109

Mediana 22 2 0 21 109

3o quartil 16 4 1 22 74






acima de 27516 2 0 13 127


acima de 30013 3 0 14 95

Notas:




Belo Horizonte - Língua Portuguesa



pelo CAED em Belo Horizonte, 2008 e 2009.

0

1

2

3

4

5

6

7

8

9

10

2007 2008 2009 2010 2011 2012

Pro

gre

ss

o n

a p

orc

en

tag

em

d

e a

lun

os

co

m p

rofi

ciê

nc

ia e

m

Ma

tem

áti

ca

ac

ima

do

mín

imo

re

co

me

nd

ad

o (p

. p

.)

Anos

Progresso necessário para alcançar a 3a Meta do CompromissoTodos

pela Educação: Matemática - Região Metropolitana de Porto Alegre, estimativa com base no SAERS

Impacto de um ano no programa

Fonte: Estimativas produzidas com base na prova do Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (SAERS), de 2008.

-5

-4

-3

-2

-1

0

1

2

3

4

5

210 215 220 225 230 235 240 245 250 255 260 265 270 275 280

Ta

xa

de

cre

sc

ime

nto

(%

)

Proficiência em matemática

Relação entre a taxa de crescimento anual do PIB por trabalhador no

período 2002-2006 e a proficiência em Matemática na 8a série em 1995: Unidades da Federação

Fonte: Estimativas produzidas com base no dados da Pesquisa Nacional por Amostra de Domicílio (PNAD) de 2002 a 2006 e do Sistema de Avaliação da Educação BásicaSAEB/INEP

17

1pp

Impacto do programa na amostra entre alunos que

fizeram as avaliações diagnóstica e somativa

(%)

Coeficiente P-valor (%) Coeficiente P-valor (%)

Alunos da escola que estão no ensino médio -2,7 38 1,5 63

Alunos da escola que estão na 1a série do ensimo médio -5,3 35 1,1 86

Professor e aluno -3,7 49 2,0 75

Aluno -3,9 58 7,3 37

Professor -3,2 70 -6,1 55

Atividades que promovam o desenvolvimento de

competencias e habilidades dos alunos6,2 46 10,3 30

Atividades que promovam o aumento do índice de

frequencia dos alunos1,9 78 2,8 74

Atividades que promovam o desenvolvimento de atitudes de

responsabilidade socioeconômica e ambientais dos alunos-4,8 28 -11,3 3

Atividades que promovam o aumento do índice de

frequencia dos professores2,6 53 9,0 6

Atividades que promovam práticas pedagógicas

melhoradas-13,1 54 -52,9 3

Atividades que promovam a gestão escolar por resultado e

infraestrutura melhorada-0,6 94 -3,2 74

Nota: Regressão da diferença entre o valor adicionado das escolas de tratamento e controle em cada estrato contra os indicadores de distribuição e volume de recursos.

Porcentagem

de recursos

alocados por

tipo de

despesa

Distribuição

dos recursos:

Porcentagem

de recursos

alocados por

tipo de

resultado

Distribuição

dos recursos

Volume de recursos:

Porcentagem de alunos

beneficiados

Sensibilidade de impacto do programa ao volume e distribuição dos recursos:

Porto Alegre

Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pelo Cesgranrio em Porto Alegre, 2008 e 2009.

As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e 2009.

Indicadores

Matemática Língua portuguesa

y = 0,8994x - 10,532R² = 0,1723

-40

-30

-20

-10

0

10

20

30

40

50

60

70

80

0 5 10 15 20 25 30 35 40 45 50 55 60

Dif

ere

nç

a n

o p

rog

res

so

en

tre

as

es

co

las

de

T

rata

me

nto

e C

on

tro

le

Porcentagem dos recursos alocados no R4 (%)

Relação entre o impacto do programa e a proporção dos recursos

alocados a atividades que promovam o aumento do índice de frequencia dos professores:

Língua portuguesa - Porto Alegre

Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco ap licadas pelo Cesgranrio em Porto Alegre, 2008 e 2009. As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e 2009.

Nota 1: Foi considerado como impacto a diferença na nota média no progresso (Somativa 2009 - Diagnóstica 2008) entre as escolas de Tratamento e Controle.

y = -1,1343x + 30,111R² = 0,2348

-40

-30

-20

-10

0

10

20

30

40

50

60

70

80

0 5 10 15 20 25 30 35 40 45

Dif

ere

nç

a n

o p

rog

res

so

en

tre

as

es

co

las

de

T

rata

me

nto

e C

on

tro

le



alocados a atividades que promovam o desenvolvimento de atitudes de responsabilidade socioeconômica e ambiental dos alunos:

Língua portuguesa - Porto Alegre



y = -5,2903x + 27,591R² = 0,2167

-40

-30

-20

-10

0

10

20

30

40

50

60

70

80

0 1 2 3 4 5 6 7 8 9 10 11 12

Dif

ere

nç

a n

o p

rog

res

so

en

tre

as

es

co

las

de

T

rata

me

nto

e C

on

tro

le



alocados a atividades que promovam práticas pedagógicas melhoradas: Língua portuguesa - Porto Alegre



Avaliação do Projeto Jovem de...

Documents

Transcript of Avaliação do Projeto Jovem de...