10 º Seminário Itaú Internacional de Avaliação

Econômica de Projetos Sociais29 de Outubro de 2013

Iniciativa: Fundação Itaú Social

Coordenação técnica: Cenpec

Objetivo: Ampliar o repertório sociocultural dos jovens na perspectiva da educação integral.

Foco: Formação ampliada, geração de oportunidades e inserção produtiva.

Parcerias institucional: Poder público e institutos

Parceria tecnológica: fundação pública e assessores

Parceria executora: ONGs locais

O Programa Jovens Urbanos

Marcos Conceituais

Marcos Conceituais

• Juventudes

• Educação Integral

• Trabalho

• Cidade

• Articulação de redes

Marcos Metodológicos

Desenvolvimento integral

Gerar oportunidades de

formação aos jovens

Formação humana ancorada na ampliação do repertório social, político e cultural

Programa-rede Estado Comunida

deMercado

Expressão

Exploração Produção

Experimentação

Participação eCidadania

Inserção produtiva

Linguagens de arte, Multimeios, Comunicação e Tecnologia, Intervenção Urbana e Meio Ambiente, Chão de fábrica e empreendedorismo na Economia Criativa

Cartografia Explorações

Experimentações Encontros Públicos

Intervenção Jovem

Metodologias

EXPERIMENTAR

A motivação para

empreender descobertas

“Aprender fazendo”

PRODUZIRA disposição

para produzir e inventar

“Concretizar idéias”

EXPLORAR O espírito exploratório

“Ver como é”

EXPRESSARA vontade de participar da vida pública

“Imprimir a sua marca”

Concepção de Aprendizagem

Histórico

Edições do programa

2004 2005 2006 2007 2008 2009 2010 2011 2012

7ª SP5ª SP5ª SP4ª SP3ª SP2ª SP1ª SP

1ª RJ

Manguinhos e Santa cruz

Secretaria Municipal de Assistência e

Desenvolvimento Social

Heliopólis Jardim Helena, Cidade Ademar Jardim Ângela

2ª MG1ª MG

Pouso Alegre (MG)

1ª ES

Serra (ES)

Secretaria Estadual de Educação Programa

Estado Presente

São Miguel Paulista

Lajeado e GrajaúBrasilândia e Campo Limpo

Secretaria Municipal do Trabalho | Programa Bolsa Trabalho

Secretaria Estadual de Desenvolvimento e Assistência Social SP | Programa Ação Jovem

• Programa Jovens Urbanos• 1ª edição: aleatorizada – 2002/2004• 1ª avaliação - 2006• Volta a campo: 2010• 3ª edição: não aleatorizada – 2007/2008• 1ª avaliação - 2009• Volta a campo: 2013

Avaliações

Processo Avaliativo

480 jovens com bolsa de programas do Poder Público

Período de 10 meses – programação

que inclua finais de semana.

Período de 10 meses – programação

que inclua finais de semana.

6 meses de acompanhamento6 meses de acompanhamento

Seleção dos jovensSeleção dos jovens

Algumas atividades/oficinas oferecidas:Algumas atividades/oficinas oferecidas:

Pintura de fachadas

Captação e produção de imagem e som

Paisagismo com resíduos sólidos

Revitalização de móveis

Pintura de fachadas

Captação e produção de imagem e som

Paisagismo com resíduos sólidos

Revitalização de móveis

Desenho do Programa– 1ª edição

• Grupo de tratamento:– participaram das atividades do programa Jovens

Urbanos e

– receberam bolsa-auxílio com contrapartida de retorno à escola

• Grupo de controle:– receberam bolsa-auxílio com contrapartida de

retorno à escola

Tratamento e Controle

• Aleatorização:– Comparação de médias: JU x Controle

• Vazamento e evasão antes do início do programa:– Intention to Treat, LATE (Local average

treatment effect)• Evasão ao longo do programa:

– Reponderação (Ding e Lehrer 2003 -metodologia)

• Informação do sorteio– Recuperação das Informações– Pesquisa de campo + Fichas Cadastrais

Metodologia - Impacto

 VariáveisJovens

Urbanos

Grupo de

ControleDiferença

(1) p-valor

Mulher 0,42 0,34 0,07 0,04

Solteiro 0,85 0,84 0,01 0,40

Branco 0,29 0,33 (0,04) 0,17

Trabalhava em 2004 0,15 0,19 (0,05) 0,08

Emprego formal 2004 0,13 0,26 (0,14) 0,05

Freqüentou escola em 2004 0,71 0,69 0,02 0,25

Concluiu ensino médio 2004 0,23 0,17 0,06 0,04

Anos de estudo 9,43 9,11 0,32 0,05

Idade Média 20,06 20,29 (0,23) 0,09

Renda Familiar R$ 460,15 448,45 11,70 0,34

Anos de estudo da mãe 4,11 4,18 (0,06) 0,41

Número de observações 337 245

Características Iniciais

Trabalho

1

Teste de médias

0,064

0,029

LATE com atrito

0,136

 0,018

Renda Pessoal

1

Teste de médias25,261

0,071

LATE com atrito62,953

 0,011

Frequência escolar

1

Teste de médias

-0,01

2

0,355

LATE com atrito

-0,02

8

 0,577

Envolvimento com a polícia

1

Teste de médias

-0,02

4

0,150

LATE com atrito

-0,05

5

 0,172

Resultados

18

Jovens Urbanos - 1ª Edição

1ª Avaliação (2006) 2ª Avaliação (2009)

  ImpactoSignificân

cia ImpactoSignificân

cia

Renda e Trabalho

Renda pessoal (R$) 56,6 ** - -

Trabalha (%) 13,6 ** - -

Escolaridade

Anos de estudo - - - -

Frequência escolar (%) - - - -

Cultura e Cidadania

Leitura de jornal, revista, livro (em 30 dias) - - - -

Problemas com a polícia -8,1 ** - -Nº de vezes que foi ao cinema ou teatro (em 30 dias)

- - - -

Nota: *** 1% de significância nnn – não analisado ** 5% de significância * 10% de significância - não significante estatisticamente

Avaliação – Curto e Longo Prazos

3ª edição(2007 – 2008)

480 jovens participantes (16 a 21 anos)

8 ONGs

Grajaú e Lajeado

Critério de renda familiar per capita para

definição dos participantes. Lista espera = controle

Avaliações e pesquisas de

campo

1ª avaliaçãoCURTO PRAZO:

maio/junho – 2009

589 entrevistas

2ª avaliação: LONGO PRAZO: maio/junho –

2012

376 entrevistas• 68% dos jovens

encontrados em 2009

19

3ª edição - Desenho

20

Jovens Urbanos -3ª Edição  1ª Avaliação (2009) 2ª Avaliação (2012)

  ImpactoSignificân

cia ImpactoSignificân

ciaRenda e Trabalho

Renda pessoal 114,3 *** - -Trabalha (%) 16,9 ** - -Com emprego no setor formal (%) - - - -

EscolaridadeAnos de estudo - - 0,27 *Frequência escolar (%) - -Concluiu ensino médio (%) - - - -Participa de curso profissionalizante ou de capacitação profissional (%)

6,7 * - -

Ingressou no Ensino Superior (%) 14,2 ***Leitura e Cidadania

Participa de ONG ou organização social (%) 8,0 *** - -Leitura de jornal, revista, livro (no vezes em 30 dias)

7,8 *** - -

Nº de vezes que foi ao cinema ou teatro (em 30 dias)

- - - -

Nota: *** 1% de significância nnn – não analisado ** 5% de significância * 10% de significância - não significante estatisticamente

Avaliação – 3ª edição

• Custos

– investimentos realizados pela Fundação Itaú Social em 2007 e 2008, valores corrigidos pelo IPCA para maio/2009

– valor da bolsa é investimento e também benefício direto aos participantes

(R$1,1 MM)

• Benefícios:

– Cenário I: apenas impacto de curto prazo sobre a renda

– Cenário II: impacto sobre a renda no curto prazo com simulação de custo reduzido do programa (duração de 9 meses)

• Avaliação de curto prazo não mostrou diferença de impacto em renda/emprego entre concluintes ou não do Programa

– Cenário III: impacto sobre a renda no curto prazo e simulação de ganho de renda com ensino superior

21

Retorno Econômico

– Impacto médio sobre a renda de R$ 114, calculado em 2009, com queda linear até zero em 2012

• Cenário I: considera custo total e apresenta retorno negativo.• Cenário II: propõe uma redução nos custos do Programa que torne

o VPL positivo.

22

I - Queda linear do impacto por 4 anos + custo 3a edição  

 VP benefício

salarial custo VPLTIR

(a.a.)

Total R$ 1.424.604,94 R$

(2.649.858,36) R$

(1.225.253,41) -14%

Por aluno R$ 2.967,93 R$ (5.520,54)

R$ (2.552,61)  

         

II - Queda linear do impacto por 4 anos + custo 3a edição proporcional a 9 meses de programa (52% dos custos totais)

 VP benefício

salarial custo VPLTIR

(a.a.)

Total R$ 1.424.604,94 R$

(1.377.926,34) R$ 46.678,60 6%

Por alunoR$ 2.967,93

R$ (2.870,68)

R$ 97,25  

Retorno econômico: Cenários I e II

Cenário III: inclui adicionalmente impacto sobre a probabilidade de ingresso no Ensino Superior em relação a

Cenário I

III - Impacto para ensino superior (2012) e na renda (2009) com custo total

VP benefício salarial custo VPL TIR (a.a.)

Total R$ 5,266,094.88 R$ (2.649.858,36) R$ 2.616.236,52 7,9%

Por aluno R$ 10,971.03 R$ (5.520,54) R$ 5.450,49

Retorno Econômico

• O impacto sobre renda e trabalho encontrado após um ano do programa não se manteve após 4 anos (em 2012).

• Há impacto sobre anos de escolaridade e sobre ingresso no ensino superior em 2012.

• Consideramos cenários com e sem a inclusão de uma renda adicional futura em função da conclusão do ensino superior.

• A taxa interna de retorno do projeto deve ser considerada em um intervalo entre a taxa calculada no 3º cenário (7,9%a.a.), e a taxa calculada no 1º cenário (-14%a.a.).

24

Comentários finais

• Seria interessante entender os mecanismos que levam o jovem não apenas a ingressar, mas também a concluir a faculdade, o que pode ser feito através de entrevistas em profundidade com os jovens entrantes no ensino superior.

• É importante avaliar a focalização do Programa. O retorno econômico positivo foi possível em função da possível conclusão do ensino superior por pequena parcela dos Jovens Urbanos (ca de 10%). Para os demais jovens não é esperado um impacto adicional na renda, sendo o único impacto o de curto prazo.

• Os resultados sugerem que o Programa tem efetividade no curto prazo, na entrada no mercado de trabalho. Nos anos subsequentes não há mais diferenciação em renda por causa do Programa. Este resultado sugere que outros potenciais resultados do Programa não estão sendo revertidos em renda. 25

Comentários finais

Aprendizagem e flexibilidade

Processo constante de reflexão e revisão tem impactos na gestão do programa, que deve se mostrar flexível a incorporar soluções aos desafios percebidos e se reestruturar constantemente.

Espaços de reflexão

Comitê Executivo

Comitê Consultivo

Jovem

Encontro Ampliado

Conselho Acompanhamento

Encontros periódicos envolvendo todas as instâncias de governança do programa garantindo credibilidade e transparência na gestão.

Monitoramento e avaliação

O Programa promove processos contínuo de monitoramento e avaliação (interna e externa) que alimentam a gestão e a rede do programa com informações sobre desafios, resultados e impactos, utilizados como subsídios para a reflexão, aperfeiçoamento, tomada de decisões, correções de rumos e revisão de objetivos e estratégias.

Metodologias de avaliação do programa

JovemONG

Parceiros

Programa Jovens

Urbanos

Formação ampliada

Avaliação deImpacto(quanti)

Resultado(quali e quanti)

Diagnóstico e Processo

(quali e quanti)

Avaliação

1. Inscrição de jovens residentes nos clusters de maior vulnerabilidade - IVJ

2. Prova de habilitação

3. Divulgação da lista dos 960 jovens habilitados

4. Sorteio público para constituição dos grupos de jovens

5. Constituição do grupo controle

6. Constituição do grupo Jovens Urbanos

7. inclusão dos jovens no Cadastro Pró-Social da Secretaria Estadual de Assistência e Desenvolvimento Social

1. Inscrição de jovens residentes nos clusters de maior vulnerabilidade - IVJ

2. Prova de habilitação

3. Divulgação da lista dos 960 jovens habilitados

4. Sorteio público para constituição dos grupos de jovens

5. Constituição do grupo controle

6. Constituição do grupo Jovens Urbanos

7. inclusão dos jovens no Cadastro Pró-Social da Secretaria Estadual de Assistência e Desenvolvimento Social

Constituição do marco zero

1. Definição da Avaliação:• Ação conjugada com

parceiros  • Aderência do público

alvo• Os projetos dos jovens:

resultados e impactos na empregabilidade e no desenvolvimento local

2. Procedimentos:• Análise documental• Questionários com

jovens e educadores• Grupo focal com jovens

e educadores• Pesquisa de Campo

1. Definição da Avaliação:• Ação conjugada com

parceiros  • Aderência do público

alvo• Os projetos dos jovens:

resultados e impactos na empregabilidade e no desenvolvimento local

2. Procedimentos:• Análise documental• Questionários com

jovens e educadores• Grupo focal com jovens

e educadores• Pesquisa de Campo

Avaliação de resultados

1. Constituição do Conselho de Acompanhamento, formado por representantes das parcerias

2. Produção de registros dos processos de formação com educadores e jovens

3. Controle de freqüência dos jovens

1. Constituição do Conselho de Acompanhamento, formado por representantes das parcerias

2. Produção de registros dos processos de formação com educadores e jovens

3. Controle de freqüência dos jovens

Monitoramento

Avaliação do Programa

Renda e empregabilida

de

• Inclusão do eixo: mundo do trabalho• Qualificação do monitoramento para evasão no programa gerada por inserção no mercado de trabalho

Impactos da avaliação na gestão do programa

Hábitos de leitura

• Reforço no eixo letramento• Continuidade das ações de expressão• Criação de semana expressão Jovens Urbanos

Escolaridade formal

• Reforço no monitoramento de jovens que evadem da escola

• Programa ocorrendo dentro da escola em parceria com Secretarias de Educação

Ensino Superior

Escola Técnica

•Parceria com Universidades• Parceria com escola técnica

Conclusões e recomendações

Processos regulares de avaliação orientam as instâncias de participação e governança e aumentam a credibilidade do programa.

O sistema de monitoramento traz informações durante a realização do programa contribui para corrigir ou fortalecer ações.

Resultados da avaliação de impacto reforçam algumas hipóteses detectadas nas avaliações e embasam mudanças na gestão.

Programa Jovens Urbanos: Transferência de Tecnologia Social

 Programa Jovens Urbanos construiu, consolidou, registrou e avaliou sua metodologia de trabalho com jovens que vivem em situação de vulnerabilidade nas metrópoles brasileiras. Disseminar e colocar à disposição da sociedade os saberes produzidos constitui compromisso social e político.  

www.fundacaoitausocial.org.br