Estudo de caso:

Os programas de capacitação profissionalizantes são eficazes?

Este estudo de caso baseia-se em “Comparing experimental and matching methods using a field experiment […]” (Comparação entre o método experimental e o método comparativos usando um experimento de campo [...]) de Kevin Arceneaux, Alan S. Gerber e Donald P. Green, Political Analysis 14: 1-36; e em um estudo de caso preparado pelo Poverty Action Lab do MIT.

1

Agradecemos aos autores por nos permitirem utilizar seu documento e por compartilharem seus dados conosco.

Introdução

Em janeiro de 2001, o pessoal da Campanha Empregos 100% lançaram um esforço para ajudar os jovens de Naguda conseguirem um emprego. Durante aquele mês, eles foram a dois liceos, falaram com estudantes, apresentaram o programa, e entregaram informação sobre um programa, gratuito, para qualquer pessoa de mais de 16 anos de idade. Nas duas escolas, 600 estudantes do último ano estavam a ponto de se graduar, e todos receberam a informação.

A campanha da Empregos 100% aumentou a probabilidade de emprego desses jovens? Como podemos saber? Este estudo de caso trata dessas questões examinando os diferentes métodos que podem ser utilizados para avaliar o impacto de um programa ou intervenção. Embora o contexto deste estudo de caso seja a capacitação profissionalizante em Naguda, as questões levantadas aqui também são válidas para a avaliação do impacto de outros programas públicos (relacionados ao bem-estar social ou não) em outros paises.

Cenário

O desemprego juvenil está incréivelmente alto em Naguda, e na região toda. Na media, o desemprego juvenil é tres vezes maior do que o desemprego dos adultos. Nos pobres, o desemprego juvenil é dez vezes maior do que o desemprego dos adultos. Esto é um começo triste da primeira experiência de qualquer um no mercado de trabalho e pode afetar as possibilidades de emprego na idade adulta. No mesmo tempo, estas altas taxas de desemprego juvenil, especialmente entre os pobres, são preocupantes, pela possibilidade dos jovens entrar em atividades criminais em consequência da falta de melhores alternativas para eles. De fato, atividades violentes de jovens contribuiram significativamente à alta rápida da violência urbana da decada dos 90.

A falta de compêtencias/habilidades (“skills”) está sendo considerada como um dos determinantes chave de problemas sociais importantes como o desemprego juvenil, a pobreza e o crime e também uma limitação chave ao crecimento nos paises em desenvolvimento. A educação é um insumo fundamental para resolver estos problemas mas é uma solução de relativamente longo prazo. Dada a urgência, a pergunta é: “É possível intervir e melhorar a situação dos jovens? Qual forma de intervenção seria adequada?” Em busca de uma solução, o Ministerio da Juventude de Naguda contratou um consultor, que veio com a estrategia seguinte:

2

Para: Sua Excelência o Ministro da SaúdeDe: V. Valdori, consultorData: 15 de dezembro de 2000Ref: Capacitação profissionalizante para melhor emprego juvenil

Diagnóstico

Durante o mes passado, conduzi varias entrevistas com grupos focais de jovens em alguns dos liceos de Naguda. Após análise minuciosa, concluí que os dois motivos principais, pelos quais os jovens explicam porque enfrentam grandes desafios em encontrar trabalho, são:

1. Eles não tem as competências (skills) requeridas.2. Os empregadores discriminam e não querem contratar trabalhadores jovens.

O problema da discriminação é importante, e requer ser examinado detalhadamente, mas é um problema de longo prazo. Mesmo que introduzamos leis ou politicas para descoragar a discriminação, demorara bastante para mudar as creênças e os costumes. O problema da inadequação das competências dos trabalhadores jovens às necessidades dos empregadores sugere que as escolas de Naguda não estejam fornecendo treinamento nos assuntos que são os mais úteis na econômia. Porém, isto também é um assunto de longo prazo, que implicaria a revisão do curriculo escolar em Naguda.

Proposta

Eu recomendo que o Ministério da Juventude contrate uma empresa para prover capacitação profissionalizante aos jovens, para equipa-los com as competências requeridas no mercado de trabalho de Naguda e para facilitar a sua transição entre o estudo e o trabalho. Os jovens devem ter esta opção e devem receber a informação que eles precisam para tomar as decisões corretas sobre o seu capital humano. Já que a maioria dos jovens de Naguda estão na escola, será mais barato chegar a eles lá que visita-los casa por casa.

O Ministro da Juventude está descrente dessa proposta. Antes de lançar a campanha 100% Empreho em todo o pais, ele pede aos gerentes do programa de executarem um projeto piloto a fim de testar a eficácia da campanha. Uma avaliação de impacto será integrada ao projeto-piloto. O Ministro da Saúde contrata você para realizar a avaliação de impacto

3

Pergunta 1 para discussão – Qual é a pergunta básica que sua avaliação de impacto deve ser capaz de responder?

Por favor, responda à Pergunta 1 antes de continuar a ler.

A campanha 100% Empregos funcionou?

Em janeiro de 2001, pesquisadores para a Campanha 100% Emprego visitaram duas escolas secóndarias em Naguda. Estas escolas incluem 600 alunos no seu último ano de estudos. Mais tarde no mês, os pesquisadores chamaram para dizer que 250 dos 600 estudantes tenham decidido de participar no programa piloto. Os outros 350 não quiseram.

A lista dos 600 jovens foi obtida das bases de datos das escolas. As bases de datos contem informação sobre o tamanho da família, a idade da mãe do/a jovem, o gênero do chefe da familia, se o/a jovem tiver irmões mais velhos, onde a família vive (ou seja na região Norte ou Sul) e o nível de desenvolvimento econômico do distrito do domicílio. Finalmente, os pesquisadores conseguiram determinar, com base em arquivos oficiais do Sistema Nacional de Seguro, se aqueles jovens estavam realmente empregados em 2001.

Análise dos dados para 2001

Os pesquisadores da Campanha Emprego 100% concordaram em compartilhar com você seus dados relativos aos 600 jovens nas duas escolas envolvidas no projeto piloto. Estamos pedindo que você use esses dados para estimar o impacto da capacitação profissionalizante sobre a probabilidade de uma jovem estiver empregado em 2001. Você está sendo solicitado a avaliar os dois métodos descritos abaixo.

Método 1 – Diferença simples na proporção de jovens empregados, entre os que participaram no treinamento e os que não participaram.

Supondo que os 250 jovens que participaram na capacitação constituam o grupo de ‘tratamento’ e os 350 jovens restantes (ou seja, aqueles que não assistiram às capacitações) representem o grupo de ‘comparação’. Se você desejar determinar o impacto do recebimento da capacitação sobre a probabilidade de emprego, você pode comparar a proporção de jovens no grupo de ‘tratamento’ que estão empregados com a proporção desses jovens no grupo de ‘comparação’.

4

A Tabela 1 apresenta o impacto estimado da Campanha Emprego 100% usando o método de diferença simples. A Tabela 1 compara as características médias dos grupos ‘tratados’ e grupos ‘de comparação’.

Tabela 1: Percentagem de jovens das duas escolas no piloto que estão empregados … entre os que

participaram na capacitação

… entre os que não participaram na

capacitaçãoImpacto estimado

(Método 1) Diferença simples

64.5 % 53.6 % 10.9 pp*

pp = ponto percentual; * = significância estátistica <= 5 %.

Pergunta 2a para discussão – Você acha que este método possa dar-lhe uma ideia precisa do verdadeiro impacto da capacitação profissionalizante sobre a probabilidade de um jovem encontrar um emprego? Por quê ou por que não?

Pergunta 2b – Vocâ acha que este metódo pode dar uma ideía de qual seria o impacto se o programa estiver extendido a todas as escolas de Naguda? A todos os jovens de Naguda? Por quê ou por que não?

Responda à Pergunta 2 antes de continuar a ler.******************************

5

Método 2 – Utilize uma regressão múltipla para determinar as diferenças entre os jovens que foram capacitados e os que não foram.

Se você acreditar que os jovens capacitados possam ter características inerentes diferentes daqueles que não participaram na capacitação, você pode calcular essas diferenças utilizando uma regressão multivariada da maneira seguinte:

O grupo de participantes e o grupo de comparação são definidos da mesma maneira que no Método 1. Para calcular o impacto do programa, faz-se uma regressão na qual a ‘variável dependente’ é ou zero ou uma variável que indica se o/a jovem está empregado(a) (ou seja, 0 = desempregado, 1 = empregado). A ‘variável explicativa-chave’ é ou zero ou uma variável que indica se o(a) jovem esteve capacitado(a) ou não (isto é, 0 = capacitado; 1 = não capacitado). As possíveis diferenças de características podem ser entendidas utilizando-se outras variáveis explicativas, tais como a idade da mãe do jovem, o gênero do chefe do domicílio, o número de irmões mais velhos no domicílio etc. O coeficiente da variável explicativa (ou seja, ‘participou na capacitação’) representa o impacto estimado do programa.

A Tabela 2 apresenta o impacto estimado da Campanha Emprego 100% usando o método multivariável. A Tabela 3 compara as características médias dos grupos ‘tratados’ e grupos ‘de comparação’ usados nesses dois métodos.

Tabela 2: Percentagem de jovens das duas escolas no piloto que estão empregados… entre os que

participaram na capacitação

… entre os que não participaram na

capacitaçãoImpacto estimado

(Método 1) Diferença simples

64.5 % 53.6 % 10.9 pp*

(Método 2) Regressão múltipla a

6.1 pp*

pp = ponto percentual; * = significância estátistica <= 5 %.a Os controles incluem o tamanho do domicílio, a idade da mãe do jovem, uma variável que indica que ele/a tem irmões mais velhos no domicílio, uma variável que indica se o chefe do domicílio é mulher.

6

Tabela 3: Características médias dos domicílios de...jovens que

participaram na capacitação

jovens que não participaram na

capacitação Diferença Tamanho do domicílio 4.56 4.50 0.06 Média de idade da mãe da criança

35.8 31.0 4.8

Percentual de domicílios com crianças mais velhas

56.2 % 53.8 % 2.4 pp*

Percentual de domicílios chefiados por mulheres

7.3 % 9.6 % -2.3 pp*

Tamanho da amostra 250 350pp = ponto percentual; * = significância estátistica <= 5 %

Pergunta 3 para discussão – Na sua opinião, por quê o impacto estimado usando o Método 2 é menor que o impacto estimado usando o Método 1?

Pergunta 4 para discussão – Você considera que o impacto estimado quando se usa o Método 2 representa o verdadeiro efeito causal da Campanha 100% Emprego sobre o emprego juvenil? Por quê ou por que não?

7

Por favor, responda às Perguntas 3 e 4 antes de continuar a ler.******************************

8

Randomização

Os pesquisadores escolheram mais duas escolas, também com 600 estudantes no último ano de estudo. Eles selecionaram aleatóriadamente 250 estudantes para receberem a capacitação. Isto é similar à selecão aleatória numa experiência clínica, onde o tratamento/remedio está administrado a um grupo de pacientes selecionados aleatoriadamente e não a um outro grupo de pacientes. Podemos aproveitar esta selecão aleatória de 600 estudantes para estimar o impacto da campanha Emprego 100%. A ideia básica é que os 250 estudantes selecionados da população de 600 para receber a capacitação (o grupo de “tratamento”) devem estar semelhantes aos outros 350 estudantes que não foram selecionados (o grupo de “controle”) em termos de caractéristicas observáveis e não-observáveis. A única diferença entre os dois grupos é que o primeiro recebe a capacitação e o segundo não.A Tabela 4 compara o grupo de ‘tratamento’ e o grupo de ‘controle’ com base em características observáveis. A Tabela 5 apresenta o impacto estimado da Campanha Emprego 100% por meio da comparação entre o percentual de jovens empregados no grupo de tratamento e o percentual de jovens empregados no grupo de controle.

Tabela 4: Características dos grupos de tratamento e de controleGrupo de

‘tratamento’

(Recebeu a capacitação)

Grupo de ‘controle’

(Não recebeu a capacitação)

Diferença

Tamanho do domicílio 4.50 4.50 0.00 Média de idade da mãe do jovem 32.0 32.2 -0.2 Percentual de domicílios com crianças mais velhas

54.6 % 55.2 % -0.6 pp

Percentual de domicílios chefiados por mulheres

11.6 % 11.6 % 0.0 pp

Tamanho da amostra 250 350pp = ponto percentual; * = significância estátistica <= 5 %

9

Pergunta 5 para discussão– Observe que os dois grupos parecem muito semelhantes na Tabela 4. Isso é o que você esperava? Por quê ou por que não?

Tabela 5: Grupos aleatório de tratamento e de controle

Percentual de jovens nas duas escolas adicionais do piloto, que estão empregadosGrupo de

‘tratamento’Grupo de ‘controle’

Impacto estimado

(Método 3) Diferença simples

58.2 % 58.0 % 0.2 pp

(Método 4) Regressão múltipla

0.2 pp

pp = ponto percentual; * = significância estátistica <= 5 %

Pergunta 6 para discussão – Observe que as estimativas de impacto na Tabela 5 estão próximas de zero e não são estatisticamente diferentes de zero. Este resultado é diferente dos obtidos com os métodos anteriores. O que poderia explicar essa diferença nos resultados?

Por favor, responda às Perguntas 5 e 6 antes de continuar a ler.

10

Conclusão

A Tabela 6 apresenta os impactos estimados da campanha Emprego 100% sobre as taxas de emprego usando os diversos métodos discutidos neste estudo de caso.

Tabela 6 – Resumo dos impactos estimados da campanha Empregos 100%Método Estimated impactMétodo 1: Diferença simples 10.9 pp* Método 2: Regressão múltipla 6.1 pp* Método s 3 e 4: Ensaio randomizado 0.2 pp

pp = ponto percentual; * = significância estátistica <= 5 %

Como podemos ver, os métodos não produzem todos os mesmos resultados. É, portanto, é critico escolher o método apropriado. O objetivo deste estudo de caso não foi avaliar uma campanha de capacitação específica, mas testar os diferentes métodos de avaliação neste contexto em particular.

Na análise da campanha de capacitação, não só observamos que os jovens que participaram na capacitação iam provávelmente encontrar trabalho, mas que também havia maior probabilidade de eles terem encontrado trabalho mesmo na ausência da capacitação. Mesmo quando consideramos estatisticamente as características observáveis (conhecidas!) dos domicílios, como características demográficas, ainda havia algumas diferenças inerentes não observáveis entre os grupos, independentemente da campanha de capacitação. Assim, quando nossos métodos não aleátorios demonstraram um impacto positivo e significativo, esse resultado foi atribuível a um ‘viés de seleção’ (neste caso a seleção daqueles que participaram na capacitação) e não ao êxito da capacitação em si.

Aplicação a outros situações e programas

Viés de seleção é um problema que ocorre em muitas avaliações de programas. Pense em alguns dos programas de desenvolvimento que você avaliou sem usar métodos aleátorios ou de cuja avaliação teve conhecimento. Discuta de que modo o grupo de participantes foi escolhido e como a ‘seleção’ pode ter afetado a capacidade dos avaliadores de medir o verdadeiro impacto do programa.

11