Aula 1 - Informações

necessárias para a Avaliação

Econômica

Material Elaborado por

Betânia Peixoto

Avaliação Econômica de Projetos Sociais

“A avaliação econômica pode ser dividida em duas partes: avaliação de impacto e avaliação de retorno econômico.”

“A avaliação econômica é um componente importante de qualquer projeto social. Assim, ainda na fase de elaboração do projeto, deve-se ficar atento para que sua estruturação esteja de acordo com sua futura avaliação econômica.”

Avaliação Econômica

Impacto

Retorno Econômi

co

Impacto

Plano de Aula

Introduzir os conceitos gerais relacionados à avaliação econômica de projetos sociais.

Apresentar elementos necessários para a avaliação econômica:

Público-Alvo Objetivo Indicadores Dados/Fonte de Informações Custos

Atingiu seus objetivos, ou seja, afetou os beneficiários? As melhoras observadas são um resultado direto do projeto ou teriam acontecido de qualquer forma?

Há diferença de impacto entre regiões ou ao longo do tempo?O programa está causando algum impacto não pensado inicialmente?

Avaliação de Impacto: O programa funciona?

Relações Causais

A avaliação de impacto permite quantificar relações causais entre as ações do projeto e os indicadores de interesse.relações causais = relações de causa e efeitoA avaliação de impacto nos permitirá dizer se foi de fato o projeto o responsável pelas alterações observadas no indicador de interesse. Ter tido impacto significa dizer que na ausência do projeto, as alterações observadas no indicador de interesse não teriam acontecido.

Estabelecer relações causais entre as ações efetuadas e as alterações verificadas nos indicadores de interesse (estabelecidos de acordo com os objetivos do projeto).

A avaliação de impacto visa identificar os efeitos realmente verificados no público-alvo afetado por um determinado programa, em comparação com algum grupo de controle.

Avaliação de Impacto

Exemplo: Programa que tem por objetivo melhorar a

qualidade do ensino. Ação: capacitação de professores Indicador escolhido: desempenho escolar

Capacitação dos

professores

Desempenho dos

estudantes

Se a avaliação de impacto mostrar que os resultados obtidos são significativamente positivos, pode-se implementar o programa em outras escolas parecidas.

Retorno Econômico

Foram os custos justificados mediante os resultados alcançados?

Qual a efetividade do programa, comparativamente a outras alternativas?

Estas perguntas são importantes porque muitas vezes, embora o projeto tenha impacto positivo, ele não é grande o suficiente diante dos custos incorridos em sua implementação.

Retorno Econômico

Pode ser que outros programas alcançassem resultados semelhantes mas com um custo menor e, então, seriam preferidos.

Cálculo do retorno econômico: comparar os benefícios efetivamente obtidos com os custos incorridos na sua implementação.

Elementos para a avaliação econômica

Público-Alvo

Objetivo

Indicadores

Dados/Fonte de Informações

Custos.

Usar como exemplo o programa Eu sou ativoda SEFAZhttp://www.caen.ufc.br/~petterini/itau/Eu_Sou_Ativo.pdf

Público-Alvo

Público-Alvo

Os projetos sociais, em geral, são focalizados (versus programas universais), ou seja, são dirigidos a um determinado grupo da sociedade, denominado público-alvo.

Assim, para realizarmos a avaliação econômica, um primeiro ponto importante é que definamos claramente o grupo a que ele se destina, isto é, o grupo de pessoas que o programa pretende beneficiar.

Critérios de elegibilidade

Em geral, para a identificação do público-alvo utilizam-se os chamados critérios de elegibilidade.

Exemplo: o Programa Bolsa Família atende todas as famílias que tenham renda familiar per capita abaixo do nível de pobreza (renda mensal de até meio salário mínimo por pessoa ou de três salários mínimos no total).

Definido o público-alvo, é possível posteriormente avaliar a focalização do programa.

O programa está incluindo de fato as pessoas que deveria incluir? Ou será que dentre os beneficiários estão indivíduos que a principio não deveriam estar participando?

Quando um programa beneficia pessoas que não deveriam ser contempladas e/ou quando deixa de fora pessoas que pertencem ao público-alvo, dizemos que o programa incorreu nos chamados erros de focalização.

Focalização

Erros de Focalização

Dois tipos: i) excluir do programa pessoas pertencentes ao

público-alvo (ineficiência no alcance ou na cobertura do programa);

ii) incluir no programa pessoas não pertencentes ao público-alvo (vazamento do programa).

O esforço de focalização deve atuar no sentido de minimizar os dois tipos de erros.

Observação:

Para fixarmos os conceitos-chave discutidos nesta aula, trabalharemos com dois exemplos de programas sociais. Um primeiro relacionado à qualidade de ensino e um segundo, relacionado à desnutrição infantil.

Exemplo (1) –Diagnóstico

1. Pesquisadores observam uma série de indicadores bastante ruins relacionados à qualidade da escola (notas escolares, freqüência escolar, aprovação, evasão, etc) entre os alunos do ensino médio da zona leste da cidade de São Paulo.

Exemplo (2) - Diagnóstico

2. Constatou-se um elevado grau de desnutrição infantil entre as crianças de 0 a 5 anos da zona rural do Vale do Ribeira.

Público-Alvo

Exemplo (1): alunos do ensino médio da zona leste da cidade de São Paulo.

Exemplo (2): crianças de até 5 anos da zona rural do Vale Ribeira.

Objetivo

Objetivo

Para que servirá o projeto? O que se pretende alcançar ao final do projeto?

Para realizar a avaliação econômica é importante que os objetivos do projeto sejam claros, bem definidos e mensuráveis.

Objetivo

Exemplo (1): Melhorar o desempenho escolar dos estudantes do ensino médio da zona leste da cidade de São Paulo.

Exemplo (2): Reduzir a desnutrição infantil entre as crianças de 0 a 5 anos da zona rural do Vale do Ribeira.

Do objetivo aos indicadores de impacto do projeto social

A partir dos objetivos do programa, escolheremos os indicadores do projeto.

Indicadores

Indicadores

Indicadores de impacto = indicadores relacionados aos resultados do projeto.

Será a partir dos indicadores, ou melhor, a partir da variação verificada em alguns indicadores, que iremos quantificar de forma adequada os impactos do projeto.

Os indicadores devem estar intimamente relacionados ao objetivo proposto.

Não necessariamente existe um único indicador

Indicadores

Exemplo (1): freqüência escolar; notas na prova...

Exemplo (2): peso associado à altura das crianças, ...

Características desejáveis dos indicadores de impacto

Indicadores devem ter:

fácil entendimento, fácil construção e baixo custo;

confiabilidade (fácil observação); consistência com os dados disponíveis; e relação direta com as ações efetuadas.

Indicadores Quantitativos

Respostas quantitativas são aquelas que fornecem respostas numéricas objetivas.

A partir de dados quantitativos podemos elaborar nossos indicadores de impacto.

Exemplos:

1. Nota do aluno na prova / taxa de abandono escolar

2. Peso/Altura das crianças

Indicadores Qualitativos

Respostas a questões de natureza qualitativa são abertas, expressando valores pessoais.

Mais difícil tabulação.

Exemplos:

1. Grau de satisfação com a escola

2. Cidadania dos participantes

Indicadores Qualitativos

Podemos ‘transformar’ indicadores qualitativos em indicadores numéricos.

Grau de satisfação com a escola: muito satisfeito = 3 satisfeito = 2 pouco satisfeito = 1

A combinação das respostas enriquece a análise.

Dados / Fontes de informações

Para realizar a avaliação econômica é preciso ter os dados!

Fontes primárias Fontes secundárias

Cadastro dos Gestores do Programa

Cadastro Inicial

Um cadastro inicial, adequadamente planejado e bem construído, é fundamental.

Quais informações devem constar do cadastro inicial? Não existe uma única resposta a essa pergunta. As informações relevantes para um cadastro dependem

do objetivo de cada programa.

Cadastro - Exemplo (1)

Nome do estudante Idade Gênero Cor ou raça Série em que estuda Escolaridade da mãe Renda familiar Número de componentes da família Indicação se o aluno trabalha

Caso os beneficiários estudem em escolas diferentes, incluir questões sobre a escola

Escola que freqüenta Nº de horas-aula da escola Nível educacional do corpo docente da escola Número de alunos por sala Instalações da escola: computadores, acesso à

internet, laboratórios, bibliotecas, quadras, etc

Cadastro - Exemplo (2)

Identificação da mãe e da criança Idade da mãe e da criança Tempo de amamentação Número de filhos Indicação se a mãe trabalha Rendimentos da mãe (da família) Número de horas trabalhadas Criança na creche

Tratamento e Controle

Definição:

Grupo de Tratamento: pessoas (do público- alvo) que serão atendidas pelo projeto.

Grupo de Controle: pessoas com características similares, mas que não serão atendidas pelo projeto.

Tratamento e Controle

Dependendo do desenho da avaliação, incluir no cadastro inicial informações de ambos os grupos.

Como veremos adiante, definir aleatoriamente, dentre os indivíduos que fazem parte do público-alvo, quais serão beneficiados, isto é, quais serão ‘tratados’, é a melhor opção para garantir uma boa avaliação.

Sorteio

Os indivíduos que não forem sorteados, formarão o chamado grupo de controle, em oposição ao primeiro, conceituado como grupo de tratamento.

Pode-se argumentar não ser ético ou desejável que um sorteio seja realizado para definir os participantes do programa.

Dois pontos

1. Normalmente, tais sorteios são feitos nos chamados ‘programas piloto’. Assim, quanto mais acurado for o desenho da avaliação nessa etapa inicial, mais confiante estaremos sobre o real potencial do programa.

2. O sorteio é realizado dentre pessoas que fazem parte do público-alvo. Assim, os ‘sorteados’ serão sempre pessoas que o programa deveria atender.

Cadastro

É importante ter no cadastro a informação do indicador a partir do qual a análise de impacto será feita!

Cadastro

Exemplo (1): Idade da criança combinada com a informação da

série que a criança estuda = atraso escolar Freqüência escolar e nota da prova de

matemática= difícil verificação junto ao beneficiário; idéia = analisar o boletim escolar ou buscar a informação junto à escola.

Cadastro

Exemplo 2: Peso/Altura das crianças – fácil observação –

basta ‘pesar’ e ‘medir’ as crianças.

Qualidade da informação

A avaliação correta do programa depende da qualidade da informação coletada.

Dados incompletos, incorretos ou imprecisos podem levar a conclusões errôneas, que podem prejudicar o andamento do projeto!

As informações devem ser de fácil observação ou o custo para a verificação de sua acuracidade deve ser baixo.

Desenho de questionário

Os cadastros mantidos pelos gestores do programa, em geral, têm apenas as informações dos beneficiários do programa.

Por esta razão, muitas vezes, para a realização da avaliação econômica, teremos que fazer alguma pesquisa de campo para coletar os dados do grupo de controle.

Fontes externas de dados

Fontes externas de dados

São dados de pesquisas e avaliações feitas usualmente por órgãos governamentais.

Estas informações podem ser úteis para: comparar as características do público-alvo de

um projeto com as de um conjunto de indivíduos de alguma fonte externa de dados;

formação de um grupo de controle.

Pesquisa Nacional por Amostra de Domicílios - PNAD

Pesquisa anual realizada pelo IBGE. Pesquisa amostral representativa do conjunto da

população brasileira. Conjunto de tópicos investigados é bastante amplo:

migração, educação, emprego e rendimento,

fecundidade, condições de moradia, dentre outros.

PNAD - Suplementos

Com periodicidade variável, são feitos os chamados ‘suplementos especiais’: 1998/2003: condições de saúde; 2001: trabalho infantil; 2006: acesso à educação e merenda escolar;

trabalho infantil; acesso a programas de transferência de renda.

Censo Demográfico

Realizado pelo IBGE. Periodicidade: de 10 em 10 anos. Parecido com a PNAD. Principal diferença: é CENSITÁRIO. Informações sobre os ‘municípios’. Questionário – menor que o da PNAD.

Pesquisa de Orçamento Familiar

POF: 1985-1986, 1995-1996; 2002-2003 Objetivo: determinar o perfil de consumo das famílias

brasileiras. Finalidade: fornecer as estruturas de ponderação dos índices de preços.

Também é amostral. Representatividade

1985-1986 & 1995-1996: regiões metropolitanas brasileiras e Brasil metropolitano

2002-03: estadual e nacional

Sistema Nacional de Avaliação da Educação Básica - SAEB

Objetivo = auxiliar os governos federal, estaduais e municipais na melhoria da qualidade das políticas públicas de ensino.

É realizado pelo INEP desde 1990, mas com uso da TRI, desde 1995 (de dois em dois anos).

TRI: permite que as notas sejam comparáveis ao longo dos anos.

Exame Nacional do Ensino Médio - ENEM

Vem sendo realizado anualmente pelo INEP desde 1998. Participam alunos do ensino médio de qualquer rede de

ensino. A participação é voluntária. A prova contém questões de testes e uma redação. Também

existe um questionário sócio-econômico que deve ser respondido pelo aluno.

Censo Escolar

Realizado pelo INEP & secretarias estaduais de educação. Objetivo = avaliar as condições de oferta de ensino de

todas as escolas de educação básica do país. Objeto da avaliação = são as ESCOLAS Questões: infra-estrutura escolar e medidas relativas ao

fluxo escolar.

Custos

Custos

Um último elemento essencial para a avaliação econômica, especificamente para o cálculo do retorno econômico do projeto, é uma medida dos custos incorridos na realização do projeto.

É importante ter em mente que todos os custos precisam ser incluídos.

Custos

Custos econômicos = custos contábeis + o custo de oportunidade daqueles que participam do programa.

Custo de oportunidade é o rendimento que se deixa de obter quando se realiza uma determinada escolha.

Dito de outra forma: Custo de oportunidade de um item é aquilo que

você abre mão para poder obter tal item.

Exemplo de Custo de Oportunidade

O Exemplo (1) é um programa de melhoria da qualidade do ensino - suponha que seu foco esteja no combate à evasão escolar.

Neste caso, há um custo para esse jovem ou para sua família, quando ele passa a freqüentar a escola (mesmo que isso seja desejado pelos gestores do programa).

Exemplo de Custo de Oportunidade

Ao ir à escola, o jovem pode ter que deixar de trabalhar ou então passar a trabalhar apenas em meio-período. Isto é, há uma queda na renda que ele gerava para sua família.

Mesmo quando o jovem não trabalha ou quando seu trabalho não é remunerado, ir à escola pode significar ter que encontrar alguém para fazer os trabalhos domésticos ou cuidar dos irmãos mais novos.

Exemplo de Custo de Oportunidade

O ‘salário perdido’ ou o ‘custo da babá’ são os custos de oportunidade dessas famílias.

Outro exemplo

Há diversos projetos que são desenvolvidos dentro de uma instituição que pertence aos próprios gestores do programa. Portanto, não há custos associados ao aluguel do imóvel.

No entanto, podemos pensar que essa casa ou escola ou quadra esportiva onde o projeto é desenvolvido poderia ser alugada, gerando uma renda para os gestores.

‘Renda de aluguel perdida’ = custo de oportunidade importante associado ao projeto, que deve ser considerado.

Taxa de juros de mercado = custo de oportunidade do projeto social

Quando investimos recursos em um projeto social, abrimos mão de aplicar esses recursos em outro tipo de projeto social ou mesmo numa aplicação financeira.

É por essa razão que mais à frente, iremos fazer referência à taxa de juros de mercado como sendo o custo de oportunidade do projeto social.

Comentários Finais

Comentários Finais

Aula de hoje: tivemos uma idéia geral do curso, isto é, uma introdução ao que denominamos de avaliação de impacto e avaliação de retorno econômico. Além disto, discutimos os elementos que devem estar presentes no projeto social para que ele possa ser economicamente avaliado.

Estudamos os conceitos de público-alvo, de objetivo do projeto e de indicadores de impacto; falamos também sobre a importância de se construir um cadastro de beneficiários e de se conhecer a estrutura dos custos associados ao projeto.