Avaliação de Programas da FAPESP: desenvolvimento e aplicação de métodos de avaliação de impactos e para avaliações sistemáticas

IV SEMINÁRIO DA REDE BRASILEIRA DE MONITORAMENTO EAVALIAÇÃO

Sergio Salles FilhoAna Maria CarneiroCamila Zeitoum

GEOPI• Grupo de Estudos sobre Organização da Pesquisa e da

Inovação▫ Fundado em 1995▫ Sediado no Departamento de Política Científica e

Tecnológica/UNICAMP▫ Multidisciplinar e Multi-institucional

• Competências▫ Planejamento e gestão de ciência, tecnologia e inovação  

• Áreas▫ Planejamento e Gestão▫ Avaliação▫ Prospecção▫ Gestão da Propriedade Intelectual▫ Financiamento▫ Dinâmica setorial da inovação▫ CT&I para Sustentabilidade

GEOPI – Avaliação de Programas e Organizações

• Programas Fapesp II (Fapesp), 2009-2012

• Modelo de Gestão Embrapa, (Embrapa), 2011

• Lei de Informática (MCT), 2011

• INCAGRO (World Bank – Peru), 2009

• FIA (Governo Chileno), 2009

• Programas Fapesp I (Fapesp), 2006-2008

• FUNNTEL (Finep), 2007• ANEEL (CPFL, 2008)• Procisur (IICA), 2006

• Procitropicos (IICA), 2005-2006• Fontagro (IICA), 2005• Impactos do Software Livre

(Softex/MCT), 2004• Programa de Pesquisa em

Saneamento - PROSAB (Finep), 2003-2005

• Metodologia de Avaliação de Impactos (Fapesp/Finep), 1999-2003

• CT-Infra (Finep), 2002• Programas WWF e USAID

(USAID), 2000 - 2001• PROBIO e FUNBIO (GEF), 1999• OEPAs (IICA/Embrapa), 1997-

1998

Metodologia GEOPI de Avaliação

• Abordagem multidimensional de impactos• Metodologia flexível para lidar com programas

de diferentes naturezas, propósitos, objetos e sujeitos

• Mensuração e combinação de variáveis quantitativas e qualitativas

• Atribuição da causalidade:▫ Desenvolvimento do método de adicionalidade▫ Desenho quase experimental

• Abordagem participativa• Produção de resultados para apoiar a tomada de

decisão e planejamento institucional

Avaliação dos programas da FapespObjetivo: Desenvolver e aplicar metodologia

de avaliação de resultados e de impactos para programas da FAPESP para integrar o processo de avaliação ao planejamento e accountability dos programas

Coord. Prof. Sergio Salles-Filho (DPCT/Unicamp)▫10 programas avaliados▫Fase 1 – 2006 a 2008▫Fase 2 – 2009 a 2012

Programas Avaliados – Fase 1

Programas Avaliados – Fase 2

Avaliação continuada  do PIPE, PITE, JP e PPP• Obtenção de dados antes, durante e após a

conclusão dos projetos▫geração de relatórios gerenciais▫acompanhamento de um pequeno número de

indicadores de avaliação de resultados impactos

• Em 2012 responde sobre 2011

Formulário de Proposta

• Em 2016 responde sobre 2012 a 2015

Relatório Final• Em 2018

responde sobre 2016 e 2017

Questionário Suplemementar

2011 2012 2013 2014 2015 2016 2017

Avaliação continuada  do PIPE, PITE, JP e PPP

•Construção dos Guias Metodológicos▫Título do conjunto de indicadores▫Periodicidade▫Questão: a) Título da(s) questão(ões), b)

Alternativas de resposta, c) escala.•Apresentação e validação junto à FAPESP•Conclusão dos Guias Metodológicos•Implementação a cargo da Diretoria

Científica

PIPETema Indicador

Indicadores de input e output

de PD&I

Estruturação das atividades de PD&IPessoal ocupado em PD&I

Dispêndio em PD&I

Inovações de produto e processoAcervo de propriedade intelectual da empresa e transferência de tecnologiaDemais projetos de PD&I relacionados com o projeto Estabelecimento de parcerias industriais, comerciais e financeiras

Desempenho da empresa

Pessoal ocupado na empresaFaturamento da empresaImpacto do PIPE no faturamento

Considerações finais•6 anos e 10 programas avaliados de forma

participativa•Institucionalização de sistema de

avaliação continuada•Criação de coordenação adjunta de

avaliação•Aperfeiçoamentos nos programas a partir

dos resultados das avaliações – Ex.▫Reforço dos editais conjuntos com

empresas no PITE▫Extinção da fase 1 do PPP▫Reforço do papel da coordenação do Biota

e do formato de projetos temáticos