Ministério

do Planejamento 1

Avaliação do Plano Plurianual

Experiência Recente e Perspectivas

Pedro Bertone SPI/MP

Dezembro de 2011

Ministério

do Planejamento

• Avaliação – Algumas Reflexões

• Sistema de Monitoramento de Avaliação – M&A

• Evolução do M&A do PPA

• Características do modelo atual de M&A do PPA

• Estrutura do PPA 2012-2015

• Diretrizes para a Avaliação do PPA 2012-2015

• Principais Mudanças – Etapas e Desafios

Sumário

Ministério

do Planejamento

A avaliação é um julgamento de valor ou mérito

sobre uma intervenção, que pode ser resultado

da aplicação de critérios e normas (avaliação

normativa) ou de procedimentos científicos

(pesquisa avaliativa).

Scriven (1967, apud Worthen, Sanders e Fitzpatric, 2004)

O que é Avaliação

Ministério

do Planejamento

Alguns enxergam a avaliação como um modismo que cria burocracia e gera poucos resultados. Outros a vêem como essencialmente teórico e de pouca aplicação prática, tendo seu efeito limitado a questões marginais. Há quem receie que possam levar a um controle excessivo, ou ainda aqueles que simplesmente não querem se responsabilizar. (Ala-Harja e Helgason, 2000).

Ao contrário, a avaliação contribui para aumentar o grau de eficiência, eficácia e efetividade do setor público, na medida em que possibilita verificar:

se o modelo de intervenção é apropriado aos fins desejados;

se a implementação está acontecendo conforme previsto;

se estão sendo alcançados os objetivos e as metas estabelecidas;

qual o valor da intervenção e o custo-efetividade;

e até mesmo a necessidade e continuidade das ações planejadas.

O que é Avaliação

Ministério

do Planejamento

Tem a finalidade de assegurar que o monitoramento

e a avaliação sejam utilizados, de modo

descentralizado pela administração pública federal,

como ferramentas gerenciais para a melhoria da

qualidade da decisão e da alocação dos recursos no

Plano e nos Orçamentos anuais, com vistas à

obtenção de resultados pelo governo.

Sistema de Monitoramento e Avaliação

Ministério

do Planejamento

Avaliação do Plano Plurianual – Algumas Reflexões

• Contribui para a tomada de decisão

• Promove disseminação do conhecimento

• Induz aperfeiçoamentos na concepção e na gestão dos planos e programas

• Comunica resultados da ação governamental:

– prestação de contas, transparência

• O tempo das avaliações nem sempre dialoga com os tempos da política

• Resultados das avaliações nem sempre são tempestivos para correção de rumos

(nem sempre contribuem para atingir de metas de governo)

• Avaliações externas, baseadas em evidências, tendem a fornecer um olhar mais isento,

com críticas mais assertivas

Ministério

do Planejamento

Dilemas na Concepção da Avaliação do PPA

Formalidade Utilidade

Ministério

do Planejamento

PPA 2000-2003

A tentativa de implementação do orçamento-programa

Inovações do PPA • organiza a ação do governo, baseada em problemas e oportunidades, por programas (tentativa de implantação do orçamento-programa) • o programa como elo entre planejamento, orçamento e gestão das políticas • orientação para resultado (indicador dos programas e produtos das ações) • transparência da ação governamental Avaliação na Lei do PPA: Executivo enviará ao Congresso Nacional relatório de avaliação do PPA contendo: - o caso, medidas ccomportamento das variáveis macroeconômicas - demonstrativo da execução físico e financeira do exercício - demonstrativo por programa do índice alcançado, da possibilidade de alcance dos índices ao final do período, do cumprimento das metas físicas, da previsão de custo por ação, relacionando, se for o caso, medidas corretivas necessárias. Processo de Avaliação Mista: SPI: elabora e envia roteiro com questionário de avaliação Gerente de Programa: preenche o questionário SPI: elabora os textos Gerente de Programa: valida Produto: relatório de avaliação para o Congresso

Ministério

do Planejamento

PPA 2004-2007

O Reforço do conteúdo estratégico e das estruturas de M&A

• Inovações do PPA

– Declara uma estratégia de Desenvolvimento

– Cria o conceito de projeto de grande vulto, com avaliação ex ante

– Diferencia dois níveis de gestão: Estratégico e tático-operacional

– Lei do PPA cria sistema de avaliação

– Decreto e Portaria detalham o sistema de avaliação:

•Comitê de Coordenação de Programas,

•Comitê Gestor dos Programas,

•UMA, CMA e CTMA

– Tentativa de institucionalizar e descentralizar o processo de avaliação (UMA)

• Produto: relatório de avaliação para o Congresso

Ministério

do Planejamento

Organização

Sistema de Monitoramento e Avaliação

Órgãos Setoriais Ministério do Planejamento

Comissão de

Monitoramento e

Avaliação (CMA)

Câmara Técnica de

Monitoramento e

Avaliação (CTMA)

Suporte ao Comitê de

Coordenação dos

Programas

Apoio aos Gerentes de

Programa e

Coordenadores de Ação

Consultores Internos aos

processos de

Monitoramento e

Avaliação

Asse

ssora

me

nto

Comitê de

Coordenação dos

Programas

Gerente de

Programa

Unidade de

Monitora-

mento e

Avaliação

(UMA)

Ministério

do Planejamento

Avaliação da Dimensão Estratégica

(por fora do sistema formal)

Definição de um recorte em relação as famílias que compõem o mercado de massa

que permita acompanhar a evolução do emprego e da renda destes segmentos durante

o PPA 2004-2007

Definição de uma cesta de bens e serviços tipicamente associadas ao consumo de

massa que permita acompanhar o desempenho do comércio e dos setores industriais

responsáveis pela produção destes bens

Seleção de uma “cesta” de indicadores associados as variáveis centrais da Estratégia

de Desenvolvimento e utilização das fontes oficiais de pesquisa que apuram estes

índices

Tratamento das informações nos diversos bancos de dados, tais como: POF, PNAD,

PIMES, CAGED, Contas Nacionais, Boletim BACEN. (Não utilizou-se o sistema de

informações desenhado a partir do recorte do orçamento - SIGPlan)

Produto: Relatório de Avaliação para o Congresso, com uma avaliação da estratégia

de desenvolvimento do Plano elaborada pela SPI.

Ministério

do Planejamento

Diferença de Perspectiva

formal

organizar o questionário e o

processo de avaliação

habilidade do servidor em

organizar processos

produto é a soma das leituras

setoriais

foco no processo e no método

avaliação pré-formatada e

institucionalizada

útil

fazer a avaliação

habilidade em tratar e analisar

dados – produzir informação

produto uma leitura resultante da

ação governamental

foco nas informações com vistas

a subsidiar a ação governamental

avaliação flexível, moldada às

circunstâncias

Ministério

do Planejamento

PPA 2008-2011 Avanços Menos Significativos e Suporte ao M&A Exercido por Outras Vias

Descentralização para os órgãos setoriais

Direcionamento do trabalho da SPI para avaliação da Estratégia de Desenvolvimento, dos Objetivos de Governo e das metas prioritárias (mensagem do PPA)

O órgão central de planejamento orientado para produzir conhecimento sobre as razões do estágio de desenvolvimento nacional, a dinâmica de implementação das políticas e as possibilidades para ampliar os canais de atendimento do Estado

Minimiza as exigências legais (direito administrativo x racionalidade gerencial) e maximiza o subsídio à coordenação do governo (regionalização e medidas institucionais do PAC 2)

Ministério

do Planejamento

• O formato (auto-avaliação) aproveita os conhecimentos e experiências dos envolvidos na execução de programas;

• Estabeleceu uma cultura de avaliação periódica;

• Os anexos constituem um importante instrumento de transparência na aplicação de recursos públicos e de controle externo/social;

• Porém, do ponto de vista da gestão:

Os resultados têm pouca utilidade, pois o caráter universalista e padronizado não considera prioridades, características, níveis de maturidade e as especificidades de programas e instituições;

Assim as informações produzidas pouco contribuem para aperfeiçoamentos, tomada de decisão, alocação de recursos etc.;

O modelo forçou a criação de instâncias paralelas e papéis pré-definidos desconexos com a implementação dos programas;

Há também uma forte desconexão com os objetivos estratégicos do Governo.

Características do Modelo Atual de M&A

Ministério

do Planejamento

Os avanços estruturais visam a:

1. Resgatar a função Planejamento;

2. Incorporar ao PPA os Objetivos de Governo tais como declarados;

3. Permitir o efetivo monitoramento de Objetivos e Metas;

4. Criar espaço para tratar políticas transversais;

5. Criar espaço para tratar a regionalização das políticas;

6. Induzir a reorganização gradual do orçamento na lógica do resultado;

7. Usar linguagem capaz de comunicar o seu conteúdo dentro e fora do Governo.

Plano Mais Brasil

Ministério

do Planejamento

Bases do Plano Mais Brasil

Ministério

do Planejamento

Dimensões do Plano Mais Brasil

PPA 2008-2011 PPA 2012-2015

Auto-avaliação continuará aproveitando conhecimentos e experiências dos gestores públicos

Ministério

do Planejamento

Define caminhos exequíveis para o alcance dos objetivos e das

transformações definidas na dimensão estratégica, considerando as

variáveis inerentes à política pública tratada. Vincula os Programas

Temáticos para consecução dos Objetivos assumidos, estes

materializados pelas Iniciativas expressas no Plano.

Relaciona-se com o desempenho da ação Governamental no nível

da eficiência e é especialmente tratada no Orçamento. Busca a

otimização na aplicação dos recursos disponíveis e a qualidade dos

produtos entregues.

É a orientação estratégica que tem como base os Macrodesafios e

a Visão de Longo Prazo do Governo Federal. Estratégico

Tático

Operacional

Dimensões do Plano Mais Brasil

Foco da Avaliação do PPA

Ministério

do Planejamento

• Produção de Informações orientadas ao (à):

Aperfeiçoamentos das políticas públicas;

Tomada de decisão (priorização, continuidade, alocação de recursos etc.);

Comunicação interna (horizontal e vertical), entre Poderes e esferas, com a Sociedade;

Transparência e efetividade das ações de Governo.

• Criação de fóruns (ou aproveitamento de existentes) para avaliação de políticas públicas considerando especificidades, grau de avaliabilidade e outros quesitos para, dentre outras formas:

Avaliar o comportamento de indicadores (IBGE, registros administrativos, agências sub-nacionais, organismos internacionais);

Analisar os resultados de eventuais pesquisas avaliativas (IPEA, desenhos qualitativos, quantitativos, outros).

• Avaliação pelo MP da dimensão estratégica do Plano (cenários e macro-desafios), à luz dos resultados obtidos pelas avaliações dos diversos programas e agendas prioritárias.

Diretrizes para a Avaliação do PPA Mais Brasil

Ministério

do Planejamento

Informações para a implementação

Imersão na execução das políticas Agendas prioritárias (seletividade) Pacto (governabilidade) Espaços de coordenação efetivos Provisão de meios e soluções Normas: apenas orientações

Chamar a sociedade para o jogo Mediado pelos Conselhos Divulgar realizações e prestar contas Inovar na comunicação (portal, redes sociais) Assessorias de Comunicação e SECOM Normas: Decreto e Portaria (MP/SG/SECOM)

Cobertura de todos os Programas Foco nos objetivos (requisito legal) Sistema de Informações simples integrado ao monitoramento da LOA (iniciativas) Exigências legais mínimas Norma: Portaria (MP)

No PPA: lacuna Efetivo: PAC Tentativas: • Câmaras Setoriais • Agenda Social

No PPA: lacuna Efetivo: • SECOM • ASCOM dos órgãos • Relatórios de Gestão • PCPR (BGU) • Mensagem Presidencial

No PPA: intensivo • SIGPLAN • Relatório Anual de Avaliação (1.200 páginas) • Autoavaliação anual de Programas

Informações para a sociedade

Informações para o controle

PPA 2012-2015 PPA 2008-2011

Ministério

do Planejamento

• Estabelecimento de política nacional de monitoramento e avaliação de políticas públicas;

• Melhor geração e utilização das informações existentes (coordenação do sistema estatístico nacional por meio de um conselho nacional);

• Aproximação das agendas de pesquisa do IBGE, IPEA e das agências sub-nacionais de estatística às demandas do ciclo de gestão das políticas públicas, particularmente na fase de avaliação;

• Reconhecimento da importância da utilização de diferentes métodos na avaliação de resultados (eficácia) e impacto (efetividade);

• Maior uso de avaliações ex-ante (análise e escolha dentre cenários possíveis) no planejamento governamental, para posterior comparação.

Desafios

Ministério

do Planejamento

O que muda?

PPA 2008-2011

Orientado pelo Sistema

Restrito à execução físico-financeira

Cobertura universal

Difícil de acompanhar agendas

Periodicidade padronizada

Ênfase em informações quantitativas

Criação de instâncias paralelas

Linguagem formalista e orçamentária

PPA 2012-2015

Orientado para o fazer

Dialoga com conteúdo das políticas

Seletividade e progressividade

Induz a gestão de agendas

Periodicidade pactuada

Múltiplas fontes de informação relevante

Aproveita estruturas existentes

Linguagem de gente

SIGPLAN, CMA, CTMA, CTPGV

produtos de ações, localizadores

300 programas, 5.000 ações, 24 mil localizadores

produtos dispersos em 24 mil localizadores

trimestral e anual

físico-financeiro por localizador

UMA, CMA, Gerentes de Programas...

espaços de coordenação e sistemas flexíveis

agendas prioritárias, metas, entregas

garantia de metas e iniciativas prioritárias

subsidia decisões do governo

negociação com cada agenda

aspectos qualitativos, metas, entraves

pactuação com responsáveis pela execução

matéria-prima para o controle e a burocracia comunicação de entregas à sociedade

Ministério

do Planejamento

definiçã

o

• validação da estratégia no MP

• definição dos instrumentos normativos mínimos

• início do levantamento de requisitos de informação e comunicação

• apresentação e oitiva junto aos setoriais

SPI elabora propostas de

partida para cada

ministério/agenda

• escolhas das agendas prioritárias (negociação no governo)

• identificação das estruturas existentes e interlocutores efetivos

• concepção individualizada das metodologia de monitoramento : escopo,

periodicidade, fluxo de informações, interlocução, modelo de coordenação.

oficinas de pactuação das

propostas com órgãos

finalísticos

• avaliação dos recursos disponíveis, requisitos e condições políticas

• compromissos de execução (setorial) e provisão de meios (MP)

• negociação a partir das propostas individuais com envolvimento dos finalísticos

harmonização e ajustes a

partir da visão global das

propostas

• revisão e ajustes no conteúdo das propostas

• identificação de lacunas, sobreposições e riscos

• validação sob perspectiva do órgão central

formalização e definição da

agenda de implementação

• publicação dos instrumentos normativos

• disponibilização dos sistemas de informação

• definição do cronograma

Etapas

Construção do modelo

Propostas individuais (por

agenda)

Pactuação

Validação no MP

Produção de Normas e Sistemas

Ministério

do Planejamento

Obrigado!

Pedro Bertone Secretaria de Planejamento e Investimentos Estratégicos

pedro.bertone@planejamento.gov.br