Histórico dos processos de avaliação; Conceitos; Avalição e políticas

públicas Prof. Marcos Vinicius Pó

Profa. Gabriela Lotta Avaliação, Monitoramento e Controle de Políticas Públicas

2

Aula Conteúdo Referências e observações

1 04/02 Apresentação do curso e sistema de avaliação da disciplina

2 11/02

Perspectiva histórica da avaliação Conceitos básicos

Avaliação e o ciclo de políticas públicas

Críticas aos processos avaliativos

Ala-Harja; Helgason, 2000

Januzzi, 2014 / Worthen; Sandres;Fitzpatrick,

2004: cap 2, 3

[Marcos]

18/02 Carnaval

3 25/02 Visões e ênfases da avaliação

Worthen; Sandres; Fitzpatrick, 2004: cap 4 e

seguintes

[Gabriela]

4 04/03 O uso da econometria e dos métodos quantitativos para a avaliação de políticas públicas

Thiago

5 11/03 Indicadores e sistemas de informação e monitoramento Januzzi, 2011, 2014; Falcão, 2007

[Gabriela]

6 18/03 Indicadores, parte 2 [Gabriela]

7 25/03 Avaliação de impacto

Renata Bichir

8 01/04 Marco lógico: fundamentos e uso para compreensão do programa e

estruturação de avaliação

Pfeiffer, 2000

[Marcos]

08/04 Feriado UFABC

9 15/04 Montando uma avaliação [Marcos]

10 22/04

Avaliação participativa

Avaliação como meio de diálogo

Avaliação enquanto função pública: o contexto da política e da avaliação

[Marcos]

29/04 Entrega de trabalhos

Textos base • ALA-HARJA, Marjukka; HELGASON, Sigurdur. (2000). Em direção às melhores

práticas de avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-59, out./dez. 2000.

• JANUZZI, Paulo de Martino. (2014). Monitoramento e avaliação de programas: uma compilação conceitual e metodológica para orientar a produção de conhecimento aplicado para aprimoramento da gestão pública. In Ministério do Desenvolvimento Social e Combate à Fome. Avaliação de políticas públicas: reflexões acadêmicas sobre o desenvolvimento social e o combate à fome, v.1: Introdução e temas transversais - Brasília, DF.

• TREVISAN, Andrei Pittol; VAN BELLEN, Hans Michael. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. RAP – Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3, p. 529-50, Maio/Jun, 2008.

• PFEIFFER, Peter. (2000). O Quadro Lógico: um método para planejar e gerenciar mudanças. Revista do Serviço Público, Ano 51, Número 1, Jan-Mar. Brasília: ENAP.

• WORTHEN, R. B.; SANDRES, J. R.; FITZPATRICK, J. L. Avaliação de programas: concepções e práticas. Tradução Dinah de Abreu Azevedo. São Paulo: Gente, 2004.

• Blog da disciplina: https://perguntasaopo.wordpress.com/disciplinas/amcpp

3

Avaliação historicamente

• Foco na avaliação formal: “uso sistemático de informações e

critérios acurados para atribuir valores e justificar juízos de

valor” (Worthen; Sanders; Fitzpatrick, 2004: 61).

• Há registro de censos e levantamentos quantitativos desde

3.000 A.C.

► Bíblia: no Livro dos Números há censo das tribos de Israel de “todos

os varões da idade de vinte anos para cima – todos os que eram aptos

para o serviço das armas”

• Autoridades chinesas realizavam avaliações com sua

burocracia desde 2.000 A.C.

4

Avaliação EUA e Inglaterra

• Século XIX: Inglaterra – comissão de avaliação de programas

sociais e educacionais.

• EUA: avaliação do sistema escolar de Massachusetts (1840) –

Horace Mann.

• Final do século XIX – Joseph Rice continua com avaliação na

área social e de educação.

5

Avaliação no século XX: EUA

• Década de 1930

► New Deal: órgãos para supervisão de programas sociais, qualificação profissional...

► Testes padronizados para avaliação do sistema escolar.

• Década de 1960: expansão

► Great Society (1964)

► Robert McNamara: Sistema de Planejamento, Programação e Orçamento da Ford Motor Company

► Lei do Ensino Fundamental e médio (1965) – Kennedy: aumento do investimento em educação e necessidade de avaliação. o Resultados inconsistentes e dificuldades mostraram fragilidade dos processos

avaliativos.

• Final dos anos 1960, início dos 1970: demanda crescente e disseminação da avaliação nos órgãos públicos.

6

Internacionalmente: três grandes etapas [1/2]

• Anos 1960 e 1970:

► Governos social-democratas, condições fiscais favoráveis.

► Foco: melhoria dos programas e políticas sociais; feedback para os

gestores.

► Ênfase inicial: avaliações formais baseadas em métodos quantitativos

(“objetividade”).

• Anos 1980:

► Governos predominantemente conservadores, restrições fiscais.

► Avaliação para a reconsideração de políticas e racionalização da

alocação de recursos orçamentários.

► Ganham ênfase abordagens participativas no processo avaliativo.

7

Internacionalmente: três grandes etapas [2/2]

• Anos 1990 em diante:

► Questões de legitimidade e responsabilização do setor público.

► Novos e mais sofisticados mecanismos de controle, incluindo a

avaliação.

► Nova Administração Pública:

o Avaliação substituída por mercados internos (avaliadores intrínsecos);

o Uso complementar de avaliação em programas públicos, como na regulação de

mercados;

o Avaliação aplicada a novas questões, como os contratos de gestão.

• Atualmente: “avaliação randomizada” (modelos

experimentais/ quase-experimentais)

8

Sinais de amadurecimento do campo de avaliação 1. Necessidade de especialistas qualificados.

2. Desenvolvimento de conteúdo próprio e exclusivo.

3. Desenvolvimento de cursos formais para preparar avaliadores.

4. Oportunidades estáveis de fazer carreira.

5. Institucionalização da função de avaliação.

6. Procedimentos para licenciar avaliadores.

7. Criação de entidades de avaliadores.

8. Definição de padrões para a prática de avaliação.

9

Avaliação como disciplina e campo de estudo

• Na década de 1980 a avaliação começa a ganhar status de

disciplina específica e se torna um campo formal de estudo.

• Utilização de métodos das ciências sociais, estatística e

administração, entre outros.

• Desenvolvimento de protocolos e referenciais.

• Aumenta o debate e o acúmulo de experiências.

10

Avaliação atualmente • Institucionalização.

• Uso obrigatório em projetos financiados por agências de fomento, organizações privadas e instituições multilaterais.

• Estabelecimento de redes e fóruns sobre o tema da avaliação.

• Desenvolvimento de marcos teóricos e referenciais.

• Acúmulo de experiências permite algumas meta-análises.

• Utilização vai além do setor público, sendo inclusive instrumento para advocacy.

11

Críticas e potenciais do uso da avaliação

Críticas

•Modismo que cria muita burocracia e gera poucos resultados.

• Algo essencialmente teórico, de difícil aplicação prática.

• Incapacidade de gerar resultados de maior alcance, com efeito limitado a questões marginais.

• Receio de levar a controle excessivo ou à responsabilização indevida.

•Desvio de ações e energia apenas para aquilo que é mensurado e/ou tomado como base contratual.

Potenciais

• Pode preencher importante lacuna se utilizada de forma apropriada e integrada a um arcabouço de gestão.

• Pode aumentar a eficiência, eficácia e fortalecer o setor público.

• Auxiliar no desenvolvimento de métricas de monitoramento e auditoria de desempenho.

• Expectativas realistas sobre a avaliação pode melhorar o desempenho e accountability dos governos.

12

CONCEITOS DE AVALIAÇÃO O CICLO DE POLÍTICAS PÚBLICAS E A

AVALIAÇÃO

13

Avaliação Formal x Informal

• Formal:

► Estruturada.

► Mais abrangente.

► Pode abrir mais possibilidades de inovação, novas descobertas.

► Toma mais tempo, mais cara.

• Informal:

► Assistemática.

► Mais rápida.

► Pode ser eficiente se feita por pessoas com experiência.

► Mais fechada no conhecimento anterior, permite pouca inovação.

14

Avaliação Formativa x Somativa

• Formativa:

► Realizada em meio a um processo.

► Visa ajustes, correções.

► Alvo da informação: gestores.

• Somativa (cumulativa):

► Realizada ao final de um processo, intervenção.

► Visa apurar impacto, resultados, fornecendo informações para

decisões de continuidade ou mudança.

► Alvo da informação: tomadores de decisão.

15

Avaliação e congêneres

16

Fon

te: A

LA-H

AR

JA;

HEL

GA

SON

, 20

00

: 9

Inputs, Outputs e Outcomes

• Inputs (insumos): recursos utilizados pelo processo (pessoas,

dinheiro, tempo, materiais, equipamentos...).

• Outputs (produtos, resultados): aquilo que é gerado

diretamente pelo processo.

• Outcome (impacto): os efeitos diretos e indiretos, esperados

e inesperados causados pelos produtos de determinado

processo na realidade em que está inserido.

17

Processo, Projeto Programa, Intervenção...

Outputs Inputs Outcomes

Eficiência, Efetividade, Eficácia • Eficiência: relação entre os produtos gerados pelo processo e os

insumos empregados (tempo, recursos, custos, pessoas...). É um critério econômico, instrumental.

• Eficácia: quantidade e qualidade dos produtos entregues diretamente pela organização aos beneficiários em um determinado período de tempo, independentemente dos insumos utilizados, e que atendam às suas necessidades. É um critério institucional que trata da capacidade administrativa em atingir metas estabelecidas.

• Efetividade: relacionada aos impactos (outcomes). Caracteriza-se pelos impactos gerados pelos produtos nos beneficiários e seu entorno. É um critério político.

18

Projeto, Programa, Plano, Política Pública • Projeto: unidade mínima de destinação de recursos que, por meio

de um conjunto integrado de atividades, pretende transformar uma realidade, suprindo uma carência ou alterando uma situação-problema.

• Programa: um conjunto de projetos que visam aos mesmos objetivos, de forma a estabelecer as prioridades da intervenção, ordenar e coordenar os projetos.

• Plano: agregado de programas afins, estabelecendo um quadro de referências mais amplo para uma intervenção.

• Política pública: intervenção destinada a mudar uma realidade social.

19

Ciclo de políticas públicas

20 Fonte: Januzzi, 2014: 26

Avaliação e o ciclo de políticas públicas

• A avaliação pode se

prestar a aspectos

diferentes ao longo do

ciclo de políticas,

atendendo a finalidades

diversas

21 Fonte: Januzzi, 2014: 26