Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA...

AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS

Marco CepikDiretor do Centro de Estudos Internacionais sobre Governo

CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto

PLANO DE APRESENTAÇÃO

1) Apresentação CEGOV

2) Democracia, Capacidade Estatal e Era Digital

3) Modelo Integrado de Transformação Institucional

4) Monitoramento e Avaliação de Políticas Públicas


1

APRESENTAÇÃO CEGOV


1) APRESENTAÇÃO CEGOVO Centro de Estudos Internacionais sobre Governo (CEGOV) da Universidade Federal do Rio Grande do Sul (UFRGS) é um centro interdisciplinar vinculado à Reitoria, cujo objetivo é estudar a ação governamental no Brasil e no mundo.


1) APRESENTAÇÃO CEGOV

PROJETOS


2

DEMOCRACIA, CAPACIDADE ESTATALE ERA DIGITAL


• DEMOCRACIA diz respeito à combinação dos valores obtidos a partir da institucionalização de mecanismos universais de participação e de exercício do direito à oposição política.

2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL

Requisitos (Dahl, 1971):i) a liberdade de formar e aderir a organizações; ii) a liberdade de expressão; iii) o direito de voto; iv) elegibilidade para cargos públicos; v) o direito de políticos disputarem apoio e votos; vi) a existência de fontes alternativas de informação; vii) eleições livres e idôneas; viii) instituições para fazer com que as políticas governamentais

dependam de eleições e de outras manifestações de preferências.


• CAPACIDADE ESTATAL relaciona-se ao conjunto de características funcionais e institucionais dos Estados contemporâneos, relativas:

– à mobilização de recursos sociais,

– à produção de regras e à adjudicação de conflitos,

– ao provimento de bem-estar e segurança (WEISS, 1998; BELL & HINDMORE, 2009).



• Democracia e capacidade estatal relacionam-se em um processo aberto, de reforço mútuo (auto-catalítico), sujeito aos desafios de adaptação a contextos tecnológicos, demográficos, temporais e socioeconômicos variáveis.

“Sem uma adequada capacidade institucional de fazer valer as regras e implementar as decisões tomadas pelos sujeitos políticos, ou sem a capacidade de garantir o cumprimento dos direitos e deveres associados à cidadania, um regime democrático torna-se [...] ‘um pacto suicida’” (CEPIK, 2005: 78).




1

010

capa

cida

de

esta

tal

democracia

zonas de autoritarismo

zona de cidadania

zona de tirania fragmentada

Fonte: Tilly (2003)


cidadãos problemas e temas

office-seeking policy-seeking

governo+

burocracia

formaçãode políticas

resultados políticas públicas

representação

partidos grupos de interesse

competem

sistema eleitoral

mídia

participam governo

sistemapartidário

estruturamediação

de interesses



• ERA DIGITAL:– Aumento da capacidade de criação, processamento, acesso,

partilha e de informações.

– Concentração e redistribuição das condições de exercício de poder político.

– Habilitação de novas dinâmicas produtivas e colaborativas entre os diferentes atores sociais.

– Integração o local, o regional, o nacional e o internacional.

– Impacto na forma com a qual os Estados organizam sua burocracia, interagem com seus cidadãos, fazem a guerra, e constroem alternativas institucionais para a resolução de seus conflitos.



Diagnóstico

Monitoramento

Avaliação

Acesso à Informação

Transparência

Tomada de decisão

Participação

Controle Social

Gestão

Capacidade Estatal

Democracia

Banco de Dados A

Banco de Dados B

Banco de Dados C

Banco de Dados D

Banco de Dados A

Banco de Dados B

Banco de Dados C

Banco de Dados D

Vigilância Controle



3

MODELO INTEGRADO DE TRANSFORMAÇÃO

INSTITUCIONAL (MITI)


4

MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS

PÚBLICAS


Definindo Políticas PúblicasPolítica como conflito ubíquo na sociedade e como problema

constitucional (coordenação dos sujeitos e organização dos conflitos); objeto da Ciência Política.

Políticas Públicas como campo de estudos focado na organização do processo de interação entre os lados do input

e do output do processo decisório governamental e seus conflitos inerentes.

Política pública é o “Estado em Ação”

Politics, Policy and PolityFonte: Reis (2000)

4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS


Mais Algumas Definições• Políticas Públicas como um campo dentro do estudo da política que analisa o

governo à luz de grandes questões públicas - Mead (1995)

• Políticas Públicas como um conjunto de ações do governo que irão produzir efeitos específicos - Lynn (1980)

• Política pública é a soma das atividades dos governos, que agem diretamente ou através de delegação, e que influenciam a vida dos cidadãos - Peters (1986)

• Política pública como “o que o governo escolhe fazer ou não fazer”. - Dye (1984)

• Política pública como análise sobre quem ganha o quê, por quê e que diferença isso faz - Lasswell (1936)

Fonte: Souza (2006:24)



Por que Avaliar e Monitorar Políticas Públicas?


Seja S o conjunto de resultados ou estados possíveis observáveis apenas pelo executor (agente). Seja A o conjunto de ações do agente observáveis apenas por ele próprio. E seja Q o conjunto de resultados ou estados possíveis observáveis por ambos, agente e principal. Portanto, um resultado Q depende de incentivos (os quais têm custo) proporcionados pelos principais para os agentes: I = ɸ (Q). Os agentes então escolhem suas ações A maximizando sua utilidade esperada EU, a qual depende do conjunto de estados observáveis pelo próprio agente e pelos principais: max [EU (A,I, S)]. Ou seja, o resultado Q buscado pelo principal esta relacionado às ações A e o estado S por uma função de produção: Q = Q(A,S). As ações ótimas Ã dos agentes para produzir o resultado máximo Q são obtidas resolvendo a função de produção por A, ou: Ã = H(S). Finalmente, a utilidade esperada do principal EV é calculada como uma função das ações Ã do agente antecipadas pelo principal, o custo para o principal de induzir o agente a otimizar a produção (I = ɸ (~Q)), e o estado relevante S. Ou: EV = EV (ɸ (~Q), ~Q, Ã, S). O problema do principal, portanto, é escolher um sistema de incentivos ɸ que maximize a sua função de utilidade: max[EV].

Porque esta é a maneira mais eficiente, eficaz, efetiva e legítima de lidar com os problemas de assimetria informacional previstos pela teoria de agente e principal: seleção adversa de agentes e risco moral.

Sob condições de incerteza, assimetria informacional e racionalidade limitada (SIMON, 1971), o risco moral advém do fato de que as ações, competências e intenções do agente não podem ser plenamente observadas após o pacto, contrato ou investidura. Como se trata de um conflito, pode-se minimizar o problema, mas ele é constituinte da própria política


Monitoramento e Avaliação

• Monitoramento é um processo contínuo, que utiliza dados sobre indicadores específicos, para fornecer aos interessados informações sobre o desenvolvimento e o progresso no alcance dos objetivos a serem alcançados com a alocação de determinados recursos.

• Avaliação como o estudo sistemático e objetivo da concepção, implementação e dos resultados de um projeto, programa ou política, com a finalidade de determinar sua relevância, eficiência, eficácia, impacto e sustentabilidade.

Fonte: Kusek e Rist (2004).



• INDA: capacidade estatal e democracia

o utilização e cruzamento de dados entre órgãos e esferas de governo, para fins de diagnóstico, monitoramento, avaliação e consequente melhora da tomada de decisão (CHAVES & BRETAS, 2013).

o realização do direito à informação (LAI) e fomento da transparência, do controle social, da participação.

o Empoderamento da sociedade por meio da utilização dos dados públicos abertos na criação de novos serviços de utilidade pública, bem como na construção de estudos alternativos sobre os resultados da ação estatal.



Sistema de Monitoramento e Avaliação

Monitoramento e avaliação possuem definições distintas, porém complementares.

Monitoramento fornece informações sobre o andamento de uma política, programa ou projeto em determinado momento e em relação às metas e resultados previstos.

Por meio da avaliação procuramos analisar processos, produtos e consequências ou impactos da ação coletiva.



Pontos de interseção entre monitoramento e avaliação Kusek e Rist (2004).

– As atividades podem ser sequencialmente complementares, visto que as informações geradas por meio do monitoramento podem gerar questões a serem respondidas pela avaliação, ou o inverso, as informações resultantes de uma avaliação podem originar novas áreas de monitoramento.

– As atividades possuem informações complementares, já que tanto o monitoramento quanto a avaliação podem usar os mesmos dados, mas responderem a perguntas diferentes.

– As atividades possuem interação, visto que monitoramento e avaliação podem ser utilizados conjuntamente.

Sistema de Monitoramento e Avaliação



Indicadores de Desempenho

① Produção ou Output: e.g. alunos formados na UFRGS; quantidade de artigos científicos produzidos

② Impacto: e.g. índice de citações científicas; inserção profissional dos egressos.

③ Consequências ou outcomes: e.g. valor agregado da produção de C&T e contribuição para o PIB da cidade, estado e país;

④ Eficiência: e.g. custo por aluno-ano; relação número alunos por professor.

⑤ Satisfação: e.g. valores atribuídos pelos alunos à qualidade da formação recebida.

⑥ Legitimidade: e.g. índice de citações favoráveis na mídia; manifestações formais da comunidade; desempenho da comunidade acadêmica em avaliações gerais do sistema universitário.



Aspetos Técnicos:Interoperabilidade, Portais, Dados

Abertos

Pesquisas do IBGE

Cadastros públicos

Dados de execução

orçamentária

Registros de gestão dos programas

Indicadores de recursos

Indicadores de processos

Registros de outros

ministérios

Sistema Monitoramento e

Avaliação

Indicadores de resultados

Indicadores de impactos

Indicadores de contexto

Indicadores estratégicosIndicadores referentes a processos operacionais

Ferramentas para análise comparativa no tempo e espaço

Indicadores de eficiência qualidade

Fonte: SOUZA MELO, 2012, p. 46.

Sistema de Monitoramento e Avaliação4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS


Comparação PPA 2008-2011 / 2012-2015

Fonte: SOUZA MELO, 2012, p. 46.



Sistemas de M&A



Dimensões Críticas do M&ATecnologia da Informação

• Software x Portal• Interoperabilidade (e-Ping)• Dados Abertos• Data warehouses• Integração• Tecnologias Móveis

Capacidade Estatal

• Programas de Governo• Políticas Públicas• Áreas de Competência• Planejamento Estratégico• Processos• Projetos• Execução Orçamentária

Estrutura Organizacional

• Ciclos de M&A• Fluxogramas• Regulamentação• Competências e atribuições

Democracia

• Transparência• Controle Social• Acesso à Informação


http://www.google.com.br/url?sa=i&source=images&cd=&cad=rja&docid=SsEOYC5tzL6ncM&tbnid=7QElwoaCFvpZuM:&ved=0CAgQjRwwADgM&url=http://www.geomatica.eng.uerj.br/docentes/araujo/trabalho_2010-1&ei=ZtYtUomHLoaE9QSJ7oGoDg&psig=AFQjCNFWM6CArNe0ChLV74Du53DT64MCaA&ust=1378822118822471

http://www.google.com.br/url?sa=i&rct=j&q=infraestrutura%20ti%20png&source=images&cd=&cad=rja&docid=DBychicg5klQ8M&tbnid=ac-tvl3hlwwPnM:&ved=0CAUQjRw&url=http://www.softgear.com.br/infraestrutura/InfraEstrutura-Ti.html&ei=K-0tUuaKGI7a8AT10IGYDA&psig=AFQjCNG78Qy3hImHL0hvE7DEaoRGaXeNLw&ust=1378827938064763

http://www.google.com.br/url?sa=i&rct=j&q=infraestrutura%20ti%20png&source=images&cd=&cad=rja&docid=DYcPg2fElKDwYM&tbnid=u6_RZLbsfPqh3M:&ved=0CAUQjRw&url=http://www.softgear.com.br/Servicos.html&ei=Re0tUoCCFInO9gSl0YHABg&psig=AFQjCNG78Qy3hImHL0hvE7DEaoRGaXeNLw&ust=1378827938064763

http://www.google.com.br/url?sa=i&rct=j&q=funcion%C3%A1rios%20png&source=images&cd=&cad=rja&docid=9rLlspH5NtW1LM&tbnid=hcstpXFZ0RcJIM:&ved=0CAUQjRw&url=http://xpointsolucoes.com.br/site/Site/treinamento/treinamento.html&ei=XPgtUvrcB4y49gSwg4GgDg&psig=AFQjCNEsQcG1DKynYojhrYU9mtegS69MKw&ust=1378830803814341

http://www.google.com.br/url?sa=i&rct=j&q=ppa%202012%202015&source=images&cd=&cad=rja&docid=Rwti1xP7XopprM&tbnid=wwroKUktmjb5OM:&ved=0CAUQjRw&url=http://www.inesc.org.br/noticias/noticias-do-inesc/2011/setembro/pariticipacao-social-no-ppa-2012-2015-valeu&ei=bdotUqSJHoqu9ATm1oHADw&psig=AFQjCNEQcGc4IbnB1bzOUWRH80w8CpaxOg&ust=1378823143120644

http://www.google.com.br/url?sa=i&rct=j&q=plano%20brasil%20maior&source=images&cd=&cad=rja&docid=onc1g3CLEon09M&tbnid=-0fpRzK8q3KKzM:&ved=0CAUQjRw&url=http://www.sebraemg.com.br/atendimento/bibliotecadigital/documento/Apresentacao/Plano-Brasil-Maior-2011/2014&ei=wN8tUq7-KIvO8wTM9oHoAQ&psig=AFQjCNGOmHX2tzMXKMDpwi2urvT1yt9gXQ&ust=1378824503556342


Portal de Monitoramento e Avaliação

Tecnologia

Pessoas

Fluxos e Normas

Políticas Programas PPA

PEI

Indicadores

Portal M&A Usuários

ProcessoProjetos

Métodos Análise


http://www.google.com.br/url?sa=i&rct=j&q=infraestrutura%20ti%20png&source=images&cd=&cad=rja&docid=DBychicg5klQ8M&tbnid=ac-tvl3hlwwPnM:&ved=0CAUQjRw&url=http://www.softgear.com.br/infraestrutura/InfraEstrutura-Ti.html&ei=K-0tUuaKGI7a8AT10IGYDA&psig=AFQjCNG78Qy3hImHL0hvE7DEaoRGaXeNLw&ust=1378827938064763

http://www.google.com.br/url?sa=i&rct=j&q=infraestrutura%20ti%20png&source=images&cd=&cad=rja&docid=DYcPg2fElKDwYM&tbnid=u6_RZLbsfPqh3M:&ved=0CAUQjRw&url=http://www.softgear.com.br/Servicos.html&ei=Re0tUoCCFInO9gSl0YHABg&psig=AFQjCNG78Qy3hImHL0hvE7DEaoRGaXeNLw&ust=1378827938064763

http://www.google.com.br/url?sa=i&rct=j&q=funcion%C3%A1rios%20png&source=images&cd=&cad=rja&docid=9rLlspH5NtW1LM&tbnid=hcstpXFZ0RcJIM:&ved=0CAUQjRw&url=http://xpointsolucoes.com.br/site/Site/treinamento/treinamento.html&ei=XPgtUvrcB4y49gSwg4GgDg&psig=AFQjCNEsQcG1DKynYojhrYU9mtegS69MKw&ust=1378830803814341

http://www.google.com.br/url?sa=i&source=images&cd=&cad=rja&docid=5hdvZ5DlJwA_lM&tbnid=DoJIrNqzV3bK6M:&ved=0CAgQjRwwAA&url=http://era.org.br/2011/11/empresas-de-valor-o-empreendedorismo-etico-pode-redefinir-o-futuro-do-capitalismo/&ei=JuUtUtSGNJPc9QSlw4GQBA&psig=AFQjCNFe5DooN_TP2QVf_jj1pPz6Sw-UEA&ust=1378825894928338

http://www.google.com.br/url?sa=i&rct=j&q=ind%C3%BAstria%20png&source=images&cd=&cad=rja&docid=Fk4xfqNyY7Dm8M&tbnid=BQnqzLqxrfT5gM:&ved=0CAUQjRw&url=http://www.demarcoservi.com.br/servicos.html&ei=GfUtUsTfBomE8gTBloCYBA&psig=AFQjCNGNJO4Eo2kyaqPskDV57p7gocR18A&ust=1378829970170065



CENTRAL DE M&A




Portal MEC

http://painel.mec.gov.br

Exemplos de Monitoramento e Avaliação

http://painel.mec.gov.br/


Portal MDS



http://aplicacoes.mds.gov.br/sagi/PainelBPC/#

Portal MDS


http://aplicacoes.mds.gov.br/sagi/PainelBPC/


http://189.28.128.178/sage/

Portal da Saúde



Portal Dados Abertos

http://dados.gov.br/



http://vispublica.gov.br/vispublica/index.jsp

VisPública


http://vispublica.gov.br/vispublica/index.jsp


Portal LAI – Governo do Estado do RS

http://www.acessoinformacao.rs.gov.br/#



Portal LAI – Governo do Estado do RS



http://www.acessoinformacao.rs.gov.br/


Port

al T

rans

parê

ncai

a RS



http://www.acessoinformacao.rs.gov.br/


Port

al T

CE-R

S

http://www1.tce.rs.gov.br/portal/page/portal/tcers/institucional/acesso_a_informacao/disponiveis


http://www1.tce.rs.gov.br/portal/page/portal/tcers/institucional/acesso_a_informacao/disponiveis


Avanços, Inovações e Desafios Portais de Avaliação de Planos e Programas de Governo

Ferramentas de Visualização de Dados

Alinhamento dos Ciclos de M&A com os Ciclos de Planejamento Estratégico e Políticos

Interoperabilidade entre sistemas de informações e bases de dados

Arranjos federativos e coordenação interagência

Capacitação massiva de gestores, agentes políticos e cidadãos



VI Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação

Quando: Novembro de 2014

Onde: Universidade Federal do Rio Grande do Sul

Informações: http://www.ufrgs.br/cegov/

http://redebrasileirademea.ning.com/



• BARROS, A.; CANABARRO, D. R.; CEPIK, M. A. C. “Para além da e-Ping: o desenvolvimento de uma Plataforma de Interoperabilidade para e-Serviços no Brasil”. In: BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e Gestão, 2010, p. 137-157.

• BELL, S.; HINDMOOR, A. Rethinking Governance: The Centrality of the State in Modern Society. Nova Iorque, EUA: Cambridge University Press, 2006.

• BRASIL. Secretaria de Logística e Tecnologia da Informação (SLTI, MP). Uma Arquitetura Referencial para a integração dos sistemas informatizados de governo, AR. Brasília, DF: Ministério do Planejamento, Orçamento e Gestão, 2006.

• BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e Gestão, 2010.

• CHAVES, M., FRANZOSI, E.; GARCIA, A. “AR – Um Modelo de Interoperabilidade Aplicado ao Monitoramento do PAC”. In: BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e Gestão, 2010, pp. 211-216.

• DAHL, Robert. Poliarquia: participação e oposição. São Paulo: Editora da Universidade de São Paulo. 1997 [1971].

• FOUNTAIN, J. E. Building the Virtual State. Washington, D.C.: Brookings Institution Press, 2001.

REFERÊNCIAS


• KRAEMER, K.; KING, J. Information Technology and Administrative Reform: Will e-government be Different? International Journal of Electronic Government Research, v. 2, n. 1, p. 1-20, jan-mar, 2006.

• MELO, Patrícia Coimbra Souza. Monitoramento e avaliação na administração pública federal [manuscrito] : os desafios do PPA 2012/2015 / Patrícia Coimbra Souza Melo. -- 2012. Disponível http://portal2.tcu.gov.br/portal/pls/portal/docs/2525602.PDF acesso em 12/11/2013.

• PAES, Romulo S. e HELLMANN, Aline G. Policy monitoring and evaluation systems: recent advances in Brazil’s federal public administration. In: Vaitsman et al (editors). Policy Analisys in Brazil. ILPA, 2013.

• REIS, Fabio W. Mercado e Utopia: teoria política, sociedade brasileira. Edusp, 2000.

• SOUZA, Celina. Políticas Públicas: uma revisão da literatura. In: Sociologias, Porto Alegre, ano 8, no 16, jul/dez 2006, p. 20-45

• TILLY, Charles. The Politics of Collective Violence. Cambridge/UK: Cambridge University Press, 2003.

• WEISS, R. The Myth of the Powerless State. Ithaca, NY, EUA: Cornell University Press, 1998.

REFERÊNCIAS

MUITO OBRIGADO

Marco [email protected]

www.cegov.ufrgs.br


FORMAS e TENDÊNCIAS DA AVALIAÇÃO

Quanto à temporalidade1. Avaliação ex-ante: realizada antes do início de

implementação de um programa.• Identifica se um programa deve ser executado;• Projeta o que aconteceria com algumas

características da população beneficiária caso o programa fosse executado;

• Compara custos e benefícios da iniciativa com as alternativas disponíveis à sua implantação.

• (CHAVES, 2008)


2. Avaliação ex-post: realizada após a consolidação ou na fase final de um programa.

• Mede resultados e impactos.

As avaliações de impacto são geralmente mais caras que as avaliações ex-ante, por exigirem levantamento de dados primários sobre o público-alvo, caso o programa não disponha de um sistema de monitoramento desenvolvido.

(CHAVES, 2008)


QUANTO AO OBJETO

1. Avaliação de processo:• Avaliação para identificar os aspectos da

implementação;• Considera insumos, processos e produtos;• Avalia ganhos ou perdas no atendimento às metas do

programa junto ao seu público-alvo.2. Avaliação de resultados: • Avaliação do nível de transformação da situação a

qual o programa se propõe a modificar;• Expressa o grau em que os objetivos do programa

foram alcançados.(CHAVES, 2008)


3. Avaliação de impacto: • Avaliação de resultados;• Busca conhecer os efeitos produzidos pelo

programa em algum(uns) aspecto(s) da realidade afetada pela sua existência;

• Geralmente está relacionada a resultados de médio e longo prazo;

• Visa identificar, compreender e explicar as mudanças nas variáveis e fatores relacionados à efetividade do programa.

(CHAVES, 2008)

Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA...

Documents

Transcript of Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA...