Sistema de Avaliação da Aprendizagem

of 17/17
  • date post

    08-Jan-2017
  • Category

    Documents

  • view

    236
  • download

    14

Embed Size (px)

Transcript of Sistema de Avaliação da Aprendizagem

  • GOVERNO DO ESTADO DO PARAN

    Carlos Alberto Richa - Governador

    SECRETARIA DO PLANEJAMENTO E COORDENAO GERAL

    Cassio Taniguchi - Secretrio

    Rita Maria Franco Ribeiro - Diretora Geral

    INSTITUTO PARANAENSE DE DESENVOLVIMENTO ECONMICO E SOCIAL - IPARDES

    Gilmar Mendes Loureno - Diretor-Presidente

    Julio Takeshi Suzuki Jr. - Diretor do Centro de Pesquisa

    Emlio Kenji Shibatta - Diretor Administrativo-Financeiro

    Daniel Nojima - Diretor do Centro Estadual de Estatstica

    SECRETARIA DO PLANEJAMENTO E COORDENAO GERAL - SEPL

    PROJETO MULTISSETORIAL PARA O DESENVOLVIMENTO DO PARAN

    COORDENAO GERAL

    Rosane Gonalves (SEPL/CDG - Coordenadora)

    Nestor Bragagnolo (SEPL/CDG - Gerente de Projetos)

    EQUIPE TCNICA SEPL/CDG

    Sandra C. Lins dos Santos (responsvel tcnica da atividade de monitoramento e avaliao)

    Elton Augustos dos Anjos, Jos Carlos A. Espinoza Aliaga, Tobias de Freitas Prando, Ricardo Bezzerra

    COOPERAO TCNICA

    Secretaria da Educao (SEED) / Superintendncia de Desenvolvimento Educacional (SUDE)

    APOIO TCNICO - IPEA

    Martha Cassiolato e Ronaldo Coutinho Garcia (Tcnicos de Planejamento e Pesquisa da Diretoria de Estudos e Polticas de Estado,

    das Instituies e da Democracia)

    EQUIPE TCNICA IPARDES

    NCLEO DE MONITORAMENTO E AVALIAO DE POLTICAS PBLICAS

    Valria Villa Verde R. Pereira (sociloga - Coordenadora)

    Angelita Bazzoti (sociloga), Ciro Barboza (economista), Eloise Machado (economista),

    Ktia Terezinha P. da Silva (sociloga), Naiara Campos Brizola Bispo (estagiria, acadmica de Cincias Sociais)

    EDITORAO

    Maria Laura Zocolotti (coordenao)

    Estelita Sandra de Matias (reviso de texto)

    Ana Batista Martins, Ana Rita Barzick Nogueira e Lia Rachel Castellar (editorao)

    Stella Maris Gazziero e Regia T. Okura Filizola (designer grfico)

    Dora Silvia Hackenberg (normalizao bibliogrfica)

    Lucrcia Zaninelli Rocha, Francisco Sippel, Joo Carlos Paul Franco, Norma Consuelo dos Santos,

    Celia Regina Sava e Caroline Batista Ribeiro (apoio)

    Trabalho desenvolvido em cooperao tcnica com o Instituto de Pesquisa Econmica Aplicada - IPEA

    I59m Instituto Paranaense de Desenvolvimento Econmico e Social. Modelo Lgico Programa Sistema de Avaliao da Aprendizagem / Instituto Paranaense de Desenvolvimento Econmico e Social. - Curitiba : IPARDES, 2012. 15 p.

    Projeto Multissetorial para o Desenvolvimento do Paran.

    1. Avaliao de projetos. 2. Projeto de desenvolvimento. 3. Metodologia. 4. Modelo lgico. 5. Planejamento governamental. 6. Educao. 7. Paran. I. Ttulo.

    CDU 303.1:338.28 (816.2)

  • 3

    1APRESENTAO

    O documento Modelo Lgico do Programa Sistema de Avaliao da Aprendizagem,

    desenvolvido pelo Instituto Paranaense de Desenvolvimento Econmico e Social (IPARDES),

    sintetiza procedimentos tcnicos e metodolgicos iniciados em novembro de 2011 no mbito

    da proposta de Monitoramento e Avaliao do Projeto Multissetorial para o Desenvolvimento

    do Paran.

    Essa proposio, por sua vez, parte dos esforos realizados na direo da

    institucionalizao da funo monitoramento e avaliao (M&A) no sistema de planejamento do

    Estado do Paran, somando-se, assim, ao movimento em curso e presente em distintos setores da

    esfera pblica brasileira voltado ao estabelecimento de procedimentos e parmetros para uma

    gesto pblica coadunada com os preceitos constitucionais relativos administrao pblica.

    Nesse contexto, o Instituto de Pesquisa Econmica Aplicada (IPEA), como integrante da

    Cmara Tcnica de Monitoramento e Avaliao (CTMA) do Ministrio do Planejamento do

    governo federal, tem produzido material terico e metodolgico referencial, destacando-se, no

    que tange ao monitoramento e avaliao, a metodologia Modelo Lgico (ML) adotada pelo

    IPARDES neste trabalho. A cooperao tcnica com o IPEA e o compromisso de seus tcnicos1

    foram fundamentais para que o IPARDES pudesse alcanar os resultados almejados. A integrao

    com a Unidade de Gerenciamento do Projeto (SEPL/UGP) e a articulao e cooperao com as

    estruturas executoras tambm foram determinantes.

    O IPARDES props e obteve apoio da coordenao do projeto para avanar em

    direo a um plano de monitoramento e avaliao. O Projeto Multissetorial de Desenvolvimento

    do Paran vem a ser a experincia piloto dessa proposta que tem na metodologia Modelo

    Lgico o seu alicerce.

    Este documento parte de um conjunto de nove documentos, para os quais se utilizou

    a metodologia do Modelo Lgico que resulta na sintetizao dos programas finalsticos na

    forma de diagramas. Os programas integram o Projeto Multissetorial para o Desenvolvimento

    do Paran, de iniciativa do Governo do Estado, por meio da Secretaria de Estado do Planejamento

    e Coordenao Geral (SEPL/CDG) e objeto de acordo bilateral com o Banco Mundial.

    O Modelo Lgico se materializa em diagramas que explicitam a teoria do programa

    para a construo de indicadores de acompanhamento e monitoramento, fornecendo as bases

    de avaliao da poltica pblica.

    1 O Ncleo de Monitoramento e Avaliao de Polticas Pblicas agradece aos pesquisadores do IPEA Martha Cassiolato e Ronaldo Garcia, exemplos de parceria e cumplicidade.

  • 4

    2NOTAS METODOLGICAS

    O objetivo desta seo apresentar, de forma sucinta, os conceitos que norteiam a

    metodologia aplicada, procedimentos associados e as atividades decorrentes.

    Entende-se que o monitoramento e avaliao de programas e projetos no mbito da

    administrao pblica devem ser tomados como instrumentos para alcanar a racionalidade

    administrativa (considerando as questes: o qu, onde, quando, quanto e por quanto tempo) e,

    no mbito da sociedade civil, como um produto devido populao. Nesse sentido, avaliar

    programas e projetos possibilita melhorar a confiana pblica na gesto governamental.

    O IPARDES vem acompanhando o debate e as proposies relacionadas administrao

    pblica brasileira, discusso que, nas ltimas dcadas, vem ganhando maior visibilidade.

    No mbito da administrao pblica, o gasto responsvel, a responsabilizao e a

    necessria transparncia da gesto pblica implicam instrumentalizar o Estado para cumprir

    esses e outros compromissos devidos sociedade. Esta uma seara que nos leva ao conceito

    de accountability, termo que no encontrou ainda uma traduo adequada ou plena na lngua

    portuguesa mas que tem sido empregado como gasto responsvel ou contabilidade social,

    uma vez que

    O conceito de accountability envolve duas partes: a primeira delega responsabilidade

    para que a segunda proceda gesto dos recursos; ao mesmo tempo, gera a obrigao

    daquele que administra os recursos de prestar contas de sua gesto demonstrando o

    bom uso desses recursos (AKUTSU; PINHO, 2002, p.731).

    Monitorar e avaliar programas e projetos pblicos so procedimentos necessrios para

    a efetivao desse princpio. As avaliaes pautam-se em indicadores de acompanhamento e

    resultados, de forma que a gesto e metas do programa ou projeto possam ser revistas e adequadas

    em seu transcurso. Assim, a nfase dada para o gerenciamento do processo resultado,

    atividade e insumos , fornecendo parmetro para o acompanhamento e avaliao do planejado.

    Accountability, processo pouco conhecido fora do ambiente acadmico e da nova

    gesto pblica, busca mensurar o retorno social e a qualidade dos projetos e programas.

    Ou seja, determina que quem desempenha funes de importncia na sociedade deve

    regularmente explicar o que faz, como faz, por que faz, quanto gasta e o que vai fazer a seguir.

    No se trata apenas, portanto, de prestar contas em termos quantitativos, mas de autoavaliar a

    obra realizada, demonstrar o que foi conseguido e justificar as falhas ocorridas.

    A escolha metodolgica recaiu sobre o Modelo Lgico-IPEA2 por se entender que o

    mtodo possibilita resumir o plano de interveno e monitorar as aes do programa ou projeto

    desde o seu incio, valendo-se de indicadores de produto e de resultados e, assim, medir

    transformaes e sinalizar a eficincia e eficcia das aes e investimentos aplicados.

    2 Os frequentes equvocos envolvendo os conceitos de Quadro Lgico e Modelo Lgico levam-nos a ressaltar que As diferenas so mais de fundamento metodolgico, por se constiturem em ferramentas cujas aplicaes se remetem a dois campos complementares, mas originariamente distintos: planejamento de projetos e avaliao de programas (CASSIOLATO & GUERESI, 2010, p.5).

  • 5

    Ademais, importante destacar o carter prvio, colaborativo e participativo da

    formulao dos indicadores, bem como o relativo baixo custo da aplicao do modelo

    comparativamente a outras formas de avaliao. O mtodo Modelo Lgico baseia-se nas

    seguintes fases: a) incorporar mtodos, resultados e anlises de estudos e pesquisas realizados

    com periodicidade e confiabilidade; b) concentrar esforos no monitoramento dos aspectos a

    serem modificados pela ao do projeto; e c) dispor de indicadores de acompanhamento e

    resultado. Alm disso, o mtodo possibilita agregar procedimentos e mtodos complementares

    para a execuo de avaliaes intensivas e da avaliao de impacto.

    A proposta apresentada adapta procedimentos de autores diversos ao contexto e

    caractersticas do Projeto Multissetorial para o Desenvolvimento do Paran. Nessa direo, o

    trabalho desenvolvido por Cassiolato & Gueresi (2010) assumido como guia metodolgico

    por expressar um conhecimento construdo e experimentado no mbito nacional. O desenho

    do Projeto Multissetorial para o Desenvolvimento do Paran est estruturado em dois

    componentes: Promoo Justa e Ambientalmente Sustentvel do Desenvolvimento Econmico

    e Humano, e Assistncia Tcnica (apndice 1). Os objetivos, aes e resultados do projeto

    passam a ser parmetros para o monitoramento do mesmo, o que faz dos documentos produzidos

    para a contratao do projeto a primeira referncia para a formulao de indicadores de

    monitoramento e avaliao.

    Com base nessa concepo, o processo avaliativo deve estar orientado para a

    avaliao de desempenho das aes (produtos); a avaliao dos resultados alcanados, por

    objetivos (resultado intermedirio); e a avaliao global quanto consecuo da orientao das

    diretrizes estratgicas (resultado final).

    2. 1 OS PROCEDIMENTOS

    A construo do Modelo Lgico requer tempo, envolvimento e cooperao de todo o

    grupo tcnico de trabalho, e por grupo entendem-se a equipe de coordenao de avaliao e

    monitoramento, os gestores do projeto e os executores dos programas. preciso ter presente

    que o Modelo Lgico expressa apenas o que considerado essencial no programa. Esse

    resultado tanto melhor quanto maior for a participao das equipes.

    Para a construo dos diagramas foram necessrias vrias reunies, contato eletrnico

    e telefnico com gestores e executores. Sem esse conjunto de recursos ainda estaramos no

    mesmo lugar. Destacamos, ainda, a assessoria tcnica do IPEA para a realizao deste trabalho.

    No caso do Projeto Multissetorial para o Desenvolvimento do Paran, o ML foi

    aplicado nos nove programas finalsticos de forma inversa, ou seja, retirando as informaes

    dos documentos e transcrevendo-as nos parmetros da metodologia. Nesse sentido, chama-se

    a ateno para o fato de que serviram de subsdio apenas documentos oficiais, como termos de

    referncia, Manual Operativo e PPA - 2012-2015.

    Com base nos documentos disponveis obteve-se uma primeira leitura dos programas,

    os quais foram transportados para os diagramas. O passo seguinte foi discuti-los com os gestores.

    interessante destacar o fato, muitas vezes comprovado, de que muitas lacunas tm sua razo

    de ser no fato de a informao estar sob o domnio da equipe tcnica que formulou o programa.

  • 6

    No h indcio de omisso, mas sim o pressuposto de que todos compartilham o mesmo

    conhecimento. Assim, esse procedimento mostrou-se essencial para a consolidao dos

    objetivos e resultados propostos. Em seguida, os diagramas foram refeitos, com base no que foi

    discutido e pactuado. Esta a condio para a definio dos indicadores de produto, resultado

    intermedirio e resultado final.

    Cassiolato & Gueresi chamam a ateno para o que segue: necessrio ter pacincia.

    Os modelos lgicos completos so ilusoriamente simples. Na realidade, so necessrios muitos

    rascunhos para descrever a essncia de um Programa (2010, p.26).

    O quadro 1 traz uma sntese das atividades desenvolvidas entre novembro de 2011 e

    junho de 2012 voltada construo do modelo lgico de nove programas do Projeto

    Multissetorial para o Desenvolvimento do Paran. Foram incorporadas informaes relativas

    institucionalizao da funo Monitoramento e Avaliao no IPARDES, colocando o tema em

    outro patamar na estrutura do sistema de planejamento do Estado do Paran.

  • 7

    2. 4 DIAGRAMAS - MODELO LGICO PROGRAMA SISTEMA DE AVALIAO DA APRENDIZAGEM

  • 8

  • 9

  • 10

  • 11

  • 12

    2. 5 INDICADORES DE DESEMPENHO

  • 13

    REFERNCIAS

    AKUTSU, Luiz; PINHO, Jos Antonio Gomes de. Sociedade da informao, accountability e democracia delegativa: investigao em portais de governo no Brasil. Revista de Administrao Pblica, Rio de Janeiro: FGV, v.36, n.5, p.723-745, set./out. 2002.

    CASSIOLATO, Martha; GUERESI, Simone. Como elaborar Modelo Lgico: roteiro para formular programas e organizar avaliao. Braslia: IPEA, 2010. (Nota tcnica, 6).

    COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 1994. Cap. VI.

    COSTA, Tereza Cristina Nascimento A. Consideraes tericas sobre o conceito de indicador social: uma proposta de trabalho. Revista Brasileira de Estatstica, Rio de Janeiro: IBGE, v.36, n.142, p.167-176, abr./jun. 1975.

    FERREIRA, Helder; CASSIOLATO, Martha; GONZALEZ, Roberto. Uma experincia de desenvolvimento metodolgico para avaliao de programas: o modelo lgico do programa segundo tempo. Rio de Janeiro: IPEA, 2009. (Texto para discusso, 1369).

    GARCIA, Ronaldo Coutinho. O desenvolvimento rural e o PPA 2000/2003: uma tentativa de avaliao. Braslia: IPEA, 2003. (Texto para discusso, 938).

    GARCIA, Ronaldo Coutinho. Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, Braslia: IPEA, n.23, p.7-70, jun. 2001.

    IPARDES. Monitoramento e avaliao de programas e projetos: termo de referncia. Curitiba. 2012.

    JANNUZZI, Paulo de Martino. Fontes de informao scio-demogrfica para o planejamento no setor pblico. Revista de Administrao Pblica, Rio de Janeiro: FGV, v.29, n.3, p.197-210, jul./set. 1995.

    MATUS, Carlos. Estratgias polticas: chimpanz, Maquiavel e Gandhi. So Paulo: FUNDAP, 1996.

    NOGUEIRA, Marco Aurlio. Um estado para a sociedade civil: temas ticos e polticos da gesto democrtica. So Paulo: Cortez, 2004.

    PARAN. Secretaria de Estado do Planejamento e Coordenao Geral. Centro de Coordenao de Desenvolvimento Governamental. Projeto Multissetorial para o Desenvolvimento do Paran: carta consulta. Curitiba: SEPL, 2011. (Documento tcnico de circulao restrita).

    PARAN. Secretaria de Estado do Planejamento e Coordenao Geral. Centro de Coordenao de Desenvolvimento Governamental. Projeto Multissetorial para o Desenvolvimento do Paran: componente assistncia tcnica. Curitiba: SEPL, 2011. (Documento tcnico de circulao restrita).

    PFEIFER, Peter. O quadro lgico: um mtodo para planejar e gerenciar mudanas. Braslia. Revista do Servio Pblico, Braslia: ENAP, v.51, n.1, p.81-123, jan./mar. 2000.

    RAMOS, Marlia. Aspectos conceituais e metodolgicos da avaliao de polticas e programas sociais. Planejamento e Polticas Pblicas, Braslia: IPEA, n.32, p.95-114, jan./jun. 2009.

    ROCHA, Sonia. Medindo a pobreza no Brasil: evoluo metodolgica e requisitos de informao bsica. In: LISBOA, Marcos de Barros; MENEZES FILHO, Narcio Aquino (Org.). Microeconomia e sociedade no Brasil. Rio de Janeiro: Contra Capa Liv., 2001. p.51-78.

    VAITSMAN, Jeni; RODRIGUES, Roberto W. S.; PAES-SOUSA, Rmulo. O sistema de avaliao e monitoramento das polticas e programas sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil. Braslia: UNESCO, 2006.

  • 14

    APNDICE 1 - ORGANOGRAMA DO PROJETO

  • 15

    APNDICE 2 - CONCEITOS BSICOS DO MODELO LGICO