AVALIAÇÃO NO ÂMBITO DAS POLÍTICAS PÚBLICAS … · A “Avaliação ex-post” é realizada...

I Seminário Internacional & III Seminário de Modelos e Experiências de Avaliação de Políticas, Programas e Projetos

62

AVALIAÇÃO NO ÂMBITO DAS POLÍTICAS PÚBLICAS BRASILEIRAS: ASPECTOS CONCEITUAIS E OPERACIONAIS NA PERSPECTIVA DE CONSOLIDAÇÃO DOS DIREITOSHelena Lúcia Augusto Chaves

Aspectos regulatórios da avaliação na política pública brasileira

Na política pública brasileira a avaliação tem um caráter obrigatório previsto no decreto nº 5.233 de 06 de outubro de 2004. Esse decreto estabelece normas para a gestão do Plano Plurianual 2004-2007 e de seus Programas e dá outras providências. No Art.8º fica instituído o Sistema de Avaliação do Plano Plurianual, no âmbito do Poder Executivo, sob a coordenação do Ministério do Planejamento, Orçamento e Gestão, competindo-lhe definir diretrizes e orientações técnicas para seu funcionamento. Esse artigo faz referência ao § 1º do art. 9o da Lei nº 10.933, de 11 de agosto de 2004, que institui o Plano Plurianual para o quadriênio 2004/2007, em cumprimento ao disposto no art. 165, § 1º, da Constituição Federal.

Art. 9o O Poder Executivo enviará ao Congresso Nacional, até o dia 15 de setembro de cada exercício, relatório de avaliação do Plano Plurianual, que conterá:

I - avaliação do comportamento das variáveis macroeconômicas que embasaram a ela-boração do Plano Plurianual, explicitando, se for o caso, as razões das discrepâncias verificadas entre os valores previstos e os realizados;

II - demonstrativo, na forma do Anexo II desta Lei, contendo, para cada ação:

a) os valores previstos nesta Lei e suas modificações;

b) a execução física e orçamentária nos exercícios de vigência deste Plano Plurianual;

c) as dotações constantes da lei orçamentária em vigor e as previstas na proposta orçamentária para o exercício subseqüente;

d) as estimativas das metas físicas e dos valores financeiros, tanto das ações constan-tes desta Lei e suas alterações como das novas ações previstas, para os três exercícios subseqüentes ao da proposta orçamentária enviada em 31 de agosto;

III - demonstrativo, por programa e por indicador, dos índices alcançados ao término do exercício anterior e dos índices finais previstos;

IV - avaliação, por programa, da possibilidade de alcance do índice final previsto para cada indicador e de cumprimento das metas, relacionando, se for o caso, as medidas corretivas necessárias;

V - justificativa, por projeto de grande vulto, da ocorrência de execução orçamentária acumulada ao final do exercício anterior, em valor superior ao valor financeiro previsto para o período do Plano Plurianual;

VI - justificativa, por projeto de grande vulto, em 2005, 2006 e 2007, da ocorrência de execução orçamentária acumulada ao final dos exercícios anteriores, em valor inferior a 15%, 30% e 50%, respectivamente, do valor financeiro previsto para o período do Plano Plurianual;


63

VII - justificativa da não-inclusão, na proposta de lei orçamentária para o exercício subseqüente, de projetos já iniciados ou que, de acordo com as respectivas datas de início e de término, constantes do Plano Plurianual, deveriam constar da proposta, e apresentação, para esses últimos, de nova data prevista para o início;

VIII - demonstrativo da execução física e orçamentária, na forma do Anexo II desta Lei, das ações que, por força do art. 6o, ficaram dispensadas de serem discriminadas no Plano Plurianual.

§ 1º Para atendimento ao disposto no caput, o Poder Executivo instituirá Sistema de Avaliação do Plano Plurianual, sob a coordenação do Órgão Central do Sistema de Planejamento e Orçamento Federal.

§ 2º O Congresso Nacional terá acesso irrestrito ao Sistema de Informações Gerenciais e de Planejamento do Plano Plurianual - Sigplan, para fins de consulta.

§ 3º O Órgão Central do Sistema de Planejamento e Orçamento Federal disponibilizará, pela Internet, resumo das informações constantes do Sigplan, em módulo específico, para fins de consulta pela sociedadecivil.

§ 4º Fica dispensada, para o relatório de avaliação a ser enviado até 15 de setembro de 2004, a apresentação das informações previstas nos incisos II, “b”, III, IV, V, VIII, deste artigo. (BRASIL, Lei Nº 10.933, de 11 de agosto de 2004)

De acordo com o § 1º do Decreto Nº 5.233, o Sistema de Avaliação do Plano Plurianual será apoia-do por uma Comissão de Monitoramento e Avaliação própria. Essa comissão deverá ser instituída no Ministério do Planejamento, Orçamento e Gestão, e por unidade de monitoramento e avaliação de cada Ministério, órgão equivalente ou de cada Secretaria Especial da Presidência da República.

As competências da Comissão de Monitoramento e Avaliação do Plano Plurianual indicadas no § 2º são: “elaborar propostas de normas e procedimentos gerais, relativos ao monitoramento e avaliação dos programas do Poder Executivo, bem como oferecer elementos técnicos que orientem o processo de alocação de recursos orçamentários e financeiros e a revisão dos programas, com vistas ao alcance dos resultados”.

No § 3º é definida a constituição da Comissão, que deverá ser composta por representantes de ór-gãos do Poder Executivo e contará com suporte técnico e administrativo da Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento, Orçamento e Gestão.

A unidade de monitoramento e avaliação de cada órgão, conforme consta no § 4º, deve apoiar a elaboração dos planos gerenciais, o monitoramento e a avaliação dos programas, bem como oferecer subsídios técnicos que auxiliem na definição de conceitos e procedimentos específicos.

As diretrizes para a participação da sociedade civil na avaliação dos programas e do Plano Pluria-nual serão definidas em conjunto pela Secretaria-Geral da Presidência da República e o Ministério do Planejamento, Orçamento e Gestão, conforme indicado no § 5º do decreto em foco.

O objetivo fundamental do Sistema de Monitoramento e Avaliação é assegurar que o monitora-mento e a avaliação sejam utilizados pela administração pública federal como parte integrante da gestão de programas, com vistas a obtenção de melhores resultados pelo governo e de modo a fornecer sub-sídios para a tomada de decisão e a melhoria da qualidade da alocação dos recursos no Plano e nos Orçamentos anuais.


64

Figura 1: Sistema de Monitoramento e Avaliação

Fonte: Manual de avaliação do PPA

Analisando a Figura 1, na qual é representado o Sistema de Monitoramento e Avaliação é possí-vel identificar que a organização desse sistema parte dos órgãos setoriais em direção ao Ministério do Planejamento. Nos órgãos setoriais há uma Unidade de Monitoramento e Avaliação (UMA), vinculada ao Comitê de Coordenação de Programas e ao Gerente de Programas. Essa Unidade de Monitoramento e Avaliação oferece suporte ao Comitê de Coordenação dos Programas, apoio aos Gerentes de Programas e Coordenadores de Ação e aos Consultores Internos aos Processos de Monitoramento e Avaliação, além de gerar as informações que serão trabalhadas pela Comissão de Monitoramento e Avaliação (CMA) e pela Câmara Técnica de Monitoramento e Avaliação (CTMA), cuja função principal é prestar assessoramento a Comissão de Monitoramento e Avaliação (CMA). A estrutura desse sistema é bem de-lineada, garantindo que a avaliação se concretize no ciclo de planejamento e execução da política pública.

A decretação do Sistema de Monitoramento e Avaliação como componente obrigatório na imple-mentação da política confere um caráter de alteridade na execução porque exige a elaboração de relató-rios gerenciais sistemáticos, possibilitando transparência nas ações públicas e maior acompanhamento por parte da população alvo e da sociedade em geral sobre a utilização da verba pública e a destinação das políticas.

O aspecto da fiscalização também se intensifica com a possibilidade de acompanhamento das ações governamentais proporcionada por essa abordagem. Portanto, através da incorporação da ava-liação como prática intrínseca a política, a sociedade exerce com maior autonomia o controle social na medida em que há mais transparência das ações governamentais.

Aspectos conceituais da avaliação no âmbito das políticas públicas

A avaliação no âmbito das políticas públicas brasileiras é utilizada com diversas acepções visando a otimização dos resultados, tanto referentes a sua elaboração como implementação. Os sentidos mais comuns do termo consideram a avaliação como: Diagnóstico da Situação; Métodos de Avaliação; Técni-cas de Avaliação; Medição de Impacto; Técnicas e procedimentos para aferição da efetividade e eficácia de políticas, programas e projetos sociais.


65

No sentido de “Diagnóstico da Situação” pode ser utilizada no âmbito da execução e da implemen-tação. É útil para possibilitar o conhecimento da realidade a ser trabalhada, a coleta de dados sobre as variáveis consideradas no diagnóstico, a orientação da política em relação a demanda, o planejamento de programas e projetos e

Avaliação entendida no sentido de “Métodos de Avaliação” implica na consideração da metodo-logia a ser empregada para a coleta dos dados referentes aos aspectos a serem conhecidos através da avaliação. Ou seja, são os métodos utilizados na coleta de dados que possibilitarão a obtenção dos resultados pretendidos com a realização da avaliação.

A escolha adequada desses métodos é fundamental para tornar o processo avaliativo eficaz, no que se refere a verificação do alcance, da proporção e da forma de estruturação de determinada política, programa e/ou projeto. Por sua vez são esses dados que irão subsidiar as decisões decorrentes desses resultados. Assim é possível implantar, manter, ampliar ou extinguir programas, baseando-se em infor-mações sobre suas possibilidades e suas concretizações.

As “Técnicas de Avaliação” também constituem um dos sentidos que podem ser atribuídos ao termo avaliação e correspondem ao instrumental utilizado no processo de avaliação. A variedade desses instrumentos possibilita a adequação da escolha para a obtenção do resultado esperado.

A “Medição de Impacto” também é entendida como avaliação porque é resultado da aplicação de métodos e técnicas de avaliação direcionados a medir o potencial da política e do programa na geração de impactos para o público-alvo e para a transformação da situação anterior a implementação da ação.

Para se chegar ao sentido mais comum do termo avaliação, no qual o julgamento de valor e a apreciação ou estimativa do merecimento aparecem como significado é necessária a obtenção de um conjunto de informações possibilitadas pelo diagnóstico da situação, obtida através de coleta de dados estruturada a partir de utilização dos métodos de avaliação e das teorias, que os orientam. Portanto, avaliar diz respeito a um processo, que envolve atividades de investigação e análise com o objetivo de julgar não apenas o mérito e o valor dos componentes de um programa, mas também e, principalmente, as atividades realizadas e a realizar. A finalidade da avaliação é produzir resultados.

Diferentemente da avaliação, o monitoramento visa subsidiar decisões e identificar e corrigir pro-blemas durante a implementação, através do acompanhamento da execução, da atividade gerencial e da intervenção no curso do processo.

Formas e tendências da avaliação

No âmbito da política pública brasileira, as formas de avaliação distinguem-se quanto a aspectos variados, podendo ser consideradas em relação a sua temporalidade, ao período em que são executa-das; ao objeto de avaliação e à execução. Quanto à temporalidade, a avaliação pode ser classificada em “Avaliação ex-ante” e “Avaliação ex-post”. Quanto ao objeto considera-se a “Avaliação de processo”, a “Avaliação de resultados” e a “Avaliação de impacto”. Quanto à execução a “Avaliação interna” e a “Ava-liação externa” são as formas mais utilizadas.

Quanto à temporalidade

A “Avaliação ex-ante” é aquela realizada antes do início da implementação de um programa para identificar se um programa deve ser executado; projetar o que aconteceria com algumas características


66

da população beneficiária caso o programa fosse executado e comparar custos e benefícios da iniciativa com as alternativas disponíveis à sua implantação.

A “Avaliação ex-post” é realizada após a consolidação ou na fase final de um programa, visando medir resultados e impactos. As avaliações de impacto são geralmente mais caras que as avaliações ex-ante, por exigirem levantamento de dados primários sobre o público-alvo, caso o programa não dis-ponha de um sistema de monitoramento desenvolvido.

Quanto ao objeto

A “Avaliação de processo” é realizada para identificar os aspectos da implementação; considera insumos, processos e produtos e avalia ganhos ou perdas no atendimento às metas do programa junto ao seu público-alvo.

A “Avaliação de resultados” consiste na avaliação do nível de transformação da situação a qual o programa se propõe a modificar e expressa o grau em que os objetivos do programa foram alcançados.

A “Avaliação de impacto” refere-se a avaliação de resultados. Essa forma de avaliação busca co-nhecer os efeitos produzidos pelo programa em algum(uns) aspecto(s) da realidade afetada pela sua existência. Geralmente está relacionada a resultados de médio e longo prazo, visando identificar, com-preender e explicar as mudanças nas variáveis e fatores relacionados à efetividade do programa.

Quanto à execução

A “Avaliação interna” é realizada dentro da organização onde se localiza o programa, mas é con-duzida por unidade diferente da executora. Uma das modalidades de avaliação interna é a autoavaliação, na qual os trabalhos são realizados pela equipe responsável pela gestão do programa. As principais vantagens da avaliação interna são o menor custo e o melhor aproveitamento no aprendizado institucio-nal e na melhoria do gerenciamento do programa. Geralmente, as organizações são mais receptivas à informação produzida internamente.

A “Avaliação externa” é realizada por instituições externas, utilizando padrões mais rígidos de aná-lise. Essa forma de avaliação tende a apresentar maior credibilidade junto ao público externo. O distan-ciamento da posição do avaliador em relação ao que está sendo avaliado possibilita maior objetividade na análise.

Avaliação no Plano Plurianual – PPA

O Plano Plurianual – PPA está previsto no art. 165, inciso I da Constituição Federal de 1988, é o instrumento de planejamento de médio prazo do Governo Federal que estabelece de forma regionalizada as diretrizes, os objetivos e as metas da administração pública federal para as despesas de capital e outras delas decorrentes e para as relativas aos programas de duração continuada. O PPA organiza a atuação governamental em programas, viabilizando a orientação estratégica dos gastos para a obtenção de resultados destinados à sociedade. Nesse sentido, o PPA 2004 – 2007 estabelece os programas que constarão dos orçamentos da União para cada um dos exercícios compreendidos no período. A função desse plano é organizar a atuação governamental em programas e orientar uma administração pública por resultados.


67

De acordo com o Manual Técnico de Orçamento do MP, programa é o instrumento de organização da atuação governamental que articula um conjunto de ações que concorrem para um objetivo comum preestabelecido, mensurado por indicadores instituídos no PPA, visando à solução de um problema ou ao atendimento de determinada necessidade ou demanda da sociedade. Os programas são classificados em quatro grandes grupos: Finalístico, Serviço ao Estado, Gestão de Políticas Públicas e Apoio Admi-nistrativo.

A ação finalística é aquela que proporciona bem ou serviço para atendimento direto às demandas da sociedade. Os programas dos tipos finalístico e de serviço ao Estado devem necessariamente ter indi-cadores. Os passos necessários à mensuração dos resultados alcançados pelo programa são: existência de indicador e índice apurado segundo a periodicidade estabelecida na elaboração e revisão do mesmo e análise da viabilidade de alcance do índice final definido, permitindo avaliar os desvios ocorridos.

Segundo o Manual de Elaboração de Programas 2004, indicador é um elemento utilizado para me-dição e deve ser coerente com o objetivo do programa, ser sensível à contribuição das principais ações e apurável em tempo oportuno. O indicador permite a mensuração dos resultados alcançados com a exe-cução do programa e, geralmente, é apresentado como uma relação ou taxa entre variáveis relevantes.

A Avaliação de Programas é o processo de coleta e análise sistemática de informações sobre características, processos e impactos de um programa, com base em critérios de eficiência, eficácia e efetividade, de forma a gerar recomendações para aperfeiçoar a gestão e a qualidade do gasto público.

O Monitoramento é o processo permanente de coleta, análise e sistematização de informações e de verificação do andamento de ação governamental (política, programa, projeto) em comparação com o desempenho pretendido. É, também, uma atividade gerencial sistemática que visa a avaliar rapidamente ações governamentais e o contexto em que ocorrem com o fim de prover a administração de informa-ções sintéticas, em tempo hábil, que permitam identificar restrições e viabilizar a sua superação de modo a maximizar a obtenção de resultado mediante a gestão oportuna dos riscos e desafios à consecução dos objetivos visados.

O monitoramento dos programas contempla, entre outras atividades, o acompanhamento do dis-positivo previsto nos artigos 10 e 11 (parágrafo único) da Lei nº. 10.933, de 2004, que trata da obri-gatoriedade de registro no SIGPlan das informações referentes à execução física das ações, constantes dos programas, até 31 de março do exercício subseqüente ao da execução e o disposto na Portaria MP no. 198, de 2005.

A metodologia do PPA define que os programas são concebidos a partir de um problema da sociedade. Assim, a construção de indicadores visa à quantificação de tais problemas, servindo como referência para mensurar o efeito dos programas sobre os mesmos, tornando-se central a apuração de indicadores na perspectiva de uma gestão para resultados. Nesse sentido, a apuração de indicadores é de suma importância para a mensuração dos resultados obtidos contribuindo para a transparência das ações de governo.

A gestão por programas tem como objetivos alcançar os resultados mediante a utilização de processos estruturados e instrumentos adequados à integração das ações em torno de programas, motivando a tomada de decisão e a correção de rumos a partir de sua orientação estratégica e de sua programação. Essa gestão pressupõe a utilização sistemática dos mecanismos de elaboração, monitora-mento, avaliação e revisão do Plano durante sua execução.


68

Metodologia da avaliação anual do PPA

Figura 2: Ciclo de planejamento


Na figura 2 referente ao Ciclo do Planejamento do PPA é possível observar que o problema ou demanda da sociedade constitui-se o ponto de partida para o planejamento, execução, monitoramento, avaliação e revisão das políticas públicas. Isso demonstra uma mudança de concepção adotada pelo poder público em relação a política social. Ou seja, nessa concepção a relação entre sociedade e Estado torna-se evidente, demonstrando que a conquista dos direitos sociais não se encontram apenas esboça-das no aspecto formal, mas consideradas no âmbito da gestão e implementação.

Objetivos da avaliação anual do PPA

Os objetivos da avaliação anual do PPA visam proporcionar transparência as ações do governo; auxiliar a tomada de decisão; promover a aprendizagem e a disseminação do conhecimento nas organi-zações e aperfeiçoar a concepção e a gestão do plano e dos programas.

Com o objetivo de “proporcionar maior transparência às ações de governo”, a avaliação fornece informações sobre o desempenho de programas e serve como meio de prestação de contas ao Con-gresso Nacional e à Sociedade.

Para “auxiliar a tomada de decisão” a avaliação proporciona a verificação e divulgação de informa-ções úteis à tomada de decisões relativas à ação governamental.

“Promover a aprendizagem e a disseminação do conhecimento nas organizações” é útil a amplia-ção do conhecimento dos gerentes e de suas equipes sobre o programa.

O objetivo de “aperfeiçoar a concepção e a gestão do plano e dos programas” tem a finalidade de assegurar o aperfeiçoamento contínuo dos programas e do Plano, visando melhorar seus resultados, otimizando o uso dos recursos públicos.


69

Etapas e instâncias de avaliação anual do PPA

A avaliação anual do PPA, conforme indicado na Figura 3, é realizada em três instâncias. Na ge-rência, ocorre a avaliação do programa, considerando os aspectos referentes a resultados, concepção e implementação. No Ministério Setorial é realizada a avaliação setorial, considerando os resultados do conjunto dos programas e a concepção do conjunto dos programas. No Ministério do Planejamento ocorre a Avaliação do Plano, enfocando o cenário macroeconômico e a Gestão do Plano. Dessa forma a atividade de avaliação resulta de etapas seqüenciadas, que possibilitam o conhecimento do processo de elaboração e implementação da política. O produto final das três etapas da Avaliação Anual do PPA compõe o Relatório Anual de Avaliação, que deverá ser entregue até o dia 15 de setembro ao Congresso Nacional.

Figura 3: Etapas e instâncias da avaliação anual do PPA


Na Figura 4, que representa o fluxo da elaboração é possível observar que a Avaliação do PPA de um período anterior constitui-se material imprescindível a elaboração dos programas que irão compor o PPA do período seguinte. Assim a Avaliação do PPA 2004-2007 foi considerada no planejamento do PPA 2008-2011, juntamente com a orientação estratégica do governo e as diretrizes ministeriais.

Portanto, a avaliação tem uma importância constitutiva no processo de elaboração e implementa-ção da política pública brasileira. Ou seja, a avaliação é parte do processo tanto de elaboração como de implementação, sendo entendida como componente essencial e obrigatório da política. Não se trata de uma atividade opcional, cabendo ao gestor decidir sobre sua realização, mas de um aspecto fundamental da gestão por resultados proposta no âmbito da política.


70

Figura 4: Fluxo da Elaboração do PPA

No cronograma geral referente a elaboração do PPA é possível visualizar a importância da avalia-ção nesse processo e a dimensão em que a avaliação é considerada na política pública brasileira.

Cronograma GeralAvaliação de programas 12/02/2007 a 09/03/2007

Avaliação Setorial 12/03/2007 a 23/03/2007

Avaliação do plano plurianual A partir de 26/03/2007

Elaboração do PPA 2008-2011 A partir de 07/03/2007

Envio ao Congresso Nacional do PLPPA 2008-2011 31/08/2007

Envio ao Congresso Nacional do Relatório de Avaliação – ano base 2006 15/09/2007

De acordo com o material demonstrativo em análise, a importância da avaliação no aspecto ge-rencial da política está consolidada na rotina de trabalho referente à política. Isso se explica porque se constitui base da política a gestão por resultados, o que implica em elaboração sistemática de relatórios gerenciais com indicação do quantitativo de ações realizadas e do alcance obtido por essas ações. Nessa prática identifica-se a execução do acompanhamento e do monitoramento como estratégias de interven-ção e como instrumentos para elaboração das avaliações, interna e externa. No âmbito da execução é possível perceber a qualidade possibilitada por essa forma de organização das ações. Mas, estaria este processo contribuindo para uma melhoria dos índices de participação social? Quais as possibilidades e potencialidades das perspectivas correntes de avaliação para a compreensão do surgimento, desenvol-vimento e funções das políticas sociais no enfrentamento das desigualdades sociais e da garantia dos direitos sociais nas sociedades capitalistas?

O primeiro destaque a ser feito nessa reflexão refere-se ao entendimento da interrelação entre os

elementos constitutivos do processo de implementação da política. Nesta interrelação, as estruturas, instrumentos e elementos que compõem o Estado, a política pública e o controle democrático interagem


71

em movimento de intersecção e constituem o que foi denominado no âmbito desse trabalho de compre-ensão multidimensional, a qual é representada em figura de gráfico relacional. Nessa figura é possível observar que cada elemento possui um contorno definido e que os pontos de conexão constituem con-tornos que configuram novas etapas estruturadas a partir dos elementos em conexão. Isso demonstra o caráter dinâmico e processual das práticas decorrentes da interação desses elementos.

Compreensão Multidimensional

Outro aspecto que potencializa o enfrentamento das desigualdades sociais e a melhoria dos índi-ces de participação social através das ações implementadas é o processo de avaliação instalado como etapa permanente no âmbito da execução e como decorrência da compreensão multidimensional. Nes-sa etapa, a articulação processual entre política pública, Estado e controle social gera o processo de avaliação, no qual necessariamente são utilizados dados que de alguma forma se interligam entre os elementos em análise. Isso ocorre porque a definição conceitual e o elemento conceituado se definem em interação com os demais elementos componentes do processo. Assim é que na definição de política social encontra-se a concepção de Estado, no qual e através do qual é implementada e a significação de controle social que constitui a ação desencadeadora e intermediária das práticas estabelecidas pelo Es-tado na execução da política social. A representação gráfica dessa articulação permite visualizar que no processo de avaliação a consideração dos elementos componentes do processo é fundamental, porque somente dessa forma será possível gerar a avaliação.

Avaliação Processual


72

A avaliação processual gera subsídio a instalação de práticas aprimoradas e de novas práticas, visando dar continuidade aos processos ou instalar novo ponto de partida para ação. É por isso que a elaboração do Plano Plurianual subsequente resulta da avaliação realizada em relação ao Plano anterior. Essa prática potencializa o efeito das ações e possibilita a construção de relações de interação envol-vendo atores e ações desenvolvidas no âmbito de cada instância. Essa interação configura-se em um novo contexto, no qual esses elementos se relacionam de forma articulada, constituindo-se em peças encaixáveis que se movimentam nessa engranagem. Essa configuração promove uma ressignificação dos elementos implicados no contexto, gerando um movimento de interligação e articulação em sentidos variados. Em qualquer dos sentidos, o mecanismo do movimento articula os elementos implicados no processo.

Ressignificação Contextual

Esse contexto redimensionado constitui-se em ponto de partida, no qual se inicia novo ciclo de ações num permanente continuum, que constitui a prática desenvolvida nas diversas instâncias da or-ganização social.

Portanto, a avaliação das políticas sociais nas relações contraditórias entre Estado e sociedade capitalista evidencia aspectos importantes na consideração dos processos sociais que constituem, con-figuram, definem e realizam a prática governamental no âmbito da implementação da política e a prática social no exercício da cidadania e do controle social.

Para concluir: um exemplo do potencial da avaliação na implementação da política social

A avaliação da educação superior no Brasil constitui-se um exemplo de como um processo ava-liativo pode influenciar os processos sociais e direcionar as práticas sociais. Essa avaliação iniciou na década de 70 com a instituição da política de avaliação da pós-graduação pela CAPES. Na década de 80, foi implementado o Programa de Avaliação da Reforma Universitária – PARU(1983). Na década de 90 foi instituído o PAIUB (1994), programa construído pelas IES, com o objetivo de desenvolver um processo


73

de avaliação institucional. Essa é considerada a primeira tentativa de implantação de um sistema nacional de avaliação institucional da educação superior no país. Essa experiência deu lugar ao Exame Nacional de Cursos – ENC/Provão (1996), que propôs nivelar as IES em termos de qualidade, mas não atendeu aos objetivos. Essa iniciativa foi muito criticada pela sociedade, que protestou através de movimentos organizados contra a forma de avaliação implantada. Sem legitimidade para aplicação e utilização do instrumento, o governo lançou o Sistema Nacional de Avaliação da Educação Superior – SINAES (2004).

Esse sistema foi criado pela Lei n° 10.861, de 14 de abril de 2004. É formado por três componen-tes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes. Avalia todos os aspectos que giram em torno desses três eixos: o ensino, a pesquisa, a extensão, a responsabilida-de social, o desempenho dos alunos, a gestão da instituição, o corpo docente, as instalações e vários outros aspectos. Possui uma série de instrumentos complementares: auto-avaliação, avaliação externa, Enade, Avaliação dos cursos de graduação e instrumentos de informação (censo e cadastro). Os resulta-dos das avaliações possibilitam traçar um panorama da qualidade dos cursos e instituições de educação superior no País. Os processos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da Educação Superior (CONAES), que funciona como órgão colegiado do SINAES para exercer a função de estabelecer os parâmetros gerais e as diretrizes para operacionalização do sistema de avaliação. A operacionalização desse sistema é de responsabilidade do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP. As informações obtidas com o SINAES são utilizadas pelas IES, para orientação da sua eficácia institucional e efetividade acadêmica e social; pelos órgãos go-vernamentais para orientar políticas públicas e pelos estudantes, pais de alunos, instituições acadêmicas e público em geral, para orientar suas decisões quanto à realidade dos cursos e das instituições. Baseia-se na avaliação institucional, que compreende a avaliação externa e a avaliação interna, principalmente com seu componente central, a auto-avaliação.

Os objetivos do SINAES são: identificar mérito e valor das instituições, áreas, cursos e programas, nas dimensões de ensino, pesquisa, extensão, gestão e formação; melhorar a qualidade da educação superior; orientar a expansão da oferta; e promover a responsabilidade social das IES, respeitando a identidade institucional e a autonomia.

Os instrumentos de avaliação do SINAES inclui processos de avaliação e coleta de informações. Os processos de avaliação consistem na avaliação institucional integrada por diversos instrumentos complementares: auto-avaliação, avaliação externa, ENADE, condições de ensino e instrumentos de informação (censo e cadastro). As coletas de informações são realizadas através do Censo da Educação Superior (integrado ao SINAES e incluindo informações sobre atividades de extensão); do Cadastro de Cursos e Instituições (integrado ao SINAES) e da CPA: Comissão Própria de Avaliação (criadas nas IES com a atribuição de conduzir os processos de avaliação interna da instituição, de sistematização e de coleta de informações).

Os resultados e respectiva divulgação abrangem instrumentos de informação (dados do censo, do cadastro e outros); avaliação de mérito e de valor (pareceres das comissões de avaliação, informações sobre infra-estrutura, desenvolvimento profissional e condições de trabalho do corpo docente e técnico-administrativo, acervo bibliográfico, condições dos laboratórios didáticos e de pesquisa).

A integração dos instrumentos (auto-avaliação, avaliação externa, avaliação das condições de en-sino, ENADE, censo e cadastro) permite a atribuição de conceitos, ordenados numa escala com cinco níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas. Para o ENADE são definidos


74

padrões de qualidade estabelecidos por especialistas, com o objetivo de expressarem com maior fidedig-nidade o desempenho dos alunos e através deste o desempenho das IES. Neste ponto reside uma das maiores críticas ao instrumento, pois baseada em informação prestada pelo aluno no ato da realização do Exame, a instituição e o curso são conceituados.

Esse exemplo do Sistema de Avaliação do Ensino Superior ilustra o potencial e a importância da avaliação na implementação da política social. A avaliação no atual marco regulatório da política social brasileira destaca-se como um recurso inerente a gestão, constituindo-se em processo definidor da política e dos resultados obtidos na execução.

Portanto, os desafios e perspectivas do processo de avaliação deve resultar em nova sistemática de organização e implementação das políticas públicas; a avaliação de políticas públicas deve ultrapassar a mera disposição e utilização de métodos e técnicas racionais e operativos, preocupados com a relação custo-benefício ou com a eficácia; e a avaliação de políticas sociais deve se situar na compreensão do significado do papel do Estado e das classes sociais na construção dos direitos sociais e da democracia.

Referências

BRASIL. Lei nº 10.933, de 11 de agosto de 2004 – Dispõe sobre o Plano Plurianualpara o período 2004-2007.

_______. Decreto nº 5.233 de 6 de outubro de 2004 – Estabelece normas para a gestão do Plano Plurianual 2004-2007 e de seus

programas e dá outras providências.

_______. Ministério do Planejamento, Orçamento e Gestão. Plano de gestão do PPA 2004-2007: http://www.planejamento.gov.br/

arquivos_down/spi/modelo_gestao.pdf.

_______. Instituto de Pesquisa Econômica Aplicada. “Roteiro para construção de modelo lógico de programas” – (em elaboração).

IPEA 2006.

_______. Monitoramento em números: programas e ações do Plano Plurianual 2004-2007: ano base 2005/ Ministério do Planeja-

mento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos. – Brasília: MP, 2006.

_______. Ministério do Planejamento, Orçamento e Gestão. Manual de Elaboração de Programas do Plano Plurianual 2004-2007.

Exercício 2006: http://www.sigplan.gov.br.

_______. Ministério do Planejamento, Orçamento e Gestão. Manual Técnico de Orçamento MTO-02: instruções para elaboração da

proposta orçamentária da União para 2005. Orçamentos fiscal e da seguridade social. Brasília, 2004.

COTA, T. C. Metodologias de Avaliação de Programas e Projetos Sociais: análise de resultados e impacto. Revista do Serviço Pú-

blico, Ano 49, nº 2, abril-junho 1998.

GARCIA, R. C. Subsídios para Organizar Avaliações da Ação Governamental. IPEA, Texto para Discussão nº 776. Brasília, jan/2001.

HARTZ, Z.M.A. (org.) Avaliação em saúde: Dos modelos conceituais à prática na análise da implantação de programas. Rio de

Janeiro: FIOCRUZ. pp. 29-47.

MCLAUGHLIN, J. e JORDAN, G. – Using Logic Models - Handbook for Program Evaluation, Wholley, J – 2004.

PINTO, A. M. R. O Fetichismo da Avaliação. Fundação João Pinheiro.Análise e Conjuntura, V.1, Nº 2, maio–agosto 1986.

TROSA, S. Gestão pública por resultados: quando o Estado se compromete; tradução: Maria Luiza de Carvalho, Rio de Janeiro:

Renan; Brasília, DF:ENAP, 2001.

AVALIAÇÃO NO ÂMBITO DAS POLÍTICAS PÚBLICAS … · A “Avaliação ex-post” é realizada...

Documents

Transcript of AVALIAÇÃO NO ÂMBITO DAS POLÍTICAS PÚBLICAS … · A “Avaliação ex-post” é realizada...