CADERNOS DO IMAPimap.curitiba.pr.gov.br/wp-content/uploads/2017/10/2000... · 2017. 10. 26. ·...

CADERNOS DO IMAP

CADERNO 4

OS DESAFIOS DA PRÁTICA AVALIATIVA

CURITIBA, SETEMBRO DE 2.000

INSTITUTO MUNICIPAL DE ADMINISTRAÇÃO PÚBLICA

PREFEITURA MUNICIPAL DE CURITIBAII


IIIPREFEITURA MUNICIPAL DE CURITIBA

CURITIBPREFEITURA DA CIDADE

INSTITUTO MUNICIPAL DEADMINISTRAÇÃO PÚBLICA


PREFEITURA MUNICIPAL DE CURITIBAIV

Dados Internacionais de Catalogação na Publicação

VAIRENE ATHERINO - CRB9 - 359

C975 Curitiba. Prefeitura Municipal de Curitiba. InstitutoMunicipal de Admiistração Pública.

Os desafios da prática avaliativa. Curitiba: IMAP, 200030p.: X

1. Prática avaliativa. 2. Administração públicaResultados - Avaliação

CDD: 352.1


VPREFEITURA MUNICIPAL DE CURITIBA

FICHATÉCNICA

DIRETORIA DE DESENVOLVIMENTO INSTITUCIONAL - APDI

Diretora

Diva Irene da Paz Vieira

DIRETORIA DE PLANEJAMENTO ADMINISTRATIVO - APPA

Diretora

Angela Kotzias de Andrade Ribeiro

DIRETORIA ADMINISTRATIVO-FINANCEIRA - APAF

DiretoraRosane Gonçalves

ESCOLA DE ADMINISTRAÇÃPÚBLICA - EAP

DiretoraOlinda de Almeisa Teles

ELABORAÇÃO

Equipe Técnica do IMAP

EQUIPE DE SISTEMATIZAÇÃO

Angela Kotzias de Andrade RibeiroCléa Mara Reis Felix

Cristina ValenteMaria da Conceição G. P. Teixeira

Maria Lucia Urban

PROJETO GRÁFICO

CENTRO DE PROGRAMAÇÃO VISUAL - CPV

Planejamento Gráfico e Editoração

Luiz Carlos de Andrade Filho

Adolfo Dec Junior

Capa

Luiz Carlos de Andrade Filho

Sandra Mara Lopes Capriglione

Presidente

Thelma Alves de Oliveira

Superintendente

Cassio Taniguchi

Prefeito

INSTITUTO MUNICIPAL DEADMINISTRAÇÃO PÚBLICA

CURITIBPREFEITURA DA CIDADE


PREFEITURA MUNICIPAL DE CURITIBAVI


VIIPREFEITURA MUNICIPAL DE CURITIBA

SUMÁRIO

Editorial ----------------------------------------------------------------------------------------------- 1

Apresentação --------------------------------------------------------------------------------------- 3

Movimentos de Inovação em Planejamento na Prefeitura Municipalde Curitiba - Avaliação de Resultados: Foco de Atenção da Gestão --------------- 5

Os Desafios da Pratica Avaliativa ------------------------------------------------------------- 9

Referências Bibliograficas ---------------------------------------------------------------------- 25


PREFEITURA MUNICIPAL DE CURITIBAVIII


1PREFEITURA MUNICIPAL DE CURITIBA

EDITORIAL

O presente caderno é parte da uma série de publicações do IMAP,com textos escolhidos ou produzidos pela equipe que, no seu conjunto,refletem os conceitos e as práticas que fundamentam o Modelo deGestão Curitiba - modelo em permanente construção e aperfeiçoamentoque pensa a gestão na sua totalidade e prioriza a atuação intersetorial,descentralizada e compartilhada com a sociedade para garantirresultados que impactem na realidade.

Esta publicação tem por objetivo oferecer aos diferentes atores dogoverno roteiro de trabalho básico, contribuindo para a consolidaçãode práticas de planejamento continuado, bem como divulgar práticasde gestão que se consolidam como experiências de sucesso.


PREFEITURA MUNICIPAL DE CURITIBA2



APRESENTAÇÃO

O texto inicial sobre os Movimentos de Inovação em Planejamento naPrefeitura Municipal de Curitiba busca contextualizar e, principalmente,fornecer o cenário em que se insere a utilização dos conceitos e práticasapresentados no decorrer deste caderno.

O texto técnico selecionado selecionado para esta publicação foielaborado por integrantes da equipe do IMAP e vem sendo utilizadocomo material de apoio em cursos, assessorias ou no trabalho nos

diferentes órgãos da Prefeitura Municipal de Curitiba e outros.



MOVIMENTOS DE INOVAÇÃO EM PLANEJAMENTO NAPREFEITURA MUNICIPAL DE CURITIBA

AVALIAÇÃO DE RESULTADOS : FOCO DE ATENÇÃO DA GESTÃO

A difusão da proposta de gestão por objetivos finais e o planejamento estratégicosurgem como contraponto tanto de maior cobrança de responsabilidade e de controlesocial como da exigência de transparência da ação pública.

Nessa vertente, a exigência por avaliação permanente da utilização de recursospúblicos e sua tradução em ações e conseqüências sobre a melhoria das condiçõesde vida das pessoas e do espaço urbano são imperativas. Faz aumentar anecessidade por instrumentos de avaliação e sistemas e tecnologias de informação- registros, mensuração, análise de dados e séries históricas de desempenho.

Na Prefeitura Municipal de Curitiba, alguns movimentos são sinal e sintoma da adoçãodessa cultura da avaliação, que revoluciona, sem dúvida, a prática gerencial.

Exemplo simples mas bastante significativo é a mudança do perfil do Relatório Anualda Prefeitura. Neste Relatório, que tem por finalidade a prestação de contas para aCâmara de Vereadores e sociedade de modo geral e que aglutina sínteses dedesempenho de cada órgão da Prefeitura, é possível visualizar a transição de umaorganização que privilegiava a listagem e a avaliação das atividades desenvolvidase que passa a concentrar o foco de atenção da avaliação nos resultados obtidoscom os usuários de seus serviços.

Os dirigentes não mais se contentam em documentar e divulgar suas ações ou oesforço dos órgãos que representam. Há uma nova exigência - a de conhecer edemonstrar os resultados, os efeitos, o impacto dessas ações na vida de sua clientela.Essas condições foram os pressupostos da gradativa transformação desse relatório,e responsáveis pela modificação em seu aspecto e conteúdo - hoje uma apresentaçãode produtos e resultados.



Paralelamente, partia-se do princípio de que é preciso não só criar e difundir umacultura de avaliação, mas também e fundamentalmente, desenvolver o instrumentale a capacitação técnica das equipes para sua elaboração. Embora a tarefa sejaárdua e complexa, a difusão dessa cultura foi priorizada e exigiu investimentospesados na capacitação dos corpos técnico e gerencial da Prefeitura sempre nadireção de inovação dos processos de gestão.

Apenas em 1999, mais de 280 gerentes passaram pelo curso de “Gestão porResultados”, sob a coordenação do IMAP e ministrado pela Fundação Getúlio Vargas,além de mais de 600 gerentes no curso de “Atualização Gerencial” ministrado pelogrupo Amana Key.

Reconhecidamente, a prática de avaliação exige tanto um conhecimento de técnicascomo um grande esforço analítico para sua elaboração, na medida em que cadarealidade ou ação avaliada apresentam especificidades e subjetividades. Tem-secerteza também de que avaliação é o tipo de processo que se aprende fazendo.

Hoje, no que se refere ao processo de planejamento/avaliação, já é possível elencaruma série de quesitos e premissas que se constituem em referencial na PMC, e quesem dúvida, facilitarão o seu aperfeiçoamento continuado:

o planejamento estratégico e a conseqüente avaliação são ferramentas deinquestionável importância, que devem ser compartilhadas integralmente, em

todos os níveis da organização, de modo continuado;

necessariamente há maior número de atores envolvidos no processo deplanejamento;

em cada órgão, a partir da clareza de sua missão, ficam elencados seus produtos,isto é, os bens ou serviços que oferecem à clientela;

cada órgão, alinhado pelo Plano de Governo, estabelece os resultados esperadose monitora seu desempenho, devendo consolidar, ao final de cada exercício, umrelatório de gestão que subsidia o Relatório Anual de Governo - documentooficial de prestação de contas do Executivo Municipal;

na avaliação de resultados, devem ser incluídos indicadores de eficiência,eficácia e efetividade, e apresentadas séries históricas;



na avaliação, incluem-se duas vertentes : a apresentação de produtos e resultadosdo orgão, e também a análise de resultados, em que se insere a demonstração dosesforços que viabilizaram a obtenção de melhoria das respostas;

os resultados são apresentados de forma global também de forma regionalizada,em função do movimento de descentralização/ regionalização da PMC.

Direcionalidade clara e forte vontade política foram as responsáveis pela velocidadede resposta obtida e permitiram e ressaltaram alguns movimentos realizados, quenunca vêm sozinhos acompanham-se de inúmeros desdobramentos, pois o processovai ficando cada vez mais exigente. Essa exigência é duplamente benéfica; privilegiaa Organização e o Cidadão.



OS DESAFIOS DA PRÁTICA AVALIATIVA

1 APROXIMAÇÃO CONCEITUAL

Os atuais modelos de Gestão por Resultados se traduzem num tipo de gestão quebusca apresentar os resultados de sua atuação de forma sistematizada e em temporeal, garantindo com isso a permanente prestação de contas à sociedade e possívelreorientação e aperfeiçoamento de sua forma de gerência. Ele pressupõe odelineamento da dimensão estratégica, a transformação dos objetivos em programade ação e o processo de controle e avaliação.

Na prática, contudo, a Gestão por Resultados tem se configurado como um conceitoem construção e que toma determinados matizes a partir das proposições einstrumentos que a viabilizam. Dois elementos marcam sobremaneira essaconceituação:

Primeiro, o processo de avaliação, corolário do planejamento estratégico, é resgatadocomo proposição básica e assume contorno mais abrangente e inovador no quadrode mudanças de valores e cultura da moderna gerência pública.

De acordo com Maristela André, o conceito de avaliação de desempenho e resultadospreconizados nesse quadro é mais amplo e tem que considerar a qualidade dosserviços e dos processos pelos quais esses serviços são prestados, a justiça nadistribuição dos benefícios, os custos econômicos, sociais e políticos dos bensproduzidos, bem como o grau de adequação dos resultados às necessidades dosdemandantes efetivos e potenciais.

É necessário, também, o monitoramento das ações praticadas, como esforçosistemático de estabelecer padrões de desempenho desejados para compará-losaos desempenhos efetivamente observados e, desse modo, detectar desvios entrea programação e a realização, possibilitando correções ou mesmo a revisão depadrões para realimentação contínua do próprio planejamento.

Segundo, a Gestão por Resultados pressupõe a definição de um instrumento quetransforme a proposta em ação e que delimite claramente os resultados desejados.



Mesmo comportando um mosaico de variações e derivações, pode-se, sinteticamente,distinguir pelo menos três instrumentos de ação com uso mais freqüente, nos diasde hoje, em modelos de Gestão por Resultados:

a) em sentido mais amplo, o próprio planejamento estratégico é um direcionador daatuação institucional que, visando à integração dos atores responsáveis, a validadede estratégias, o cumprimento de metas desenhadas e a averiguação dos impactos,permite não só verificar os resultados finais como todo o seu trajeto - as metasintermediárias expressando o desempenho do agente na direção do cumprimentoda missão/objetivos;

b) em sentido mais estrito, a Gestão por Resultados se associa muito diretamentecom novos mecanismos definidos , como o Contrato de Gestão, consideradoinstrumento de promoção da qualidade e produtividade do setor público, no qual osresultados finais são a peça chave da transparência e prestação de contas. Essemecanismo tem sido muito utilizado atualmente para determinados tipos de relaçãoentre um poder central e agências nas concessões de serviços públicos;

c) a Gestão por Resultados, em sua associação com formas de Gestão Orçamentária,vem tendo um sentido e uma aplicabilidade mais ampla na prática gerencial,principalmente em níveis estaduais e municipais. Nessa proposição, busca-se orientaros conceitos e práticas orçamentárias de forma a estabelecer uma conexão relevanteentre “disciplina” e “verdade” orçamentária e os resultados da atuação do setor público(política de avaliação x procedimentos orçamentários). Seu pressuposto é que ocliente/cidadão de uma organização estaria preocupado não só com o acesso aoproduto ou serviços, mas também com a performance geral da organização, com ointuito de ter certeza de que o imposto pago está sendo utilizado apropriadamente.

Na prática, os processos de avaliação como instrumentos que embasam econsubstanciam os modelos de Gestão por Resultados no setor público envolvem,por sua natureza, uma complexidade enorme de questões.

Um sistema de avaliação deve ser estruturado de forma a ter presente que a gestãopública é uma questão também política e, assim, impõe tratar relações complexasque às vezes não podem ser reduzidas a uma dimensão simplesmente técnica,embora seja indispensável a objetividade das análises de apoio às decisões político-institucionais.



As metodologias de trabalho devem ser suficientemente abertas para adaptar-se àenorme especificidade e diversidade dos órgãos de uma administração, ou seja,dadas as particularidades e complexidade da maioria dos serviços prestados e daspolíticas públicas, principalmente as sociais, quase nunca a aferição direta e pontual,expressa por algum indicador, capta de maneira abrangente um resultado. Em geral,fazem-se necessários, também, parâmetros mais delimitados e associados aavaliações qualitativas.

Assim como os métodos de gestão, as técnicas para elaborar avaliações encontram-se, de maneira geral, em processo de construção e demandam várias segmentaçõesem função da especificidade da instituição (fim, meio), do serviço ou produto (vagaem escola ou qualidade de ensino), do que se pretende avaliar (atuação de umórgão ou o simples cumprimento de uma meta administrativa) e do tipo de medida(medidas de custo, de atividade/desempenho, de resultado parcial ou final, desatisfação dos usuários, parâmetros referenciais, direcionalidade de objetivos, entreoutras).

1.1 AVALIAÇÃO E MONITORAMENTO

Avaliação

Atividade orientada ao exame sistemático e objetivo de uma situação - atividade/projeto/programa/gestão - com vistas a observar eficiência, eficácia e efetividadeem determinada realidade .

É parte integrante do planejamento, gerando um processo de retroalimentaçãoem direção ao fim desejado. Pressupõe que sejam definidos claramente osparticipantes, as responsabilidades, as etapas, os instrumentos de avaliação, asfontes de informação e os procedimentos para sua análise.

Monitoramento

É uma atividade gerencial com vistas a determinar se os recursos alocados sãosuficientes e adequados, se as atividades estão de acordo com o cronograma e se oplano de trabalho está sendo atingido e alcança os objetivos esperados.

O monitoramento se configura a partir de um sistema de indicadores e sinais quesintetizam a realidade, objetivos e metas de uma atuação específica, caracterizandoa permanente busca da relação entre o planejado versus o executado.



Tanto o monitoramento como a avaliação são instrumentos gerenciais; na realidade,o monitoramento é uma fase do processo de avaliação. No caso do monitoramento,os dados e informações a respeito do desempenho em relação ao que foi planejadosão rotineiramente coletados (fontes internas), as discrepâncias são identificadase as ações corretivas são implementadas.

A avaliação é mais episódica e representa o momento síntese de uma trajetória.Ela incorpora os dados gerados pelo processo de monitoramento, mas utilizatambém fontes adicionais de informação externas. Concentra-se em questõesespecíficas relacionadas à eficácia e ao impacto de uma ação e evidencia asrelações de causalidade entre a ação e os seus efeitos.

De uma forma sintética, a relação de complementaridade entre monitoramento eavaliação pode ser assim esquematizada:

Fonte: adaptado de Maria Cecília Prates Rodrigues.



1.2 AVALIAÇÃO E MONITORAMENTO - PRINCIPAIS QUESTÕES

O que devemos avaliar?

tudo o que foi estabelecido no plano;

problemas e oportunidades potenciais que foram gerados;

circunstâncias em que a ação ocorreu;

impacto causado na realidade.

Para que avaliar?

para direcionar aplicação de recursos com máxima eficiência;

para auxiliar na decisão de investimento em situação de ampla demanda deserviços e restrição de recursos;

para proporcionar correções na rota de manejo (gerenciamento), permitindoretraçar caminhos diante de um novo cenário;

para melhorar o desempenho de atuação;

para auxiliar os dirigentes na escolha de alternativas de ação;

para a permanente prestação de contas ao agente financiador, à administraçãoe à sociedade.

Com que critérios se avalia?

critérios causais (extraídos do conhecimento aprofundado do problema);

conhecimento técnico especializado;

juízo de valor (conjunto de valores e normas conhecidos e aceitos pelos atoresque cobram e pelos que prestam conta);

com indicadores de processo (ação) e indicadores de resultado (efeito).



Parâmetros de Avaliação

Eficiência: termo econômico que significa a menor relação custo/benefíciopossível (insumo/produto) - agir sem desperdiçar recursos (financeiros outempo).

Eficácia: expressa o grau em que se atingem os seus objetivos específicostraçados a priori - cumprir as metas.

Efetividade (impacto): indica se a ação tem efeitos positivos no ambiente que sepropôs alterar - modificar a realidade.

Conceito de Indicador

Unidade que permite medir o alcance de um objetivo. Genericamente ele é expressopor um número, acompanhado da unidade de medida (metros, %, pessoas,atendimentos), ou por uma relação que traduz o resultado programado ou realizadode uma meta.

Funciona como um termômetro do progresso de uma atuação, sinalizando os avançosalcançados em relação aos objetivos previamente traçados.

Por que construir e utilizar indicadores?

para demonstrar que os requisitos dos usuários ou de um plano foram atendidos;

para ter capacidade de estabelecer objetivos razoáveis e atingi-los;

para fornecer padrões de comparação;

para dar visibilidade e fornecer um painel de resultados;

para que se possa monitorar desempenho;

para determinar a área que precisa de atenção prioritária;

para priorizar o uso de recursos;

para orientar esforços de melhoria.



Características dos Indicadores:

Para a construção de indicadores, torna-se fundamental identificar, a priori, quemprecisa da informação, para qual finalidade, com qual freqüência.

Os indicadores, para cumprir seu papel, devem ser:

confiáveis: construídos com informações fidedignas e expressar objetivamenteo que se quer medir;

relevantes: representativos dos aspectos e resultados essenciais do processoou meta e mensurar mudanças específicas;

claros: de fácil compreensão, linguagem acessível e que possam ser utilizadosem vários contextos;

acessíveis: permitir a recuperação de registros, informações e memória decálculo;

comparáveis: possibilitar comparações com referenciais apropriados;

estáveis: permanentes ao longo do tempo e gerados com base emprocedimentos padronizados.



2 CONCEPÇÃO E LIMITES DA PRÁTICA DE AVALIAÇÃO

Existe uma relação indissociável entre processos de planejamento e ou Gestão porResultados com os de monitoramento e avaliação, o que pressupõe informaçõesorganizadas e sistematizadas para tal fim.

Um sistema de indicadores selecionados e relevantes, ao expressar o desempenhoe os resultados finais de uma instituição, é instrumento essencial para configuraruma boa gerência nos dias de hoje.

Dois pressupostos são fundamentais:

a) os dados não falam por si; os dados ou indicadores respondem às perguntas quesão formuladas;

b) o valor de um indicador depende do contexto, da crença e do referencial utilizadopor aqueles que vão defini-lo e interpretá-lo.

A construção de indicadores dependerá, assim, do uso específico a que devam servir,ou seja, devem se adequar àquilo que se pretende medir. Nesse sentido, não existeindicador universal.

O que existe são alguns parâmetros de uso universal, como os índices dedesenvolvimento humano da organização das nações humanas (IDH da ONU);mesmo assim sua leitura pressupõe correlação ou comparabilidade. Por exemplo,dizer que a renda per capita do Brasil é 170 doláres não diz quase nada; suainterpretação exige não só parâmetros de referência , como a concepção do conceitode desenvolvimento que delimita a posição do país no ranking desse indicador.



Numa tentativa de caracterização, ressalta-se que:

Para facilitar o desenvolvimento de uma cultura de avaliação, é importante que seatente para:

definir indicadores que permitam avaliação mais que o simples controle;

colocar a pesquisa de identificação dos efeitos na essência da definição dosobjetivos;

conceber a avaliação, não só como um fim em si mesma, mas como uma ajuda àtomada de decisão em todos os níveis;

entender a avaliação como um processo em construção permanente e quecomporta aproximações sucessivas, permitindo não só o aperfeiçoamento e

aprofundamento dos indicadores, mas da própria técnica utilizada em cadasituação.

De forma geral, uma avaliação pressupõe que se determine a priori os objetivos ouparâmetros normativos. Assim, é possível avaliar o desempenho de uma política, deum programa ou de um plano de ação, medindo-se o grau em que seus objetivosforam alcançados (eficácia), o nível de utilização de recursos (eficiência) ou asmudanças ocorridas (impacto ou efetividade).



Exemplos baseados em dados hipotéticos:

De um ponto de vista dinâmico, o contexto e os diferentes níveis de complexidade doobjeto ou da ação avaliada determinam o alcance e os limites de uma boa avaliação.Por exemplo, avaliar os impactos de uma ação administrativa ou avaliar os impactosde uma política social não só apresentam níveis de dificuldade totalmente diferentescomo demandam técnicas de elaboração diferenciadas.

Numa perspectiva da prática gerencial, existem várias categorias de indicadores:

1º Genericamente os indicadores podem ser de tipos simples ou compostos,qualitativos ou quantitativos.

Os indicadores simples são auto-explicativos, descrevem um determinado aspectoda realidade (número de leitos hospitalares implantados em relação ao planejado)ou apresentam uma relação entre situações ou ações (como a relação entre o númerode matrículas no 2º grau sobre o número de matrículas no 1º grau).



Os indicadores compostos são aqueles que apresentam, de uma forma sintética,um conjunto de aspectos da realidade, agrupando em um único número váriosindicadores simples (por exemplo, o índice de qualidade de vida é um indicadorque sintetiza variáveis referentes a saúde, habitação, renda etc.). Para isso, épreciso definir uma forma de ponderação, ou seja, dizer que os indicadoresterão importância diferenciada (peso) para a determinação do resultado final.

Os indicadores quantitativos podem ser usados para medir “o que aconteceu”,enquanto os indicadores qualitativos servem para analisar “como e por queaconteceu”.

2º Outra categorização refere-se ao conjunto de parâmetros cuja função é servir demarco indicativo no processo de comparabilidade do progresso de uma determinadaação, projeto, programa.

Os padrões de referência mais utilizados são:

Padrão absoluto: as próprias metas estabelecidas constituem o padrão a serperseguido , mais usado em processos de gerência operacional.

Exemplo:Índice de inadimplência da COHAB.

Meta 1999: Redução para 40% no índice de inadimplência.

Fonte: Relatório Anual PMC 1998.



Padrão histórico: compara os resultados de um período com o obtidoem períodos anteriores.

Fonte: Relatório Anual PMC 1998.

Padrão normativo: compara o desempenho de um projeto ou programa com outrossimilares ou idealizados. Os padrões de qualidade enquadram-se nesta categoria.

Ex.: Indicador que orienta a alocação de equipamentos de informática por númerode funcionários numa empresa: 1 para 3 ( isto é, para um grupo de 30

funcionários, 10 estações é um bom indicador de disponibilidade deequipamentos).

Padrão teórico (auto-referenciado): estabelecido durante o desenho do próprioprojeto, sob a hipótese de uma situação ideal .

Ex.: “A OMS (Organização Mundial da Saúde ) fixa como aceitável um índice demortalidade abaixo de 10 mortes para cada grupo de 1000 nascidos vivos”.

Fonte: O Estado de S. Paulo, 11.4.99.



Padrão negociado ou de compromisso: é aquele que se baseia em algumprocedimento específico para sua fixação, decorrente de acordo entre formuladorese gestores de um plano. Modalidade utilizada em modelo de contrato de gestão.

Ex.: Meta fixada para o Instituto Curitiba de Informática: promover a adaptaçãodos sistemas sob sua responsabilidade até 30.11.99, para suportar a viradado milênio (bug): 100% dos sistemas adaptados.

Fonte : Contrato de Gestão ICI.

3º Da perspectiva dos desafios da prática avaliativa, uma categoria fundamentalé a que trata da diferenciação entre indicadores de processo (ação) e indicadoresde resultado (efeito).

Na realidade, é mais fácil construir indicadores para verificar se uma ação foirealizada ou não; é muito mais difícil construir indicadores que permitam apreciaros efeitos dessas ações.

Os indicadores de processo pressupõem um plano de ação ou metas determinadasa priori, e em geral não necessitam de critérios complicados para sua interpretação.É suficiente, em um primeiro momento, ver se a ação foi realizada ou não e seela corresponde à ação programada. Portanto, esses indicadores às vezes sórepresentam o relato do que foi feito (eficácia).

Já os indicadores de resultado demandam, na maioria das vezes, normas epadrões de julgamento e interpretação para seu acompanhamento.

Assim, muitas vezes, dada a dificuldade de se medirem impactos (e sua qualidade)de alguns serviços prestados, avaliam-se procedimentos e processos mais queresultados finais.



Ex.: Projeto hipotético

Esse quadro é interessante para acompanhar as realizações de um projeto, mas nãopermite verificar os efeitos dessas ações. São tipicamente indicadores de processo.

Por outro lado, os indicadores de resultado às vezes até são formulados, mas não sãoacompanhados de critérios ou normas de julgamento que permitem fazer uma verdadeiraavaliação.

Exemplo :

índice de satisfação com os serviços prestados: 96%;

número de reclamações sobre determinado serviço: 2 por dia;

número de adesão a propostas de uma diretoria: 24 sobre 45;

taxa de consulta telefônica: 8 por dia;

número de atendimento de serviços: 15 por mês.

Esses números e taxas até podem vir a se constituir em indicadores de resultadosdesde que tenhamos os parâmetros e os termos de comparação. Vejamos:

Um índice de satisfação de 96% pode até ser um índice excelente, mas, se nósfixamos como meta 100%, nossa avaliação será negativa apesar da pequenadiferença.

Em função de qual critério pode-se dizer que “2 reclamações” seja um bom ou mauresultado?



Em função de que se pode decidir que “24 adesões sobre 45 proposições” seja umbom resultado?

Que representa uma taxa de consulta de “8 por dia” se não se definiu alguma normade referência em matéria de taxa de consultas?

Como saber se 15 atendimentos são um bom resultado se não se sabe a quecomparar esse resultado?

Em resumo, é mais comum encontrarem-se “indicadores de processos” e poucos“indicadores de resultados” acompanhados de critérios ou normas de julgamento.

É importante ressaltar que o conceito de efetividade se aplica tanto aos resultadosde uma ação, de um projeto ou de um programa - como alteração da realidade ousolução dos problemas enfrentados - como, em sentido mais abrangente, quando setrata da efetividade das ações integradas de um governo. Tanto em uma açãogerencial, com reflexos na organização, como em um programa com forte impactona sociedade, pode-se aferir o grau de efetividade. Efetividade é sempre definida naótica e para um ator específico.

É necessário atentar também para o significado de uma “medida de efetividade”,diante da problemática concreta da prestação de contas, tendo em vista os váriosmomentos do “tempo político” de uma gestão. Nesse caso, a efetividade de açõessetoriais, ou de recortes temporais, é importante porque expressa vetores quesustentam o caminho que está sendo trilhado para atingir os resultados integradosda gestão .

Mesmo que o tempo político de um mandato seja insuficiente para produzir todas astransformações exigidas em uma realidade, a busca de sua alteração se constituinuma determinação efetiva de governo.

Ressalta-se, enfim, que a avaliação, assim como o plano do qual ela é parte, configura-se como um processo em permanente construção e aperfeiçoamento. Depende daótica sob a qual foi concebida e da complexidade do objeto ou ação avaliada. Dependetambém da relatividade dos valores do agente que propõe a ação e dos valores dopúblico-alvo. Do ponto de vista da gestão pública, reflete o precário equilíbrio entreas crescentes demandas da sociedade e os limites de resposta do Poder Público,diante da inerente escassez de recursos.



REFERÊNCIAS BIBLIOGRÁFICAS

ANDRÉ, Maristela de. Contrato de gestão como instrumento de QP. In: RevistaIndicadores, Brasília, IPEA, 1993.

CARDOSO, Lúcio Adauto, Indicadores Sociais e Políticas Públicas : algumasnotas críticas, , proposta nº 77 , junho/agosto de 1998.

CASTANHAR, José Cézar. Avaliação de programas. Curitiba; FGV/SME/IMAP,1998.

CUNHA, Armando, Gestão estratégica para resultados. Rio de Janeiro: FGV. Data.

CURITIBA, PREFEITURA MUNICIPAL. INSITITUTO MUNICIPAL DEADMINISTRAÇÃO PÚBLICA, Relatório anual, 1998 . Curitiba, PMC, 1998.

DEJEAN, J., Bourassin, V., Mortreux, K. Culture de lévaluation et fascination pourles indicateurs – Revue Politique e Management public, v.16, nº 2 – jui 1998.

ELABORAÇÃO, Monitoramento e avaliação de projetos e construção deindicadores sociais. Brasília, FGV, 1998.

MONITORAMENTO da gestão urbana: marco referencial. Curitiba, IPPUC / IMAP,1998.

RODRIGUES, Maria Cecília Prates. Avaliação e monitoramento; texto do curso deGerência de Programas Sociais. FESP/ISAPE/CPG, 1998.

SANT´ANA, Marie - Madeleine Mailleu. Orientações conceituais e técnicas paramonitoria e avaliação dos programas / projetos incluídos no “ Ceará Sustentável “ .Brasília; SEPLAN, 1998.

VAZ, José Carlos. Avaliação da Gestão, Revista Pólis, São Paulo.

CADERNOS DO IMAPimap.curitiba.pr.gov.br/wp-content/uploads/2017/10/2000... · 2017. 10. 26. ·...

Documents

Transcript of CADERNOS DO IMAPimap.curitiba.pr.gov.br/wp-content/uploads/2017/10/2000... · 2017. 10. 26. ·...