Guia - Indicadores (Versao Preliminar Dez 09)

8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)

1/113

MELHORIADAGESTO PBLICAPORMEIODADEFINIODEUMGUIAREFERENCIALPARA MEDIODODESEMPENHO DAGESTO,E

CONTROLEPARA OGERENCIAMENTODOSINDICADORESDEEFICINCIA,EFICCIAEDERESULTADOSDOPROGRAMANACIONALDEGESTOPBLICAEDESBUROCRATIZAO

PRODUTO4:GUIAREFERENCIAL PARA

MEDIODEDESEMPENHO EMANUALPARACONSTRUODEINDICADORES


2/113

SUMRIO

APRESENTAO......................................................................................................... 3

1. CONCEITOS:DAGOVERNANAPARARESULTADOSMENSURAODO

DESEMPENHO............................................................................................................ 5

1.1. GOVERNANAEGOVERNANAPARARESULTADOS.......................................................5

1.2. GESTOEMENSURAODODESEMPENHO................................................................9

1.3. MODELOSEINDICADORES.....................................................................................11

2. UM(META)MODELOPARAMENSURAODODESEMPENHO:ACADEIADE

VALOREASSEISDIMENSESDODESEMPENHO(6ES).............................................14

2.1. ELEMENTOSDACADEIADEVALOREDIMENSESDODESEMPENHO................................17

2.2. SUBDIMENSESDOS6ESDODESEMPENHO..............................................................20

2.3. APLICAODOMODELODOS6ESDODESEMPENHO..................................................23

2.4. DESEMPENHOTIMOEESTRUTURADEPONDERAO................................................33

2.5. FORMULAODEINDICADORES..............................................................................39

3. CONSTRUINDO

INDICADORES

DE

DESEMPENHO

..........................................

40

3.1. PASSO1IDENTIFICAODONVEL,DIMENSO,SUBDIMENSOEOBJETOSDE

MENSURAO.................................................................................................................43

3.2. PASSO2ESTABELECIMENTO DEINDICADORES..........................................................46


3/113

3.8. PASSO8MENSURAODODESEMPENHO..............................................................69

3.9. PASSO9ANLISEEINTERPRETAODOSINDICADORES.............................................71

3.10. PASSO10COMUNICAODODESEMPENHO...........................................................71

3.11. PAINISDECONTROLE..........................................................................................72

4. LISTADEVERIFICAODACONSISTNCIADOMODELODEMEDIODE

DESEMPENHO.......................................................................................................... 81

5. CONSIDERAESFINAIS............................................................................... 84

BIBLIOGRAFIA..................................................................................................................85

ANEXO1.DIMENSESEINDICADORESDEDESEMPENHO........................................88

ANEXO2.DICIONRIODEINDICADORESDASREASDEGESTODESUPORTE.......102

ANEXO3.MODELOSDEPLANILHASPARAAMODELAGEMDEINDICADORES.........107


4/113

Apresentao

Opropsitodeumguiaorientara realizaooualcancedealgo,

oferecendoumcaminhoaserseguido.No se tratadeummanual

cujaestritaeacrticaobedincialevaraomelhorresultadopossvel.

Tratase da proposio de uma metodologia conceitualmente

embasadaquepara renderosmelhores resultadospossveisrequer

apropriao:deve fazersentidoparaquemaaplicae,noobstante

basearse em princpios firmes, ser flexvel o bastante para ser

aplicadaemvastavariedadedecasos.

com este esprito que a Secretaria de Gesto do Ministrio do

Planejamento, Oramento e Gesto lana a primeira edio deste

Guia Referencial para Medio de Desempenho na Administrao

Pblica. Tratase de um referencial metodolgico que permitir a

governos (Federal, estaduais e municipais), reas ou domnios de

polticaspblicas,conjuntosdeorganizaes,organizaespblicase

suas unidades definirem e mensurarem seu desempenho

assumindosequeesteumprimeiroedecisivopassoparaagestodo desempenho, possibilitando, em bases metodologicamente

anlogas, sua pactuao, avaliao, divulgao em momentos

posteriores.

Dentrodoespectrodasiniciativasdepolticasdegestoatualmente

deslanchadas pela SEGES, acreditase que esta contribuio

metodolgica possa no apenas complementar o GESPPLICA

proporcionando uma reflexo e direcionamento mais finalstico ao

MEGP, mas alinhase com outras iniciativas tais como avaliao

institucional,contratualizaoderesultados,avaliaodeestruturas

etc.


5/113

A construo da metodologia baseouse no estado da arte daliteraturagerencialsobregestododesempenhoebuscouencontrar

um difcil equilbrio entre complexidade e simplicidade. A

complexidade est, primeiramente, no tema, suscitando

controvrsias sobre o conceito de desempenho e sua mensurao,

questesestas que temmerecido na literatura tcnica no apenas

tratamento variado, mas sujeito a razovel confuso semntica econceitual. Mas a complexidade tambm est nos objetos de

aplicao, de distintos portes, naturezas de atividades, pblicos e

contextosdeatuao.Asada foiaconcepodeummetamodelo,

um modelo que oriente a construo de modelos especficos de

definioemensuraododesempenhocasoacaso,respeitandose

conceitos e princpios bsicos. Dessa forma, buscouse ao mesmo

tempo reconhecer a complexidade e perseguir a simplicidade,renunciandose busca de solues exaustivas ou universalmente

vlidas.

Ademais, esta iniciativa constitui a primeira edio do Guia, que,

alem das virtudes e limitaes inerentes a qualquer modelo,

necessitadeaplicaesparaseucontnuoaperfeioamento.

Buscouseconstruirumtextomaissucintopossvel,comexemplosde

aplicaoe ilustraesquepossamfacilitaracompreenso.O texto

estdivididoem5partes.Aprimeiraparteconceitualecontextual,

buscando elaborar uma aproximao ao tema, situando a

mensurao do desempenho na gesto para resultados e esta na

governana contempornea. A segunda parte apresenta o

metamodelo,oconceitodedesempenhoelaboradoeosprincpios,elementosgeraiseescopodametodologiademensurao.Aterceira

parteest focadadamensuraopropriamentedita,concentrando

se na construo de indicadores. A quarta parte apresenta

sucintamente um conjunto de questes que permitem uma rpida


6/113

1. Conceitos: da governana para resultados mensurao do desempenho

Opropsitodestecaptulo introdutrioelaboraropanode fundo

conceitual subjacente mensurao do desempenho, abordandoconceitos como governana, governana para resultados, gesto e

mensuraododesempenhoe indicadores,a fimdeestabeleceros

elementos fundamentais para a compreenso do guia e sua

adequadaaplicao.

1.1. Governana e Governana paraResultados

A Governana e a Governana para Resultados so expresses em

ascendenteusonaliteraturagerencialnosetorpblicoquepossuem

fortes e centrais significados para o processo de mudana

organizacionaleparaamensuraododesempenho.

OtermoGovernanabuscaexpandiresuperaroatualparadigmade

administrao pblica. Hoje o termo administrao pblica est

associadoaumpapelpreponderantedoestadocomoexecutordireto

nodesenvolvimento,nagestodepolticaspblicasenoprovimento

de servios. O modelo de gesto alinhavase principalmente com

modelos burocrticos ortodoxos, espelhados em modelos

organizacionais mecanicistas, dotados de caractersticas dehierarquia,verticalizao,rigidez,insulamento.

AGovernanapblica,porsuavez,baseiaseemmltiplosarranjos

com a participao de diversos atores (estado, terceiro setor,

mercadoetc.)nodesenvolvimento,nagestodepolticaspblicase


7/113

Aorientaopara resultadosuma fixaodestenovoparadigma,ou seja, o que est em foco so as novas formas de gerao de

resultados em um contexto contemporneo complexo e

diversificado.

Nesse contexto, uma boa gesto aquela que alcana resultados,

independentementedemeritriosesforose intenes.E,alcanar

resultados,nosetorpblico,atendersdemandas,aosinteresseses expectativas dos beneficirios, sejam cidados ou organizaes,

criandovalorpblico.

Noentanto,osresultadosnoacontecemporacaso,poisgovernos,

organizaespblicas,polticas,programaseprojetosnosoauto

orientadospararesultados.Assimcomo, tambmnobastaapenas

definirbemosresultados,poisnosoautoexecutveis.Portanto,aimplementaopassaaseravarivelcrtica.

Diferentes pesos so atribudos a diversos fatores promotores de

resultados, tais como conscincia estratgia (formulao

compartilhada e comunicao da estratgia), liderana (capacidade

de influenciar e mobilizar pessoas), estrutura (definio clara de

competncias, reas e nveis de responsabilidade), processos(definio detalhada de procedimentos), projetos (desdobramento

deresultadosemaesqueperpassamestruturaseprocessosquese

submetemaregimesintensivosdemonitoramento),contratualizao

(pactuaoderesultadosmediantemecanismosdemonitoramentoe

avaliao, e incentivos), pessoas (dimensionamento de equipes,

capacitao, comprometimento, alinhamento de valores),

tecnologias de informao e comunicaes (inovao e integraotecnolgicas, automao), recursos financeiros (disponibilidade,

previsoeregularidadedefluxo).

Assim,aprincipalquestoconcentraseemcomofazerosresultados

serem obtidos e para isso faz se necessrio harmonizar todos esses


8/113

envolveraconstruodemecanismosdemonitoramentoeavaliaoquepromovamaprendizado,transparnciaeresponsabilizao.

Arevisodeliteratura1realizadasobrediversosconceitosetipologias

degestopararesultados,ressalta,apartirdaanlisedeabordagens

metodolgicas2,casosreferenciais3eseuscontextosdeatuao,um

conjuntodeatributosessenciaisqueumbommodelodegestopara

resultados deve possuir, tais como: ser dinmico, abrangente emultidimensional.

Serdinmico significano se limitarapenasemdefiniremensurar

resultados, mas sim, em definir resultados (a partir de um

planejamento abrangente), alcanlos (mediante processos claros

deimplementao),monitorloseavalilos(apartirdecontroles,

acompanhamentos e ajustes decorrentes). Em sntese, tratase deuma viso de gerao e incorporao das informaes sobre

desempenho nos processos decisrios tanto internos quantos

externosdaorganizao,criandodemandasparaestas informaes

(situaodeinstitucionalizao).

Alm disso, ser abrangente basearse num conceito amplo de

desempenho que englobe tanto os esforos quanto os resultadospropostos,presumindoquenoh resultados semalinhamentode

esforos, assim como, esforos desalinhados s promovem

desempenhoporcontadoacaso.Portanto,gerirodesempenhono

significa somente monitorar resultados, mas tambm promover o

alinhamentodosesforosparaosresultadosesperados.

1DocumentodenominadodeMapeamentoBibliogrficoedoEstadodaArte

sobre IndicadoresdeGesto,disponvelno stio eletrnicodoGesPblica.Endereo de acesso:https://www.gespublica.gov.br/folder_publicacoes/pasta.20090423.1308768764/produto_1_indicadores_versao_final_110809.pdf.


9/113

Porltimo,masnomenos importante,ummodelo idealdegestopara resultados deve ser multidimensional, isto , considerar as

mltiplas dimenses de esforo (processos, recursos, estruturas,

sistemas informacionais e pessoas) para alinhlos aos resultados.

Para isso,deveseevitardefiniesreducionistaseunidimensionais,

em que aspectos significativos do esforo e do resultado sejam

deixados de fora, ou aspectos pouco significativos permaneam

dentrodomodelodegestopararesultados.

Em suma, a concepo e a implementao de modelos de gesto

pararesultadosdinmicos,abrangentesemultidimensionaissoum

desafio. Os fatores e elementos detalhados representam variveis

basilaresdemodelosdedesempenho.Segundoa linhadeevoluo

demonstrada por Boukaert&Halligan (2008), os modelos ilustrados

noquadro1aseguir,quevodesdeummodeloprperformance,

caracterizado pela ausncia de agenda estratgica, estruturas

autocentradasesemfocodeatuao,eausnciademecanismosde

monitoramentoeavaliaoderesultados,evoluindoparaummodelo

de Governana para o Desempenho, o mais completo,

caracterizado pela integrao das agendas, alinhamento das

estruturas implementadoras a partir de redes de governana eintegrao sistmica interna e externa, e mecanismos claros de

monitoramento e avaliao, que fortalecem o uso social e a

conscinciaestratgica.

Quadro1.LinhadeevoluodosmodelosdeGestodoDesempenho


10/113

Fonte:AdaptadodeBouckaert&Halligan,2008

1.2. Gesto e Mensurao do Desempenho

Desempenhoumtermosujeitoainmerasvariaessemnticase

conceituais,emboraexistamalgunsconsensosmajoritriosemtorno

de uma definio. Segundo uma abordagem abrangente, o

desempenhopode sercompreendido comoesforosempreendidos

nadireoderesultadosaseremalcanados.Aequaosimplificada

:desempenho=esforos+ resultados;oudesempenho=esforos

resultados.

Assim, a definio sinttica e ao mesmo tempo ampla para o

desempenho estabelecida pela atuao de um objeto (uma

organizao, projeto, processo, tarefa etc.) para se alcanar um

resultado.Logo,desempenhoumconceitopeculiar,umconstruto

especfico,paracadaobjeto.

Entretanto,aconstruodedefiniespeculiaresdedesempenho,a

partirdasquaismodelosdemensuraododesempenhopossamser

concebidos caso a caso, devem respeitar algumas regras e

consideraes metodolgicas, tais como: i) evitar definies

reducionistaseunidimensionais; ii) incluirosaspectosedimenses

significantesnomodelo;e;iii)deixarosaspectosedimensespouco

significativasforadomodelo.

Para isso, tornase necessria a concepo de um metamodelo de

definio e mensurao do desempenho que seja robusto o

suficientepara sercapazdeunirasmaisdiversasabordagens,bemcomoorientaraconstruodemodelosespecficosparaadefinioe

mensuraododesempenho.Pormeiodeummetamodelopodese

indicarmdulosapartirdosquaisosmodelosespecficospossamser

configurados.


11/113

estrito,pormeiode indicadores,valoresoumedidasdosesforoseresultados.Umsistemademensuraodeve iralmdageraode

indicadores (que, em princpio, nunca trivial) e permitir: a) a

gerao de indicadores em distintas dimenses de esforos e

resultados, com diferentes pesos entre estes (uma vez que

representammedidasdedistintas importncias);eb) ageraode

umanotaparacadaindicador(oquerequerernoapenasapuraro

valordoindicadornoatodamedio,mascompararovalorapurado

comumvalormeta,sejacorrespondenteaumametapropriamente

dita, seja correspondente a um benchmark), que expresse uma

medida relativa (medida atual em relao a uma medida ideal).

Tratase, assim de uma mensurao agregada e ponderada que

permitir a gerao de uma medida sntese do desempenho, uma

nota global, que, de certa forma, carrega consigo um componenteavaliativo(dorealapuradoemrelaoaumideal).

Valedestacarqueconceitoscomocapacidadetangenciamoconceito

de desempenho. Os termos capacidade, capacidade institucional e

outrosderivados,tambmsesujeitamamuitasvariaessemnticas

e conceituais podendo oscilar do domnio de recursos,

competncias, habilidades e atitudes at a prontido para efetivaatuao (realizao de esforos orientados para resultados) em

funodeoutrosatributostaiscomopoder,legitimidadeeurgncia.

Em todo caso,esteGuiano incluio conceitode capacidade como

partedoconceitodedesempenho;trataocomopressupostodobom

desempenho, embora algumas das dimenses do desempenho, tal

comoaexcelncia,possamtratardeatributoscomunsrelacionados

capacidade,comoserdemonstradomaisadiante.

Em sntese, o escopo deste Guia a medio/mensurao do

desempenho, parte essencial da gesto do desempenho. Buscando

clarificar bem este propsito e as expectativas em torno dele, o


12/113

Quadro

2.

Principais

mitos,

posturas

e

imposturas

da

mensurao

do

desempenho

1.Omitodamedioabsoluta:precisomedir tudo.Quempretendemedir tudoacabanomedindo

nada!Pordetrsdeste mito, esto fetichedopanopticon,que gera a impostura,movidaporuma

necessidadeobsessiva,demonitorarecontrolartudoetodosaomesmotempoenamesmahora.Gerir

odesempenhoumaformadecontrole,masquedeveserextremamenteseletivo.Aposturacorreta

altaseletividade.Medirapenasoqueimportante,oquesignificativo,oquevaleapena.Medircusta

tempo edinheiro! E algumasmedidas soperecveis s fazem sentido sepuderem gerardecises

tempestivas.

2.Paramediroque importa,precisogerar todasas informaes,coletardadosde formaexaustivae

precisa.Quemsepreocupaemgerartodasasinformaesprovavelmentemorrerafogadonummarde

informaes,cheiodeinformaesinviveiseinteis.Porumlado,ageraodeindicadores(medidas)

relevantesrequererdadoseinformaesespecficoscujaobtenoetratamentodemandaromais

ou menos tempo e representaro custos. A postura correta , sempre que possvel, trabalhar com

aproximaes, buscando construir indicadores a partir de dadosj existentes e tratados dentro de

padresaceitveisdequalidadeapostandoseque,namaioriadoscasos,adisponibilidadededadose

informaesnooproblemafundamental.

3.Primeirovamosmedir,depoisvamosveroquefazemoscomasmedidas.Inicialmente,medidasno

podem ser vistas como modismos ou obrigao. Medese para controlar/melhorar o desempenho.

Medidastmqueserteis, fazersentidoparaorientaragestonodiaadia.Amediotemqueserorientadaparaamelhoriadodesempenhoeamelhoriadodesempenho temqueserorientadapela

medio.

4.Preciso, sobretudo,do sistema informticoperfeitopara isto.Vocprecisa,acimade tudo,deum

bommodelodemensurao,quepermitaumaboadefinioespecficadoqueoseudesempenhoe,a

partir da, como mensurlo. Primeiro a sistemtica, depois o sistema. Sistemas informacionais so

instrumentosque devem estar a serviode uma lgicanoo contrario, sua lgicade definio emensuraonopodeestara serviodeum sistema.Hmuitas soluesde sistemas (deprateleira,

baratos, amigveis e acessveis)para sistemticasdemensurao. Lembrese domandamento: no

adorarsferramentasinformticas4!


13/113

qualitativa,pormeiode indicadores).Assumeseque a realidadeum todo complexo e os modelos, ao inclurem apenas algumas

variveispararepresentla(buscandodescrever,explicarouprever

algo), sero sempre recursos limitados, revelando e escondendo,

deixando de fora muitas variveis potencialmente importantes e

contendolimitaesparaestabelecerospadresdecomportamento

entreasvariveis.Emsuma,todomodelolimitado,masalimitao

deve ser sempre minorada por meio da escolha das variveismais

relevantes:incluiroquemaisimportaeexcluiroquenoimporta.

A construo de modelos, a partir da escolha das variveis e seus

padres(hipteses)derelacionamento(causao),podeseguirvrias

lgicas: relaes causais verificadas empiricamente ou lgica

dedutiva.

O desafio deste Guia proporcionar a construo de modelos

especficosdemensuraododesempenho. Logo, inicialmente isto

implica a definio de variveis (aspectos ou dimenses) do

desempenho que devem ser consideradas (includas no modelo).

Tratase, portando, de um modelo lgicodedutivo, que inclui

variveis sugeridas pela literatura e estabelece uma ordem de

causalidadeentreelas:desempenho=aspectosrelativosaosesforos

+aspectosrelativosaosresultados;ouseja,umconjuntodeesforos

que(presumivelmente)causamumconjuntoderesultados.

Modelos so, portanto, um conjunto de indicadores relacionados.

Indicadores so mtricas que proporcionam informaes sobre o

desempenho de um objeto (seja governo, poltica, programa,

organizao, projeto etc.), com vistas ao controle, comunicao emelhoria.

Os indicadoresso instrumentosdegestoessenciaisnasatividades

de monitoramento e avaliao das organizaes, assim como seus

projetos programas e polticas pois permitem acompanhar o alcance


14/113

De formageral,os indicadoresno so simplesmentenmeros,ouseja, so atribuies de valor a objetivos, acontecimentos ou

situaes,deacordocomregras,quepossamseraplicadoscritrios

deavaliao,como,porexemplo,eficcia,efetividadeeeficincia.

Dessaformaosindicadoresservempara:

mensurarosresultadosegerirodesempenho;

embasar a anlise crtica dos resultados obtidos e doprocessodetomadadeciso;

contribuir para a melhoria contnua dos processosorganizacionais;

facilitaroplanejamentoeocontroledodesempenho;e

viabilizar a anlise comparativa do desempenho daorganizao e do desempenho de diversas organizaes

atuantesemreasouambientessemelhantes.

Emsuma,conformeapresentadoaolongodocaptulo,oconceitode

desempenho especfico para cada organizao, ejustamente por

serpeculiarrequerdasorganizaesautilizaodeummetamodelo

dinmico,abrangenteemultidimensionalquepermitaaconstruocasoacasodeseuprprioconceitodedesempenho.

Nessesentido,oprximocaptulotemcomoobjetoaproposiode

ummetamodelocapazdeunirosmaisdiversosaspectos,dimenses,

eabordagens,orientandoaelaboraodemodelosespecficosparaa

definioemensuraododesempenhodasorganizaes.


15/113

2. Um (Meta) Modelo para Mensurao doDesempenho: a Cadeia de Valor e as seis

dimenses do Desempenho (6Es)

Conforme apresentado no captulo anterior, existem mltiplos

aspectos nas dimenses de esforo e do resultado que devem ser

consideradosemummodeloparaamediodedesempenho.

Nesse sentido, foi utilizado como metamodelo uma concepo de

cadeia de valor5 que identifica seis dimenses do desempenho,

permitindoqueseidentifiqueemcadadimensodistintosobjetosde

mensurao,orienteamodelagemde indicadores (semprejuzodese identificarem, em alguns casos, indicadores j consagrados) e

permitaaconstruodepainisdeacompanhamentodagesto.O

metamodelo preconiza assim regras bsicas para construo de

modelosespecficosdemensuraodedesempenho.

O metamodelo, portanto, permite s instituies (re) pensarem os

seusconceitosdedesempenhocombasenametodologiadacadeiade valor, com alguns aprimoramentos. A cadeia de valor possui

algumas limitaes que foram atenuadas: i) a linearidade, pois a

cadeia de valor no considera outros fatores que influenciam os

efeitos,porexemplo, fatoresqueproduzem impactose fatoresque

concorremcomprodutosqueaorganizaogera,esta restrio foi

minimizada ao introduzir no modelo a abordagem de redes de

organizaesenadefiniode indicadorescombasena teoriado

programa; ii) a unidimensionalidade, pois o bloco das

"aes/atividades" representaapenasprocessoseestrutura (o lado

mais visvel das organizaes), esta restrio foi minimizada ao

contemplar as dimenses que possuem papis imprescindveis para a


16/113

depoder,questesticasentreoutrasdimensesquepodemviraserconsideradas.

O modelo da Cadeia de Valor e os 6Es do Desempenho permite a

construo das definies especificas de desempenho para cada

organizaodemodoaexplicitarasdimensesdosresultados(mais

a montante da cadeia de valor) e dos esforos (mais ajusante da

cadeia de valor), alm de sugerir o necessrio alinhamento entreambasasperspectivas.Emsntese,omodelomensuraoquesedeve

realizarparaseproduzirumresultadosignificativonofuturo.

OmodelodaCadeiadeValoredos6EsdoDesempenhoconstituise

das dimenses de esforo e de resultado desdobradas em outras

dimenses do desempenho. As dimenses de esforo so

economicidade,execuoeexcelncia;easdimensesderesultadosoeficincia,eficciaeefetividade.

Valeressaltarqueometamodelopodeseraplicvelemvriosnveis

da administrao pblica, tais como, nvel macro (Governo), nvel

meso(polticapblicaousetordegoverno),nvelmesomicro(redes

deorganizaes),nvelmicro(organizaes)envelnano(unidadede

organizao).

A figura 1 a seguir ilustra o metamodelo denominado Cadeia de

valoreos6EsdoDesempenho.


17/113

16

Figura1.Cadeiadevaloreos6EsdoDesempenho

Fonte:Martins&Marini.GuiadeGovernanaparaResultados.

Dimensesdo Resultado

Impactos(outcomes)

Produtos(outputs)

Insumos(inputs)

ExecuoExcelnciaEconomicidade

Eficcia EfetividadeEficincia

Dimensesde Esforo

OutrosOutrostica

PoderCultura

Aes/Atividades

Organizaes

Projetos

ticaPoder

Cultura


18/113

2.1. Elementos da Cadeia de Valor edimenses do desempenho

O presente modelo prope uma tipologia de seis categorias de

indicadores, conforme apresentado anteriormente, que esto

relacionadossdimensesdeesforoeresultado.

As seis categorias de indicadores esto relacionados a algum dos

elementos da cadeia de valor, que representa a atuao da ao

pblicadesdeaobtenodos recursosatageraodos impactos

provenientesdosprodutos/servios.Oselementosdacadeiadevalor

so:

Insumos(inputs);

Processos/Projetos(aes);

Produtos/servios(outputs)

Impactos(outcomes).

Mensurar o desempenho da organizao (ou outros objetos) com

base nesses elementos da cadeia de valor permite que as

organizaes analisem suas principais variveis associadas ao

cumprimento dos seus objetivos: quantos e quais insumos so

requeridos, quais aes (processos, projetos etc.) so executadas,

quantos e quais produtos/servios so entregues e quais so os

impactosfinaisalcanados.

A figura 2 a seguir mostra a relao entre os elementos que

compem a cadeia de valor e sua contribuio para os resultados

finais, tambm relaciona a pergunta que os indicadores associados

procuramresponder:


19/113

Figura

2.

Elementos

da

Cadeia

de

Valor

e

suas

contribuies

A figura 3 a seguir mostra as duas categorias de dimenses quecompem os 6Es do Desempenho, assim como os tipos de

indicadoresqueascompem:

Insumos(inputs)

Produtos(outputs)

Impactos(outcomes)

tica

Poder

Cultura

Aes/Atividades

Organizaes

Pro

jetos

tica

Poder

Cultura

Quaismudanasosprodutos/serviostrazemparaos

beneficirioseasociedade?

Quaisosprodutos/serviosgerados?Quantidadedeprodutos/servios?Qualidadedoproduto/servio?

Quaissoasaes,processoseprojetos executados?

Tempomdiodeciclodoprocesso?Qualocustodoprocesso?

Quaissoosrecursosnecessriosparagerarosprodutos/servios

estabelecidos?Quantidadederecursosnecessria?


20/113

Figura3.Di ensesqu

Uma

dimen

deind

econstitue

combina

sesdode

icadoresd

Efetivida

produtos

vinculad

Por exe

exemplo

de deter

efetiva. I

nadime

Eficcia

entregue

servios

campanh

nmero

Indicado

mos6Esd

o dos el

empenho

desempe

de so

/servios,

aograud

plo, se

acima real

minada do

ndicadore

soestrat

aquanti

s ao usu

da organiz

adevacin

foi alcana

es de efic

oDesemp

mentos d

permiteid

ho:

os i

rocessos

esatisfa

mesma

mente imu

ena entre

de efetivi

gicadoPla

adeequa

rio (benefi

ao). Por

ao imu

do ou sup

cia podem

nho

a cadeia

ntificarsei

mpactos

uprojetos.

ouainda

campanha

nizouedi

as crian

dade pode

noPlurian

lidadede

cirio dire

exemplo,

nizar100.

rado, a c

ser encon

de valor

scategoria

gerados

Aefetivid

aovalora

de vacin

inuiua in

s, a camp

m ser enc

al(PPA);

rodutose

o dos pro

se a meta

00 criana

mpanha f

trados na

com as

bsicas

pelos

deest

regado.

o do

cidncia

nha foi

ntrados

servios

dutos e

de uma

seeste

i eficaz.

arta de


21/113

seus elementos de custos e em informaes de sistemasestruturantesdoGoverno,comooSIAFI;

Execuo referese realizao dos processos, projetos eplanos de ao conforme estabelecidos. Indicadores de

execuo podem ser encontrados no monitoramento das

aesdoPPA;

Excelncia a conformidade a critrios e padres dequalidade/excelncia para a realizao dos processos,

atividades e projetos na busca da melhor execuo e

economicidade;sendoumelementotransversal.Indicadores

epadresdeexcelnciapodemserencontradosnoModelo

deExcelnciaemGestoPblica(MEGP);e

Economicidadeestalinhadaaoconceitodeobtenoeusode recursos com o menor nus possvel, dentro dos

requisitos e da quantidade exigidas pelo input, gerindo

adequadamenteosrecursosfinanceirosefsicos.Indicadores

deeconomicidadepodemserencontradosnasunidadesde

suprimentos.

2.2. Subdimenses dos 6Es do Desempenho

Os 6Es do desempenho podem ser desdobrados em subdimenses

que qualificam e auxiliam na caracterizao de tipologias de

indicadores a serem utilizados. O quadro 3 apresenta as principais

subdimensesidentificadasesuasrespectivasdescries.

Quadro3.Dimensesesubdimensesdos6EsdoDesempenho

Dimenso Subdimenses

1.1.ImpactoFinal:oresultadogeradopelosprodutoseservios


22/113

Dimenso

Subdimenses

E2Eficcia

2.1Quantidade/Volume:onveldeofertaedisponibilidadede

umbensouserviosgeradoporumdeterminadosistema

(organizao,programa,polticapblica,redeetc.).Exemplo:

Nmerodejovenseadultosalfabetizados;Quantidadede

habitaesconstrudas;ExtensodaMalharodoviriapavimentada.

2.2Qualidadedoproduto/servio:representaaadequaoentre

ascaractersticasdosprodutoseserviosentregues,eosrequisitos

enecessidadesdosbeneficirios.Exemplos:Qualidadepercebida

(Percepo/Expectativa),durabilidade,esttica,Confiabilidade,

Tempestividade,Inovaoetc.

2.3AcessibilidadeeEquidade:acapacidadededisponibilizarbens

eserviosequitativamenteeforneclosdeformaequnime,

atendendoigualmenteasnecessidadesdosbeneficirioseasociedade.

2.4Cobertura:corresponderelaoentreapopulaoatendida

sobreaquedeveriaseratendidacombensouserviospblicos

geradosporumdeterminadosistema(organizao,programa,

polticapblica,redeetc.).

2.5Risco:avaliaaprobabilidadequeumdeterminadosistema

asseguraraentregadebenseserviosparadeterminados

beneficirioseapopulao.

3.1Custoefetividade:relaoentreosinsumosparaaprestaode

umdeterminadoservioouelaboraodeumprodutoea

efetividade,ouseja,entendesepelograudecontribuiodeum

programaouaonaconsecuodemetaseobjetivosdeimpactofixadosparareduzirasdimensesdeumproblemaoumelhorar

umadadasituao.

3.2Produtividade:relaoentreonveldeproduo(serviose

produtos)eosrecursosutilizados,sejaocapitalhumano,


23/113

Dimenso

Subdimenses

3.5Custobenefcio(qualidadedogasto):relaoentreos

dispndiosrealizadosporumdeterminadosistemaeosretornos

obtidosporcontadessesdispndios,apresentaarelaoentreos

insumoseosprodutosgerados.

E4Execuo

4.1Execuofinanceira:relaoentreovolumederecursos

disponibilizadospelooramentoeonveldeutilizaodesses

recursosvisandoatenderrealizaodeetapase/ouatividadesde

umprograma,projetoouprocesso(finalsticosoudesuporte).

Exemplo:taxadeexecuofinanceira.

4.2Execuofsica:relaoentreovolumedeprodutosprevistos

paraserementreguespelooramentoeonveldeentregadessesprodutos,visandoatenderrealizaodosprojetose/ouatividades.

Exemplo:taxadeexecuofsica.

E5Excelncia

5.1Conformidadeemrelaoapadresdeexcelnciagerencial.O

MEGPumexcelenteproxyparaamediodaexcelnciade

organizaespblicas.umindicadorcompostoqualitativoe

quantitativoqueabrangecritrioscomo:Liderana,Estratgiae

Planos,Cidados,Sociedade,InformaoeConhecimento,Pessoas,

Processos.

5.2Conformidade:representaaadequaodosprojetos,aese

processosaospadreserequisitosdefinidos.Exemplos:retrabalhos,

erros,responsabilidadeambiental,infraestrutura(confortoetc.),medidaseespecificaes,segurana(acidentesporhoras

trabalhadas),transparncia,confidencialidade,acessibilidade,

confiabilidade,inovao,prazoetc.

5.3Riscos:avaliaaprobabilidadedeocorrnciadefalhasoua


24/113

Dimenso

Subdimenses

5.5Comunicao:aavaliaodafluxosdeinformaoeseus

canais,averiguandoaexistnciaounodefalhasnoprocessode

comunicao.Exemplo:percentualdepessoascomacesso

informaescrticasdaorganizao.

E6Economicidade

6.1Quantidadederecursos:onveldeofertaedisponibilidadede

umprodutoouserviogeradoporumdeterminadofornecedorou

sistema(organizao,programa,polticapblica,setorredeetc.).

6.2Qualidadedosrecursos:representaaadequaoentreas

caractersticasdosprodutoseserviosadquiridos,eosrequisitose

necessidadesdaorganizao(ouGoverno).Exemplos:durabilidade

tcnica,esttica,Qualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.

6.3Acessibilidade:acapacidadedecaptarbenseservios

equitativamenteeforneclosdeformaequnime,atendendo

igualmenteasnecessidadesdosbeneficirioseasociedade.

6.4Cobertura:aavaliaodonveldeabrangnciadeum

determinadoinsumocrticoparaaexecuodeprogramas,

projetos,processos,sendodestaformauminsumoquerequeralta

disponibilidade.Exemplo:quantidadedefornecedoresdeum

determinadoinsumo.

6.5Risco:Avaliaapossibilidadedeocorrnciadefalhasno

fornecimentoderecursosparaproverprogramas,projetose

processos.Exemplo:graudepropensodenorecebimentode

insumoscrticos.

2 3 Aplicao do Modelo dos 6Es do


25/113

(unidade de organizao), no qual em cada clula (interseco dalinha e coluna) so detalhadas as subdimenses e ilustrados por

alguns indicadores representativos segundo as caractersticas do

nvel de Governo estabelecido. Os nveis so concebidos pela

necessidade de tratar das especificidades concernentes a cada

contexto de aplicao, criando aproximaes a fim de evitar um

tratamentoigualpararealidadesdistintas.

Os anexos 1 e 2 deste Guia contemplam alguns exemplos de

indicadores levantadosemoficinascomrgoscentraisdoGoverno

Federa e em pesquisas documentais representados segundo as

mltiplasdimensesdodesempenho.


26/113

25

Quadro4.MatrizsntesedomodelodeMediododesempenhosegundoas6dimensesenveisdeaplicao

DimensoNveis

MacroGoverno

MesoSetorialdepolticapblica

MicroOrganizaesemrede

MicroOrganizao

NanoUnidade

E1Efetividade

Subdimenso:1.1ImpactoFinalNvelgeraldebemestar,

desenvolvimento(social,econmicoescioambiental),igualdadesocialetc.

ExemplosdeIndicadores:ndicede

DesenvolvimentoHumano(IDH)PIBpercapitaCoeficientedeGini

Subdimenso:1.2ImpactoIntermedirioResultadosdePolticaPblica,impactosintermediriosde

desenvolvimentoetc.

ExemplosdeIndicadores:TaxadeAnalfabetismode15anosoumaisCoeficientedemortalidadeinfantilExpectativamdiadevidada

populaoHabitantes/domiclioTaxadeHomicdiosPercentualdapopulaoinfectadapelovrusHIVndicededistoroIdade/SrieTaxadeconclusodoensinomdionaRededeEnsino

Subdimenso:1.2ImpactoIntermedirioResultadosemtemasde

PolticasPblicas,impactosintermediriosdepolticaspblicasetc.

ExemplosdeIndicadores:ndicededesenvolvimentoSocial

RegionalndicedeVulnerabilidadeSocialndicedeconvergnciacompetitiva

Subdimenso:1.2ImpactoIntermedirioResultadosintermediriosdedesenvolvimento,

polticaspblicasoutemasdepolticaspblicas,Satisfaodosstakeholders,MelhoriadaGestoetc.

ExemplosdeIndicadores:todosdosnveisanteriores.

1.2Subdimenso:Impactoinicial,Resultadosdaorganizao.

ExemplosdeIndicadores:todosdosnveisanteriores.


27/113


28/113

27

DimensoNveis

Macro

GovernoMeso

Setorialdepolticapblica

Mesomicro

OrganizaesemredeMicro

OrganizaoNano

Unidade

E3Eficincia

Subdimenses:3.1CustoefetividadeRelaocustoefetividadedaatuaogovernamental3.4Utilizaoderecursos

ExemplosdeIndicadores:Custoefetividade(outcomes/custo)

Volumedogastopblico(despesaoramentria)emrelaoaoPIBRelaoPIB/capitaeIDHRelaogastospblicoseIDH

Subdimenses:3.1CustoefetividadeRelaocustoefetividadedevriosdomniosdepolticapblica3.2Produtividadedevriosdomniosdepolticaspblicas3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue

ExemplosdeIndicadores:Custoefetividade(outcomes/custo)

Volumedogastopblico(despesaoramentria)emrelaoaoPIBRelaogastospblicoseIDH

Subdimenses:3.1CustoefetividadeRelaocustoefetividadedevriostemasdepolticapblica3.2Produtividadedevriostemasdepolticaspblicas3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue

ExemplosdeIndicadores:

Custoefetividade(outcomes/custo)Volumedogastopblico(despesaoramentria)emrelaoaoPIBRelaogastospblicoseIDHCustomdiodeconexo

debandalargaporescolaCustomdioportelecentroinstalado

Subdimenses:3.2Produtividadedaorganizao3.3TempoTempodeciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovosbenseservios,Desperdcioetc.3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue

3.5Custobenefcio

(qualidade

do

gasto)

ExemplosdeIndicadores:CustosunitriosdeserviosestratgicosTempomdiodeatendimentoaocidado

TempomdioparaabrirumnegcioEficinciaOramentria

Subdimenses:3.2ProdutividadedaunidadefinalsticaCargadeTrabalho,Consumo,Desperdcioetc.3.3TempoTempodeciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovosbenseservios,Desperdcioetc.3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue

3.5Custobenefcio(Eficinciadosgastos)

ExemplosdeIndicadores:CustoporaodefiscalizaoTempomdiodeatendimentosdemandas(emdias)

Custocomcombustvel/peas/serviosporperodoCustoporunidadedoservioprestado(custounitrioporcirurgia,porhoraaula,porkmpavimentado)


29/113


30/113

29

DimensoNveis

Macro

GovernoMeso


Mesomicro

OrganizaesemredeMicro

OrganizaoNano

UnidadeExemplosdeIndicadores:ImplantaodasaesdoPlanejamentoEstratgicoGraudeconfiabilidadedasinformaesoramentrias,financeirasecontbeisndicedequalidadedapropostaoramentriandicedequalidadedainformaoGraudeacessopblicoasinformaesdecompras(editais,solicitaesdepropostas,outorgasde

contrato)PercentualdecontratocomnveldeserviocontratualizadoGraudeadequaoaomarcolegaleregulatriodecompraspblicas(conformidadesdetectadas)Percentualdeavaliaes

prviasderiscos


31/113

30

DimensoNveis

Macro

GovernoMeso


Mesomicro

Organizaesemrede

Micro

OrganizaoNano

Unidade

E5Excelncia

ExemplosdeIndicadores:PercentualdeorganizaespblicasdaadministraodiretaeindiretacandidatasnoPrmioNacionaldaGestoPblica PQGFPorcentagemorganizaespblicasda

administraodiretaeindiretacomsistemadegestodaqualidadeimplantado

ExemplosdeIndicadores:PercentualdeorganizaespblicasdaadministraodiretaeindiretacandidatasnoPrmioNacionaldaGestoPblica PQGFPorcentagemorganizaespblicasdaadministraodiretaeindiretacomsistemadegestodaqualidadeimplantado

Subdimenses:5.1CritriosdoMEGPOMEGPumexcelenteproxyparaamediodaexcelnciadeorganizaespblicas.umindicadorcompostoqualitativoequantitativoExemplosdeIndicadores:Percentualdeorganizaespblicasdaadministraodiretaeindiretacandidatasno

PrmioNacionaldaGestoPblica PQGFPorcentagemorganizaespblicasdaadministraodiretaeindiretacomsistemadegestodaqualidadeimplantado

Subdimenses:OMEGPumexcelenteproxyparaamediodaexcelnciadeorganizaespblicas.umindicadorcompostoqualitativoequantitativo5.1CritriosdoMEGPLiderana,EstratgiaePlanos,Cidados,Sociedade,InformaoeConhecimento,Pessoas,Processos5.2ConformidadeRetrabalho,Erros,ResponsabilidadeAmbiental,

Infraestrutura(confortoetc.),Medidaseespecificaes,Segurana(acidentesporhorastrabalhadas),TransparnciaConfidencialidade,AcessibilidadeConfiabilidade,Inovao,Prazoetc.

5.3

Riscos

5.4Causalidade5.5Comunicao5.6Integrao


Subdimenses:OMEGPumexcelenteproxyparaamediodaexcelnciadeunidadesorganizacionais.umindicadorcompostoqualitativoequantitativo5.1CritriosdoMEGPLiderana,EstratgiaePlanos,Cidados,Sociedade,InformaoeConhecimento,Pessoas,Processos5.2Conformidade

Retrabalho,Erros,ResponsabilidadeAmbiental,Infraestrutura(confortoetc.),Medidaseespecificaes,Segurana(acidentesporhorastrabalhadas),Transparncia

Confidencialidade,AcessibilidadeConfiabilidade,Inovao,Prazoetc.5.3Riscos5.4Causalidade5.5Comunicao5.6Integrao



32/113

31

DimensoNveis

Macro

GovernoMeso


Mesomicro

Organizaesemrede

Micro

OrganizaoNano

UnidadePontuaonoscritriosdeexcelnciaemgesto(MEGP)ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos)TaxaderegistrodeocorrnciasemauditoriasPercentualdecontratoscomAcordosdeNveldeServios(ANS)pactuados

Pontuaonoscritriosdeexcelnciaemgesto(MEGP)NmerodeatividadesqueseguemestritamenteospadresorganizacionaisNmerodeatividadescertificadasporinstituiesreconhecidas


33/113

32

DimensoNveis

Macro

GovernoMeso

SetorialdepolticapblicaMesomicro

Organizaesemrede

Micro

OrganizaoNano

Unidade

E6Economicidade

Subdimenso:6.1Quantidadederecursos

ExemplosdeIndicadores:GastototaldecomprasdoGovernoGastosdecusteioeoutrosgastosadministrativosCustodaatividadefinalsticadeGoverno/custototal

Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosQualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.6.3Acessibilidade6.4Cobertura6.5Risco

ExemplosdeIndicadores:Gastospblicospercapitacomasade

GastoscomProgramaseServiosSociaisGastoscommerendaescolar

Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosQualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.6.3Acessibilidade6.4Cobertura6.5Risco

Exemplos

de

Indicadores:Custodemedicamentoscomvalidadevencida

Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosDurabilidadetcnica,esttica,Qualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.

ExemplosdeIndicadores:Economiacomatividademeio

Custodasatividadesdesuporte/Custototalndicedequalidadedosprodutoseserviosadquiridosndicedeeconomiadasaquisies

Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosDurabilidadetcnica,esttica,Qualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.6.3Acessibilidade6.4Cobertura

6.5

Risco

ExemplosdeIndicadores:NdeadmissesconformeoperfilRequeridorealizadasduranteoperodo


34/113

2.4. Desempenho timo e Estrutura dePonderao

Segundoestemodelo,aotimizaododesempenhorequeratuao

ao longo de toda a Cadeia de Valor. Existe o risco de modelos

construdos focarememalgunsEsdodesempenho(eficinciaouna

economicidade, por exemplo) em detrimento dos demais Es. AnfasepuramentenoEdaeficincia (desconsiderandoseos Es

daeficciaedaefetividade)tendeatornarprecriooatendimentoe

a qualidade dos servios prestados ao cidado. Para tanto,

importanteressaltaroquantonegativoprivilegiaraeconomicidade,

aexecuo,aexcelnciaeaeficincia,enocontemplaraeficciae

aafetividadeemmodelosdemensurao.

Nessesentido,necessriopensarsenobalanceamentodos6Esdo

Desempenho.Odesempenhotimoaquelequeefetivo,eficaz,

eficiente, excelente, econmico e cuja execuo de aes e

atividades ocorre em conformidade com requisitos e prazos

definidos. Embora haja precedncia da dimenso efetividade (e

sucessivamente, eficcia e eficincia, excelncia, execuo e

economicidade, da direita para a esquerda da cadeia de valor),

problemas em qualquer uma das dimenses impe padres sub

timosdedesempenho.

Portanto,omodelodedesempenhotimorepresentadopor:


35/113

Ouseja,Desempenhotimo=E1+E2+E3+E4+E5+E6=6;

Desempenho Subtimo = E1+E2+E3+E4+E5+E6 E2>E3]>[E4 E5 E6].

A estrutura de ponderao proposta prioriza o resultado sobre o

esforo.Paraisso,duasalternativassopropostas:

Alternativa

1 Ponderaocomgraudeflexibilidade:

Resultado=[E1+E2+E3] 60%/70%;sendoque,PE1>PE2>PE3;

Esforo=[E4+E5+E6] 40%/30%,sendoque,PE4 PE5 PE6.

Alternativas2 Ponderaofixa:

DimensodoDesempenho Peso Proporo

Efetividade(E1) 2,5 60%

resultadoEficcia(E2) 2

Eficincia(E3) 1,5

Execuo(E4) 1,5

40%EsforoExcelncia(E5) 1,5

Economicidade(E6) 1

Totaldospesos 10 100%

Algicadestaponderaoinicialrelativamentesimpleseintuitiva:

resultados valem mais que esforos. Entre situaes limite

hipotticas, organizaes que se esforam menos, mas alcanam


36/113

estabelecer pesos (entre 1 a 5) segundo critrios de seleo deindicadores, propiciando obter maior sensibilidade no processo de

priorizao. A frmula de clculo para a formao do peso do

indicador ser aprofundada no item 3.7. Passo 7 Ponderao e

ValidaofinaldosindicadorescomaspartesenvolvidasdesteGuia.

Oquadro5 ilustraa sntesedomodelodeponderaes.Omodelo

envolve algumas instncias de agregao de valores que requer

formulasdeclculoespecficas,apresentadassegundoasreferncias

aseguir:

(A) Nota ponderada do indicadorx= Peso do indicadorx* Nota do

indicadorx;

(B) Nota da Dimenso = (Nota ponderada do indicador1 + Nota

ponderadadoindicador2+...+Notaponderadadoindicadorn)/(Pesodoindicador1+Pesodoindicador2+...+Pesodoindicadorn);

(C) Nota ponderada da Dimenso: Peso da Dimensox * Nota da

Dimensox;;e

(D) Nota do Desempenho Agregado: das Notas ponderadas das

Dimenses.


37/113

36

Quadro5.Exemplodeponderaesenotasaplicadasaosindicadoresesuanotaconsolidadafinal

DimensodoDesempenho

PesodaDimenso

Indicador(segundoSubdimenso)Pesodo

indicadorNotado

indicador

Notaponderada

(A)

NotadaDimenso

(B)

Notaponderada

daDimenso(C)

E1Efetividade 2,5

1.1.Impactofinal

8,18 20,44

ndicedeDesenvolvimentoHumano(IDH) 5 9 45

1.1.ImpactoIntermedirio

TaxadeAnalfabetismode15anosoumais 5 7 35ndicededistoroIdade/Srie 4 8 32

TaxadeconclusodoensinomdionaRededeEnsino 3 9 27

E2Eficcia 2

2.1.Quantidade

7,91 15,82Nmerodejovenseadultosalfabetizados 5 7 35Quantidadedenovasescolasconstrudas 4 9 36NmerodeescoladeEducaobsicacomconexodeBandaLarga 2 8 16

E3Eficincia 1,5

3.1.Custoefetividade

7,50 11,25

Custoefetividade(outcomes/custo)daspolticasdeeducao 5 6 30

3.4.Utilizaoderecursos

Volumedogastopblicoemeducao(despesaoramentria)emrelaoaoPIB

4 9 36

Customdioporhoraaula 3 8 24

E4Execuo 1,5

4.1.Execuofsicaeexecuofinanceira

7,71 11,57

GraudeimplantaodasaesdoPlanejamentoEstratgico 5 9 45

Taxadeempenho 3 7 21

Taxadeliquidao 3 7 21

Taxadeexecuooramentria 3 7 21

E5Excelncia 1,55.1CritriosdoMEGP

8,38 12,56Pontuaonoscritriosdeexcelnciaemgesto(MEGP) 5 8 40

ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 3 9 27

E6Economicidade

1

6.1.Quantidadederecursos

7,67 7,67GastospblicospercapitacomaEducao 3 9 27

GastototaldecomprasdoGovernocomosetorialdeEducao 3 7 21

Gastoscommerendaescolar 3 7 21

NotadoDesempenhoAgregado(D) 79,31


38/113

Acerca do modelo de desempenho e ponderaes, duas principaiscondies ideais so ressaltadas:a)que sejapossvelamodelagem

deindicadoressignificativoserepresentativosnasseisdimenses;b)

quesejapossvelgerarumanotaparacadaindicador.Emcondies

reais,algumasvezes,possvelquenemtodasasseisdimensesdo

Desempenhopossamsercontempladas(tendoemcontaproblemas

na disponibilidade de dados que inviabilizem a gerao de

indicadores)comotambmpossvelquenoseconsigagerarumanotaparacadaindicador.

Omaisimportantediantedasinevitveisdificuldadesdomundoreal

apostura:precisoesforo, imaginaoehonestidade intelectual

para resolver ou atenuar as limitaes. A seguir, so comentadas

algumaspossveiscomunslimitaeseoquefazeremrelaoaelas:

Indicadoresdeefetividade:

i) O problema: a questo menos gerlos (hmuitos indicadores consagrados de

polticaspblicas)emaisassumiloscomo

integrantesdoconceitodedesempenho

problema este maior nos nveis

organizao e unidade organizacional. Oque est em questo o grau de

atribuio de responsabilidade

(diretamente relacionado

governabilidade)emrelaoaindicadores

deefetividade inerentementesujeitosa

fatoresrivaisetemporalidade;ii)A soluo: tentardecomplosem impactos

intermedirios e identificar aqueles

impactos onde haja uma relao de

atribuio de responsabilidade maior de


39/113

acordo com a teoria do programa6 em

questo;

Geraodenotaparacadaindicador:

i) O problema: bastante provvel que muitasmedidas possam ser feitas, mas sem um

correspondente parmetro de

comparao, tal como uma meta ou umbenchmark em relao ao qual se possa

mediradistnciarelativaeseestabelecer

umanota(dealcance);

ii)A soluo: o estabelecimento de metasincrementais (aumentar20%noperodo

seguinte)pelotemponecessrioparaquese compreenda a curva de desempenho

doindicadoremquesto,permitindouma

fixaorealistaedesafiadorademetas;

Indicadoresdasdemaisdimenses:

i) O problema: ainda que haja dificuldades na

identificao e na coleta de dados paragerao de indicadores em geral

(principalmentenadimensoeficincia),

ii)A soluo: a postura correta utilizaraproximaes e, sobretudo, comear a

medir para incorporar ao modelo no

momentoseguinte.Em suma, prefervel que haja aproximaes a lacunas. Mas o

fundamental aprimorar o modelo de mensurao ao longo do

tempo, tendose em conta que se trata de um processo que


40/113

dificilmente se inicia com o pleno atendimento de todos os

requisitos.

2.5. Formulao de Indicadores

Aformulaode indicadorespodeserrealizadaporumconjuntode

passosnecessriosparaassegurarqueosprincpiosdaqualidadee

do sistema de medio do desempenho estejam em conformidade

comodesejadopelaorganizao.Ospassosso:

Identificaodonvel,dimenso,subdimensoeobjetosdemensurao;

Estabelecimentodosindicadoresdedesempenho;

Validao preliminar dos indicadores com as partesinteressadas;

Construodefrmulas,estabelecimentodemetasenotas;

Definioderesponsveis;

Geraodesistemasdecoletadedados;

Ponderaoevalidao finaldos indicadorescomaspartesinteressadas;

Mensuraodosresultados;

Anliseeinterpretaodosindicadores;e

Comunicaododesempenhoegerirmudana.

Oobjetodoprximocaptuloaapresentaodospassosprincipaispara a concepo e implantao dos indicadores a partir da

metodologiadaCadeiadeValoreos6EsdoDesempenho.


41/113

3. Construindo Indicadores de desempenho

Oprocessodeconstruodeindicadoresdedesempenhonopossui

umprocedimentonicoouumametodologiapadro.Noentanto,a

partir da reviso das principais experincias de construo de

indicadoresparaosetorpblicoeprivado,sugereseumconjuntode

etapas (Figura 4) que asseguram a coerncia da formulao e

implementaodoconjuntodeindicadoresqueseplanejaconstruir.

Emsequncia,afigura5apresentaodesdobramentodasetapasnos

passoscorrespondentes.


42/113


43/113

Figura5.Os10passosparaaconstruodeindicadores

O queMensurar?

Comomensurar?

Coleta deinformaes

Mensurao

Anlise

1. Identificao donvel, dimenso,subdimenso e

objetos demensurao

2. Estabelecimentode indicadores

5. Definio deresponsveis

6. Gerao desistema de coleta

de dados

7. Ponderao evalidao final dosindicadores com aspartes interessadas

IndicadoresOK?

8. Mensurao dodesempenho

9. Anlise einterpretao dos

indicadores

Sim No

3. Validaopreliminar dos

indicadores com aspartes interessadas

4. Construo defrmulas,

estabelecimento demetas e notas


44/113

3.1. Passo 1 - Identificao do Nvel, Dimenso,Subdimenso e Objetos de Mensurao

Definiroquesermensuradoconstituiareflexoinicialdoprocesso

de criao de indicadores de desempenho. No entanto, cabe

responderaalgumasquestessignificativaspreliminarmente.

Primeiro, devese definir em qual nvel da administrao pblica

desejase criar medidas. Ou seja, para quem ser construdo oindicadorequem sero responsvelpelodesempenhodaunidade

monitorada.Podeserapenasumaunidadedeorganizao,umnvel

de polticapblica ou mesmoo Governo comoum todo.Osnveis

principaispropostossoos:macro(Governo),meso(polticapblica

ou setor de governo), mesomicro (redes de organizaes), micro

(organizaes)enano(unidadedeorganizao).

Umavezidentificadoqualonveldemensurao,necessriodefinir

paracadadimensodos6Essuaspossveissubdimensesnasquais

sedesejacriarosindicadores.

Adefiniodasubdimensoprocuraexplorarasmedidaspossveise

cabveisdeseremextradasapartirdadimensoescolhida.Ouseja,

oquemaisimportantesermensuradoparaadimenso?

Em alguns casos, alm da definio da subdimenso, poder ser

requerida a definio precisa do que ser mensurado qual ,

especificamente, o objeto de mensurao. Este caso pode ser

identificado, por exemplo, no nvel meso (poltica pblica) da

subdimenso Impacto Intermedirio da dimenso Efetividade,

isto,asubdimensonodetalhaouexplicitaodomniodapolticapblica a ser mensurado (sade, educao, segurana etc.). Para

tanto, recomendase o uso da cadeia de valor por ser um

instrumento facilitador da representao do universo de anlise,

contribuindo para uma melhor compreenso do ambiente interno e


45/113

interessados no desempenho da unidade sob anlise. A figura 6

abaixorepresentaesteinstrumento.

Figura 6. Diagrama da Cadeia de Valor: instrumento de elucidao dos objetos demensurao

Conformeressaltaocaptuloanterior,recomendasebuscarabarcar

todasasdimensesdos6EsdoDesempenho,devendosequestionar

quaissoasmedidasdesejveisparacadadimensodometamodelo.

O desenho da cadeia de valor do objeto auxilia a identificar os

elementosdemensuraesparaasseisdimenses.

EstepassoconduzidocomacontribuiodacadeiadevalorecombasenaMatrizsntesedomodelodeMediododesempenho(vide

quadro4anterior).

O quadro 6 a seguir ilustra o extrato da Dimenso Efetividade e o

d 7 t i i t d d b t t d


46/113

Quadro6.Extratodoquadro2DimensoEfetividade

Dimenso

Nveis

MacroGoverno

MesoSetorialde

polticapblica

MesomicroOrganizaes

emredeMicro

OrganizaoNano

Unidade

E1Efetividade

Subdimenso:1.1Impacto

FinalNvelgeraldebemestar,desenvolvimento(social,econmicoescioambiental),

igualdadesocialetc.


IntermedirioResultadosdePolticaPblica,impactosintermediriosdedesenvolvimentoetc.

Subdimenso:

1.2ImpactoIntermedirioResultadosemtemasdePolticasPblicas,impactosintermedirio

sdepolticaspblicasetc.


IntermedirioResultadosintermediriosdedesenvolvimento,polticaspblicasoutemasde

polticaspblicas,Satisfaodosstakeholders,MelhoriadaGestoetc.

1.2Subdimenso

:Impactoinicial,Resultadosdaorganizao.

Quadro

7.

Definio

do

nvel,

dimenso,

subdimenso

e

objetos

de

mensurao

Nvel Dimenso Subdimenso Objetodemensurao

MacroGoverno E1Efetividade 1.1 ImpactoFinal Desenvolvimentoeconmico,

esperanadevidaeeducao

E2


47/113

objetivos estratgicos so direcionadores para a criao de

indicadores coerentes que reflitam de maneira clara e vlida o

quanto da estratgia foi alcanado no nvel definido (Governo,

polticaetc.).AsorganizaesouGovernosquepossuemumaagenda

estratgica detalhada e legtima dispem de informaes

importantesparasubsidiaraescolhadassubdimenseseobjetosde

mensuraoparacadaumdos6Esdodesempenho.

3.2. Passo 2 - Estabelecimento de Indicadores

Apsrealizaropasso1,ossubsdiosprincipaisparaaelaboraodo

indicador(comomedir)jestodefinidos.

Os indicadores devem ser especificados por meio de mtricas

estatsticas,comumenteformadosporporcentagem,mdia,nmerobruto,proporoendice.

Oscomponentesbsicosdeumindicadorso:

Medida: grandeza qualitativa ou quantitativa que permiteclassificarascaractersticas,resultadoseconseqnciasdos

produtos,processosousistemas;

Frmula: padro matemtico que expressa forma derealizaodoclculo;

ndice (nmero): valor de um indicador em determinadomomento;

Padro de comparao: ndice arbitrrio e aceitvel para

umaavaliaocomparativadepadrodecumprimento;e

Meta: ndice (nmero) orientado por um indicador emrelaoaumpadrodecomparaoaseralcanadodurante

certoperodo.


48/113

devem ser facilmente compreendidos e conhecidos por

todosospblicosinteressados;

Representatividade, confiabilidade e sensibilidade:capacidadededemonstraramaisimportanteecrticaetapa

deumprocesso,projetoetc.Osdadosdevem serprecisos,

capazesderesponderaosobjetivosecoletadosnafontede

dados correta e devem possibilitar a pronta avaliao dos

efeitosdedeterminadainterveno;

Investigativos:osdadosdevemser fceisdeanalisar,sejamestes para registro ou para reter informaes e permitir

juzosdevalor;

Comparabilidade: os indicadores devem ser facilmentecomparveis com as referncias internasouexternas,bem

comosrieshistricasdeacontecimentos;

Estabilidade:procedimentosgeradosdeformasistemticaeconstante,semmuitasalteraesecomplexidades,umavez

querelevantemanteropadroepermitirasriehistrica;

e

Custoefetividade: projetado para ser factvel eeconomicamentevivel.Osbenefciosemrelaoaoscustosdevem satisfazer todososoutrosdemaisnveis.Nem todas

as informaesdevemsermensuradas,precisoavaliaros

benefciosgeradosemdetrimentodonusdespendido.

Almdisso,necessrioidentificarseaescolhadoindicadoratende

s expectativas de seus pblicos de interesse, como os rgos

setoriais, rgos centrais, rgos de controle e outros possveis

interessados, de modo a assegurar a relevncia do indicador

proposto.

O d 8 b i t d d b t d di d


49/113

48

Quadro8.Desdobramentodadimensodos6Esemindicadores

Nvel Dimenso Subdimenso Objetodemensurao Indicador

Macro Governo E1Efetividade 1.1 ImpactoFinal Desenvolvimentoeconmico,


ndice de Desenvolvimento Humano(IDH)

E2Eficcia

E3Eficincia

E4Execuo

E5Excelncia

E6Economicidade

Meso Setorial de

polticapblica

E1Efetividade 1.2 ImpactoIntermedirio

Resultado de Poltica Pblica deeducao

TaxadeAnalfabetismode15anosoumais

E2Eficcia

E3Eficincia


50/113

3.3. Passo 3 - Validao Preliminar dosIndicadores com as Partes Interessadas

Selecionar e validar os indicadores com as partes interessadas

fundamental para a obteno de um conjunto significativo de

indicadores que propicie uma viso global da organizao e

represente o desempenho da mesma. O processo de validao conduzido visvis com a anlise dos critrios de avaliao do

indicador. Durante a validao so levados em conta diversos

critrios apresentados (ver passo 2 Estabelecimento de

indicadores), tais como: seletividade; simplicidade e clareza;

representatividade; rastreabilidade e acessibilidade;

comparabilidade; estabilidade; custoefetividade. Esses critrios

servirodebaseparaadecisodemanter,modificarouexcluiros

indicadoresinicialmentepropostos.

3.4. Passo 4 - Construo de Frmulas,estabelecimento de Metas e Notas

Uma vez definido o conjunto de indicadores e, por sua vez,analisados a luz dos critrios (principalmente, seletividade e

viabilidade),opassodeconstruodefrmulaseestabelecimentode

metasenotaspodeseriniciado.

3.4.1.ConstruodefrmulasA frmula descreve como deve ser calculado o indicador,possibilitandoclarezacomasdimensesaseremavaliadas.Afrmula

permite que o indicador seja: inteligvel; interpretado

uniformemente;compatibilizadocomoprocessodecoletadedados;

especfico quanto interpretao dos resultados e apto em fornecer


51/113

Cada frmula possui uma unidade de medida que confere um

significadoaoresultado.Asunidadesdemedidapodemserdiversas,

contudo, sua composio deve seguir uma linha de raciocnio,

possibilitandoaanlisedoresultadoobtidoeacomparaocomuma

seriehistrica.

Asunidadesdemedidamaiscomunsso:

Indicadores

Simples:Representamumvalornumrico(umaunidadedemedida)atribuvelaumavarivel.Normalmente,

soutilizadosparamedireficcia,ouseja,aquantidadede

determinadoproduto ou serviosentregue aobeneficirio.

Noexpressaarelaoentreduasoumaisvariveis.

Exemplos:

Nmerosdealunosmatriculadosnoensinomdio;

Nmerodealunosaprovadosnoensinofundamental;

Nmerodenovospostosdetrabalhoscriados.

Indicadores Compostos: Os indicadores compostosexpressamarelaoentreduasoumaisvariveis.Deacordo

com as relaes entre as variveis que os constituem e a

forma como so calculadas, sodenominados de maneiras

especficas. Assim tmse quatro tipos de indicadores

compostos:

i) ProporoouCoeficiente:oquocienteentreo nmero de casos pertencentes a uma

categoriaeototaldecasosconsiderados.

Esse quociente tambm chamado de

coeficiente,representandoarazoentreo

nmero de ocorrncias e o nmero total

(nmerodeocorrnciasmaisonmerode


52/113

Coeficiente de evaso escolar = nmero de

alunosevadidos/nmeroinicialdematrculas

realizadas.

ii)Porcentagem: Obtida a partir do clculo daspropores,simplesmentemultiplicandoo

quociente obtido por 100. As

porcentagens e propores tm por

objetivo principal criar comparaes

relativas destacando a participao de

determinadapartenotodo.

Exemplo:

Porcentagem de alunos matriculados na 1

srie do ensino mdio = (n de alunos

matriculados na primeira srie do ensino

mdio / n total de alunos matriculados no

ensinomdio)x100.

iii)Razooundice:ArazodeumnmeroAemrelaoaoutronmeroBsedefinecomo

A dividido por B. As propores

representamum tipoparticularde razo.

Entretanto, o termo razo usado

normalmente quando A e B representam

categorias separadas e distintas. Este

quociente tambm chamado de ndice,

indicando tratarse de razo entre duas

grandezastaisqueumanoincluiaoutra.Exemplos:

Densidade demogrfica = Populao /

superfcie; e


53/113

Taxa de natalidade = Coeficiente de

natalidadex1.000;e

Taxa de evaso escolar = Coeficiente de

evasoescolarx100.

Afrmuladeclculoeaunidadedemedidafornecemsubsdiospara

identificar o comportamento esperado do indicador, ou seja, se o

indicador maiormelhor, menormelhor ou igualmelhor. Dessa

forma,ainterpretaodoindicadorinformaseobomdesempenho

alcanado quando o resultado do indicador est aumentando,

diminuindooupermanecendoomesmo.Tratasedeumainformao

integrantequeorientaaanlisecrticadodesempenhodoindicador.

Por exemplo, o IDH representa um bom desempenho quanto mais

prximode1,aferindoumamelhorqualidadedevidadapopulao

daregio.

Concomitantemente construo da frmula do indicador,

necessriodefiniraorigemdeondeosdadossoextrados,ouseja,a

fonte de dados, podendo ser de um setorial, organizao, unidade

organizacional,sistemainformatizadoououtrafontecomorelatrios

oupesquisasdeorigemexterna.Exemplosdealgumasfontessoas

basesestatsticas de indicadores sociais, econmicos,entre outros:IPEA, INEP, Banco Mundial, PNUD, OCDE. Vale destacar que a

identificaoda fontedosdadosum importedirecionadorparaa

definiodemetas.

3.4.2.EstabelecimentodemetasUmavezestabelecidasasfrmulaseasfontesdosdados,segueseo

estabelecimentodemetas.Ametaumaexpressonumricaque

representaoestadofuturodedesempenhodesejado.

Todososindicadoresdedesempenhodevemtermetas,podendoser

d f d d d d


54/113

Recomendase buscar referenciais comparativos (benchmarks)

pertinentes quando tratar de indicadores consagrados e de ampla

utilizao.Osobjetivosdousodeinformaescomparativasso:

Forneceroentendimentodaposiorelativadaunidadedeanliseemrelaoexperinciasreferenciaisexistentes;

Melhoraroentendimentodeseusdesempenhos;e

Fornecersubsdiosparaoprecisoestabelecimentodemetas,eparadirecionarmelhoriasemudanassignificativas.

As informaesdebenchmarkspodemserobtidas internamenteouexternamente unidade de anlise a partir de referenciais como

outra organizao, processo, servios, produtos ou resultado

considerados de notrio destaque; envolve o levantamento de

mdiassetoriais,organizaessimilaresnamesmaregiogeogrficaou que fornecem tipos semelhantes de servios e produtos em

distintas regies. Em sntese, o benchmark visa sugerir valoresreferenciais para comparao do desempenho da organizao (ou

Governo)emrelaoacadaindicadorestabelecido.

No caso de indicadores especficos, como o caso de indicadores

concernentes a um contexto singular, em geral, devem serconstrudasasmetascombase,principalmente,emsrieshistricas

de desempenho, e que estejam alinhados com os objetivos

estratgicospretendidos.

Algunscuidadosdevemsertomadosaoestabelecermetas,asaber:

considerarosdesempenhosanteriores;

descreverocenrioemqueseinsereoobjetodoindicador;

possuir uma compreenso clara do estgio de refernciainicial,ouseja,da linhadebase (Vo).Exemplo:ltimoano,

valor da ltima aferio feita mdia da tendncia etc ;


55/113

audaciosas.Nestecaso, recomendaseutilizarumasriede

metasestabelecidasconformecenriosprevistos.

Oquadro9aseguirapresentaasntesedasetapasdaconstruodo

indicadoratestaetapa.


56/113

55

Quadro9.Modelosntesedeconstruodoindicador

Nvel Dimenso SubdimensoObjetode

mensuraoIndicador Frmula Unid. Interpretao/

sentidoFonte

Sriehistrica

VoBenchmark

Metas

2005 2007 2010 2011

Macro Governo

E1Efetividade

ImpactoFinal

Desenvolvimentoeconmico,


ndicedeDesenvolvimentoHumano(IDH)

(Longevidade+Educao+Renda)/3

decimal

Maiormelhor

PNUD 0,794 0,816 Canad=0,966Chile =0,878

0,823 0,843

E2

Eficcia

E3

Eficincia

E4

Execuo

E5

Excelncia

E6Economicidade

Meso Setorialdepolticapblica

E1Efetividade

ImpactoInterme

dirio

ResultadodePolticaPblicadeeducao


Totaldeanalfabetosnafaixaetria/totaldapopulaocomamesmafaixaetria

%

Menormelhor

IBGE 10,9 9,9Chile=3,5ReinoUnido=1Japo=1

9,2 9

E2

Eficcia

E3

Eficincia


57/113

3.4.3.Definio

de

notas

A nota deve refletir o esforo no alcance da meta acordada, por

indicadoremparticular,oqueimplicarnadeterminaodevalores

de 0 (zero) a 10 (dez) para cada um, conforme a relao entre o

resultado observado e a meta acordada. Sugerese o uso de uma

escalapadroouescalasespecificasparacadaindicador.

Valedestacarqueescalasespecficasparacada indicadordevemserfixadas em funo dos valores correspondentes grandeza da

medida,demaneiraqueo instrumentodemedio tenhapreciso

adequada a sua utilizao, primando por captar a variao do

estmulo correspondente. Por exemplo, um indicador anual de

disponibilidade de energia eltrica deve possuir escala delineada

entre90%e100%.Poroutrolado,umindicadordetaxadeexecuo

fsicadeprogramadeveapresentarescalacomvariaoentre0%e

100%, e sua respectiva interpolao de notas. A adequao da

sensibilidade da escala ao indicador fundamental para evitar

interpretaes enviesadas na anlise de valores aferidos pela

mensurao.

Oquadro10ilustraumexemplodeescaladenotas.

Quadro10.Escaladenotas

Resultadoobservadono

alcancedametaNotaatribuda

96%oumais 10

91%a95% 9

81%a90% 8

71%a80% 7

61%a70% 6

51% a 60% 5


58/113

57

Quadro

11.

Definio

da

escala

de

notas

por

indicador

Indicador Frmula Unid.Interpretao/

sentidoFonte

Sriehistrica

VoBenchmark

Metas Taxadealcance/nota

2005 2007 2010 2011 10 9 8 7 6 5 4

ndicedeDesenvolvimento

Humano(IDH)

(Longevidade+Educao+

Renda)/3

decimal

Maiormelhor

PNUD 0,794 0,816Canad=0,966

Chile=0,878

0,823 0,843 100%99,86%

99,99%

99,75%

99,85%

99,60%

99,74%

99,46%

99,59%

99,3%

99,45%

99,16%

99,29%



%

Menormelhor


9,2 999% 100%

97,01%

98,9%

96,01% 97%

95,01% 96%

94,01% 95%

93,01% 94%


59/113

3.5. Passo 5 - Definio de Responsveis

Osindicadoresdedesempenhosedesdobramparatodaorganizao

epossuemcomoobjetivocentralentregarinformaessobreograu

de cumprimento das metas. Portanto, o passo seguinte aps a

construodasfrmulaseestabelecimentodasmetasestabelecer

osresponsveispelaapuraodoindicador.Nesta fase necessria a indicao do responsvel pela gerao e

divulgao dos resultados obtidos de cada indicador. Em alguns

casos, o responsvel de pela apurao e pelo desempenho do

indicadorpodemserosmesmos. Indicadoressem responsveispor

sua coletaeacompanhamentono soavaliados, tornandose sem

sentidoparaaorganizao.

Uma vez identificado o responsvel pela coleta, definida a

periodicidade de coleta do indicador, ou seja, descrita a

periodicidade temporalemqueos resultados conexos ao indicador

devem estar disponveis para serem apurados. Exemplos, semanal,

mensal,semestral,anual.

Oquadro12aseguirapresentaoestabelecimentoderesponsveiseperiodicidadeporindicador.


60/113

59

Quadro12.Estabelecimentoderesponsveiseperiodicidadeporindicador

Indicador Frmula Unid.Interpretao/

Sentido/Periodicidade

Fonte/Responsvel

Sriehistrica

VoBenchmark

Metas Taxadealcance/nota

2005 2007 2010 2011 10 9 8 7 6 5 4

ndicedeDesenvolvimentoHumano(IDH)


Renda)/3decimal

Maiormelhor

Anual

PNUD 0,794 0,816 Canad=0,966Chile=0,878

0,823 0,843 100%99,86%

99,99%

99,75%

99,85%

99,60%

99,74%

99,46%

99,59%

99,3%

99,45%

99,16%

99,29%



%

Menormelhor

Anual


9,2 999% 100%

97,01% 98,9%

96,01% 97%

95,01% 96%

94,01% 95%

93,01% 94%


61/113

3.6. Passo 6 - Gerao de Sistema de Coleta deDados

A sistemtica de coleta de dados determina os requisitos para o

levantamento de informaes sobre os indicadores. Essa etapa

complexa, uma vez que h necessidade de se coletar dados

acessveis,confiveisedequalidade.

Aidentificaodosdadosvariadeacordocomotempoeosrecursos

disponveis,assimcomoo tipode informaonecessria.Demodo

geralasprincipaistcnicasdecoletadedadosso:

Tradicionais: aplicao de questionrios, realizao deentrevistas,observaodireta,anlisedocumental(fsicose

virtuais);

Em grupo: oficinas, brainstorm, reunies em equipe (porexemplo,JointApplicationDesign JAD7);

Deprototipao:simulaoeexperimentao;

Cognitivas:anlisemental,deduoeinferncias;e

Contextuais: anlise social, anlise do ambiente interno eanlisedoambienteexterno.

Apsdefinidososmtodosde coletadas informaesnecessrio

seguir para o prximo passo, de validao dos indicadores pelas

partesinteressadas.

3.7. Passo 7 - Ponderao e Validao Final dosIndicadores com as Partes Interessadas

A ponderao e validao final dos indicadores com as partes


62/113

desempenhoeparacadacritriodeseleodoindicador,avaliando

o grau de relevncia de dimenses e de indicadores para a

mensuraododesempenhodaorganizao(ouGoverno).

A ponderao da dimenso do desempenho realizada segundo

recomendaes apresentadas no item 2.3. Desempenho timo e

EstruturadePonderao.

Umavezdefinidosospesosdasdimenses,necessrioponderaros

critriosdeseleodoindicadorparaseobterumconjuntoseletode

indicadores por dimenso. Recomendase que a definio do

conjunto finalde indicadoresvalidadanopossuamaisquequatro

oucincoindicadorespordimensodos6EsdoDesempenho.

AseleodosindicadoresfeitacombasenametodologiadaMatriz

de Avaliao Quantitativa8, elaborada pela SPI e adaptada ao

contextodoGuia.

Os critrios de seleo so fundamentados nos atributos dos

indicadores(item3.2)eservemparaestabelecerumranqueamento

dasmedidaspropostas,permitindoumaseleocoerenteesegura.

Oscritriosdeseleosoapresentadosnoquadro13aseguir.


63/113

Quadro

13.

Critrios

de

seleo

do

indicador

No Critrios

1 Representatividade(proximidadecomoobjetivodaunidadede

anlise)

2 Atendimentosnecessidadesdeinformaodaspartesinteressadas

3 Confiabilidademetodolgica

4 Confiabilidadedafonte5 Simplicidade

6 Objetividade,ClarezaeComunicabilidade

7 Exequibilidadedemensurao

8 Economicidadedeobteno

9 Estabilidadeaolongodotempo

10 Investigativos(rastreabilidadeaolongodotempo)

11 Tempestividade

12 Comparabilidade

13 Sensibilidade

Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.

Definidos os critrios de seleo do indicador, necessrio oestabelecimento de pesos (variando entre 1 e 5 para obteno de

umamaiorsensibilidade)paracadaindicadorsugerido,segundoseu

grau de importncia no contexto. A anlise dos indicadores

realizada a partir da Matriz de Avaliao Quantitativa, ilustrada no

quadro14.Oindicadoratendendoaumdeterminadocritriorecebe

onmero 1 em sua respectiva clulae, caso contrrio, recebeo

nmero0.Oquadro14representaumexemplodaMatrizemque

a coluna Peso ponderado total resulta da soma ponderada dos

pesosassinaladosparacadaindicador.

A frmula de clculo para o peso ponderado total dos indicadores :


64/113

Valeressaltarqueamatrizdeavaliaonoanicadeterminante

daseleode indicadores,mastambmoutroscritrios,sendoeles

objetivosou subjetivos,comoexperincia,opiniesdeespecialistas

etc.podemserutilizados.

A definio de pesos se faz til tambm quando h um conjunto

extensode indicadoresparaumdeterminadoobjetivooudimenso

dos6Esdodesempenho,requerendoousodeummtodoadequado

depriorizao.


65/113

64

Quadro14.MatrizdeAvaliaoQuantitativadeIndicadores

Indicador DimensoCritriosePonderaes Peso

ponderadototal1

Peso 2 Peso 3 Peso 4 Peso 5 Peso 6 Peso 7 Peso 8 Peso 9 Peso 10 Peso 11 Peso 12 Peso 13 Peso

IDH Efetividade 1 5 1 4 1 4 1 4 1 4 1 5 1 5 1 3 1 3 1 3 1 3 1 3 1 4 5,0

Taxadeanalfabetismode15anosoumais

Efetividade 1 5 1 4 1 4 1 4 1 4 1 5 1 5 1 3 1 3 1 3 1 3 1 3 1 4 5,0

Nmerodehorasdecapacitao/servidor

Excelncia 0 5 0 4 1 4 1 4 1 4 0 5 1 5 1 3 1 3 1 3 1 3 1 3 0 4 3,2

Critrios

1 Representatividade(proximidadecomoobjetivodaunidadedeanlise)

2 Atendimentosnecessidadesdeinformaodaspartesinteressadas

3 Confiabilidademetodolgica

4 Confiabilidadedafonte5 Simplicidade

6 Objetividade,ClarezaeComunicabilidade

7 Exequibilidadedemensurao

8 Economicidadedeobteno

9 Estabilidadeaolongodotempo

10 Investigativos(rastreabilidadeaolongodotempo)11 Tempestividade

12 Comparabilidade

13 Sensibilidade

Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.


66/113

Aps a ponderao das dimenses e dos indicadores, sugerese

utilizar conceitos da teoria do programa para exprimir asinterrelaes entre os indicadores.Tratase de uma avaliao

qualitativa de probabilidade e impacto de condicionantes

mapeadas.Paraisso,deveseidentificarosprincipaispadrescausais

existentesentreosindicadores.

Assim, possvel verificar os indicadores contribuidores para o

alcance dos resultados desejados a partir de uma abordagemmetodolgicabaseadaemhiptese.Ashiptesesapiamasrelaes

deinflunciaentreasvariveisquerelacionamosindicadores.

Noobstante,algunscuidadosdevemser tomadosquandose trata

de modelos causais lgicos, visto que, na maioria dos casos, o

indicadorpossuiapenasumapartenainflunciasobreoresultadode

seuindicadorsubsequente.Ouseja,existeumavariedadedefatoresexternos desconhecidos e que so desconsiderados da anlise. O

principal objetivo compreender a dinmica da abordagem das

conexes causais. Por exemplo, por um lado, o IDH diretamente

influenciadopelosindicadoresdeExpectativadevidaaonascer,Taxa

dealfabetizao,TaxadematrculaePIBpercapita.Poroutro lado,

portratarsedeumindicadordeimpactofinal,noinfluenciaoutros

indicadoressubjacentesaele.

Adefinioderelaesqualitativaspareceseramaisapropriada,no

entanto, h tambm mtodos quantitativos. As relaes causais

identificadas por metodologias quantitativas (estatsticas) so

experimentos ou quaseexperimentos projetados que

frequentementesodispendiosose/ouinexequveis.

Por fim, vale ressaltar que modelos lgicos de causalidade so

somente modelos e no a realidade; todavia, mesmo modelos

simples so teis, pois ajudam a qualificar relaes esperadas,

direcionar ou testar princpios proposies e gerar ao e

Quadro15.PonderaodeDimenseseIndicadoreserelaesdecausalidade


67/113

66

Nvel DimensoPesoda

DimensoSubdimenso

Objetodemensurao

Indicador Frmula Unid.

Sriehistrica

VoBenchmark

Metas Indicadorespelosquaisinfluenciado

Indicadoresque

influencia

Pesoponderado

doIndicador2005 2007

2010 2011

Macro Governo

E1Efetividade 2,5 ImpactoFinal

Desenvolvimentoeconmico,


ndicedeDesenvolvimento

Humano(IDH)


Renda)/3

decimal 0,794 0,816

Canad=0,966Chile=0,878

0,823 0,843

Expect.devidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita

5

E2

Eficcia 2E

3Eficincia 1,5

E4

Execuo 1,5E

5Excelncia 1,5

E6Economicidade

1Meso Setorialdepolticapblica

E1Efetividade 2,5 Impacto

Intermedirio

ResultadodePolticaPblica

deeducao

TaxadeAnalfabetismode15anosou

mais

Totaldeanalfabetosnafaixaetria/totalda

populaocomamesmafaixaetria

% 10,9 9,9

Chile=3,5ReinoUnido=1

Japo=1

9,2 9

Taxadeescolarizaoentrejovensde15a17anos;Nomatrculasentreos

jovensde15a17anos;Nmeroabsolutodeanalfabetos

IDH 5

E2

Eficcia 2


68/113

Uma vez selecionados e validados os indicadores prioritrios, os

atributos descritivos de cada indicador devem ser corretamenteformalizados,deformaaassegurarauniformizaodoentendimento

pela organizao, bem como sua estabilidade e confiabilidade ao

longo do tempo. O quadro 16 exemplifica um modelo de

detalhamentodoindicador.

Quadro16.Detalhamentodoindicador9


69/113

68

Dimensodoindicador/Subdimenso

E1Efetividade/

ImpactoFinal

Indicador ndicedeDesenvolvimentoHumano(IDH)

Objetodemensurao Desenvolvimentoeconmico,sadeeeducao

FrmuladeclculoMdiaaritmticadeindicadoresnormalizadosdezeroaumdeeducao(alfabetizaoetaxadematrcula),longevidade(expectativadevidaaonascer)erenda(PIBpercapta)

Unidadedemedida Valordecimalentre0e1

Periodicidade Anual

Fonte/Formadecoletadedados ProgramadasNaesUnidasparaoDesenvolvimento(PNUD)

Interpretaodoindicador/Recomendaes

Comomdiadevaloresentre0e1,ovalordeescaladoIDHtambmvariade0a1.Quantomaisprximode1,melhoraqualidadedevidadapopulaodaregio.

Responsvelpelodesempenho GovernoResponsvelpelaapuraodoindicador

PNUD

Peso 5

Benchmark Canad=0,966;Chile=0,878.

Indicadorespelosquaisinfluenciado Expectativadevidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita.Indicadoresqueinfluencia

ObservaoOIDHumindicadordenaturezaestrutural,porissopoucosujeitoaalteraesnocurtoprazo.Nessaperspectiva,importaanalisarastendnciasdosIDHinternacionais,querevelamoprocessodereduodasdesigualdadesnograudedesenvolvimentohumanoentreospases.

SrieHistrica/Metas 2005 2006 2007 2008 2009 2010 2011

Previsto 0,794 0,805 0,8015 0,821 0,829 0,837 0,843Realizado 0,794 0,803 0,816 0,823

9AfichadedetalhamentodoindicadorapresentapartedosdadosextradosdoRelatriodeAvaliaoPlanoPlurianual20092011eoutra

partedosdadosdisponibilizadoscomcartermeramenteilustrativo.


70/113

3.8. Passo 8 - Mensurao do Desempenho

Aps a execuo de todos os passos bsicos para a criao do

indicador e sua sistemtica, tornase necessrio medir o que se

deseja.Essepasso iniciadocomacoletadedadoseoclculodo

indicador, e finalizado com a converso do valor obtido na nota

correspondente.

De forma a facilitar amensuraoe aponderao relativas a cada

indicador, o quadro 17 a seguir exemplifica o modelo de

desempenhoconsolidadodaunidadedeanlisecomdestaquepara

as notas atribudas por indicador, por dimenso e o valor do

desempenho agregado mensurados em um determinado ciclo de

monitoramentoeavaliao.

Quadro 17 Exemplo de ponderaes e notas aplicadas aos indicadores e sua consolidao


71/113

70

Quadro17.Exemplodeponderaesenotasaplicadasaosindicadoresesuaconsolidao

DimensodoDesempenho

PesodaDimenso

Indicador(segundoSubdimenso)Pesodo

indicadorNotado

indicadorNota

ponderadaNotada

DimensoNota

ponderadadaDimenso

E1Efetividade 2,5

1.1.Impactofinal

8,18 20,44

ndicedeDesenvolvimentoHumano(IDH) 5 9 45

1.1.ImpactoIntermedirio

TaxadeAnalfabetismode15anosoumais 5 7 35

ndicededistoroIdade/Srie 4 8 32

TaxadeconclusodoensinomdionaRededeEnsino 3 9 27

E2Eficcia 2

2.1.Quantidade

7,91 15,82Nmerodejovenseadultosalfabetizados 5 7 35Quantidadedenovasescolasconstrudas 4 9 36NmerodeescoladeEducaobsicacomconexodeBandaLarga 2 8 16

E3Eficincia 1,5

3.1.Custoefetividade

7,50 11,25

Custoefetividade(outcomes/custo)daspolticasdeeducao 5 6 30

3.4.Utilizaoderecursos

Volumedogastopblicoemeducao(despesaoramentria)emrelaoaoPIB

4 9 36

Customdioporhoraaula 3 8 24

E4Execuo 1,5

4.1.Execuofsicaeexecuofinanceira

7,71 11,57

GraudeimplantaodasaesdoPlanejamentoEstratgico 5 9 45

Taxadeempenho 3 7 21

Taxadeliquidao 3 7 21

Taxadeexecuoorament

Guia - Indicadores (Versao Preliminar Dez 09)

Documents

Transcript of Guia - Indicadores (Versao Preliminar Dez 09)