Tendências e perspectivas na avaliação de políticas e programas sociais.

5/11/2018 Tend ncias e perspectivas na avalia o de pol ticas e programas sociais.

1/29

sua efii:iencia, e efi,c'acia:im,eaiatas~ f IU; l 'O corresponden!iCI~~Q@ a r i a m 19" OI:;f


2/29

Maria C@i: ! i11a R~o Nome B;a IT'e ' i ra eM a r I a de C a . r : m ' i J I Br, ;;I:Q.t ; d,e C:;: l . 'ry, l;Il 'ha, {Otgr; ,JTENDENCIAS, I: : PERS!P .~C1IVAtS NA ,# ! 'VALfA t;AO DE POllTICAfi E :,PROGEAMAS saCJA:ISS O J 1 b M i r i; ;1 :l [ " , I PT;~ ib~M!JIt;::t ' furC:;. ":; ; l d=t S~ I ' I Ii )Ar re t che J u d y ! l i 5 1 b e rJ e : : ! J I H J . b ~ ; j ) rdE'lh:1Sig u C ' i ' F O d e- 5 ; ; l lsnrrcuo !c - r : i , n a PL lhhn F' lnwW I aria de C i : ' I rm o H t ' . " 1 II I a t . ' C['J~\itli.lhe I Den:is~ Blnnes.W I;,rl., n~c! ;~ 1:il! .1ioro W~Jllt .h:r l~y IDl ' . !mlsc HI~H1C$N u b l l H { m o l : l ~ll;iD: i ll d ; j ;s Jn t :et1 ' li ; ~ tdO : t i i ~dzd~ Ca ta loga . ' .; ao Il~' l i 'Dli ,ca. '~i :o{ClP){c5ima,HII Bmsi~ei:r8. d . o L i v T. a . : 5 1 1 l . , Brns il}

'l"urul&u:'i;,I~i? 1 1 1 . 1 1 : ! i p c c t ~ \ i ' . : J : Sn;t i:\"a l iw~Q d~ p ~ ~ t k . l : : ; e p r . o r ; n u n : l l s i J . iX i : ' i l i i : : ; ; !Orr.s. M:;ul< l ccrii.i::1 Ro w N! J~m:: ~~;J:rJC J~, M tI r i . L I J do Ci)r. 'tnOo I ki J.n t d e C o Jr vi il ih a . _S ~O I ~ ule ; I [[jJI!JCS!~i 2001. .~2,1 P . ;:nem

: i ! . Poli1: ic i l a o cl al _ .AVril~o 2. 1~( ' ! IKl i l IM in i m n _ . ~ " r o l: .r :m ~ r I _ A ! Ji I ]i .: l ~o 1.Org


3/29


4/29

o !ns titt!to de E studo s E sp ec ia is - lE E vern buscando, ern s ua h i 5-t !r ec e n te , e xe cu ta I, refletir e - p ub ] i ei za r p e sq u i s as , estudos e d ebe tes sra gestao de politicas. publicas e, partlcularrnente, sobre a questaoa v a 't in t; ao d e polf ticas e ' progr amas 50~1ais .a IEE, {teste e rn pre en d i rn en to ; e n v ol ve 011tros ce n t1'08 de pesq Hisas ete~ fen~~n no ambito de s politicas socials. Assirn, pa 'a estudar e di:rninar 0 conhe cim en to acu rrurlad c no . c a mpo da av aliac a o, nosso t~ern foco, realizou em 1996 urn primeiro semlnario, ~m .conjunto corN it:[ lP - . N u cleo. de Estudos de Pol i ticas Pijb] k~$ ......:.a U I 1 l ' ~ v e - . r . s i d ; l ( l eCam p i las, e' i.~Fundap - Fund ac ao d o Desenvolvimento Adrninisrratdo Govern 0do Esta do de S~0 Paulo,o sucesso deste pr imei ro debate {que foi publ icndo @ ja esta na Eit;l~e d i .: ;8 .o ) e n tu s la sm o u - n os a rea 1i2 ~ r, em . 2000 i ur n segu nd o $er(~in~sobre ava]1Q~aQde politicas e' prog ra rnas sociais ria Por it if icia Uni' ; le:(LId e Ca t ol ic a de S a GI Pa U Ic, er n qU Je ~re,a ~ia:rm n du a s n rgani La c;oespc squisa e in erv enrao : 0 Cenpec - C;;:: t ro de Est la os eor P c s q u l l% > a . s


5/29

N:tl .prirneira fase, oeor r ida em junh o de 1996. partiu -se d a seguin ffi hipo-tese: 1'-J'ao 'ha ainda no Brasil uma sistematizaeao das oCfoce.~sl' t:enden.,c ia s e metodolcgias de ava l i a~ J)' para aferir p ro ce ss es , re su lta do s e irn-pactos no campo das poli ticas e pregrarnas socials", E ' r n 2000~a . enfasernanteve-se na busca de aprsender e : re':flel:trrscbre a pauta da pesquisaava] ia tiv a e OS concei tos m e to do lo gic os a i p~sentes_ 0fcco 'r.alno desvela-mente das inovacoes ()(~orrl,dasnestes u l tir no s a n cs na alea da : ava l Ja~ao"A hipervalonzacao r ec en te d a ~ .v a 'l ia ~8 Jode' politicas @ programas so-ciais pede nos leI!'a t a cai r rn armadilhas ..P i , . pr im eira e a mais preo-cupante delss e de pensar aquela avaliacao centrada na sedu~ao, tee-no16gic:a! ( P : _ H ~ acaba par expressar a < 1 ' . 1 \;8.0 na sua, eficiencia e eficadaimedia tas isern urn ,r.;;o'(:opro,:miss,ointencional c o m a r ea l t ra ns fo r n ' ) . 8 , t ; a . oe melhoria da qualidade de vida.dos cidadaos beneficiaries de progra mas'e 'services pu bliccs

s oc ia ls , r ee liz ad o em 1 i e 1 .8 de agosto'd~: ; W O O _A s e l l ue 'l1da e m q u e seapresentarn nos l ~ B J a urn aprofundarnento d o t e r n a a:vaUa.~fb.l)per ~ r , @ - sperspectivas: uma prirneira teorica/conceitual/ -- .. + - . . . . .d ' - l ,~ - - , - : das t - -~l:' ., ..., ~,. '....1;11 me!.JV. ,0 og],ca ; ;; I. .. ,. _ endenc) ,as na pesquisa avaliati v a; uma segunda, que revela estudos e CQn-c l l J , o o e s reflexivas cam 'base em pesquis as avalia t i v a s t e , Q I i z a d a s : e u m at er e ei ra , q u e apresenra 0 desenho de s is te m as d e rnonitoramento e ava-liacao Jli3:S fases de elaboraeao ,e implementacao.

Hesse pa tamar, a avalia~ao se espelha na r~Lf ica~ao de indicadorss eInd ic es de e f idenc ia @ ' eficacia. d es po li ti za nd o a .propr ia . a~a .o ,E 'm .ou t r a spalavras, OS mdicadcres apresenearn-se como medidas reificadas de valorinstrurnentos de controle des agentes decisorios, quass como carroes d e"apresentscso de excel~ncia tecr:dca!> das instituicoes, mas pouco pens-' t r a , v e i s e suscetivsis de se transformarem em ferrarnen U \S de poder e con-trole pelos cidadaos comuns usuaries de prograrnas e services ..

Sonia Miriam Draib e apresenta, ern seu texto, conceitcs in$ tru rnentaise uma me ' todo ' lo ' l; ie , de tt~ba'lho ccnstruida ri a sua trajetoria de "quasduas decadas e algumas dezenas de pesq uis as de avaliacso de progra-'mas socia l s" no N'udec d e. Esrudos de' Politicas :Pl lblicas da Unicamp.Enfoca tres tem as c en t r . a . 1 s : ;as p r e . f e r e n eias e d e c .i s o e s do a va l iador n~aval lacao de polit icas publicas quanta aos objetivos, a natureza e 0 tipode avaliacao; o~s indicado res basicos das pesq uisas de avaliacao de' r 'i { o es .s. . . .. ." .:. d e . i rnp . - 1 1 - - . . fi ra lm - +- ~ b - ~ ~ . : . , - 0 0 ' ~ " -11;t-,t"'- _ , ~ ~ I . . . , ~ . . . . . . . . . . L '_:ac ...o, e, , _ , n . . . _ ~,J.,~erh;e, I;;J,U:=";C.;.,u..... . '~OS ana~lK03pa r a RS a v a ih :: u; oe s d e processes, com. a proposta, pela aurora, de u r napartieul ar altern ativa de avalia t;ao destes.

t precise insistir no interesse prirneiro deste debate: '

M a Ita , ,Ar rltche, com su a exper ienc La RCU rnul ada como av s l iadora depoliticas :e prograrnas scciais ~ como p ro fe ss ora d e GLenda P o ll ti ca d o .U nesp - crrmpus d e Araraq ua fa! traz para 0 l i v r o "urna contribuicaopara f az erm os a v al ia c oe s menos i n g e o u S l , s , ' ! . (e n trandc ~$ e n a a v a li ac a oda implernen t s , ' . 3 J O qu e co r r e sponde O J urn a fa : s da "vida" de ur n progra-r na , S @ g u l'l db a a u t o ra I para 0 a valla dor " ' e ' fundamental te r e rn 'm en t:equ e d. impl e rnen ta~aCJ m o d] fic a 0 desenhe otigi t:J 9'~ da s pol ~t ica S., pais ,es-to , c cc rr e e rn u rn . a m ble nte carecrer ieedc per cont inua rn l ! . . i t~~~o;matsdo que isto, devern levar em conta qu e os implemen tadores e que f~'2,ema politica, e a faZITI segundo suas p r op r ia s [ ,e fe Ie 'r l, ci as ". Da: [ a impor-tancia do tem a abordado.

A avaliacso noaa 'tern ur n valor em si, 1 1 , & , . 0 substitui a politica o u p ro -g ra rna nos prccessos e r e s ul ta d o s que .mov e e p n5 '@ g u e . A ava i i~


6/29

conceitos e metodcs, quanti ' ta:t ivos 'equalitativos, para avaliacao de im-pacto; etapss do projeto e : sua XeCUl~ao: l ic . o e s ap r end i d a s e exern p losde estu des de case d:~avalLa.r;oes de efeitos de "procedimen tos otimos",inclui tarnbern a questao de custos e financiamentosJean Hebra rd, Inspetor-geral da educacao nacional do Ministe.rio cia Educa-c;ao National cia,F ra nc a e p ro fe sso r a ss oe ia do a o Centro de Pesq u is a s ob reo Brasil Conternporaneo na [ . : . c o l e de s Hautes tt,udes en Sciences socialesde Paris, analisa dois c a s o s particularmente contrastantes q ue c o lo c am ,""de'rnaneira e vid en te , a questao d o es ts tuto da s a va lia cc es no s. sistemase d u c a tiv o s " . 0 p r ir ne i ro e 0case brasileiro do P ro gr am a E sc ola q ue 'Vale. doqual 0 OIJ,~ore urn, avaliador externo, Ta l Prog rarna tern po r objetivo a . me-Ihoria do desernpen ho de escolas p ublicas m qua tro Est4do. do Bras i l ,e r tvo l vendo ;;J Pundacao Vale do : Ri o D o ce e 0 CSf1 ITo de' EStl.ldos e Docu-,m:enta~o 'para A~~ioCornuni taria - Cedac_0 segundo exemplo :ref~[e~,se0, i rn p le r na n t a ca o , na Franca, de urna l ei q ue o r i - e ' n t a a a v al ia c ;a o perma-nente d e - politicas p'u b l ic as de educacao . 0 autor ressalta a irnportancia da; ! ] ,~ l i3 l1La~aoomo fa tor qu e regula d e modo permanente as .a~5es das po -Iiticas pub lkas de ed u ca cao, e s peci a lr n en ts a a v a 1 i a ' G . a 0 C Ia e .ncacia das es -colas. envolvendo a luno s e pro f esso res . A. avaliacao deve ser c c l c c a da as er vi co d a consolidacao da leal ef ic ac ia do investirnen to educative,Ainda na area d a e d uc a ca o , Elba.Siqueira de S a Barretto, professcra daFacoldeoe de Educacao da US? e pesq u isado ra da Fundacao Carlos Ch a-gas , e . R eg in a Pahim P i n t o . tambern da Fun.da~a,Q Carlos Chagas, a pre-sentam urn estudo sobre a - v a l i a , c ; a o de prcgrarnas educaclonais que sebasei E ll em urn Ievantamento dos art igos encontradcs em dE'Z das princi-'pais publicacoes cientificas d a a re a d a educacso no periodo de '19.90a1998. Urn.::.das consta ta:~Offidas auroras . e d e que a avaliacao mtencio-nal d e algurnas ,a~aes govemamentals, no campo da educ:a~a,o, tern seintensiflcado a partir d es ancs 80, am do. prevalecendo, no e n t a n to ,"g ra nd ee v a z i,o s. d e. inforrnacao e reflsxao" s obre o s p ro gr am a s eo d i lea-cionais brasileiros, A s politi ca s educac ionais do pa is sa o elaboradas seraqu:e 'se te n h a, u m ,a , v i. s a ,o d r .) s resul ta do .5 acumula.dos de e xp e .r ie nd a s an,~te n.o re s e d os s .e u s im p a ct o s_M a ri a, d o Carmo Brant de Ca r va lho~ p r .o f es so r a do Programa d@ P6s-

Gr ad~u a .~ ao em Servi~o Social d a Pontiffcia Universidsde Catolica d e Sa oPaulo e coo r denado r a -ge r a l d o C en tro d e B stud os e Pesquisas e m , E d u-ca~ao Cultura 'e'A~aDC ornun ita ria _ , C enp ec , e Denise Blanes t p e sq u is a -dora do tn stitu to d e Estudos E sp ec ia is - lEE c ia P U C - S f! :apresentarn aconstrucao de ur n "sistema de monitcramento e ' av,8:lia.~.ao implernen-tadc por urna organizacao do, terceiro setor: o c a so ria A c ; ; a , o Comunita-ria do Brasil' - AC.B". As actcras destacam a "iniciativa inevadora e co-ra,}osa h d a ,A C E n o. im pla ll t:a~ao d e av a lia c ao d e re sulta do s e im pac tc s .i iA AC~ ao se proper a avaliar suas ,a~5~s" esta introduzlndo na agendad e Terceiro Setor urn novo mod , o de ges tae da a ; ;: ao p r ivada com fins pu -bli COS,," C o ntri bu i p ar a 0 qu e hojs s deeom ln a . o U c c o l J :n t a .o i ii ty ~ (JJU ' seja, anecessa r ia prestacao d. ~ c on tas a sociedade t aos $ u j e i t05 envolvidos eac beneficiario sobre as prior idades politicas e resultados atingidos,No contexte da gestsc $OLi~1municipal, M.a.ria ,ng-e . laBelfiore Wanderley,vice-coordenadora do Programa de P6s . -Grad u a~ a 0 em Se ' r v i~o .Social d apvc- SP e diretora do lEE; e D~n i$ e Blanes, pesq uisadora do TEEcia puc-sp~men tara rn, em conj un to com a PrBfeitura de San itoAndre! urn sistemade a va li ac ao d o P rc gra rn a de Renda Minima desenvolvido por esse rnu-n ic l p io paulista. 0processo d e e la bo ra r;ao do sistema enfrenta aspectosdesafiantes par d ific uld ad es na definit;io d( j :$ indicadores avaliativos,escassez de dado-so especlalrnen te aqusles anteriores ;3 , irnplernentacaodo prograrna, bem como aU5~ 'nd ,a ,de urn sistema informatizado que d esgilidad a s inforrnacoes necessaries ac monitorarnen to do program B I . .o enfrenta mento de t a i s d~H e l l ldades e a. di vu19a~aodess as pesqu l S 2 J J Sa v a li a t ivas g era rn u rn sa ber que se a c ornula n a av a 1ia~a,od e prograrnassoda l s .Na,bil Bonduki, arquite "0, urbanista e professor do Departamento deArquitetura e Planejamento da Escola. de Enge:nhlJ;ri~d e Sao Carlos ~U'S.P"e . Q coordsnador de um trabalho artieulado da aca demia corn 0poder P ;y blic c e co m varies segrnentos organizadcs c ia sociedade d,vil .o qual v isa av a l iar. e aper f e icoar os prograrnas d e , h a bi re r ;a o e san ,a -m@Jl to" Em ~H~Ute:+::tD" apres..ent~t a p r opo' st a p re 'U m iD ar d e "um,a metodo-legia de aVi3.ua~ao.i rH~dita no pais, uma , Vel qu @ oS prog rnmas d. ~ hab i -ta.~ao e $ , am . e a:m , en to , aD contrado d O ' S programas socia is (Si3:ude. ed u-


7/29

cacao e assistencia), nao ~tem,side obJeto de ava l iw;oe s g lo h ai s, q ueHearn restritas, se tanto, a aspectos espeoficos ou a estudos d e caso",Ressalta-se, mais uma VZ, a preceupacac des formuladores de politicase d e p ro gram as so cia is e rn aprimorar, valoriaar e d i v ul g ar suas aes, pelaim pla nta ca o d e' um sistema de planejamento eoavaliacao competente.P e la l.~~~ura=.extos, p od ern os v erific a r 0 qU~n to carnie hamos comrefe:n2'l' lcia, a sistem a tiza ~a ode m e t c d o l ogi.a'$ a v a l ia t l va s e a constru ~a ode d esenhos de sis temas de m,onitcrarnen to e ava lh:lJ;ao radicados ernno~sa . realidade, nesses !t11~imosquatro anos qu e separarn :;I re a l i z a caodos dais sern inarios d e Ava liacao. 0 sentide d .e nosso em penh0 na pu-bl i ca cao deste I i v r o e , porta nto, da r condnuidads e in centivar a reflexaoe 0 debate no campo ds a\f~Jla~~wde politicas e programas sociais.

w~" I I I I I I I ItE l~:C.Sc at l i ! ! ' i i Ih. . . . . .~.! Avaliacao de~ _... --~ implernentacao:esbocc de umametodologia detrabalho empoliticas publicae


8/29

' I i'Ji;;'~""'ROD.'UP:;i""\lJ.",,{ J!", ' s ,. . ":11n;'-'~

SON JA MLR ]AMDM [ P .! : e l iv~ d { l c. e r. :t ~ em cter.cia Poljtica, professora-adjunta epesquisadora do lnstltuto de Economia da Unive-rsudade- de Cam pines - U:Jkamp eodo N u - : : : h : o d: ~ IS:bi.l;do8 d~ Poli tica: : P ( i , o U . .: ; ; .s ~ NrPP , da t J r uca!mp; SE-US c am? -5S p r i n ei -pais d E ! i r lNe : : . t iga~ao t l!m sido as Pol i tkas Publicae e ~5 Pohtil;;as S:;l{: iais, t aurora devaries trabafhos publicadcs.

_R e g i. 6t .w . n e st e r ex to , a lguns conre i to s instrumentals E, sobre tudo, urnsmetodologia d e tra ba 111,1]e e a n t a da ern quase d u a S decadas 'e algumas d e -z en a s de pesquisas d e' ,~1 /a l ia~aode progr.aIII as soc ia i 5 que ven n o condu-z i n d o no N uc leo de Estudos de fuht~c8.sPub l ic a s - N EPP ,d a Unicamp, t U sod e li bem ; ch u ne n te - a e x p re s sa o metoao1ogia de :t mba Iho.por dais motives. Emp ri m e ir e l ug a r, potq ue , m ais d o q ue exarn inar i@ . c o n fr o n t ar e once i to o e 8 1 ] -ternativas rne tcdo log ic as , tratc aqu i de indicar, c om , r nu it a liberdade t e o n ~c a eoCO[)CeiILUal, u rn l ns tr um e n ta l ; '3na]fl~Co. s imple s , In:3S que , no entanto,tern mostrado razoavel el1c~d~ e ccnsistencia sobretudo quando util izadocomo ferramer~a a uxiliar d e pesq i.Ji sa s d.~alguma rcbcstez. Em segundoIu g a r , porq 1I @ ' deliberadam ente c sns id er e no te x to pe lo rnenos t e e s e t a pnsQU, planes do trabalho de - pesquisa, ql19.~S sejarn: 0 d as p r e , t e r e . : n c i a s e GSCO-lhas inic la is do inves t igadc r r ; o < l O P S indicadores basicos das pesquisas d ea: lJ~l i8Gao de impactos e de processes: f inalrnerne, urna particular altema-tiva de ava l iacao de pr e c e s se s par rnim elaborada. Ora , esses pianos rerne-tern rnuito m ais a" urn m od o de trs b e l ha r d o que a U lna refle}l;BO 8,lstem,;i-fi ca s ob re a s a Ite rn ati va s ccnceituais e metodologlcas nel es implicadas .


9/29

o ,obj.etivo do trabalho e tambem m od este , 'V isa auxiliar todos aq IJ'~]SqU@ , c omo @ U, t@ -:menfren tado as ~orrentes dificuldades d e forrn.ula~aoe elaboracao dos projetos de avaliacao de poh ucas e . programa s socials.C om o se sabe, no cam po da 8 J n a l ise ' d e po l l t i c as publicas ha f:QtKO con-s en se a ce rc a d e conceitos bas i cos , 0 q ue o br ig a 0 analista a. d&larar, deinicio, suas preferencias e eseo lh as! a t~ mesmo para ser entendido, Ora,esse entendimento inieial e ' d ec is iv e m q ua lq ue r pesqu isa , se j a para d e-f jni: r Q terrene ccrnum sob re 0qual traba lh ara a squipe. seja para g a : r e , n ~tir uma boa compreensao quando QS resultados sao d ivu lgados .Sintetizando l e i ru r as , e'~a'bor' : iJ;Q-:sproprias e exper iendas de lo ng os a nOS,os conceitos, as, modelos de analise e os pararnetros aqui def ln idos am-param -se na arnpla literatura na cio na l ~ internacional rela t iva ao temeBeneficiaram-se, sobretudo, da colaboracao des va r ie s pesquisadoresc om quern ti v e a sane de trabalhar a0 longo desses anos,

Po~ftic(]s;l'Pmgra;masl Proj.etos; Rec,ortes Progmmat ic ! e)s f ' 'Pradtlas; ' 'A pesquJ~a de avaliacao aqui tratada ~ aquela que tem (DmO obietouma dada. intervencao na realidade social, urna p D H t k d . r u , bH c ' C I . entendi-d a en t:ao C Q r r :1 . Q ~ , qi J . J e s e desenvolve ~111esferas publicae da sociedade _-e '[laO no pl ano privado e in t erno das ins.tltuir,;oes ou o,Q;~niz,rl


10/29

btilizamo.s a q u i a e ~ p : r s G a o 'p8'squ~S(la .~ a U ( J i i U \ , d D , e ' 0 . 8 . 0 sirn plesments,a:HL'i[ ia~LlO" reservando e enfa tizando '0 : supos 't o d e qU ~ ,~ u rn novo CQ '-nhe c i r nen to que se ra prcduzido par meio de ' ]nves t ig ; a~a .o - q ue observe05 canones den tifieos mmtmo s ,

" fi po , eNa tu :r ez a d as A'va,iia,~oeso tipo e a na tc reea de um a dada pesq uisa de av.a l ia~ao sa o d e fi ni do s emurn campo bastante comp l exo de a l t emat ivas , r e f e J e n ' t e s . , cada urna de-las, a, d is ti nta s d im e ns .OO s! m o rn en tc s e etapas do prog ram a a u da poU ti~'c a q ue s e p re te nd e avaliar Sem nenhuma pretensao de abarcar todas aspossibilidades, vamos nos referir aqui a s dis'fin\t6~s mais comuns.A rela.~ao temporal entre 0programa a ser avaliado e a pesquisa de - ava-l ia~a 0 propriamente dita permite fszer a classica Hst in~ao entre doistipos: avaJia


11/29

~riru;aodat a x a d ; @ind~kK:ia deF.O]~fnnt~~te

III MeJhma do nfl lEl delnfonna:~o em SaM . ed .a popnl.a~o C : ra u s de 8 a Q i ! . a c ; a Q de spais.. . V~ ; r if 3 ! ~O d a : taxa demortalidade in(antil~ l v l e lho r a . d a , capactdadei f js t i tuc~O'na l e m tscue-I o g i a de d C ! i i t n ' b u i , ; ; ; i a ,d e8 l im . e n~

Tres prcgr.am.).s, na primeira col una, f o . ' r . ; ~ n ntornados como exemplo, Al-g un s d e seus "resultados" estao exemplificados na se gunda co luna . M:uitosumariarn ente, pode-se d izer que O resul tados (no sentida e:str ito) s a , oos "produ tos" do programa, previstos em suas metas e de-ova des d.oseuprocesso par t icu l a r de "producao", C o s tu rn a - sa tam bern util iz.a..r0 te rmodesempenho p a r a : I n d lc a r resultados em eentido estr ito (outcomes). No casoda me renda e sc o la r, sao ex;emplos de se u s r esu l tados a quantidade dere fe i~oos.distrfbufdas, 0$ v;J.1,orescaloricos ,e p ro te ie o s a d ic i on ad c s a dietadiaria dos alunos OU , enfim, a quanti dade d e ' a l un o s que a receberam ...Ia 00 i m p a c to s r ef er er n- se a s a lte ra eo es o u mudsnc as efetivas na realidadesobre a qual o p r o gr a rn a i nte rv e rn e p e r e le sao p r o v o c ad a s , A t .e: rcetra co -luna do quadro nos d iz que, d e urn programa d .e vacin a ~ a Q an t ipo l io , porexemplo, 0 irnpacto esperado sera a re duc ao d a in c id enc ia da po l iom ie l l te .Pinalrnente, os efeitcs referern-se a outros impaetcs do prograrna, espera-dos eli nao, que afetam 0 0 meio social e institucional no qual S IB realizou.No caso da vacinacao anripolio, 0 aurnerito de nlvel de informacao da po-pu la cao em gera l a c erc a d a en f e rrnid ad e p od e se r u rn do s e re ': ltos doprograma: ou tam bem Q grau de sa tis far;ao dos pa is co m a organizacsodo even ' to, OU , . en fim, no plane ins ti tuc iona 1 . a rnel h or ca pac i tac f io dOEagen tes para executa r e J J ~ o e s . d e carnpanhas de vacinacao,t rma m es ma p 'S qu is a d e a va lia ca c p ed e avaliar, simultanearnente, a s. trest ipos de resultados- ( er n s en tl do a rn p lo ) , N a r n ai o ri a G a s v e z e s, i n fe li z rn e n te ,limitam -S a ldenti.fic~r0 primeiro grupo, 0 do desem penho do prograrna,Pcdemos oompletar as defmi~aes anteriores com urn rapido exam e dostipos de indlcadores com qU se pede avaliar resultados, ir np acto s eefei tO$, A ponte tam be rn ._ p e rd o ern - m e pe lo d id a tism o - as . p erg un-tas que devern ser respondidas pelo avaliador, quando se dispoea ava-liar carla um daq uel es p l a nos de resultados.

organizadonais ed e d e s en v o lv im e n ro de s prog ramas , Seu obienvc e flm,~darnentalmen te detectar os fatores que. ao longo da itnplementa c ; a o J fa-dUta .m OU impedern qu e u rn dado programs atinja seus re sul tados de .rnelhor rnaneira P O S S . l vel.'Exploremo5 urn pouco mais esta distincao entre avalia ~ a . ode resulta-dos e'Hva H.a t;,~0 de processes,

AVALlA , r ;OES .DE RE'SULTAOOS au lMPACiOSH a uma certa confusao provocada, na lingua portuguesa, pe]o usa peucoprecise da nocao d e resul tado. C om e fe it o, tomados na sua aoe ;p ; a ! ) arn-pla os resultadcs de um dado programa abrangem coisas diversas, queaqui denomino, na falta d e m elh or alternative, como resuI tadas p rOp : r i o i l mmente dims , impcc tos e ~ l e t e O $ .Estou certa, da conveniencia de digtingu~r taisnocoes, at e porque s.aomulto distintos os indicadores rnais adequadospara aferir c ad a um desses nlveis de r ea l izac ac d os prograrnas.Pa.ra facilitar a co rn preensao, ve jamos , no Quadro 1, e . l g u n s exem plosdessa d i . f e r end .a \ , ao .

- -qUADRO 1 If m S C Rl ~~ [N A .C 1 A o D 0 5 T IP O S n s REsm.jAnos 'OE PROGM .~ .1 :o I \S ;E : r . :EMfIO :S

- -- - - --,

- ,"t.-7;}:-1:~~~r] __ , _, . " .'__.__ .__.__ .; ",%de ,c lJmprunen. to das metas~ .l I!r .r vadnas aplicedas~pmo ,- ~~C oOO r t u l ' , a (% da ' pOP' IJ . la ( j ,O-~ ~ : . , : " , , ' . ~ . I . alvo vaonada)

.,r- !lDEJil ~ i o o ; a . > I " - 1

I.,; ".Cobertura (% de alunos qUE !: recebem a merendej:~~a ,''- val.~.r$ ca lQri ros e pm~ihco~~ in : ; r@ :n d o s por dune' . , . ~ - r Quantidade de rete~~$/- - _ - . . . I _.. : . l dia dj~trllruid.:isM~ ... ~ " ~

' V , a r . h : u ; i o dataxa dedeSI'J iUtr i '~: ioin f a nt t l

RESULTADOS: 'Cn:M QUE i ND I CADORES AVAUAR?Melhora do .perfil nutri-eional d !Q~alunos

.. M e l ho ra . d o . desem- 'p @ n h . o escolar c 1 ! o ~alunosCada tipo au grupo de res t il t a dos (0 0 sen tido amplo) sera melhor ava-liado sempre qu e pe r a tanto for -em utilizados os indicadores adequa-do s e os in strurnenros COIT@tos.


12/29

In ., U ca .d or es , d e .R es u lta do s a u D e. se m .p -e n h o P ' e r g u n t a s . b as k- a s d o ~va~ iador_ No caso dos impac tos , as p er gu n ta s doavaliador sa o prindpalmente S I . . s seguiutes: 0 prcgrama efetivamente pro-duz iu 06 r e su l t a dos S t1 tt o S E m S Q qu e p r e te n d i a i 3J lc am ; a :r ? . A f. et O u ~ e em querned id a e se ntid o _ a ea ra c tenstka c ia reelidade qu !que r i a t ransformer?H iL e : o : i g i ! n c i , a s rn eto do lo gic as q ue t o r n a m complexa C IJ tarefa de a . v a J i a . t ; i ode impacto ..um a delas @ a defin.~o da :s]tua~ao OU grupo de referenda.co m .0 q ua l se e om p ara ra c c s i r npa c to s d o p r og r ama , Com .0 qu e c ompa r s r ?Uma " possibilidade e eonf rentar 0 . s u J e i ,t o c o n s i g o me smo, me d ia n te umaco rnpa r a c a c d o . tipo "antes __ depois". Para tanto. e precise d is po r d e'. i nd i ca . dore s da ' s i tua~ao ,e x ante ; au s~a~ @ necessaria elabora:r u rn diag-n os tic o d a s itu ac ;a o an te rio r a o inicio do pr o gr a rn a , c om a qual se usirnpactos serao ccrnparados, 0 ponte de partida au a o a s f i n e , aqu l, ecrucial, ou nE Whavera aval iacao de impac t o pcssivel, Par e x emp l o , eo-men te se p o c f . . e r a medir Q Im p ac to n u tricio nal da meren da escolar casose conhe c a 0 perfil nutr ic icna l do alunadc antes e f I . a : ausencia d o pre-g ram s. N o c ase da vacinacao an t ipol io, 0 impacto de urna d ad a c am -p an ha semen te p od era s er estirn a do se se dispuser d e mdicadores pre-clSOS d e prevalencia e. incidencia da poliornielite antes da vacinacao.Hem sempr e as avaliacoes desse tipo sao exeq i . H v e . i s , Quando 05 pI og r a -m a s .sao r : o n t L n . u o s , r ot in ei ro s e u n iv e rs al s . _ c o m o e 0' c aw d es p ro gra m aseducaeionais ,-_ e qua se irnpcssivel deterrninar o, pon to. inicial _Ale mrusso. avalia.es diagnos'ticas slo geralmente c om ple xe s e caras ..Quando nao proces sa nenhuma c ompamt ; a o , ou a comparacao Iirni-ra -se ac tipo "an te s ~ d epo is" descrito, a av aUa .~5 : orea l izada enquadra ~se na : fami l ia das aval iacoes nac experimsn tais, O J . f S l . a. c c n f abilidadedos resultados depend~ dos rnetodos de selecao des mdtvfduos a se remcornparados e tende a de c r e sos r na rnedida em que: se redu Z 0 caraterexperimen tal d ~ TI~~'q' S ' ~ > l ! - ~ D..... . ' : ' < ! ' < 1 0 ' " " razao m'esano as Q 'V~ l i a c c e s nao.Ai. r - ! o . . . . . . : 1 ~" ,~= ~ ~~~ 'LI~~ ~", r,-=Y,I g! 1 0. " U:I! ,. . ~ ~ __ .. ~ ..experirnentais n.io constituern as melhores altemativas de a.vaJia


13/29

g r up o . o p e ra ta , entao~ como grupo de c on t re le , e m r e la~ 900 qual serioe s t imad a s a s difer 'enc; a s. d a d im , en s a o qu e se quer a fe'nr,Para que , s e c u r np ra 0 r e qu is it e baslco das ava l i a ,~5 experimentais, o smembros tan to do grupo de partidpantss (grupo foca l izado) quan to dogrupo d e n aompa: rt ic i p an t@ s (g ro p e de contrele) dev em ser a leatoriamenteseledonados, ambcs es gropos apresantando sirni laridades nos seus atri -'butos, seja, em re~.~o a c e f ato re s observaveis, seia aos n a . o . obH'Na ,ve i s .Ese nao t or p o s sf v e l i s o . l a r , p,a .ra comparacao, ur n grupo d e nao-par t i c i -pantss?'Se 0 nosso campo- fosse 0 d a s d~ncias exatas, poderiamcs proper a .alternativa c lasska: aplicar 0 programs pa .ra urn g rup o e , s~multaneH-mente, deixar de ' aplica-lo pant 0 g .mpo de' controls. Ora! isso nem sem-pre possfvel, nem eticamente r e c cmendave l . Nos nossos e x emp l o s ,envolveria a suspensao da merenda escolar pa r a ur n grupo, GU a vaci-n .a ~ ao p a ra outrol E'Ill tais circunstancias, a astra tegia me l s f re q u er rt e@ a trabalhar com tipas , au desenhos quase-experimentais de a ' V " . a J i a . ; : a o ,nos quais acomparacao s@faz com urn grupc que opera como con-trafactual ao programa, a sua se]e~ao pedendo sa dar pot distin tas mo-dalidades ..1l Sup5e-se~ ainda assim, que a aleatoriedada da selecao, emc ad a 'U rn dos g r up o s, te nh a sldo obssrvada.''Na ;o basta idennficar bsm.o g ru po d e q :m t ro le . A a fe ri c;a o d o g, efsitos . l f -quldos de urn programa implica, naturalmente ..isolar econtrolar tcdas asv a 'ti_av e is - d a m esm a na tureza ou de natureaa d i~rtin ta - ..que ' pQSs :a rnin terferir nos. resultados tan to dO_ i i partldpantes quanto. d os naCi~ ' :partfc i -. pantes , 0s u p os to . .. .qui, e 0 de que a (mica diferem;a .a n tre o s d a is g ro p es'5~jaa?i rnpacto do pTogram~ qu .e e sta so b a :va l i~ , ' c . a .o . ,Ora, a 'controle das~ar ia v,eislntervenientes nao . e nada trivial, Vamos 3, alguns exemplos devieses que podem a l t e r a r ou contaminar 00 resultados,,A determtnaeao do tern po transcorridc en tre 0 ' l lna) do prograrna e 0.mom ento da ava l i a cao e " quase sempre, u r n, f a to r cruclal, ja que :S.- po d e s up e r que quanta mai e r for a pericdo entre aqueles dois momen-to s, m a io -r et s er ao as.probabilidades d e cccrrsndas de sventos que v e-.nham tambim, a fe ta r os res 1 1 1 tados"

Outr oa . v ie s e s " ae nio cont ro l ados , podem afetar a c ompa r a c ao c cm 0grupo de c ontro le ", m esm o qua nd o e sse tenha s id e se loec io :nado p O Tcrirerios adequades , Pol" e xe rn pl o, n o c as e d e u rn , p re g ram a de Ie i te paracriancas desnuer idas pede o c or re r q ue 0 grupo de c o nt ro le e s te ia sendoa fe ta do , o u pe r u rn outre p r og r . aml s im il ar ; o u m e sm o 'per variat,;oe-s. na ocontroladas na dieta alimentar do.mestka: , 'Em certos programas ~t cm emo s c om o exemplo ur n p r. og ra m a. d e c :a ,padta~jo pa r a j ovens ~, apropria decisao de dele participar pede introduzir vies nos , I$:ultadOO. Ou- se -ja ,na c om pa ra ca o e ntre o s d o is g ru p es , cer tas diferencas supc s t a sc o mo im pec eo s - por exemplo , e st ar e m p re g ad c outer melhores rend i -m e n to o - - "',p o de m d e co r re r menos do trehiamento obtido, ant e s do fatorrnotivacao, em , geral a s eoe i ade a out ra s ceractensncas do s sujsitos,Difidl au nao, quando se querprod uzir um a boa a:valia~rio de 'impactcs,G con trele dessas variaveis e dLeds ivo , de pre fe renc i e . per meio de-meto -des estatlsticos que possarn isola r e rned i r Q irnpacto rela t ivo , de cadaurn dos fatares que in fluenciam os 'resultados - pOT exemplo, a analisemultlvariada t. corn t e cn ica s de modelagem eu re,gressao legis t ic 'a , t

l~dicddofes de E f e - i t ' C U 5C omo dlssemos, o s e f e . i t o s de ur n dado p ro g ram a r ef er em - s e a determi-nadas a l te r aQ 5 e s - esperadas ().'IJ n a o , o u tr a s qua HaO as espedflcamenteprstendidas ,_ provocadas pelo programs. e que. mats do qu e 0. propriogru po-al vo focalizado, afetam as instituicoes ou organizacoes partici-pantes, os agentes que implementam 0 prograrna au 0 rneio so cia l e mque e se e se realiza, M.u i tas vezes referidos como. impactos indiretos, ten-dern a abranger OS efeitoo rnais duradouros do programs sobre ; - o s ag en te s irn ple m en ta do re s, a comunidade loca l e grnpos part ieu-lares de'in te re ssados na sua execucao ( J e i t o s s D C ' i a i S ' ) ~

~ as i n s t i t u i c ; . - o . e ! ; l governamen t a . i s e n ao-governementais associadas asua implemen tacao (efe iros i ns ti tL C c i on a is ) .

'Petgur itas basleas t ambem se ) .m , p 6em a q _u i.A Implernentacao do progra-r na lo gr ou , produZ ITt - na s insti:tui~5es envo l v i d a s . alguma aprnndi~agem


14/29

ins t i tucional? Produziu melhora desuas c a . .pac idades institucionals (stenec a . p a : b H i r i e s ) ? Estim u l o u au criou c ond i eo e s p a r a a continuidade, a m plia-~ a . o o u m ultip lic ac ao d a, experiencia (sustentabilidade)'? As metodolo-gi a s utilizadas pud e ra rn au podern se r aproveitadas/transferida s p amoutras experiencias? Foram ccnsta tadas melhoras nas cepaddades pro ..fissicnais dos agentes da implementaeso, como resultado das at ivida-des.desenvolvidas par ele s pr6prios no in te rio r d o p ro gr am a ?Passemos agora a s aval i , a~o! ! ! sde processo, Talvez e s ' t e j ' a m aqui minha, scontribulcoes Inais uteis.

tell derern a se apoiar tambem er n ecneeieos e mede los d e analis capa-z es d e c ap ta r 0- sent ido e a 1 0g ic a de pmgramas mov i d o s por in ter esses ,conflitos, sventuais negoclac;& ;s . .Mesmo sque-:maticamente. . , vale' a penaident i f icar 00p ri nc i p a is e nt re esses concei to o e d im e ne oe s d e a na lis e.

AS ESTRATECIAS DA IMP[ . , 'EMENTAqAO

Os e o nte ud o s p o li ti co s d a s p o li ti ca s constituern t ema das$~ ,co des es tudosd e P o .Ut ic a s p u bl ic a e, base, pa ra . a tao fr


15/29

A Debn e tl s' Q o " l l?mporalExplid~ame]1'te au nao , . a estra t~ d e imp le r nen t a c a o envolve u rn a e ,s -c o l h a a ee rc a d a te rn po ra lid ad e d as ; a~ e s , e s c o lh a que, e rn p ri nc ip io , c o r-re sp ond e a eertos ca ,kulo~ pol f t i cos quanto aos apoios e resistencias'que. enfrentaI ,a , < 5 p ro g ra rn a. E m g er al. a s , a l temat i , i , t~$ aqo f po l a r is am - s e e li tr ee strn .t~ -" ~ _ .. _ - P ' " ." iI ~. ~ : 1 - . '_~: . : ' \o,bl~Sm cre me nta rs e ,es ' l " ra~-e~as u e ncque , Mas primeiras, a i m ple -m, ent a c ; a . o 5e' desdobrs p a r urn d ado pe ' r iodo, s a f i c i ent smen te lo ng o p ar aque, atl'aves dos va r i e s estagios, l og r e- se c a ns tr ul r, d e sd e 0 i nte ri or r ne s-UIO dc, ' p rogra rna , as al i~ :nr ;a$ou coaliz.5es d~ apoio c a pa z e a d e veneer asrssistencias. J a a s estrategias d c h e que , nas q u ai s ( ')grosso d a i m p le m e n-. ta~ ao s e fa z d e uma s6 v ez e nom m o m en to u nic o do t empo. sUpOe:i:l'l qU~ingredientes, tals COmoa surpresa e medidas, tais como 0 i 'ns:ularnenwburocratico des que tem .p-oder dedsorio, sejarn capazes de' vene e r asresi ~'Io " . . . : 1 " "L: d. . .~~ . . ..1 , . 'I ;naas esperatJH$ e l't'HGllf 0 SU"PPlmento .'E novas ,. ~"

ceiros e' a s rsdes d e apoio que, mais arnplamente, reladg;fiBFf:l;se~ ~programa .ava l iad , Sa o e le s 'muttos e bastante d ife rend ado s? ~ ~rn a elegmcia, p o d er -s e -i a c o n si d es a- lo s aptod u t o re s" e " ,consl [JmJQ'Gfr~ , : a "] po U . .; i: ;,~,"" ....I " o C ; . . ! I I IL" l l ' i . . . l a d ' . _~4 t i !O f i " ' ' ' ' ' 'ma i e r r 1 1 ! 1 ' l i m . " " " ' . . . . . . m a i s e o e ~ . . .. . ., E , . ~ _, . _ ' . . . . . .. . .. . " ' _ " I; !, 'i Z ~ '! . . .. .. .i i ! ! ..;~..,.y ,!.J, iM"" e i s . . . ,I~, I W! _ : '~f_,",W_ ~,~ _.n~h,! ,_~. ~ ...._ ....t " " " - ' l eem instrumentos ~ mecanismos d~ prscisa identif it:a~a'o dssses in-. ...tsresses e de suas digtin~5e:s ,.Na,Q sera par isso que as UlJ tJ ~,ja~oE'sanfd~t m t h . r , i , 1 . . $ v ern g anha nd o i 'mporta ncia?

Atores Esrra'tegiros e Mab" l z e s de Conjli'to e Coopera ~t10An reconstituir as estrategias da imph~menta,~ao. 0 avaliador en:fteIl'taqU:lstEie-s do $eguinte tip 0 : Quais sa o oa a tares (~institudona]s e QU i nd i-v idua i s ) que sustentam {I< p rog ram a? En tre todo s , fo ram ou nao a lgunsde l e s specialmen te mobi l i z . ados p sra ap oia r 0 , Pr og r am a , podendomais a frsnte . o p e r , a , j ; ' como micleos do e coelizoes amplas d e SUs tenta-~' ,ao?Out r os , tambem cruciais, re r iam side esquecidos au desprazadcs,tal encaminbamento tendo 5i~l:fiC'ado urn erro estra tegko' CO s que t~mpeder dec i a c r i o? A. preocupa~aQ vale' ta rn be rn p ar a. os atorss que :n~!I)aderem au que resistem a e programs, e clare,~ i de n 'ti fi ca :~ a .o d a s va'nas ' ma trizes polftico-institucionais de c oop era-, r ;:a o a u conflito, q ue perrneiam e d i na r ni zam o p ro ce sso de impl.e 'men~,' la\;,30;" e dec i s . i va p ar a a . l oc al iz ae ao do s J!OtlOOS,de ac o rdo e de s c on -senses mfnimos, sendo indispensavel a s negociacoee e, sobretudo, il .s n st en ta b il id a d e d o s p r og ra m a s,

A anal ise 'poHtlLi.;I!d a s pollticas publicas na o e rna te , ria fa .ci l , ne m sem-p re ' p o os l v el de se r re a l i s ada e m uito fre q i l en temen te, , d~ , agr : ada arnuitos, Ainda assim, a consideracao das questoes rnais ~fstra't~ca 6aimplementaesc e l1d l pam a c o r r e ta i d e n ti f i. 'c a ~ , a o des fateres ~e p r o -ce sso que o pe ram o u c om o fa , c i l~ tado :resOU como obstaca los a eense-cu~ao do p ro gra m a "

ESTR .UTUTU \ 'E PR.oCESSO DA [MP.LEMENTA


16/29

ft u ' n ll l: s e : ru , p~sde a t O t l e ' ,5 , ; os , P t ' l o c e s s ; o s de fUtmgeins e de' ap: ropl i i~,~io/domestica. , ;l iO G e l p o l i c y pJ pir~e ,60s. i,gente'$i : s t ' I U : - n . > t i 1 o 0 legailo01J a s t ra ,d iQ o e s , e . IC:U'~WjrasO r : g 8 n ii :: a d on a ! s :; 'a fOml!l)~ ~io e d et,is ao ;' as :d . e . f i r . d r ; O O s de e s t r a . ~ e , g i 8 J s d i l : ! ' [mp~lem'!!n'ti~alJ}

" l 'r n pr er n .e rm , 1 ~ 4 o :i n C : 'li ' t a n ee as , a t i V ' f d ' s d e s - m , io ; q ue v t a b i m i z a m 0 d e -s e:r .L elv im en tc d o p ro gr am 'a . q ,uan ~ o a i t i ' r id(a.d '~Bm,. QU, a e 'xec lJ~op l r o . p r i a m , e n t ~ d'i 'ta~,aftl,eS q ,u e : s'e ~Q~ne r . o . D : n l e j r o .

\ 1'e te m o ;s l og o r na is q ua .~ s ~ a , > o esse s u ! b p ! r o c e s $ o o , no s q,u ais s e d le sdob r a0- p rc ce ss o m ais g e:ra l de implem!Bn, ta!~ io .o qu e se avalia a e se isvaU ar a, rmp[,e;mlenti! l l l~a'Qi?Uma resposte s imp l e s poderia se r 3! se.gu~n. l l ' ~ ;

, A s a . 'l : raria~des d ie p;rnce,sso" i d e ' n t l Wlt leZLlq~1 l i i l !l 1 t~ua~ imSGIm idm-,r i f i c a r o s fa tares j a d : 1 ~lr!l1d,(lIf~Se' 00 fJbSitJi1CUibs. q u e ,opt,i lJJi ti 00hmgi).

. do ' r .m p h ~ ' m e r n : t a ~ a ' o e ql~e,oor:ld~ci'G.~tlmj f , t O S l l l t il l l t l ! Il Un ~a .ti 'O O~ :te ..o c u m pri.mento d as J Y ii [e us ~ I O b j e t f i v o s . ' r . 7 a i i sJa:~res p..!ld'em s e r e n -t e l 1 d i d o s { jomo c O - J i I ) ~ ' i q O e $~~slt l t l . inQbO~af:s s o c i '[ (l [, s d o o tnuUa:d'os .

A questao basica qu e norteta in1{!E!s'U.,~a ,c;oese,~a, n3Wreza, e a de de-tectar es condici.oniiil :rn,entos,l : 1 1 0 p la no d es proc e s se s , do s 'exitos IO UdO'Sf r a e a s s o s dQS p a : t J g r a J ! ! l , a s . : ,t Ita m b e r n , a de s a D e ! t s e OU tI 'a S a l t e m a d v a s d ep re ce ss es g arn n,tiria m m elh ore s 're su l~ dO iS '1 o u, in ve ra am ene e, :~ 0: 5me smo s l "e !j l! lt ac IDo so d er iam s er a lc a nc a do s C r o .m almn:m,tivas, menoscaras 011r n s i s r : a p : a d : a s de p I iOC 'eS$OS 1 0 0 U :!:d,S!~~mis"C om o a va lia r p re ce ss es de impLem. ,~~ tu -a~ao?R e s i s : ~ : r ' o , na ,~eq ij enC 'r al um esbo ~!ode m l e J t o d l l l, l o g ~ a , id e . a : n a l 'i Q ! ~ - proees-SO l q ue v e n n Q e. labo~andfl :8,0 i ! o , n g o da minha , e , x p ! ! \ n e l l d a e m , awl~ae43e,sd e : pr of Jr im a s ; s c e l e r i s . i E m i b o f ta r n i 1 k ~ 1ac a ba da ~t er n 's e mo s tmd o u rU ,e ' [TU - ,t(C'Ei'ralpodendo ee rtam en '0 0 in t e r e . S s a ' f aes erOl~as pesqm sadores, de: p o l t i c a s pllbliclS;

C lCLO :DE ;' Vl DA , : 0 0 5 \ PROCRA :MAS I : UM A ME1'ODOLOOIA DElIi'l!i'A.",U~:;""1 '["lit!" .D""'CDS:OS~VftJ.i!l"'~U UD ....~ -- - - - -Jj d i l s t in g , U l im , C I i S \ a : m : . e r i o n n e n t E ! ' " a s e t a p a s d e fo 't "mu :]a~ l,o e d e '~ .p lementa,~lQ.a u , s e j a . 5 .u p om o s que l, t eor icamente , qUiijdo s e . in i ,c i a 0 m O v i m , e nt o c I a i m . , p !t I[ m e n ' u l ~ j. o ." t - e n n a m ja s i d o , s u p e r i l J e 1 a s . , s s e,~apasd e . for.mYl~,~:m(e~edsia) e detinidas as ss~ra'~~g),a$a propria ]mp iem~;m ta~Jo .' Pam f in s de pesquisa, ~r convenie:nt,~ ca,pUix '0 !ifU~'ehamc a c U 1 a t .o lf l'W ~P~' :~erl l i ld e ' i m , r i f m ~ n l l i a ~ Q " i~lent~f]~'.ado seus pr inc ipa i s 5u'bpI'QG'-80S ou si'5~emas:

Sistemas, w, s ' l l"bproces~os; dB . UmIl;ill~mell~~io.:, S is tem ,a p en cia , ~ d er is 6ri! !J I.. fro.c~ de d W u l g uJ ,C i o e t nf o ..m r u a~ Q ... ~, de set~,o, {d e agenles implem'!ntEd~[res e rn! de benef ici i l l iD$~._~oo, de.m:pa:ciitao (de' ~g,en~ E !: Q i 1 ; , 1 be:nefi t: ial l !' iM).. Sistel'naS lOgfs t iros . e 'o-peradoo:; ll ls (a :nv 1rlade" f im) f in a ri .a m .e nW e g,6!8 to..pi.~aD d e - :reCIi.l!I'5OS :ma:te:ri:a.ls'. ~oo de : 1 i T I . OO I t i l O \ f a : m . e ~W e : a : ~ 8 ! U a J ~ a o in:t.'e mo ~ ";,

. ~,_ _ __ ., ,_ .." '" -, .. , ~ ,_ A""" '!o - , J . ' l i l ! ' " ~ A . .. . , .. . . .~!J ~H::t:B'Ve)l if f iOS,Si1 ! .ml .amrne l l1 te ' , a s p r eo r up a c o es u.....n a ] ;" '"au s:ubproc.esso. .Sistema GeTiendal e DedsorioS ej a, q ua l fo r a insc r i,< ;, i o. :i n . s t i t J U d O l 1 a i l de um dado progra ,m.a . g _ = @ { = i I 1 1 ~senvd~1I! ' i.l ! i lem~O p 6i a, ~s e m :J Jm a Jd~d~ estru rur;, Ol rga 't1 t lz a~ i o ,n~ l - - - " , ' C J = - = ~ca.Ia,cte['isti.~as obvi.a:m~'n,t~]]]i1lerf:$~;a;mao a ' fa1 i sdo : r , _ e est! S U b ! X m m I ' "do a urn sistetfia), ~ndal e de.d~6rlo ~spe,d:-fko.l que i ! : t l:ond.u.t" o u , . . . . ; : = ~ ~a implem,enta~A e s t r u . ' t U 1 ' 8 b i e r ' I r q l l I i c - a des s e s : l s : ~ e m a l l$ E ! . l l 1 S . g r s u s d e c e n t r e l . U z 1 3 . . ; b :dacentmlilD~io,de 8l'l)"~~Om~a au d le p~d fn~9J d i9 1 sp a rt ~. de um liE ' '3 lS ,CiUi ;c te is . alSd _ i i ,ges:tao do . te mp o, e 9, c ~ p a d d , a d ~ de im~lm"6:A1de:cis6e.s, d e - ,q u e ( ! b S p O em l o s i e -r e n t . e s , c le o utro , lid o ' l O d a s ,t,S$l


17/29

caraeterfstlcas a s er em avaliadas por meio de indieaderes quantita' t ivos~ ~.ual i ta :t iV'OSadeq uades ,!;igualmente importante, ern muftos des casas, compreender a ns tu =re za e OS atributos do s gerentes , Oil m elh or, d a autoridade qu e conduz~ .EmcesSD . Per te nce e la HIlOS rop r io s qu ad ros do programs ou da po l l t i-c a f a u l he s e extern a ? O u s eja ! c o ns ti tu td a p o r funcionarios d o prcgra-rna OU.I contrar iamsnte, constitui-se rneramente pelo staff, de presencaa d : h o c ? Goza de lideranca e d e . I e g it im id ad e?

A d ivu1ga~ao des precesses s e le ti v o s f o i s u fk i e nt em e nt e ampla, atingin-do a todos os potendalmente in ter essados? Compe t e - n c i a e exama de me-r ito fo ra m, e m a l g u m a med id a , usados como cri tenos no s sistemas de l e -l~ao de ins . ti tu ic ;5es e agentee e s tr a teg i c () s , d o p r og rama? Ho u v e adequa-r ;. a oen tr e o s tipos de processes seletivos e os ob'et i .voo d o prograrna?

E'rocessos d e DivuIg,tz910 e Informa~a'oSe?a . qua l fo r S o dirnensao do programa I i' de se super que, pa ra irnple-men tar-se, apoie-se em minima d : i . vu lga~ao- @ c i r cu l ac ao de informa-~o~s r pele mencs entre aqueles mai s diretarnen re afatados, OS que 0"a o impl~m~ntar ou os qu e dele VaG se bene ficjar. A supos i c a o , per-tanto, e a . de que parte. de seu sucesso dependa da adequacso dos meiosde di"ulga~a.o junto aos seus publlccs internes e externos, bern comode . info' ( 'ma~ao qualiticada (isto e . clara e suficiente) entre agentss im-plernentadores e benefidarios uA pe r gun ta que, a respeito, se fa z 0 avaliador e sebretudo a seguinte; as.: info:r .ma~'Qe.s basicas s ab re o program a . - ssus ob] etivos, seus modesde ope r a c a o , s eus componentes, se us prazos etc, - chegaram aos agen-tes executores e a populacao interessada na s quan tidades, qu alidadesecorn a antecipacao necessaria a reali2.a1;aO das atividades?Podem dadset extraidos os mdicadores que "medirao" 0::) nfveis de qua-lidade desse processo: cl areaa. abrangsncia e. sufidencia da.s inforrna-c;oes: agilidade do Hum etc,

Sistemas d e Capadta~'ii'oEm qualquer programa, e impresc ind ive l verificar a c :apac idade des agen-te s para. c um p rir a s. tarefas que the e abem na i rnp l emen tac so , os s is te -mas nos quais se capacitaram podern ser externos au Internes aopregra-rna . Quando in tames e espec i f loos~ esta e ind is .pe ' f isavel . Alem d i s so , pedeOCOITerque t ambern a c a p a c ita c ao 00 $ benef ic ia r ies seja e ond ic a o d eSUCSSQ do prcgrama, ' Iogo, sua avalia~ao tarnbem se torna decisive.oque interesse saber, a respei to da 'Lapadta~ao. quando se quer avaliara irnplsmentacao?'Vejamos a l g uma s perguntas d o avahador: Os prazos, os siste-mas eo05c onte ud os d a capacita~aodos agernes irnplernsntadores f o r am , em qua-I idade e quantidade, adequ ados e pertinentes as atividades qu e deve-tao realizar? Os diferentes conteudos, referidos as dlstintas atividadesa . s er em e nfr en ta da s pelos lmplementadores (gerenc ia i s , dida t i eas , de su -peMsao au monitorarnento, de ' desenvo l v imen to social etc), foram ade-quada @ equilibradamen te COn tsmplados na pall ta da c ~ , : r p a c i t a t : : , a o ? Ter-rninada a ca.padtat;io! os implementadores se sent iram seguros paraempreender as tarefas esperadas]

Sist~mas de Sele;.:ioO s p re gra m as e nv olv em , e m g era l, algurn tipo de s~le~ao,sej :a d e a g en te sque 0 Implementarao, se j a do publieo-alvo a que se d ir ig e , A q ui . 'tam-bern podern se r apon tadas as qu:estoes basicas a serem enf r en tadasp elo a va lia do r, Q u e sistemas e oiterios de sel,eo forarn utilizados no re-crutamento dog agentes da irnplementacae e dos grupos benetidados?

Sis temas Infernos de Monit 'O'ra mefl~ e AVilJia~iiot! possfvel identificar uma especie d e hierarquia de procedimentos ava-Iiativos relacionados ao s prograrnas e polftlcas publicas, ve-jamos.Mesmo que nao se fa~a de m od o e xp lidOI a implements ~a o dos pro-grarnas tende a s e r r n c ni tc r ad a au supervisionada pel c s s eu s g ere nte s,sobretudo nos seu s e s t ag i . os iniciais, la avaliacoes mtem as tendern as e r r na ls r am s . r e s tr i ng i n d o - se , e m geral. a e x am i n a r os registros a dm i -nistrativos au a coletar opinlees d e s a g ent es implementadores, Mar s rams


18/29

ainda Sa() as auditorias extemas eo " finalmente, as a va luu ;&s externa s,e lsbo rad aa c om , alguma iSE:n~,o eo pautadas per pre ced imen tos clentffi-cos. t verdade que essas dua s ultimas formas v!~mgr a da t i v amente se dis-serninando, com, dares be,ne,fidos de transparencia para as politicas.Quais sa o os problemas d e avaliacae aqui presentss? Algumas pergun-tas ajudam . a enten d~,~los.Seja qual tor a forma avaliariva u tilizada,e ra ta -se de saber Este proced im@ rt to e regular? S@liS conteudos e meto-__ io _d o s t o .n t rl bu f ram para a f fi@ I h o ra da im ,p ' ] em~nta r ; ;~o ' e : : para! maier efe-tiv id ad e d o programs? Ocorreram (-on~~i5esd p r o C F 2 ' , s s , o s e p~i-mentos. corno r~.sultad.o das e -'\}id e~ ,.s c c l eta da s ,n o monitoramento?Seus re sul tad .QS foram adequada:m,ente s is te m ati :z ad Ds ~ socializadosentre instituiroes e tecnicos participa ntes?~ ,

mD 'ECADORES , AGnEGADOS;' AVAUAqO'E:S UtE ' ]u'l'cA(a~EF ' ,mCIENCIA E EF,ETIV',[DADE' D OS P RO GR AM A S:

Precesses II: resultados podem, devsm e frrequent~rnen te s a 0 apreendi-des em coniunto nos estudos de aVi]ia~ao, pOl'me io de conceitos quetratarn exatarnente d . ! relaciona-los, t: 0 case dDS conceitos de ~fic3cia,eficlsncia e efetivfdade, abusivamente utilizados ns pesquisa de. avalia-~ao.srnbora seu entendirnento lange esteia de ser consensual,~VOiJ .proper .aqu1algumas d e fi n i, ~ o. e s, me smc correndo 1) risc o d e ,IIre rna rcontra. aI . corrente", c omo me alertou urn aluno 'hi pouco tempo,

Sis.tern,as logfsticos e Op'emiCi'onais (Ati'l1id.~de~Firn)Ate a go r a . tratamos das e t iv i d a d es - rn e io , 'm a s o modo de implementere de operacionalizar a atividade-Iim, antes que 0prcgrama se tom e ro -t lnelre, ~ tam bern de, fundamenta 1 im"portan cia para que .5 e avalle a. 1 t ~imp emem acao.N ' e s sa d im e n s ao , os para m e tr os d e s u fi c! ,e nd a - de recursos e de , tempo-_ em,geral sao de c i s i vos . h , )de ,p@nden te :men tedecom osa .Q . f inandadooOS prograrnas, t ra ta . -$ d e , saber Seeos f e -CU r sOS financciros sa o suf ic ient.espa .ra 00 obje t i ,vos Imypos tos ou se pod fml ser r n , r udrn izado . s , e:m beneftoodos [lroprios ohjetivos e'rnstas. ~. tao i~,port.an te q..um to~ preci ~a~ses ab f rs e c he ga m n ud e d e v e rn , ch eg ar. e s e n os pr :a20 S , ad~ uadcs,l a , no que tange aos , r@ 'Curoo~ 'mate r ia is . val~ ie 'm,brax que, eE l muito~ tSprogram as" a, ~ase 'ma . te ria l e spe .dfica na qual S ( i , p o ia .m ~ , equiE~'mentoo . coledvos. ~ ,u ip S ll :m , en r os d .e c omun i c ae so , : se n ri c ;o .s d e trans-:partes e tc . . _ e crucial para 0 seu , e J o t l " t o . Med i d a s de .sU'fici~nda e dqualidade ;parece'm S~'f a s 'mais a d e g ; y a d a , s .E>.rami :namos a.te aqui os ccnositos d s resul ta des e precesses, assirncomo as questoes d e . 8 iv a li a u; .i :o q ue g era lrn en te e nv olv em , E poss f ve la;;llaliar s i rrruJtanearne.n te esses dais planes d05 prog ramas f Ve j amos~n' ta.o os conce i ID S qu e tern tal pretensae,

NO p la no mais geral, a 1 2 . K t k i . a ~u m dado progTa 'ma ,d i~ :res'pe-ito a r e ' lac;ao entre caracteristicas e "qualidades" dos processes. e sistemas de sua- - -..._-~ ..i ~p le m e ry ~ s ;: ao , d ' l ur n l a . do , e a s r e- su Itados a que, cheg,a, de outre.Ass im. s~ra . m.ais e . f ic a , ;z . . ,_ a t ingira : s , e u s resul ta d O S ' ~ 'm 'm e no r t empo .meno r cu~rto e c o m , m ,a is a le a qua lid ,a d e - a q uele p ro gra m a q u@ seapolar em proc e s se s , , e ' s ist@rn .a. s a dequ a d os . d e , imple ln@ nta t ;8 , a . ou ~e j a ,quando Sf! exarninam precesses e sistemas da implementacao, consi-d e r am- s e e f icaaes aqueles no s , qua is predornina rn os fatores facilitado-res, de r esu l tados em quantidades e qualidadea m,i~timas . e ern pe r i odc smais curtos de execu~ao., Ao contrario, perde em graU~ de eficacia 0p ro gr am a, c ujo s processes eo sistemas de implernentacac (um OU rnais)apresentarn eles proprios . ineficacias. tendendo a cperar como obstacu-los ao atingimen to do s resultados."A avel icu; iio tie eflcida e '; 'par n.a tureza . lima ,avali.~t;jode p ro c es s~ " A per-g ,u nt a b l. sl c: i8 l que es:tara respondendo 0 ~ya]iador, a o m ed ir a eficacia,.pede ser a s si m f or rn u la d a; Quais 5a,0 au .fora:m~ na 1mpl.e'menta,c;ao, osfat o r e s de or-dem m a te ui 3l l e , sobfretu.do j insti tudonal qu~ opera:rarm comocondkionarr t e S J! o s i :t i. v o s a u g e ga ti v. os d o de s , empenho dos p togr am as ?


19/29

devemos ms' t inguir a a va l i a~ao da e fe t iv idade , o o ( i a : r e da efetividade ins~Uru.ciona!!'lima v ez q ue . s ao ta rn be rn m u ito distintos as Indicadores quese referem a . uma e OU tra dimen SaO.De~f - a tof . a r efetividaae S C X : L a ~ ! e$pec i f i ca .men . t e~ l e:ntende-se a capaddadedo prog-iC.ama e m ~{@ta.r Q c a . p r ' t a . 1 . soc ial d o m .e io @ .m .que s e reBl~emespecial a rede d,ea,rtk:ular;5~s, pa:rcerlas espedfka.s. que facilitam sua. ....._....__-"""";--- ~~ xecu~ao . 0 concerto remetliil ' taffibem acs . : rdveis de ades.~JQ e satisfiu;aodos . a.~entesim.ple :m.entadores e. da populacao-alvc, .1"1 t .." . . . :1 ' d biliz d I' - dn : r - e 05 pnncipais mcica ' .ores a serem me .1. .u.8. . os para a ava iacao ,-aefetividade social de urn d ' ! ! l d . . .. .programa su o 01 [...._ _ I , .~ '!J \rI ~I '. I "II _ _& . VIt empo --I f emoo al urn. part :tr: : lJ . larangolo da e f i. d enc i a , 0 d o p ro d u-

.ndo 3~ consioeram as altemativas tecno16gicas do processo. . ,~-;:PIZ: c :h@ga : ra urns outra med i .~a o de ' efetividade (tarn.b!m denorn i -

I~

os indicadoree de capital social, que 'st im a m . os graus de ccnfia nca ,as redes sociais, 0:9 gra'lIJs de apolos, enfirn, as energias associatlvase crganiaacionals, pressn tes no meio social e 'que se relacionam como pro gr a .m ,a ;

0$. i11v~ds . e ' s a ti s fa~ao dos agen tes Implernentadores, des us tlaries ede gropos de interesse,

.rl

o c on c eh o d .@ i f e t t t J r d a . d e i l 1 s . t ! t I . t C i o n a ~ ,pOl' s ua v e :z ,r e m e . t e a , s , af e ta~Oes . p (0-' V o ~ a d E I J : s . e . l o program.a soble a s organiza q oe s ~ ins.titui~oes responssveisa u . e n v o lv i d a s. :na.implementacao, Entre o s conceitos e d i m e n s Q L 2 . s qu e -pcdern captar tais efeiros, registro prindpalrnente aqueles rnais cares aana lise neo-lnstirucion a 1ista, tais c omo os de capaddad tP lnstituei OIiiQ r ,aprE'niJizQ;g~m institud.onnJ ou os rsferentes ~ hdb iws a u compafUmlTl:lO$ cul-tumis l a s . o r g Q : r t i z ~ h : ~ s ,~ tcdos e le s remetendo, afi,[)1 3 . 1 , s cond iGoes insti tu ~C '~ona i sd~suster l ; ' ta~ao e m l . l l lt p l ic a ~aodo s pro&I '~m . as .Como esperoter mostrado, a s medidas de eficacia, fici~nda e ef e t iv l -dade tratam de relacionar; cada urna a sau modo e nos respectivos pla-nos, as .aJalia.~6e$de-processo e as de resultados,o quadro seguinte expoe , de forma r e sum ida , esse'S planes e con ceitosd e avalia ~ a . o .de ! resultados e precesses, exempliflcando, c om , alguns. in ~dicadcres, as possibilidades d e avaJia{ao a que nos estamos referindo,

,l

. a n tidades e n iv e is de q ua lid ad e e -o m .' u e realisa l.incide Ora, como vimos antes. estas

- - - - ~ - - ~ - - - - ~ ~ ~ ~ - - - - - - ~s sao d e d ais ~pos , : lmpactes e 6!f~itos.L o g o , a e fe t iv idade ~.ignf:fi~9Si~l:!ll;mlidades, e/ou os nfve-is de qual idacle com e() p r o g ram , a . a t in g etm p a .c t o s e s p e ra d o s e p r o r n o v e o s efeitos, prevmive is ou n ao ,--~~~~ ..~ -

como ja assinalamos, podem ser agrupadcs em du as dirnen-s~ e s : soda] e insti tucional. S~ ' t a l d if e" r enc ia~a .o . f o r 1 1ti l , c omo penso ser,

QUADRO ; 3 . . . Q~-P.I:SUMO: ;oP.',~SOE6 !E iNmCfi.J:JORES DI; AVII.1I:AC;;AO Dr J>" f tOGRA.MAS_. - --- -


20/29

.Dimt'l1lJ;l5>l:l!;. : 1 0 . 5 'progra-in.:as

IIr. id :i~E l.d Il)r-eg . .-- - .- _. - .....Hi d u es f or te 's C C H l v i c ~ o e ' $ . , n e se e e s bc c o me todo log i co , q ue e sp ero te rrevelado ao Iaitor;' . U et B5 ! r~iilil.i2adU,1:rru:tas p~tIiI:; P . r odui ; jQ : J ? f 'O P o r ~s d o r u tf i r f le n t- o o d~ ~ :,

tE ,gU~i I!ndad~ d a p q ;e s t. a ~k I d o s :S~~III F iUb l i o o - a i k : o c J . : ~rtJ.U'a: foca~i.2:l~M~1a$ reQ. l i ::r~d


21/29

1 . G J 1 e ~ : n T I ~ G ~ ~ e : s ." va l e re e e e s co lha s do avatiadt't4 mas , er n geral, pode -s e esperar.,~tfrn]}orn processo se.l~ivo q ue e le ~st~J.aapoiado em a m p la d i v ul g ac to'0,1~md ,Q :q u e t od e s t3 S potenciais c an did ate s e ste j a m in fo rm a do s), q ue",=,""""-,"",l~!ocerca de c r i te r i o s e procedimentos de escolha (o u do s s eu s c ri -~fioo: de j ' IJ s t i l Q a , ) , q u e spure r n e r i t o e q 1 " H ~ ' ,p or ta nto , a po ie -s e e m processes[OO~i t-~t lh; J . . ' , ' , em i ns tr umen tn s adequados etc1 ' ~mQ . d1~$(rfm;in~iJ, entre tanto, as va r i a coe s de qualidade entre as v~da.~

" " " . L " . . . .~'*.... d, e s~le~o de professores? Pode-se esperar q!j,e"em alguns!.I ;;:~~~IlJ:S. 0 p r oc e s s! ?, t en h a : fe < g L st ra d oalta qual idade . urna v ez que tenharCl1llmt~rtcl'ot003S, aque l a s condil;Ql~tlestabelscidas p e lo a v a li ad o r .M a s ped e

que, nao tenha cumprido todas, apenas a lg um a s, c p e ra n do ~ntaQ,.~mtr~velmedic Ou, finalmente, pods suceder que tenham side tantas

'qacunas '"1 q ue . no , maximo , p cd e- se a va li ar 0 prccssso selet ivo c omo1~~A 1I,.I,',qciente f ? 1 l " l , ruim Compcnho, no q uadro seguints, est,e exemplo :

Pechc este texto ins istind o na te se d e q ue , e m ava li a ,t ;Oes de im'Plenl,~Ilta,-t ; iO I ' t 'l .a o 'basta tao scmente descrever processes e sistemas. Mesmo quan-d o s e tr ata d e v ar i3 iv eis q ua lita tiv as , , e precirso - e e p o s~ v el - ir alem,e M O s e queira e fe t ivamente avaliar o processo de lmplementacao d e urnpm gram a e relaciona-lo c om o s r es ul ta d os , buscande e : : x p l i c a ~ , e n t i O " tarn-bem per fa to re s i nte m o e ~ ,p . ro p r ia p o l it i ca l os S~'lJ~ exitos a u f ra c a s se s ,

! ; : .A~~~R",'" ~"li!(i!I~ t i n g ' t~~ ,Po~ l1y ,l)iI1,~~:; oj Pro-.J~ ,~ :A ~~ljI,ndboo~fQr P . r ~ t L t i ! J n ! ; ! T 5 _ lCSpRiPRMPo . W ; 3 B ' hi n gt m l= ' Th l; !W orM B imk . 1 , '999 ,

L l .ARNOW , I3 .. 0 \ 1N . 0" , OOL'D .BER{ ; ! [ !R, x.s lsauesl: n t n t ! : ana l y : d ~ ! J ' f oSeLedi 'f, i t ,y bja!l i. E I , I ~ I I ; j " , ~ : i < mS ~ R d j , ; : ; s . ~S,n.t, p , 4 1 : ; H i 9 , M Q c i :( ! J e s~nI}.m~-rica tat ina, se:d.e : P . o J j t . i t ; : ~ ~ $oo~h:~!i-"'l.'1, n.2S.Ce:P: ;I1 .S ~ n . t b ~ B D . HlSS::l.

C :E :M l ~ t o d i o ' l o f j : : ! l parn elAnfilislso d E ! l a C;~! iool ion d E ! 'P' r ,nSl l lmaa soc iale s_ ,~~ I ? C I H d ~ ~ $0datr~,s.i '_'2,n..2S, ce:p(I ] ,$:lnti~gi)"19a~b.COLEMAN,. ln rnes $., F'':H.mcm!llJI'l!if wr~~~,~ ,

CEimbridn 'e '. MA: H.at\ l' , t :i c 'd . l l. l [ \i , !fI tJ si t ,~" 19: ;100-: D r t A . I , [ ! ; E , S O ~ i ~ , )J, ~bD d o PJ :J j i~k . . .11 '1 ; P . r o j ~

tq, Anai[Si!' Qllo!Ili !i lI!ma d ' . a t .Pra!i 'IWn~ I n ( ) i J u . E i ~d o c .o m L l nt d ad 'e sbIH~;(w. Ciim~r.;:.~: ~ : E P p . 1UN IC 1 'J J [P , ~ 9 9 .B .

D R A . II !l E , S O O l i l M . . A iJ al ~ qiJ:.i jm:aH~, inte:grn~;),Re]t. itOn.o (lnal : n~ 2 , L t 1= f ' roje{Q. 1!.~lr~~ q L l a l i . t l l -t i~!I: do~ j :m~;3 ' l1 i I t :I l i l~ inD. I1 ! ! I , .m~ do C a rnunOO' il d~: s q r : i Q , ; . i " r , i ; J : , C: ;Imp i:nas: N [PP lu : t. : iI : lCAMP" ; 19 9 9 .

' E : : R S t : I N E : . , A r r ; g J . l ! l ; . M A ' F . i . G A R E T : M A Y M o . , A L Q J C ~ ,I 1 ' e ter ( , E d t t.) J I M : S \ !~~J i I ~ C l ' - ! 7 [ , p i 1 1 1 W ri ~!) S: ; i -c i ; : l rP ?& : r . ,e.lad'NltU PllbJishers . , l :#9a,

EZEMENA'R.'I~ t'..RUCQY1IT. A" SUBE!J iLFWl f:, h'f:l~'' pa c t E v a lu a t. lM : . t i l note 00 ~t.'il, , a n d r n e - 't r J o d s : . RE1 J . i t . t l J . DF " ! l _ r t 5 1 9 , & . . Thl : \ i. b r li I , Rainl'Woohlngt~n, l~,

~ d i ,' fi it '_ " "~ D ! ~ ,05 ,,,,{,_... ". -.~ .~ _-_lt~~ c m a i :e dJ t~ l . .. :3 ,~ m ~ js :~ Q i U J ~ i i E L p e na s p a x aP' l ,Qfef. . iSi51fl ida,ft!fle

o I i ' ctlfI.al1:: edit:;.1 " : I - 2. t::aMi.5! II , ~ o b : J e " I T r o $ . , maanlo;ut~1i ' I " l a o ~ndkapr.il!~D det n t o c r u ; a o

' " : t 'I .~l ' Ihi .lma dt1fu l$il~...:IpefJ,ag :edi ta l a f ' L : o i :adt!~ : n a - o ' expOe ; ; ) t t j l t i ' l t o . ! :~1'1;!ii:r,~

. . r . f ' iJ in .d tea pr-a~,~,. i O So ! :r ii ;. .i o

e3niis'I c l?!reza : ~ i:;f~e livos e~, .

'Ii I nd ka ~ ,d @ tn~r.iQI a p l J ir : a 1 f. 'l o d e m ; e n w :m e f l 1 . < ir . ;: o 1 .o o : : a ~ o e r n ,p r Q 1 . 1 ' 3 . SIi ~ . : ; : _ p m . l ! : n d . a ~~atnlt . d J : ! ! 'c: l1Jl ' r i;:ule .

posj.;io "_I;I, J ; ; : a r r e : i r a ~ i fPG l iemd i 3~ '~;IIrI$! gl;!C ! J I T . f c : t"~!l

I imMc:a~'o Ir e come :nd a . ~ ,a ilautDiIKlB~~'

,Ii P - - [ ' ( W 3 . o b J ~ii\ iaJlnst.rumffil.t@ ' . :p:roV.l dJI.d ~ \jca _

~ e ! : l: t , re -v : i~ t j (oom rQt~ro' p i " ' O V i 3 oojleti~:;i. . .ent ! l 'i~1 ita

S,]stemas de pen tuacoes ou ponde r a coe s pcdern ser u tilizados paraq:uantif~ca.Tos atributoo de praces$(') e estimar ao fim" Q nfve:~de q1:.u~li."dr; tdealcan~ado, 0 q ue : a q ui se fez :para 0 subprocesso de seler;ao pod~~ d ev@ s~t. fe i to t amb@'m p~ra 1::000S os mI~OS s ub pr ro c es so s e gi;st@imasda im'plem,en t 8 J . ; a . o _

~ R I . E l J l . J ! . N O E R , : 0 . , C l l E J : ~ , . r . ~ [ f l : G . D ." R O B I N S . J o n .M e t : o d o L o , E 1 e ! ; i F - o r ~rm~[!Ii3!li[lj8 th~ Elfjf'ecl 'i-' i l e : n e S $ l o:f.Tt:I: inLng ~ r o c e 5 S . . I n : B A RNO " I AI , B u r t,'nN"- . .. ..L,.. _I;-.~, T . I E .. : ! \ r . - i .L..~ "" 'D'-'"[,.J .....', "L nrn~p [}.r' _ \ ! : . I . , ~1 )_ l 1g [!lli' VIAl,W : u l r i 1 1 iS t z y - ~ : The U ' r , l x I ! o [1'I~t;tute Press.1 9 9 9 .

~IATR'!, HARRY . 1 1 1: !~ fo rm; ([ n~ M~[o Im1 ' lM t .'!)..I 'ashins,lOtl: ' Th e u r ba n ~[\tSllhj te Pre~,. 1599 ,

~[)!(!. u:~holil:tion~11 M ' c ] l O O ~ e m E ' i ! l t T o o l f~i' t r n p l X l \ ! ! t : I ! . 1 IPKl j ro ,PFjpi'l14~. [n . t .e~" ,Ame: r iC! ) f I j)~~lop-rlntnt : B ll if l k ,~s , h i t1 i l! lt :on : On ' . !n , t9~s. . .

PALFi I lEY: Co et < 1 . 1 . P o l ic y E ~ I I J .~ t io n , 'if! U l Q P u b li !;St'G[or,[ngl~tGr~; ~b!llry. Ash:~ t o ( ! ' Publi-~ h U l . & ~n.

: P . l ~ f ' : $ O N " p_ , D i : ; ' i ! " r : m J l ~ i ! I 1 n g th ~ \ l I i ? ' ! f C l ~ S[.v;i)2~ PiiXi~'s..., ' T h tc h~ . r a i ' Id ~ t i . t [ . e ; s ~F I iW! t r( lnC'hm~l fI l t .Cilll"ltrrid~: ~irrib,rid,~ Un[~T!lh P r o a s, 1 9 9 'L' P : f m 9 O N , Po ~ N ' c w P Q l i , L i c , s of I i ' ! t e wdb:re St:i:-

te, ' 'WQ r ' k i ' J i t i li ' i :i '~ , v .48, n . ~. p.Hl-J.'9, t~9'6.PROlT'U~., 'Cr r rol . E f i d ~ n ! C , y . E qu i: ty a nd choke,In:A LC OCK , P .,ANGUS , To & ! d . r u Polrcy.i.ctliloo:

Ilb~kweol1. 19.9.8.' $. ~~M r RO - S IS TEMA D E I N FQ RMA C ~O: N ,MON~' ID R E Q Y E V AL U AC I,O W ,D E PROCI(A:MAS 50 ,

CIi\l.EB.. ~ t l d M J t : I ~ ' " ' i 1 ' de ' P.A:~l'IIlfilIB S : O C i . o i l E - . ; ' .Otient~cio!"i~ e' R~I; .dtadas. Bue-l i~ Ay'(e ,s~B JR 'D ! UNESCO ! S e e r. [li!sa['t'Oli0 $o~i)i.il, ls99.SfOCPOl,T:" l [ENBERRY, t ' i 1 I . e PoHt ic~l ! ro rmEi- ,t i o : n . G .f the II .mer.i t : :~:n ~ F~TStata ('dm~:t41:'~ i l " l l l . s o c i a ! ~~ellil'fi1. n . b, : p .8 7 - 1 .4 8 , 1 9 ~ ~.S . . cK O C F . 'O L , T . , O: f l ;L.oFF" hr l l [i . S. W'rJ'j . n o . t eqU:l'~f . i t " Q ~ c i j ; j o n ~ E:Xpla~rl.'ing ~he: ,p;::!'iJ.ties(if , P u b l i , , =Soc i a l S~I.i ,di i : 'Lg ltl i 1 ' f : l t ~ i f : " i " , ,90()-191 :and t},je

UfiitB:i St~re:;'1.aaij;~1,~().: m E ' 7 i o o il l ! s & . ~ 0 C t l 1R E 1 U I e W , ~49, p.nS-1l0, i . ~ M _

C)
mailto:Jlnst.rumffil.t@mailto:Jlnst.rumffil.t@


22/29

'MOTASl l ? r e' p~ : rn .d o p i ' it a ~.~r iii ~} : :p~ i~ . . jo -d o Semin~ rio Av~l ~ d e - P ' I : : t a [ t : i . a I ~ . e P r c rg r n ~ ;) s ~:l~,I!!s.t.e te:(~ r e ' S U ! m e panes de l~balho mais am -p lo. . .que trata d e m e tO O fl lo ti a d ~ aVEllia:~.o Q ep o I 1 t i c : } , l 'i p ; : j b l k i l :s . " m f< tS E!d l ; ! ~hllxirn~.o..

:1 : P.o.r l a i : s caracterist ieas, ,l~! . J , ! , , ~ l i ; ! j . ; ; & : s ; !t,!l oobFI li ia t a mW r n ch~m:}da . s , em . i" 'el~, ! fu1DI.m. : : l ! ! U~"o f ; ! u a l l : J ~ ~ ! i : l , ooq 1 . . 1 . . n.l'tl0 1 : 5 do tipo ex post sao~lcn.omjn.td!Js ' ; ' ; $ . I . ~ mm [ ! t i ' - ' 1 ! ! l 1 ! 1 l t . I 1 u a ~m(BID. 1 ' S 9 $ .r . " I ,6 ) . , t 'X :P1C: : ;~ cula trnd~o ! l i io f~ & nc-n h um s e ru ld o - I : ' I T l I I X l r t l d . B u ( l s , n ~o a e l oo om c ndandc t in nonhum .~ Q $ 'CU 1 i . ! 5 0 .:3 / I , ~ ; Q h ITl .C' . !l[!5S!:! item, ! i f , 1 '. ; ib r e t u d o e m F . n o o l l l ; n -der , Grc l ;!nbc rr , . tz I t: oI Jt ns { 19 9 .9 } ; S IEM f RO ( 19 9 9) ;E~ln~n.D.rj,k ud q . ..s[.& Subbar: deat.Qrl;!s.

;& H i! v~ h o s , e s f - o r ( O O - ru t d r . : t s s i r lG i l t ; ;mg des d i l e r ->C' r l l~ @ l : ' 1 J i . P C K i inl(! 'fB5sadoo {]U~m kc l'd f; M: ; e o-rn e pltft.n: c j ilrgao de : I ' T 1 Q d : ; l _ Q; m : 1 m \ o o t S 0013 . il.'I cQ. 111E ramenan",;t de [}eseIWo.I vi I'tX"ruo tlis-l i . n & u l ! ' m , p : ir e . x emp lo . entre 00 ~c~~~ltk~ 0'.3primarice, as s~ml~:ri1J '5 C 00 po t roti~(]oreg(lD~, 1~95).

$I ~ ;nmpln e o on he cid i1 a blbUosrafli l de lilri~O l'V -n im do oa l e r u ;; fJ ] i :; ~ fk; p : : : l I i ~ i l ; : ; ; I ; ! l . pDb'JicasC F m ' I Iqul i ' 5 1 ! ' : a p e L u ~t8 O : : I I :l : ~ d l" K ' ! Ii ; "i k J . , P m l sso,d i s ; . [ X ! n s o - m l ; ; ! ck o ~~Ii-l:; l_. co m ~.ao at! nl -E J ! - I ' n s l Hu i .o s d a co rr e ot e nM-im1iludlln~Ji:!lI.;:I!!ma i s ~ ' re n te - k l . d k d d C I s . . .10 ~t.a (l~r.nl.{} difll!fe totalr rMmt(: des quill' ron-: s i o o I i l l m . ap cnaa '1 1 re.l~o r.netitS~Lem.])O, o omo: : J . qui!'.iW~Y,., I lM Ite .f ld e: . ~ ~ i 2 'J k :~ (' k t. lcerno oV ' ' . ) : 1 . l em q u e s e i :l 1t ', aI 'l .~m iJ ' .i rnatas Q i ; ! pro-dUJ:; :~.oe-urn prnj l! 'tol im urn d a do . p e r [ Qd0de'lC'm,po, ln~E'J1denteme.nl(l' d~mJS CIJ~W~"* .CIWLl, ~.998a.r . 1~.

11Os o:U:IOI;!ito;: ~u i 'I,1~OO :ntlo 8~ idel"l. ' tin.GJmp l~ ~ ~ rr ie nt .e c om i }S derlfl .: i~ eli3 tr.,jJdi~a[} ~'. ille lm c : n t ,e e n t re e u s t e s I l l ! bcn.e: l1dm. 1h1dlJ;:idiln. a l in g ut lg em . d -D Icurva d(! h ~ t tQ , ~ ~rK:iCi1tea p r O O ! lJ . < ;1 i o q u e , : ri ;l [l .l :i :l ~ .; 1 a n u rn d a d o 1 ' i I ~ 1 . . 51:!r ' . ) ~ ec nw t l. ( l1 " ('lJ5W e c o m m : im o da:prod r n ;i j a ( ]U : r E ! sliziIIl ;D.(] ~e ' !Je ] ~ d o s c i Q j { ! t i -V ' O S . ) . , gegl"l!n~ ; ; : I m e l l l .o r L\1t.ematl' l'a i l . i ! ! L 1 ' I . 016g t C ; : , ! . . cO coru:eHo de efx :tl ! :ooa, i !n .a{] " i-mais i;Im-p te e e 1 : I ~.iI~ rnes I i . ' LO 0 de I ! ' J i : ! tL i l l i d ! EI d I ; ! , sea .t!I


23/29

MART.'-'!, T E R : : Z . I \ D A S TV A A . . t : ; : R . ! : T C J [E e dou.cru c t: L c : Q . : : -I C " i d ~ 5(~o:.:; : : _ : ~ , L! il ~r


24/29

possam ser atribuidos a interesses escusos de , formuladores eoimple-men tadores, N a ve rdade , tal dist in ,c ia e Ulna cont ingenc ia da i rnplem. 'en-t a


25/29

E :'m p ri nc ip io , a s vontades, os interessea.as Iealdades e as ccncepcoesid'eol6gicas des diversos agentes envolvidos em urn programs pubHeoatficUmente serao intairamente coinddentes, Portante , quanto matsromplex.o for urn programs. maio!' sera a variedade de interesses eocon-tep\Qes. e n v o l v i d c s ern sua ex ecuc ao e, P O , "consequencia, mais fortesser.a,o as t&ndendas a nao-convergencia,

=

p ro g ra m a p O I :r az oe s i nte ir am e nte p ra gm a tic as , mas n . a o partilhem dosmesmos objetivos e ,oo:nce~es des formuladores e financiadoree, ~razoavel 'super que tais agncias desernpenbem suas funr;oes de ac c rdoc om s ua s p ro pria s re fe re nc ia s e a te m esm o de acordo c om 88US prepr iosobjetivos, Este comportamento dos impl~menta.dores - perfe:i tamentep o s si v e l, d a d a avariedade d e programas p;uh! icos assentados s~btea no-t ; a O de pareerias publ ico x p riv ad o _ , e urn csnario bastante pn)vave l e -apenas corrssponde a realidade da implementa c;ao de programas quec on ta m c om a ge nte s e ujo s mteresses e concepcoes sa o diferentes,Assim, mais que urna fase ('tecnica!!3' obediente) que sliced: a formu-l a~ao . ~ l l t i c , j 3 J ) de prograrnas, a implements ~io p o d e se r encara d acomo urn jago ern que u rna au toridade central procura indu zlr agentes(implernentadores) 8 J colocarem em pratica objetivos IE estrategias quelhe sa o alhe ioa CMltnic.k '& Ba ckoff 1'984). Ne ssa s c irc u nstancias, paraobter adesao e Hob~ d ie nc ia "


26/29

di~oes d e rasoave l in ce rte aa , c om ba se n o s e :f .e it os e5 ;pe r ados de urna dadaestrat4:,gia d . e operac;ao. N t 3 : i s que Isto; a d iV er.sid ad e ~ c on texto s de impls -memta9ao p od e f az er que uma 'mes~a r egu l ame;n . ta~ao produza~ impactes.. te' .' . ': + " ,. . . ! I . . . . . ~ ~ ~ , m f ; " " . . . . . . . . . . . .o . . . . . . . . unidades da f @ d , @ - t 3 /" a .O : 5.m l I am @ 'n ! . . l : : ' !;,;!JV@, iO # > < ; Co l J CLICI .LU::::' .::!I "> I

c crn o v im c s, 0 gra 11 de su eesso d e urn p ro gra ma d ep end s diretamentedo grau de sucesso na ob' ten~~aode ac;ao cccperatlva d .e ou tros atores - 'govemarnentais e/ou n ao - g o v emamen t a i s . , a, depender do d e s en ho do.programa -, cuja "obedienda II nao~urn d ad o automatico. Na verdade, a't ax a d e s uc e ss o depende da cooperaoio nao apenas dos agentss lnstltu-cionalmanta v in cu la do s a cs dernais n fv ei s d e go ve r. nt :. \mas de ceruenasde potendais benenchi r ios @ PIDVMore s , cujo ccrnportamento predsa ssreoerdeaade (Stein. 1984).E isto na o e um p roblem a a ser constatado peloav aliado t, m as urn d a d ' o ci a rea l idade a s e r I nc o r po r ad c a . anillise-.Cien tes deste fa to, os agen tes tormuladores @ irnplemen tadores expe-riente s e com poder decis6rio t endern iii escolher e s trateg ias . de irnple-ment8J .~ao pall tadas mui to mai s par sua. potencial aceita,~ao do que pe rsua esperada eficiencia. au efetivldade, Portanto~ a n:a~aoesperada desagen re s irnplementadores tend e a ser um slernen to decisivo n a deflni-c ; ; : . a o do conteudo das politicas p u blicaa,AlE~m.dista, pol i t ic -a s naa sao f o - rmu l adas em condieoes d e irrestrita li-berdade, Dado que a to r rnulacac de U rn programa ~ com seus objetivos8' desanho - e em si m esm a urn processo de negoc : ia~ e ba..g a n h a s ,se u desenho "f inal nao se r a nece s s a r i ameu t e 0 mais adeq uado , ma s ;si m aqusle l'rntome do qua ] foi possivel obter a lgurn g rau de acordcao longo d o p ro ces so d :@ o so rio . .Tarnpouco o s fcrmuladores concebern estrategias d e Ir np le m en ta~aod is po nd o. d e c om p le ta e perfeita informacao a c e r c a da r ea l id ade sabre aqual se pre tende inte r fe r i r . Nil verdade, com quase absoluta f r eq i l , enc i~ ,a . inforn : l a~ 'io e imperfeita, inc .ompleta e a te mesrno base ad a em ex-p ec ta tiv as q ua nto a o cornportamento fu tu ro d as vana'Vels d a real idade,Par es tas razoes, desenhos de pro~ .mas . nio SaO pecas int emarnentecoesas e ajustadas. Nesta s drcun stlncias I e posslvel que. a l g uma s das@ Spectf lCat; ;OeS do plOgrama: possarn operar, no p la no local, de modo c o :n tr ir i, o a o s o b je ti v os do p ro gra m a, ts to s ig nifk :a q ue a metodclogia

Em suma, ainda que uma adequada estrutura de mcennvos seia vitalpam a im .p le .mentae ;ao . de p r. og ram as ~ e e la e tan to rnais necessar iaquanto maier a c omp l ex i d ad e d~i s in t e resses envoIv~dos - f a tores l 'ne-r .entes a ' forrnula~ao impactarn '0 p r op r io d e s en bo da estra teg~a de imple-I l l@ n t . a c ;a o . e , p.or ex~nSiao r 0 conteudo d a s pdli'ticas. M a s ,. lima vez adotadauma deterrninada estra tegia . ; seus efeitos ( rea is ) somen te serao conhe-

fimi de inf ""'idos ao ser l r np . l@ meor . a c i a a p olitic a, d ad os os ~ .te _s ..,e in' o rmacao e.autoocmia deciscria de qu e dispoe.m a s .agendas fermuladoras,

INCORPORANOO A IMPLEMENTAQA.t? A .AVAlJA~O . -N ? - p r- a tk a real da administra~,a.o publ ica , a i rnp l emen ta~a.o :d e po!~itica.so ce rre e m 'U rn a m b ie n ts caracterizado par con t fnua mutac 91 ,0 ,muta~ao., . -..esta que e inteiramente a~hia iJ . l . m n t a a e - d e s impJeme t1ta :dot~ .Em. p r irn ei ro l ugar , 05 re cu rso s, a s p no rid ad es e a ~iJenda rela:.tJ!va d05agentes encarregados da imp - l e m e n t a c ; ; a o fr eq U en ~r _: ~te m u da m {Ross i& : Fr eeman , 19 93 . p . 2 8}. .Me t a s qua :n t it a tl vu s ao f tx ad as p ara , ~adaperlodo. ,de acordo corn uma p r e v . i s a Q d.05 recursos ( fut.urarne~t:e) :d ispcmivt is ; e .com absolute f re q_ ii en el a, te nd en ci as n .a o previstas no eomportamsnto de .s c o nom i a i nf lu e m no . montante d e r e c ur s c s d i~ponIy~ is .1a~:ngi t ldo a .. poss l -, 'bilidade ds realiza.~i'o des mews previstaa Objetivo~ co.nfll!tan~ entresit .ambem tendem 8. receber enfasH diferente5 ao l ange . do dele de vida d eur n p r og r ama , e x pr e ss a nd e alte'ra~56 na g ec 'm etr ia .d e p Q de -r ? o . interiorda m a q u rn s ; po.b1ka , Ou, a inda , ,~ poss iva l qu e u r n fato n~ vo . q ue pede ssrdesde urn escanda lo de natureza p oli tic a a t@ um a altera~o (lm~sperada). I.e m u ma w :m v e] co na mic a, e xtre m am e nte re le va nte , im p liq ue m od ific a-

n as f orm ae de d es em bo ls o d e r ec urs cs e m pr ams bastante c urto s d e Uma. pr ime lra pergunta a se r feita dever ia ser se os agentes irnplemen-
mailto:[email protected];ao.mailto:[email protected]:[email protected]:[email protected];ao.


27/29

. 00 ." " M a~ ainda: e perfeitamente pOS$ : lve l que I POf d l v er s as r azOea r . L a , ( J ':'OI'eM5itaS r io moment c O tt fQr.mlt1a,~aQla importanda lela ov a d a s a g to .c ia ; 8

- - . .. . .. . ' '' ', . .. " ,. ". - f ' , ' $ _ " , J ' ' f i. . . . . . .. . . de : fuT l~ae:s .di ferentes seja al terada a o 1 0ng o O J ' urn curto'd e ' t e m p o "

t ade re s d e ftt~ c o n n e c e n ; , 0 p r ogn tma . Caso. p er ra ze es cia , capadda d~d~lnformacsc da agenda formuladore, estes nao venham a conhe c e r efe-tivamente ,O ~ Q bjeti\i"o~ e as regras de : operacao do : programa, des ten-derao a elsger uma outra referenda, para a Implemeutscao _. seus pro-pr ie s o bj etiv o s o u os obje t ivcs des s r o k e h o i d e r s . t1- r U m , a segunda i n d a g a C ; 8 t O " possivel d~z res:pei'ti) e , ( J : . i ; ; d t ao J o a , o s Q b j ' e ~ t l J . D s et"e9'ltlsd o pmgm l1 lQ_ Pe de OCOIT12r qu e e rn bo ra c o nb e ce n dc tais obietivos,.. ~ ~os irnplementadores discordem das prioridades '1;$ tabelecidas e elejamsuas prcprias prioridades (b uro e ra tic as , d e sua e llen te la ! au ainda degropes de intsresses] como sua referenda de atu a.~a.o ,Finalmen te , u m a te rc elra que,stao diz respeito as oond i~ r n : s t i t u : c i o n ( r i : spa m i m ~ E ' t ' n ' e ! n t C l ~ , a b . d e p r o g r a r n a s . isto e ! a situacao no . qual os implernen-tad ores, e m b or a C O o nbecendo e concordando c o m as objetivos do p r o -grams, n~o ~pos;ga;m, per diversas razoes -.que podern variar de sde im-pedirnentos assoclados a capac idade fiscal @ administrative das agendasimplementadcrss a t~ c om p ro mis so s ~ ' lealdades de crdern politica - ,r e a li " 'a r ' . .. .. obJ '"" ' ,""" If:r,c. istc "),i: ;C .ar os ',' envos ~r";'i;CV,l5os.

e:m< S ' e : ; ; I D : : H 1 d o lugar, o s intarasses e a i n t1uenc i a d~ s~1!eho ldm de urn] U i@ C f r.a m a o d em f ill dar entre o m em e nto da for r r ! ' i. l l~C;~lJ e 0 da" l.~

f tml~le : loo:e~: t! '~Ei .~a, alterando de modo significative ( p : : ;1 , r a m a i s ou para111e~'b i~BUill.dispos.'i~ao para colaborar no memento em qus 0 programa, 1 i : lt 1 'l o e - .a , d oe m p ra tie a ( Ro ss i. & Freeman, 1 9 9 3 . p .2 3) ,UWla,J. ;a~qu'ada metodologia de avalia,~ao na G d,eve. portan to. concen-trRl[~S~~ ceneluir pelo sucesso QU fracasso d,e urn prograrna, pois,Qm T(),Qsspero haver demonstrado, Indepsnden temen te da "vontade poli-,ttca "I', l 1 ! a : . . ilth::a au do interesse des formuladores 13 irnplemen tadores, ~,I i t S i t a l F l c : r a . en tr e f o ,; rn l 'u l a. 't ;a o e imp l ~' :m@ n ta~ a , o @ urna con [ingenda. dal l i . ' O p~Ji.li~a.C o r n , efeitc, uma adequada metcdologia de avaliacao devem~es;~i~?r,er n pr ime i ro luga r , O ~ d ive rsos pontes de estrangulamento,.n~~loS''VDntadtl: dos implernentadcres, que implicaram que as rnetase (! IS o15j,~tios iniclalmente previstos na o pudessem ser alcancados,Al~m disso, uma adequada metodologia de avaH~,t ;a.o d ev er ia e on ce n-tr~,r~s-e ([il~ exame d8JS ' r a :z5es pelas quais a distanela entre os obje'ti'v(;i$, eoa me.t~ddlogia de urn programs ,~ tal como previstos por seus tormu-1 & db~ -. i bern como sua i m pl er ne n ta c ;a o efedva, omr r e per d . e e i s o o do s, r Q ' p l i i j d s , u~ro~esimp~eYtln.~-tldafes.,Ccm;o enunciado an te r iormente, todc progra 'm a tern 0bjetivos e ur nd e s f . 2 ; r h o de , , i, r p , p l e m e t t lt a < ; , a . o , que se expressarn em u m a 'l. 'egisla~a.o g@ r a le e nf I! ;k msre gu la m en ta ~a o especifica, E a imp l emen t a~a o de ur n pro-~ram:e: supoe neeessariarnen te E d . e ra~i j j ) de' uma ,autoridade central comt .ge ,nJ:~ implernen tadores, Nesses termos, as r e fo r enc i a s (Mi tn i c k &:m ad(qft 1 J5 l ' 4 } iiste e , os principios que efetlvam..nte pautam a ilI,~a()dosag~~~es'implementadores, deveriam ser a iegts l2 l :Ca .o" e as "normas de-te,Mltnadas p e la a g&n c ia f o rr n ul ad o r a" .

Problemas nao previstos no memento da formulacao podern levar OSimplementadores a prornover adaptaq5es ;E.O desenho o ri ginal tendo e r nvista garantir que 05 objedvos de' um dado :programa. sejarn realizados. ,tRo~;s~& F'rueman~1 :993 ) ,T r a t a - s e d e um a rned id a d e o ! ! a d a . p ' t : a ~ , a o . " pa ra v ia -bjl iz ar a r~aliz::r~o des ob jed . vo5 do prcgrama, que i rnp l i ca , per sua vel,que 0mesmo nao seja implementado de a eo rd o c am , 0desenho prev1s to .a

A irnplemJ~nta~!O de politicas supoe (pelo ffienoo) dois tipos de agsntess i tuados em pontes d i s ti n t oo : a g e n te s encarrsgados d a formuladlo dos ter-'.,mos de ope". fa :~iO de u rn , p rog ra :n )o iI !- o s quais 'o'm au toridade p am d ef in ir

o s o b ie u vo s e 0. desenhc de urn programs _- -e ag-entes encar regados de id 'R iF E N 'C IA S S 'IB LIO O,R APIC AS


28/29

~~cuti.~loi traduzindo suas concept . ;oe s em med i d a s ooncre ' ta5 de inter-venc;ao. Na pr a tica I sa o estes - ( 1 1 times que f o ; ; : : : . e m II ,poU'tioo.A. i ncongruenc i a de O b j ' ~ t i V O S I 'interesses, I e a ld a de s e v i ooes de m u nd o e n-tre ag'ndas formuladorss e a ga.ma diverse de implementadores implicaque dificilrnente ur n programa atl:nja p le nsm e nt e s eu s cbjeuvos e que sejaimplernentado. in te i ramente d e' s c or do r om . seu dssenho, Esse fenomenotende a occrrer mesrno em polfticas publicas cuja hnplementacac o aosuponha a a~ao integrada. d e dtver . :s :oor~ivei$ d e g . o v e m o . pc rque essa in -'CE lngrnenda e derfvada d~ comp lex idade mesma de urn P:r"ClCeSSO d e im -p l eme -n ~~i'o d e p o li ti c as , Po r esta r azao , todo modele de irnplementacaodeve COD. templar a formul a : ~ a . ode uma adeq uada estrutura de Incentives.No Brasi], os progrsrnas de a c ;i o p l J' bH - c asa o creseentemente realizadosmedtente integra,cao d e varies nfve i s de governo e de ' ~:gentes nao-gQWl-namentais ..Atualmente, raros sa o os :programa.s que nao sa o im p le r nen -tados no con texto de u rn s is t te rn a. de re l a ! ( j 6 e s i l l t e t gove ' :m~m,ent a : i s e depa r c e r i a s as, ma i s djveroas com a s cc ie d ad e c iv il Thr ern mente as conse-quencia~institucicnais desses fateres e de fundamental importanda paraaurnan tar a probabilidade de sucesso de p r og r am : ta s d e ' la.if~ escslaPara 0 avaliador, e igualmente fundamental, eontudo, ter em mente que .a implernentacao .modiflca 0 desenho orig ina 1 . das poli 'ticas. pols estaOCOlTeem . u rn am b ie nr e c a ra c te ri se d o pe r continua muta cao , Mais queism, devem levar ern conta q u . , e Q im ple me n ta d o re s e que fazem a 'po] j t i~a . fazem seec , _ .2 I , - ,- - . . , , ' , . f ,' , .. .. , '- N - , . t~' ,.C" I e a . _ '~ .r segundo sua'S propnas n~ ~ r@ ,T i. C la s , e s sa s c ir cu n s ancias,cabe investjgar a autonornia "decisoria dos irnplementadores, suas condi-~ 52 s d e t ra ba lh c e s ua s d i . spOcs iEs em r e l a c ; a . o a polftica so h avaliacao,

AW~~ AniJjuct~, ' F 'i W F 1, G U J M A 'R J i. E S , ~r.Loo,A \ lI !! Ii _; j~ 0 0 .Pr:oj1l:'ltT:U:!ldE! 'Rt_~ M1ni'im: , de ~ ~ -.m t ; ; F7eto. &~i i [ ;i i i i.Ui3J i !i . 199R (fiabalJlD fi~i;i~e.~ ~ 6 . g k J . de Q: I J l~ l h , I 13 i g ; de QJ~ d~'Ad_mill:i51I'.l~\ M P ' I. "I t :> l L 'V . i! ).(MiroejJfr. )

AR~ET 'CHE , Ms ( l; : ;a .T S. Thrid~Tlcir:i~ n i lS , , e : s tu d o s! lcWe ~ , ~ l i: ~ Q , 1 1 1 : P r . . i O O , [ l L : 2 f l 1 b e t h M e 'k .. ,AA;i[ t .I b : : Ii X l j~ d E : f t t r i l i' m s , s . . x i m r s : i J l l i L < I , q u 8 S t 5 o ~mde -b a ~ _ sse P r : I i u . l a OtU"tEZ. 1 9 ! 5 1 S .

ARRt(CHE, Mart~'T S o . : F . ' O . l i t k i ! l ! ; S"~iai5.no 8(iir:S~:~ E n tt a U zi l i ~ O O e m . u r n E ' 5 i : . i 3 d \ : J F e d e - r ! t ~ i \ ! ' O .~ftl'i~ill ~JQs~im d e ~ ~ Swi~is... .;U n,4o.PI 1 1 1 0 1 3 1 , t999,

EDV /AH .D$ I II , C i; it ;i ~ C . P!- IWie P Q l i . ; y ~m~~t-::bt i O ; t i . ' cJ r ee ;n w [ c ; b: J a i P r e ss .. 1 9 & '1 . .F I . . .. . . It:[r:.~.i. ' 1 j j I . . . 1~r , ' r~~~ ,I A - ' I .! I'~ ,.. I f . . ,.........-.:;!i.!;.!.J'V" ~"!;,.nYIJ' ;,"I;"i,~~ , ... __a I ) !; ! ,. " " ,o[pOL.

~ 'I! ~ ! f a l~ : 1 I~ < l o~ ~ U r i -' i: tl ~ ; AfI_Q~ 'I! Ctfljlf.! i!"ti lt- .i l, v : . 1 . . n . : 3 , . : = . e t . . - d e s . 1986

i lA l lN ; f ri ed e -d e ]. : A . , . AAO t 'K samue l , Ga:mes F l : : ! .dt!r.a l .of.fLria'i :; Ph ; ;, : The GIS!! o f H o o s i: n .g Ag'-~s i~ t~ r. !O : Pk lm , T : n ~ :ED'iN/l.RI:l$ m " (i~Of)}i: c . hi: h f ; k ~ i C ) ' j~m.enrnoo~, Q~f1w.ich; J . i r l P r e s : ; . "1 ! *l 4 _ p _ 1 57 - 6B .

UPS~ . Mi ic 'hael s m - e t - . . . ! I } o F ] EtlJffitlO'OC'j: D i l . e r n -m : a 9 : of th e I M M d l 1 8 J in P l J o U C ~i.ce5. J o . b ; r a' {{Irk; R U M e l Salt t"oontki.tio:n. 1 . ' 9 & : 1 .

~ rr Nl CK i B a n'} ' M " B A CK -D tF ,II.obett W . Th.e In\ : ! : o t ; ' i ! Rl!:latiOIii :in l m - p l e - m ~ n l l : a t J o n . In:EDlNA 'RDS ]]I" Gern:ge c. PlJb& ~ i l C Y r~it.;iti(m, C i r ee n l l jc 'h : J a i P ~ , 1 9 $ 4 , p.59'1!2.

MUDEI'iKA., . K e n , n ~ t h . a . r : r n p t ~ m e n t j F i . g ~ns e r v l c e s , l il : E l J oV i A R D S ([I, . G M ' r g e c . p o I ! ! b l k :~iC) ' !mpl'~~ntium. c:t'e8Jlwich:Ji31 ' P r . e ! O i . s ,1 9 o B 4 . p,til-~~

. P I T E R S O N . Paul, R O M , M a tl : : cWI: ! !1l l l ' i : ' ! M~ ANew C : ;; l~ e fo r a N ! !! ti o: n a' l Stand: : l iw. ~t;:hingron: l l Iocd: il1g$ ~MtitJJt i i )n, 15190,

b ' l E T E D ' i Y ' . I \ . r fia ) '!"L.r; r . . . - : . . . . , . . . . . r r , - . ~ . . Fe -m ! r . N. "0 1 ._ _ ~ . , _ . . , _ _ , 1 . 1 _ . , jJU; """," " : ' 1 I! I ! _ _"~ .. i;W ,I-"!I!"1b.e 1' ! ,I ,rentieth ~tuty R.H\d~i ' l 9 ! 3 S - ,

R,[KE~,WiUiiilm H. TIle'O e u e l o p m e t l t 1 1 / A ~ m l i : . : J r I~e-J.; I .i ! ; !st:t t , N C \ l " 'W e l l : K l u '! J , iI e F ,/ ! 'c a d ie m t C ' P u ! b I L -shers, 19~~,

F lO S S I , P e te .r H ., r REEMAN; HOVlard It 1 h I ( : I ! ~ i l I -t t o n ~ t!. S y s t t : I " ! 1 { t [ k ' A~pVOOC~" ~e 'Wt I~~ . ~dk:S < i 1 S i ! P l J ! b 1 . i . . : : a t i o t ! r n ; . . 1993.

$CHAP ' 5; RM a l d ;, R I K E R , V l n l i. a .: if . L~ha:~.MY' :inF'ed'i


29/29

, 1 E 'I .l :~r'ntl d[:(;;_'"iI~I, ("$1.0 ilr~i..IrMn to e rn l~Q '"bnlhos nnterlorea. V~rArrotchc, 19~B_

2 f ' o . smplemen Lil;~:tiio d;t UH'L j-' lr{Jgram!l Si.I~e-!'I'I..11] 1 n . : s ~ J . l ; ' i 1 I [ } e rn " ur na r t.. .[ Ie o u s is L 'C ' I ] ' I . L l cnm-I f 1 c ) : b . I ' . !O ( [ 1 J 1 l 1m('~i,') L I : ; : : ; 1 ~ o r. ~ d e 1i , l !111: ;I~n ~,~[ I rn p l emc rn a do r ] o b ed i en t e p o d em p ro d u zi rr e su l ti N l. o: o imprcvis tus 'l2 ~~.ln 'L,incl(.'":.;.tj;,~clo:t~Mttnkk 8 . . : '1 ! ; i; l t ; :k [ ]J l19M, p.5~.

.3 ; if\ burocracia crlr:ilw:gaclliJ da implcltlc'Jl LiJ~"5(;1[lO1~, per C'};!l:!mp:io,trr (Iru::~ItlO que :Slj]bjl~tJv ,Dmen~ I pmr[!r-Bnci;] pa r L im a parreln Jo obon~. f: id~r i ,os po~nd:li!;s Cl ,l l i ; ! HDO en r rusp nn -,o !J .~ poru l i l~~Q- :J .L 'IQ i ; I . o ]li!'i;\8,~rn:ll. Ou,

Tendências e perspectivas na avaliação de políticas e programas sociais.

Documents

Transcript of Tendências e perspectivas na avaliação de políticas e programas sociais.