Avaliação da Eficiência Relativa das Capitais na Gestão ... · atividades de bloqueio,...

of 9 /9
1 Avaliação da Eficiência Relativa das Capitais na Gestão Descentralizada do Programa Bolsa Família com a Utilização de Análise Envoltória de Dados (DEA) Autoria: Marcel de Moraes Pedroso, Paulo Carlos Du Pin Calmon RESUMO O trabalho avalia a eciência relativa das capitais na gestão descentralizada do Programa Bolsa Família por meio da utilização de Análise Envoltória de Dados (Data Envelopment Analysis). O estudo apresenta uma breve revisão de aplicações de Data Envelopment Analysis em políticas públicas e, em seguida, o modelo e os indicadores propostos para análise de eciência. Aplicou-se o modelo de retornos variáveis de escala com orientação output, isto é, visando maximizar os outputs sem alterar os inputs. Foram selecionados dados e indicadores relativos ao número de famílias beneficiárias do programa (input); taxa de famílias com acompanhamento da agenda de saúde, taxa de crianças com informações de freqüência escolar, taxa de atualização de cadastros e o Índice de Gestão Descentralizada. (como outputs). O artigo apresenta os valores observados e esperados para as variáveis propostas e sugere o nível de esforço necessário para que a capital se desloque para a fronteira de eficiência relativa. Destaca ainda 12 capitais detentoras de “boas práticas” em gestão do Programa são elas: Belo Horizonte, Boa Vista, Campo Grande, Cuiabá, Curitiba, Florianópolis, João Pessoa, Macapá, Palmas, Porto Velho, Teresina e Vitória. A utilização da metodologia ilustra as potencialidades da análise envoltória de dados como técnica alternativa aos modelos econométricos para avaliação de políticas públicas, contratualização de metas, priorização de ações corretivas, etc., na medida em que identifica, por variável, as folgas ou níveis de esforços necessários para o alcance de patamares mais eficientes de gestão, principalmente quando inputs e outputs forem variáveis não discricionárias. INTRODUÇÃO Os estudos e debates sobre os desafios para avaliação de políticas públicas apontam para um universo institucional de crescente complexidade e em rápido movimento, caracterizado pela escassez de recursos no setor público, pela multiplicidade dos atores envolvidos nos processos de formulação de políticas, pelos problemas de implementação, num contexto de fragmentação institucional resultantes dos efeitos colaterais da descentralização e da transferência de competências 1, 2 . Nesse contexto o papel do Estado reaparece na discussão 3 como parte da solução e não mais dos problemas descritos, com a missão de contribuir na redução das desigualdades e na promoção do desenvolvimento, para isso, aspectos relativos à capacidade de gestão governamental podem e devem ser otimizados para aumentar a eficiência e a governança das políticas públicas. Ao longo dos últimos anos várias abordagens distintas têm sido utilizadas para avaliar programas e políticas públicas no país. Por exemplo, há um grande conjunto de estudos fundados na eficiência alocativa dos programas governamentais fazendo uso de técnicas tradicionais de análise custo- benefício e custo-efetividade 4 . Pode-se também citar um amplo conjunto de análises voltadas para o exame da “economia política” dos programas, discutindo aspectos relacionados à equidade alocativa, o papel do Estado, a interação entre política e economia e o envolvimento da sociedade nos programas governamentais 5 . O foco de nosso trabalho, em formato de estudo de caso, complementa algumas das análises acima mencionadas, no entanto se concentra em um conjunto particular de variáveis. Mais especificamente, a análise realizada objetiva avaliar a eficiência relativa 6 (entre as capitais) da gestão descentralizada do Programa Bolsa Família, por intermédio da aplicação da metodologia de

Embed Size (px)

Transcript of Avaliação da Eficiência Relativa das Capitais na Gestão ... · atividades de bloqueio,...

  • 1

    Avaliao da Eficincia Relativa das Capitais na Gesto Descentralizada do Programa Bolsa Famlia com a Utilizao de Anlise Envoltria de Dados (DEA)

    Autoria: Marcel de Moraes Pedroso, Paulo Carlos Du Pin Calmon

    RESUMO O trabalho avalia a eficincia relativa das capitais na gesto descentralizada do Programa Bolsa Famlia por meio da utilizao de Anlise Envoltria de Dados (Data Envelopment Analysis). O estudo apresenta uma breve reviso de aplicaes de Data Envelopment Analysis em polticas pblicas e, em seguida, o modelo e os indicadores propostos para anlise de eficincia. Aplicou-se o modelo de retornos variveis de escala com orientao output, isto , visando maximizar os outputs sem alterar os inputs. Foram selecionados dados e indicadores relativos ao nmero de famlias beneficirias do programa (input); taxa de famlias com acompanhamento da agenda de sade, taxa de crianas com informaes de freqncia escolar, taxa de atualizao de cadastros e o ndice de Gesto Descentralizada. (como outputs). O artigo apresenta os valores observados e esperados para as variveis propostas e sugere o nvel de esforo necessrio para que a capital se desloque para a fronteira de eficincia relativa. Destaca ainda 12 capitais detentoras de boas prticas em gesto do Programa so elas: Belo Horizonte, Boa Vista, Campo Grande, Cuiab, Curitiba, Florianpolis, Joo Pessoa, Macap, Palmas, Porto Velho, Teresina e Vitria. A utilizao da metodologia ilustra as potencialidades da anlise envoltria de dados como tcnica alternativa aos modelos economtricos para avaliao de polticas pblicas, contratualizao de metas, priorizao de aes corretivas, etc., na medida em que identifica, por varivel, as folgas ou nveis de esforos necessrios para o alcance de patamares mais eficientes de gesto, principalmente quando inputs e outputs forem variveis no discricionrias. INTRODUO Os estudos e debates sobre os desafios para avaliao de polticas pblicas apontam para um universo institucional de crescente complexidade e em rpido movimento, caracterizado pela escassez de recursos no setor pblico, pela multiplicidade dos atores envolvidos nos processos de formulao de polticas, pelos problemas de implementao, num contexto de fragmentao institucional resultantes dos efeitos colaterais da descentralizao e da transferncia de competncias1, 2. Nesse contexto o papel do Estado reaparece na discusso3 como parte da soluo e no mais dos problemas descritos, com a misso de contribuir na reduo das desigualdades e na promoo do desenvolvimento, para isso, aspectos relativos capacidade de gesto governamental podem e devem ser otimizados para aumentar a eficincia e a governana das polticas pblicas. Ao longo dos ltimos anos vrias abordagens distintas tm sido utilizadas para avaliar programas e polticas pblicas no pas. Por exemplo, h um grande conjunto de estudos fundados na eficincia alocativa dos programas governamentais fazendo uso de tcnicas tradicionais de anlise custo-benefcio e custo-efetividade4. Pode-se tambm citar um amplo conjunto de anlises voltadas para o exame da economia poltica dos programas, discutindo aspectos relacionados equidade alocativa, o papel do Estado, a interao entre poltica e economia e o envolvimento da sociedade nos programas governamentais5. O foco de nosso trabalho, em formato de estudo de caso, complementa algumas das anlises acima mencionadas, no entanto se concentra em um conjunto particular de variveis. Mais especificamente, a anlise realizada objetiva avaliar a eficincia relativa6 (entre as capitais) da gesto descentralizada do Programa Bolsa Famlia, por intermdio da aplicao da metodologia de

  • 2

    Anlise Envoltria de Dados (Data Envelopment Analysis - DEA). Com esse estudo pretende-se contribuir para o desenvolvimento de metodologias que propiciem a identificao de boas prticas e a mensurao do esforo necessrio para o alcance de fronteiras de eficincia na gesto de programas polticas pblicas. A gesto do Programa Bolsa Famlia (PBF) A criao do Programa Bolsa Famlia est inserida no desenho geral da poltica de combate fome do governo atual e demonstra o papel de destaque dos programas de transferncia de renda na rea social. A partir de 2004, foi criado o Sistema nico da Assistncia Social (SUAS), visando contribuir para o avano dos princpios de descentralizao e, ao mesmo tempo, integrar as diversas esferas de governo em torno de um projeto de poltica pblica, padronizando protees e organizando nova sistemtica de financiamento7. Essas alteraes culminaram na aprovao da nova Poltica Nacional de Assistncia Social (PNAS), que busca ampliar as garantias em torno do acesso da populao s aes de assistncia social, instituindo organizao hierrquica da poltica nos territrios e garantindo uma porta de entrada nica ao usurio. Em 2005, com a aprovao da nova Norma Operacional Bsica, a chamada NOB-SUAS, organizam-se dois nveis de proteo social: o bsico e o especial, e reconhece trs nveis de gesto para os municpios, cada um associado a um conjunto de responsabilidades e incentivos8. Um dos objetivos do PBF foi unificar a gerncia e os benefcios dos programas de natureza assistencial e universalizar o atendimento ao pblico-alvo desejado. O Bolsa Famlia um programa de transferncia direta de renda com condicionalidades, que so compromissos nas reas da educao, da sade e assistncia social assumidos pelas famlias e que precisam ser cumpridos para que elas continuem a receber o benefcio. As condicionalidades do programa so a freqncia escolar de 85% para crianas e adolescentes entre 6 e 15 anos e de 75% para adolescentes entre 16 e 17 anos; acompanhamento do calendrio vacinal e do crescimento e desenvolvimento para crianas menores de 7 anos; pr-natal das gestantes e acompanhamento das nutrizes; e acompanhamento de aes socioeducativas para crianas em situao de trabalho infantil. A gesto de benefcios do Programa Bolsa Famlia um conjunto de processos e atividades que visam garantir a continuidade da transferncia de renda s famlias beneficirias e compreende as atividades de bloqueio, desbloqueio, cancelamento, reverso de cancelamento, suspenso e reverso de suspenso de benefcios, em conformidade com os dispositivos da legislao vigente9. Cabe ao Ministrio do Desenvolvimento Social e Combate Fome (MDS) a coordenao, a gesto e a operacionalizao do Programa, que compreende a prtica dos atos necessrios concesso e ao pagamento de benefcios, a gesto do Cadastro nico do Governo Federal, a superviso do cumprimento das condicionalidades e da oferta dos programas complementares, em articulao com os Ministrios setoriais e demais entes federados, e a fiscalizao de sua execuo. Aos municpios compete a identificao e inscrio no Cadastro nico das famlias em situao de pobreza e extrema pobreza; gesto dos benefcios do PBF; apurao e/ou o encaminhamento de denncias s instncias cabveis; garantia do acesso dos beneficirios do PBF aos servios de educao e sade, em articulao com os Governos Federal e Estadual; acompanhamento do cumprimento das condicionalidades; acompanhamento das famlias beneficirias, em especial atuando nos casos de maior vulnerabilidade social; estabelecimento de parcerias com rgos e instituies municipais, estaduais e federais, governamentais e no-governamentais, para a oferta de programas complementares aos beneficirios do Programa Bolsa Famlia e atualizao das informaes do Cadastro nico.

  • 3

    O ndice de Gesto Descentralizada (IGD) O ndice de Gesto Descentralizada (IGD)10, criado em 2006, um indicador que mede a qualidade da gesto municipal do Programa Bolsa Famlia. Com base nesse indicador, o Ministrio do Desenvolvimento Social e Combate Fome (MDS), repassa recursos aos municpios para apoio gesto do Programa. Quanto maior o valor do IGD, maior ser o valor do recurso transferido para o municpio. O IGD calculado a partir de quatro (4) variveis que representam, cada uma, 25% do seu valor total e so elas: (i) informaes sobre o cumprimento das condicionalidades da rea de sade; (ii) informaes sobre o cumprimento das condicionalidades da rea de educao; (iii) qualidade e a integridade do Cadastro nico; e (iv) atualizao da base de dados do Cadastro nico. O repasse dos recursos do IGD aos municpios feito mensalmente, sendo o valor o resultado da multiplicao do seu IGD pelo valor de referncia de R$ 2,50 (dois reais e cinqenta centavos) e da multiplicao deste primeiro produto pelo nmero de beneficirios do Programa no municpio. Para apoiar os municpios de pequeno porte, que normalmente tm um nmero menor de famlias no Programa, o MDS determinou que eles recebero recursos em dobro por at 200 famlias. Assim, ao nmero de famlias beneficirias devem ser somadas mais 200 famlias. METODOLOGIA As idias bsicas sobre anlise envoltria de dados (DEA) foram inicialmente desenvolvidas pelo artigo pioneiro de Farrell11, que almejava corrigir as limitaes encontradas nos ndices de produtividade at ento utilizados e substitu-los pela noo de eficincia relativa. Baseada na anlise de atividade de Debreu12. O trabalho de Farrell despertou pouca ateno at a publicao do texto clssico de Charnes, Cooper e Rhodes13 e posteriormente modificado por Banker e Cooper14. A DEA consiste em uma metodologia no-paramtrica, ou seja, no exige uma forma funcional explcita relacionando as variveis, para mensurao comparativa da eficincia de Unidades Tomadoras de Deciso (Decision Making Units - DMUs), com base nas melhores prticas. Esta tcnica permite analisar a eficincia relativa de unidades produtivas com mltiplos insumos (inputs) e mltiplos produtos (outputs) por intermdio da construo de uma fronteira virtual de eficincia e da identificao de ineficincias geradas por decises e aes sub-timas. No esquema grfico bsico da DEA (ver figura 1) as DMUs ineficientes (a) esto delimitadas por um conjunto de referncia (fronteira do envelope ou envoltria) de unidades eficientes ou benchmarks (b). O modelo baseado na resoluo de um problema de programao fracionria onde a medida de eficincia obtida atravs da razo da soma ponderada dos produtos pela soma ponderada dos insumos. Esta formada pela combinao linear que conecta os conjuntos de observaes das unidades eficientes ou boas prticas (c), gerando um conjunto convexo de possibilidades de produo15. Assim, o valor de eficincia atribudo unidade no definido como um padro absoluto, mas sim relativo s outras unidades. As unidades que possurem a melhor relao "insumo ponderado/produto ponderado" sero consideradas mais eficientes e estaro situadas sobre a fronteira, enquanto as menos eficientes estaro situadas numa regio abaixo da fronteira e, portanto, precisam realizar algum esforo para se deslocar para a fronteira de eficincia. Os modelos DEA fazem a agregao de inputs transformando-os em insumos esperados e a agregao de outputs transformando-os em produtos esperados, resultantes de uma combinao linear dos inputs e outputs observados.

  • 4

    Figura 1: Esquema grfico bsico da DEA

    Fonte: Elaborado pelos autores a partir de Lins16.

    As DMUs (no nosso caso as capitais) so comparadas por seus indicadores de inputs e outputs gerando uma combinao convexa entre todas as outras unidades, desse modo uma DMU ser tida como relativamente eficiente se nenhuma outra, isolada ou em combinao com outras, puder suplant-la em qualquer um de seus nveis de sada sem prejudicar qualquer outro nvel de sada, nem despender mais em pelo menos um de seus nveis de entrada (eficincia de Pareto). Segundo Castro17, a utilizao de DEA torna possvel: determinar quantitativamente a eficincia relativa de cada DMU; identificar origens e quantidades de ineficincia relativa em cada uma das DMU, em qualquer uma das variveis ou em qualquer uma de suas dimenses inputs ou outputs; apoiar o planejamento de metas (nvel de esforo necessrio para o alcance da fronteira) para as diversas variveis e dimenses que maximizem a eficincia de cada unidade. As especificaes do estudo: amostra de DMUs e indicadores selecionados A operacionalizao da metodologia DEA segue trs etapas principais18: i) definio e seleo das DMUs; ii) escolha do modelo DEA apropriado; e iii) seleo das variveis (inputs e outputs) que so relevantes para estabelecer a eficincia relativa entre as DMUs selecionadas. A seleo de unidades para a anlise de grande importncia para os resultados j que a metodologia DEA sensvel a valores extremos16, o que configura, ao mesmo tempo, uma limitao (se os dados forem imprecisos) e uma potencialidade (se os dados denotam uma situao de boas prticas). necessrio garantir que os indicadores relativos s DMUs sejam confiveis, e que eventuais variaes extremas sejam, de fato, situaes concretas, no erros de medida. Ou seja, os valores que se apresentam muito afastados da tendncia central dos indicadores em questo podem no ser potenciais outliers, e sim um padro a ser seguido pelas unidades ineficientes (benchmark) para que se tornem eficientes. Por isso, antes da aplicao da metodologia preciso realizar uma anlise exploratria de dados, com o intuito de retirar DMUs discrepantes17. Para o clculo da eficincia relativa dos indicadores de gesto do PBF foi utilizado o software Frontier Analyst verso 4. O programa calcula a eficincia e redefine a medida de desempenho das DMUs com uma anlise da fronteira (valores observados e esperados). O programa oferece a opo de calcular a eficincia nos modelos de retornos constantes de escala ou retornos variveis de escala, nos dois casos com orientao para inputs ou outputs. O modelo com retornos variveis de escala permite que DMUs que operam com baixos valores de inputs tenham retornos crescentes de escala e as que operam com altos valores tenham retornos decrescentes de escala. Fornece como

  • 5

    resultados o ranking das eficincias por unidade produtiva e o potencial de melhoria (folga) de todos os inputs e outputs para cada DMU. As DMUs selecionadas para o estudo foram as 27 capitais, entendidas como Unidades Tomadoras de Deciso autnomas que desempenham funes de gesto descentralizada semelhantes, e que so mensuradas por uma metodologia homognea e, portanto, comparveis. A definio pelo modelo com retornos variveis de escala, de acordo com o objetivo proposto e a literatura sobre o tema, deve-se ao fato de que, em geral, as relaes que se estabelecem na gesto de programas e polticas pblicas no pressupem retornos constantes de escala. Tal modelo utiliza a fronteira VRS (variable returns to scale), que considera rendimentos variveis de escala, com orientao output, trata-se, pois, de maximizar os outputs sem diminuir os inputs. Tabela 1. Descrio sinttica e mtodo de clculo dos indicadores utilizados no estudo Indicador Mtodo de Clculo Tipo de Varivel

    Nmero de Famlias Beneficirias (PBFamilias)

    Nmero de Famlias Beneficirias Input

    Taxa Cobertura Qualificada de Cadastros (IGDcadastro)

    N de cadastros vlidos

    ________________________________

    N de famlias estimadas como pblico alvo

    Output

    Taxa de Atualizao dos Cadastros (IGDatualiza)

    N de cadastros atualizados nos ltimos dois anos ________________________________________

    N de cadastros vlidos

    Output

    Taxa de crianas com informaes de freqncia escolar (IGDeduca)

    N de crianas e adolescentes

    com informaes de freqncia escolar __________________________________

    N total de crianas e adolescentes

    Output

    Taxa de famlias com acompanhamento da agenda de sade (IGDsaude)

    N de famlias com perfil sade com informaes de

    acompanhamento de condicionalidades de sade _______________________________________

    N total de famlias do PBF com perfil sade

    Output

    ndice de Gesto Descentralizada (IGD)

    IGDsaude + IGDeduca + IGDcadastro + IGDatualiza

    ___________________________________

    4

    Output

    Fonte: Elaborada pelos autores com base na Portaria GM/MDS n 148, de 27 de abril de 2006. A escolha das variveis procurou traduzir os aspectos mais importantes sobre a qualidade da gesto descentralizada do PBF, avaliados pelo MDS, por intermdio do ndice de Gesto Descentralizada, sendo os dados coletados na Matriz de Informao Social 19.

  • 6

    RESULTADOS As capitais brasileiras foram avaliadas utilizando a metodologia de Anlise Envoltria de Dados aplicada a aspectos da gesto de atividades importantes para a eficincia do Programa Bolsa Famlia, operacionalizadas pela utilizao dos dados e indicadores do ndice de Gesto Descentralizada (IGD). A tabela 2 apresenta os resultados da DEA com utilizao do modelo com retornos variveis de escala e orientao para maximizao dos outputs, ou seja, o incremento dos valores dos indicadores de gesto, considerando como fixo (no curto prazo) o numero de famlias beneficirias a serem geridas. Os scores de eficincias esto listados na coluna Eficincia Relativa, onde 100% a eficincia mxima. A coluna PBFamilias representa o input do modelo onde esto listados o nmeros totais de famlias beneficirias do programa por capital. As variveis das dimenses do IGD so compostas por taxas que variam de 0 (pior) at 1,0 (melhor). A varivel IGDsaude representa a taxa de famlias com acompanhamento da agenda de sade, onde destaca-se Campo Grande, que consegue acompanhar 95 % das famlias com perfil sade. A coluna IGDeduca refere-se taxa de crianas com informaes de freqncia escolar, destacando-se Campo Grande e Joo Pessoa com capacidade de acompanhamento das condicionalidades de educao acima de 95% das famlias. As variveis IGDcadastro e IGDatualiza referem-se, respectivamente, a taxa cobertura qualificada e atualizao do cadastro nico, sendo que no quesito cobertura Macap, Recife e Teresina alcanaram ndices superiores a 90% e em relao atualizao as cidades de Cuiab, Curitiba, Joo Pessoa e Palmas obtiveram aproveitamento de 100%. Tabela 2. Anlise de Eficincia (DEA) da gesto descentralizada do PBF: Outputs observados e esperados em funo dos inputs alocados pelas capitais brasileiras 2008.

    Fonte: Elaborada pelos autores com os resultados do Frontier Analyst utilizando dados da Matriz de Informao Social do MDS, 2008. Das 27 capitais avaliadas, 12 (44%) alcanaram uma eficincia relativa tima (100%), no sentido de Pareto, sendo elas, em ordem alfabtica: Belo Horizonte, Boa Vista, Campo Grande, Cuiab, Curitiba, Florianpolis, Joo Pessoa, Macap, Palmas, Porto Velho, Teresina e Vitria. Destaque para Joo Pessoa que obteve 13 referncias na curva de eficincia o que significa, de acordo com a

  • 7

    metodologia utilizada, uma capital onde, possivelmente, boas prticas de gesto esto sendo realizadas, tornando-se, portanto, benchmark para as demais.

    Figura 2. Grfico com a distribuio do IGD observado versus IGD esperado de acordo com os nveis de inputs e outpus, por capitais.

    Fonte: Elaborada pelos autores com os resultados do Frontier Analyst utilizando dados da Matriz de Informao Social do MDS, 2008. O diferencial da metodologia DEA a possibilidade de comparao, no apenas dos valores apurados e ordenados dos ndices, mas sim de seus valores esperados, ou seja, o que mais nos interessa no estudo justamente a diferena entre os valores observados e os valores esperados em destaque na figura 2 acima. A diferena entre os valores das variveis baseia-se na hiptese, calculada pelo modelo, de eficincia mxima das DMUs, levando em considerao, de um lado, as combinaes possveis entre inputs e outpus, e de outro, a eficincia relativa e comparada com as prticas das demais DMUs. De acordo com a tabela 2, nas colunas Esforo (%) pode-se ver a diferena entre o valor observado e o esperado (eficiente), destaques negativos para Belm, Braslia, e So Paulo que necessitaro de um esforo considervel para promover o deslocamento em direo fronteira do IGDsaude, 970,3%, 1.014,8% e 724,8%, respectivamente. Para o IGDeduca Salvador (41,8%) e So Paulo (33,7%) esto mais distantes da eficincia. A atualizao dos cadastros (IGDatualiza) precisa de uma ateno (esforo) especial no Rio de Janeiro (119,6%) e em So Paulo (103,8%). A figura 3 apresenta o nvel de esforo, por capital, necessrio para o deslocamento em direo fronteira de eficincia (folga).

  • 8

    Figura 3. Grfico com a distribuio das folgas, em porcentagem (%), para deslocamento do IGD em direo a fronteira de eficincia, nvel de esforo por capitais.

    Fonte: Elaborada pelos autores com os resultados do Frontier Analyst utilizando dados da Matriz de Informao Social do MDS, 2008. O presente estudo, de carter preliminar, no pretende esgotar as possibilidades de utilizao da metodologia proposta para avaliao da eficincia da gesto do PBF, certamente sero necessrios maiores aprofundamentos e sofisticaes metodolgicas (introduo de restries e pesos, clculo da fronteira invertida, anlise exploratria de variveis em 3D, entre outras). A utilizao da metodologia ilustra as potencialidades da DEA como tcnica alternativa aos modelos economtricos para avaliao de polticas pblicas, contratualizao de metas, priorizao de aes corretivas, etc., na medida em que identifica, por varivel, as folgas ou nveis de esforos necessrios para o alcance de patamares mais eficientes de gesto, principalmente quando inputs e outputs forem variveis no discricionrias. REFERNCIAS

    1. PETERS, GB. Managing Horizontal Government the politics of coordination. Canadian Centre for Management Development, Research paper n 21, january 1998.

    2. MARTINS, HF. Introduo ao governo matricial: o problema da fragmentao. IX Congresso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Madrid, Espaa, 2, nov. 2004.

    3. COSTA, FL. CASTANHAR, JC. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica, v. 37, n. 5, p. 969-992. Rio de Janeiro, 2003.

    4. MACHADO, F. SIMES, A. Anlise Custo-Efetividade e ndice de Qualidade da Refeio Aplicados Estratgia Global da OMS. Rev. Sade Pblica, vol.42, n.1, p.64-72, fev. 2008

  • 9

    5. REIS CO, RIBEIRO JA, PIOLA S. Financiamento das Polticas Sociais nos Anos 1990: O Caso do Ministrio da Sade. IPEA. Texto para Discusso no. 802. Braslia, junho de 2001.

    6. MARINHO A. Estudo da Eficincia em Alguns Hospitais Pblicos e Privados com a Gerao de Rankings. IPEA. Texto para Discusso no. 794. Braslia, maio de 2001.

    7. BRASIL. Lei n 10.836. Cria o Programa Bolsa Famlia e d outras providncias. Ministrio do Desenvolvimento Social e Combate Fome MDS. Dirio Oficial da Unio, 09 de janeiro de 2004.

    8. BRASIL. Resoluo n 130. Norma Operacional Bsica da Assistncia Social NOB/SUAS. Dirio Oficial da Unio, 15 de julho de 2005.

    9. BRASIL. Portaria GM/MDS n 555. Regula a Gesto de Benefcios do Programa Bolsa Famlia. Ministrio do Desenvolvimento Social e Combate Fome MDS. Dirio Oficial da Unio, 11 de novembro de 2005.

    10. BRASIL. Portaria GM/MDS n 148. Cria o ndice de Gesto Descentralizada. Ministrio do Desenvolvimento Social e Combate Fome MDS. Dirio Oficial da Unio, 27 de abril de 2006.

    11. FARREL, MJ. The Measurement of Productive Efficiency. Royal Statistical Society, Series A, 120, III, 253-281, Royal Statistical Society, Series A, 120, III, 253-281, 1957.

    12. DEBREU, G. The Coefficient of Resource Utilization. Econometrica, 19, 3, 273-292, 1951.

    13. CHARNES, A. COOPER, W. ROHDES. E. Evaluating Program and Managerial Efficiency: An Application of Data Envelopment Analysis to Program Follow Through. Management Science, jun. v. 27, n. 6, p. 688-697, 1981.

    14. BANKER, R. CHARNES, A. COOPER WW. Some Models for Estimating Technical and Scale inefficiencies in Data Envelopment Analysis. Management Science, 30, p. 1078-1092, 1984.

    15. FARIA, FP. JANNUZZI, PM. SILVA, SJ. Eficincia dos gastos municipais em sade e educao: uma investigao atravs da anlise envoltria no estado do Rio de Janeiro. Rio de Janeiro, RAP Revista de Administrao Pblica. 42(1):155-177, Jan./Fev, 2008.

    16. LINS, MPE, et.al. O uso da Anlise Envoltria de Dados (DEA) para avaliao de hospitais universitrios brasileiros. Cincia & Sade Coletiva, 12(4):985-998, 2007.

    17. CASTRO, CET. Avaliao da eficincia gerencial de empresas e gua e esgotos brasileiras por meio da envoltria de dados (DEA). Dissertao (Mestrado em Engenharia Industrial) PUC, Rio de Janeiro. 2003.

    18. LINS, MPE. MEZA, LA. Anlise envoltria de dados e perspectivas de integrao no ambiente do apoio deciso. Rio de Janeiro: Coppe/UFRJ. 2000.

    19. BRASIL. Matriz de Informao Social. Ministrio do Desenvolvimento Social e Combate Fome MDS. Disponvel em http://aplicacoes.mds.gov.br/sagi/mi2007/home/login.php. Acessado em 15/out/2008.

    /ColorImageDict > /JPEG2000ColorACSImageDict > /JPEG2000ColorImageDict > /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict > /GrayImageDict > /JPEG2000GrayACSImageDict > /JPEG2000GrayImageDict > /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict > /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False

    /CreateJDFFile false /Description > /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ > /FormElements false /GenerateStructure false /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles false /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /DocumentCMYK /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /UseDocumentProfile /UseDocumentBleed false >> ]>> setdistillerparams> setpagedevice