Panorama da produção intelectual sobre a medição de desempenho na gestão pública

Rev. Adm. Pblica Rio de Janeiro 49(2):337-366, mar./abr. 2015

Panorama da produo intelectual sobre a medio de desempenho na gesto pblica

rica Kushihara AkimUniversidade Federal de So Carlos (UFSCar)

Ricardo Coser MergulhoUniversidade Federal de So Carlos (UFSCar)

No contexto das mudanas na administrao pblica que visam promover a melhoria do desempenho governamental, este artigo tem como objetivo apresentar um panorama da produo intelectual no campo da medio de desempenho na gesto pblica entre 1980 e fevereiro de 2013. Para tanto, foi realizada uma anlise bibliomtrica de citao e cocitao com apoio dos softwares Sitkis, Netdraw e CiteSpace II. As bases de dados utilizadas foram a ISI Web of Science (WoS) que reflete a pesquisa internacional e a SciELO que reflete a pesquisa brasileira. O estudo na WoS identificou os autores, peridicos, pares de documentos e instituies de pesquisas mais importantes. Alm disso, o estudo na base da SciELO apontou que a literatura sobre o campo estudado dispersa. De forma geral, os resul-tados obtidos revelam que a medio de desempenho na gesto pblica um campo emergente.

Palavras-chave: medio de desempenho; gesto pblica; anlise bibliomtrica.

Panorama de la produccin intelectual de medicin del desempeo en la gestin pblicaEn el contexto de los cambios en la administracin pblica para mejorar el desempeo del gobierno, este trabajo tiene como objetivo presentar un panorama de la produccin intelectual en el campo de la medicin del desempeo en la gestin pblica entre 1980 y febrero de 2013. En este sentido, fue realizado un levantamiento de datos, con base en anlisis bibliomtrico de citas e co-citacin, e me-diante la utilizacin de los softwares Sitkis, Netdraw y CiteSpace II. Las bases de datos empleadas en este anlisis fueron la ISI Web of Science (WoS) referida a investigacin internacional y SciELO que refleja la investigacin brasilea. El estudio sobre la WoS revel los autores, revistas, pares de documentos y las instituciones de investigacin ms importantes. Adems, el estudio sobre SciELO indico que la literatura en este campo est todava dispersa. Por ltimo, los resultados muestran que la medicin del desempeo en la gestin pblica es un campo emergente.

Palabras clave: medicin del desempeo; gestin pblica; anlisis bibliomtrico.

DOI: http://dx.doi.org/10.1590/0034-7612126126Artigo recebido em 5 nov. 2013 e aceito em 6 out. 2014.


338 rica Kushihara Akim Ricardo Coser Mergulho

Overview of the intellectual production of performance measurement in public managementIn the context of changes in the public administration that aim to enhance government performance, this paper has the goal to present an overview from intellectual production on the field of performance measurement in public management between 1980 and February of 2013. In order to do it, it was applied a citation/co-citation bibliometric analysis using Sitkis, Netdraw and CiteSpace II softwares. The databases used in this analysis were ISI Web of Science (WoS) that reflects international rese-arch and SciELO that reflects Brazilian research. The study in WoS revealed the most important authors, journals, pairs of documents and research institutions. Moreover, the study based on SciELO identified that the literature about this field is dispersal. In general terms, the results show that per-formance measurement in public management is an emerging field.

Keywords: performance measurement; public management; bibliometric analysis.

1. Introduo

A administrao pblica deve atender s demandas sociais pelo uso eficiente de recursos e transparncia de seus atos e, para que isso ocorra, os cidados devem ser continuamente informados, pelos meios de comunicao, sobre os impactos dos planos, das polticas, dos oramentos, dos dficits e supervits dos governos na qualidade de vida de cada membro e setor da sociedade (Catelli e Santos, 2004; Motta, 2013).

Diante disso, um elemento importante para que a administrao pblica possa cumprir seu papel a medio de desempenho. Inicialmente, a medio de desempenho possua um en-foque unidimensional legado da contabilidade tradicional com apenas medidas financeiras, mas a partir do final dos anos 1980, o enfoque passou a ser multidimensional com equilbrio entre medidas financeiras e no financeiras (Bourne et al., 2000; Nudurapati et al., 2011). Essa mu-dana de enfoque reforou-a como um pr-requisito importante para a melhoria organizacional. De fato, estudos como o de Franco-Santos e colaboradores (2012) apontam que a medio de desempenho contempornea afeta significativamente o comportamento das pessoas, as capabi-lidades organizacionais e o desempenho organizacional. Esse resultado comprovado em parte, no mbito do setor pblico, por Spekl e Verbeeten (2014), que realizaram uma survey em or-ganizaes do setor pblico e encontraram que o uso exploratrio da medio de desempenho aumenta o desempenho organizacional na medida em que fornece uma comunicao mais clara dos objetivos e metas e tambm possibilita o ajuste dos objetivos e polticas.

De forma ampla, a medio de desempenho, segundo Franco-Santos e colaboradores (2007), pode ser entendida como um conjunto de processos que uma organizao necessita para gerenciar a implementao da estratgia, comunicar o cumprimento de regulamentos bem como sua posio e progresso, influenciar o comportamento dos funcionrios, servindo de base para a melhoria do desempenho.

A mensurao dos elementos associados ao desempenho constitui um tema com ampla literatura voltada ao ambiente corporativo (Tezza et al., 2010). Bititci e colaboradores (2012) destacam que as prticas de gesto baseadas na medio de desempenho so comuns em to-

339Panorama da produo intelectual sobre a medio de desempenho na gesto pblica


dos os setores da indstria e do comrcio, incluindo o setor pblico. No entanto, Motta (2013) pondera que algumas caractersticas que distinguem as empresas privadas e organizaes p-blicas podem ser camufladas nas formas institucionais, mas emergem rapidamente no cotidia-no administrativo. Isso indica que a medio de desempenho na gesto pblica necessita ser pesquisada considerando seu contexto. Essa necessidade corroborada por pesquisas como a de Taylor e Taylor (2009), que afirmam que as aplicaes da gesto de operaes como o estudo da medio de desempenho em novos contextos, como o setor no lucrativo, so potenciais temas de pesquisas.

Nesse contexto, torna-se relevante fazer um levantamento da produo cientfica sobre a medio de desempenho na gesto pblica, de modo a responder s seguintes questes. Como tem evoludo o campo de pesquisa da medio de desempenho na gesto pblica? Quais so as referncias, autores e peridicos mais destacados no campo da medio de de-sempenho na gesto pblica? Qual a conexo existente entre essas referncias?

Em face dessas questes, o presente artigo tem como objetivo analisar a literatura sobre medio de desempenho na gesto pblica, fornecendo um mapeamento dos trabalhos sobre o tema, identificando comportamentos da literatura e sua evoluo. Para isso, o mtodo a ser utilizado consiste na anlise bibliomtrica com uma amostra de artigos da base de dados da Web of Science (WoS) no perodo de 1980 a fevereiro de 2013. Complementarmente, efetuou-se uma comparao com a produo nacional publicada na base SciELO.

2. Delineamento da pesquisa

Esta seo apresenta o delineamento da presente pesquisa destacando as caractersticas da bibliometria bem como os parmetros e etapas utilizados na organizao do conhecimento do tema medio de desempenho na gesto pblica.

A anlise bibliomtrica o estudo dos aspectos quantitativos da produo, dissemi-nao e uso da informao registrada com emprego de mtodos matemticos e estatsticos, utilizada na identificao de comportamento da literatura e sua evoluo em contexto e poca determinados (Spinak, 1996; Tague-Sutckiffe, 1992; Bufrem e Prates, 2005). A seguir, so apresentadas as anlises de citao e de cocitao, que so amplamente utilizadas em anlises bibliomtricas.

A anlise de citaes parte da premissa de que autores citam artigos que consideram importantes no desenvolvimento de suas pesquisas e, segundo Bufrem e Prates (2005), qual-quer ato de citar o autor de artigo anterior sempre significativo. Logo, os trabalhos mais citados teriam maior influncia sobre a rea do que aqueles menos citados (Tahai e Meyer, 1999). Essa anlise pode ainda ser estendida contagem das referncias arroladas no final do texto, o que possibilita identificar e mapear caractersticas da comunicao cientfica, me-dir o impacto e a visibilidade de determinados autores dentro de uma comunidade cientfica e tambm verificar quais escolas do pensamento vigoram dentro das mesmas (Vanz e Ca-regnato, 2003).



J a anlise de cocitao indica a relao e frequncia dos pares de documentos que so citados por outros documentos. A premissa fundamental dessa anlise que, quanto mais dois documentos so cocitados conjuntamente, maior a probabilidade de que tenham contedos relacionados (Spinak, 1996).

Convm destacar que, segundo Garfield (1979), a anlise de citaes no tem como princpio medir o nmero de vezes que um determinado autor est certo ou errado, mas, sim, medir o nvel de contribuio de um pesquisador ou uma instituio cincia.

Neste artigo as anlises de citao e de cocitao so utilizadas em conjunto com ele-mentos grficos advindos da representao das redes sociais, que tratam do conjunto de ato-res e as ligaes entre eles. O conceito das redes sociais foi desenvolvido a partir da conflun-cia da teoria social com a metodologia matemtica, estatstica e computacional (Wasserman e Faust, 1994).

A partir dessa viso geral sobre a bibliometria, a seguir so apresentadas as etapas uti-lizadas para conduo da pesquisa (figura 1).

F i g u r a 1Etapas da anlise bibliomtrica

Fonte: Elaborao prpria a partir do software Bizagi Processo Modeler.

A base de dados utilizada para a busca dos artigos foi a WoS (Web of Science) Institute for Scientific Information (ISI), que amplamente utilizada para divulgao de pesquisas cientficas em 12.311 ttulos, que, segundo Chadegani e colaboradores (2013), abrange revistas com maior fator de impacto se comparada com bases como a da Scopus. Alm disso, mesmo sem cobrir bases como a da Scopus, a anlise das referncias dos artigos da amostra permite expandir a anlise a livros, relatrios e artigos de outras bases e tambm anteriores a 1980.

Para a seleo das referncias sobre medio de desempenho foram identificadas as palavras-chave nos trabalhos de Gonzlez e Toledo (2012) e Lacerda e colaboradores (2012), sendo elas: performance measurement, performance measure, performance evaluation, perfor-



mance assessment, performance appraisal, associadas s palavras-chave da rea de gesto p-blica: public sector, public service, public organization, public management.

A busca utilizando esses termos foi realizada em 28 de fevereiro de 2013 na base Web of Science por artigos, publicados no perodo de 1980 a 2013, selecionando-se apenas os artigos (document types) pertencentes s reas temticas (subject area) public administration, mana-gement, political science, economics, operation research management science, planning develop-ment, industrial relations labor, business, business finance, social science and interdisciplinary, environmental studies, engineering civil, engineering industrial, utilizando-se das palavras-cha-ve anteriormente definidas, resultou na amostra de 268 artigos.

Aps a definio dessa amostra procedeu-se importao dos metadados (ttulo, re-sumo, autores, palavras-chave, peridico, referncias e nmero de citaes) dos 268 artigos da base WoS.

A etapa seguinte consistiu na validao, organizao e sistematizao dos dados coletados, utilizando-se de planilha eletrnica para padronizar os metadados dos artigos da amostra. Essa etapa de padronizao importante, pois, segundo Mugnaini e colaboradores (2004), a transfor-mao da informao bibliogrfica em indicadores bibliomtricos exige cautela em cada passo e reprocessamento, porque nem sempre a informao se encontra perfeitamente padronizada.

A seguir foi utilizado o software CiteSpace II (Chen, 2006) para gerar as redes de coci-tao. Segundo Chen (2006), esse software permite mapear e visualizar novas tendncias na literatura cientfica, detectando pontos de viragem intelectual, quando o conhecimento abre espao para novidades cientficas e exploses, que so os momentos em que h um aumento significativo de publicao de trabalhos sobre o mesmo tema.

As referncias processadas no CiteSpace II tambm exigiram padronizao para a elimi-nao de possveis duplicidades que interferem no mapeamento da rede e no levantamento de indicadores como os de frequncia, centralidade e densidade. O indicador de centralidade utilizado na anlise de redes de cocitaes e, segundo Marteleto (2001), representa os atores que mais se relacionam com os demais; logo, um ator com grande centralidade est em contato direto e adjacente com muitos outros atores da rede, sendo reconhecido como um grande canal de informaes, trazendo a ideia de poder. J o indicador de densidade, segundo Hanneman e Riddle (2005), exprime o grau de conectividade de uma rede de modo que, quanto mais densa ela for, maior a possibilidade de fluxo de informaes. Esse indicador calculado tendo como numerador o nmero de relaes existentes e denominador o nmero de relaes possveis.

Complementarmente, foram utilizados o Sitkis (Schildt, 2002) no gerenciamento das referncias mais citadas e o Netdraw (Borgatti, 2002) para o mapeamento dos relacionamen-tos entre os trabalhos mais relevantes que suportaram as pesquisas sobre medio de desem-penho na gesto pblica. O Netdraw permite a visualizao detalhada das coocorrncias de citaes de forma a identificar os documentos mais influentes.

A etapa final consistiu nas anlises de citao e de cocitao exploradas por suas mtri-cas comuns e pelas representaes grficas das redes sociais.

Para fins de comparao, foi levantada e analisada a produo nacional sobre o tema medio de desempenho na base SciELO Brasil com os termos medio de desempenho ou avaliao de desempenho combinados com pblico ou pblica.



3. Dados obtidos na base Web of Science

Esta seo apresenta e discute os resultados obtidos da anlise das publicaes da amostra de 268 artigos do Web of Science, cuja abordagem obedecer a seguinte ordem: anlise das publi-caes, anlise de cocitaes de autores e, por fim, a anlise de cocitaes de referncias.

3.1 Anlise das publicaes

A anlise da amostra dos 268 artigos apontou que eles receberam um total de 1.644 citaes at fevereiro de 2013. Do total da amostra, 68 (25%) artigos no receberam citaes e 48 (18%) concentram 68% do total das citaes recebidas.

A evoluo temporal dessas citaes pode ser observada no grfico 1, em que a linha slida representa a evoluo das publicaes, e a tracejada, das citaes. A partir do grfico 1, pode-se observar que o nmero de publicaes tem aumentado ao longo dos anos. Como pode ser notado, at 2005, o nmero de publicaes por ano era inferior a 10. Crescendo fortemen-te a partir de 2006, chegando ao patamar de 36 publicaes em 2011, essa evoluo parece colaborar para o aumento no nmero de citaes de artigos sobre o assunto. Esse aumento nas publicaes pode ter sido impulsionado pelo surgimento, na ltima dcada do sculo XX, da Nova Gesto Pblica (New Public Management), cuja preocupao central, segundo Sano e Abrucio (2008), pode ser resumida como a combinao entre a flexibilizao da gesto e o aumento da responsabilizao da administrao pblica.

G r f i c o 1Publicaes e citaes entre 1980 e fevereiro de 2013

Fonte: Elaborao prpria.



J em relao s citaes, observa-se que a partir de 1997 houve um aumento no nme-ro de citaes mais acentuado do que o aumento no nmero de publicaes, evidenciando que o tema medio de desempenho na gesto pblica passou a ser de interesse para a academia.

A seguir, efetua-se uma anlise temporal e temtica sobre os 10 artigos mais citados da amostra, que esto listados na tabela 1.

Ta b e l a 1 Artigos mais citados, no perodo de 1980 a 2013 (at fevereiro)

Artigo Ttulo Peridico Citaes

Hefetz e Warner (2004)

Privatization and its reverse: explaining the dynamics of the government contracting process

Journal of Public Administration Research and Theory

84

Fernandez e Rainey (2006)

Managing successful organizational change in the public sector

Public Administration Review 66

Heinrich (2002) Outcomes-based performance management in the public sector: Implications for government accountability and effectiveness


Kravchuk e Schack (1996)

Designing effective performance-measurement systems under the Government Performance and Results Act of 1993


Sanderson (2001) Performance management, evaluation and learning in modern local government

Public Administration 51

Townley e colaboradores (2003)

Performance measures and the rationalization of organizations

Organization Studies 48

Moon e colaboradores (2001) Municipal reinvention: managerial values and diffusion among municipalities

The Journal of Public Administration Research and Theory

42

Townley (1997) The institutional logic of performance appraisal

Organization Studies 38

Moynihan (2006) Managing for results in state government: evaluating a decade of reform


Pratchett (1999) New technologies and the modernization of local government: an analysis of biases and constraints

Public Administration 35


A dinmica do processo de contratao o tema central de Hefetz e Warner (2004). Na viso dos autores, a adoo de sistemas formais de monitoramento fundamental para garantir o sucesso da contratao de bens e servios pblicos, que exige especificaes e crit-rios claros para a avaliao do seu desempenho. A principal crtica em relao medio de desempenho consiste em falhas relacionadas com negligncia voz do cidado (Hefetz e War-



ner, 2004). A pesquisa evidencia como desafios impostos ao gestor pblico: a complexidade da prestao de servios pblicos, as limitaes das abordagens de mercado e a necessidade de envolver o cidado.

A pesquisa de Fernandez e Rainey (2006) trata da gesto da mudana organizacional. Os autores identificaram na literatura sete fatores sobre mudana organizacional, que so considerados pontos consensuais e oferecem proposies adequadas para testes e refinamen-tos em pesquisas futuras. Para os autores, a mensurao e avaliao de desempenho integram o fator de institucionalizao das mudanas organizacionais, que devem ser incorporadas rotina dos seus membros. preciso que os gestores acompanhem, por meio da mensurao de desempenho, a extenso da adoo das mudanas, assegurando que no se retorne a velhos padres e comportamentos (Fernandez e Rainey, 2006).

O trabalho emprico de Heinrich (2002) aborda as implicaes da gesto de desempe-nho na gesto pblica. A autora pondera que a avaliao de desempenho de programas pbli-cos sofre a influncia da estrutura organizacional nas escolhas polticas, nas restries e nas prticas de prestao de servios. No contexto pblico devem ser consideradas as mudanas frequentes de prioridades polticas; administrativas e profissionais; os conflitos partidrios dentro das burocracias e a integrao s vezes precria entre nveis de governo e autoridades formais e informais (Heinrich, 2002).

A pesquisa de Kravchuk e Schack (1996) foca o design de sistema de medio de de-sempenho no mbito do Government Performance and Results Act (GPRA), que consiste na adoo da administrao gerencial pela administrao pblica federal americana, a partir de 1993. Os autores ressaltam que, ao final dos anos 1980, em todos os setores econmicos tornou-se evidente o interesse na prtica de um ambiente de gesto eficaz. Para que isso ocorra, preciso incorporar um sistema de medio de desempenho com controle de medidas apropriado, que assegure o alinhamento das atividades com o objetivo maior da organizao (Kravchuck e Schack, 1996).

A gesto do desempenho, a avaliao e a aprendizagem nos governos locais modernos so o foco do artigo de Sanderson (2001). Para o autor, no Reino Unido, o desenvolvimento da gesto de desempenho no contexto do New Public Management (NPM) teria sido basica-mente top-down, com o predomnio da preocupao pelo accountability (responsabilizao) em detrimento da promoo da aprendizagem e da adoo como um mecanismo de mudana. O autor assevera que as autoridades locais precisam desenvolver a capacidade de produzir mudanas, consistentes com as metas e objetivos desejados, a partir das evidncias produ-zidas pela medio de desempenho. Alm disso, preciso mudar a cultura organizacional, assegurando que a avaliao seja incorporada rotina (Sanderson, 2001).

Townley e colaboradores (2003) abordam em seu artigo a medio de desempenho e a racionalizao das organizaes, analisando a introduo de medidas de desempenho na provncia de Alberta, no Canad. Para os autores, a operacionalizao da reinveno do governo (Osborne e Gaebler, 1992) por meio de medidas de planejamento e medio de desempenho envolve a racionalidade instrumental, ou seja, pela relao meios-fins, e a ao comunicativa, isto , com princpios validados pelo grupo. Os autores relatam o predomnio



da racionalidade instrumental na introduo dos sistemas formais de medio de desempe-nho na provncia de Alberta.

Um estudo exploratrio sobre a reinveno em 1.200 municpios dos Estados Unidos o foco do artigo de Moon e colaboradores (2001). Os autores sugerem que a adoo da rein-veno municipal associada condio, dimenso econmica e aos fatores institucionais, como sindicato e tipo de governo. O termo reinveno uma aluso ao termo cunhado por Osborne e Gaebler (1992) na obra Reinventing government, que ressalta a necessidade urgente de mudanas nos setores pblicos do mundo inteiro.

O artigo de Townley (1997) tem como enfoque a lgica institucional da avaliao de desempenho de acadmicos em universidades do Reino Unido. A pesquisa ilustra o jogo de presses por isomorfismo e as fontes de resistncia nas universidades a essa presso. Para a autora, as universidades, em face da sua dependncia por recursos pblicos e da legitimidade do modelo de eficincia do setor privado, so particularmente vulnerveis s presses por isomorfismo. A avaliao de desempenho, para Townley (1997), um poderoso mito institu-cional, constituindo parte daquilo que a organizao necessita para legitimar-se.

A pesquisa de Moynihan (2006) avalia a implementao da reforma da gesto pblica nos Estados Unidos. O autor afirma que a gesto por resultados foi parcialmente adotada no caso estudado; considera ainda que os governos estaduais dos Estados Unidos enfatizaram o planejamento estratgico e a avaliao de desempenho, mas foram menos bem-sucedidos na implementao de reformas que aumentam a autoridade gerencial.

O texto de Pratchett (1999) trata do uso de tecnologia de informao e comunicao (TIC) ou e-government na administrao pblica contempornea. Para o autor, as novas tec-nologias de informao podem fornecer informaes geradas externamente s organizaes pblicas, que facilitem a compresso de contextos sociais e econmicos. Pratchett (1999) ainda afirma que o estudo realizado no governo do Reino Unido sugere uma nfase exagerada na medio de desempenho.

G r f i c o 2Distribuio temporal das citaes aos 10 artigos mais citados na base WoS




A distribuio temporal dos 10 artigos mais citados (grfico 2) revela que 70% foram publicados no perodo de 2001 a 2006 e que as primeiras citaes comearam em 1997, intensificando-se em 2003, com um pico em 2001, atingindo o patamar de 78 citaes.

Os artigos coletados tiveram suas publicaes concentradas em 105 peridicos. A tabela 2 apresenta os 14 peridicos que mais publicaram no tema medio de desempenho na gesto pblica, e juntos eles acumulam 137 (51%) dos 268 artigos da amostra. Destaca-se que 67 peridicos continham um nico artigo.

possvel verificar, pelos dados da tabela 2, que h uma concentrao das publicaes 124 (91%) em peridicos da temtica da administrao pblica, destacando-se os pe-ridicos International Review of Administrative Sciences, Public Administration Review e Public Money & Management.

No perodo de 2000 a 2009, 72 artigos foram publicados nos peridicos da tabela 2, representando um aumento expressivo, comparado aos 21 publicados na dcada anterior. J no perodo de 2010 a 2013 (at fevereiro), foram publicados 42 trabalhos cientficos, com destaque para o aumento no nmero de artigos publicados no peridico Review of Public Per-sonnel Administration, de dois (de 2000 a 2009) para seis (de 2010 a 2013).

Ta b e l a 2Publicaes nos peridicos que mais publicaram sobre medio

de desempenho na gesto pblica

Peridico

1980a

1989

1990a

1999

2000a

2009

2010a

2013*Total

International Review of Administrative Sciences 0 0 12 5 17

Public Administration Review 0 3 9 4 16

Public Money & Management 0 6 8 2 16

Public Management Review 0 0 8 5 13

Australian Journal of Public Administration 0 4 4 2 10

The Journal of Public Administration Research and Theory 0 0 6 4 10

Public Administration 0 1 5 3 9

The International Journal of Human Resource Management 0 0 4 4 8

Review of Public Personnel Administration 0 0 2 6 8

American Review of Public Administration 0 0 5 2 7

Public Personnel Management 2 5 0 0 7

Public Administration and Development 0 1 2 3 6

International Journal of Operations & Production Management 0 0 5 0 5

Local Government Studies 0 1 2 2 5

Total 2 21 72 42 137


Nota: * indica que o ano de 2013 compreende at fevereiro.



Tambm observa-se que a partir de 2000 surgiram artigos sobre medio de desem-penho na gesto pblica em peridicos de outras reas como o The International Journal of Human Resource Management, que voltado para a rea de gesto de pessoas, e tambm no International Journal of Operations & Production Management, que um peridico europeu voltado para gesto de operaes.

Outra anlise importante est sobre a rede de colaborao entre os coautores dos artigos da amostra, considerando o pas de origem da instituio de pesquisa de filiao do autor. A figura 2 ilustra o mapa de distribuio geogrfica da rede de colaborao dos pases mais influentes quanto publicao de artigos sobre o tema medio de desempenho na gesto pblica, em que as linhas representam as parcerias existentes. Observa-se no mapa, gerado por meio do Google Earth e o CiteSpace II, que as conexes existentes compreen-dem parcerias entre autores de instituies de pesquisa concentradas nos Estados Unidos, Canad, Europa e Austrlia.

Uma visualizao mais detalhada sobre a rede de colaborao est ilustrada na figura 3, que foi traada utilizando-se do software CiteSpace II para o perodo de 1983 a 2013 (at fevereiro) e restringindo-se os pases com frequncia de artigos maior ou igual a dois.

F i g u r a 2Mapa de distribuio geogrfica da rede de

colaborao de coautoria

Fonte: Elaborao prpria a partir do CiteSpace II e Google Earth Maps (KML 2.0).

A rede constituda por 49 pases (ns) e o valor da densidade da rede 0,0272, indicando que apenas 2,72% de todas as conexes possveis foram estabelecidas. Os ta-manhos dos ns indicam o nmero de publicaes, sendo um anel para cada segmento de tempo a partir da primeira publicao, e as cores representam o ano de publicao do artigo, em que as escuras representam as publicaes mais antigas e as claras as mais re-centes, conforme o mapeamento que associa cores a segmento de tempo apresentado na parte superior da figura 3.



F i g u r a 3Rede de coautoria por pas

Fonte: Elaborao prpria a partir do CiteSpace II.

Nota: Os tamanhos dos ns representam a quantidade de publicaes.

Nota-se que a rede de colaborao de coautoria por pas constituda de um compo-nente principal que conecta os pases mais representativos na literatura sobre medio de desempenho na gesto pblica. Nesse caso, a rede indica que a maior parcela (18% com 68 artigos) dos trabalhos oriunda dos Estados Unidos e da Inglaterra (5% com 48 artigos). Destacam-se tambm a Austrlia com 14 artigos, o Canad com 12, a Itlia e Holanda com 11 publicaes cada um.

Quanto s conexes, representadas pelas linhas que ligam os ns (pases), elas apon-tam as parcerias de coautoria entre instituies estrangeiras. Alm da rede principal, nota-se a existncia de pases onde as publicaes aparecem isoladas, como a Grcia, a Alemanha, a Turquia e a ndia, demonstrando uma ausncia de parcerias com pesquisadores de institui-es estrangeiras.

J os anis escuros na parte externa (figura 3) diferenciam os pases com maior centra-lidade, sendo a Inglaterra com 0,32, seguida pelos Estados Unidos com 0,26. Para Marteleto (2001), quanto mais central um indivduo, mais bem posicionado ele em relao troca e comunicao, o que aumenta seu poder na rede.

As conexes representadas pelas linhas que ligam os ns (pases) demonstram as parce-rias de coautoria entre instituies estrangeiras.

O Canad e os Estados Unidos apresentam parcerias desde 1999, com o artigo The rela-tionship between performance appraisal and indulgence in the evaluation process de autoria dos pesquisadores Denis Morin, pesquisador da Universidade de Quebec (Canad), Kevin R Mur-phy, da Universidade de Colorado (Estados Unidos) e Alain Larocque, da Universidade Laval (Canad). Enquanto a colaborao entre Inglaterra e Irlanda teve origem em 2000 com o ar-tigo Coping with ambiguity: reconciling external legitimacy and organizational implementation



in performance measurement, de autoria dos pesquisadores Alan Lawton, da Open University Business School (Inglaterra), David McKevitt, da University of Limerick (Irlanda), e Michelle Millarc, da National University of Ireland (Irlanda).

Outra anlise sobre os pases permite a identificao de suas instituies de pesquisas que se destacam. A tabela 3 lista as 10 instituies de pesquisa com maior nmero de publi-cao sobre a medio de desempenho na gesto pblica.

Ta b e l a 3Instituies de pequisa que mais publicaram artigos sobre medio de desempenho na

gesto pblica, no perodo de 1980 a 2013 (at fevereiro)

Instituio de pesquisa PasAno

predominante Frequncia

Universidade de Manchester Inglaterra 2007 7

Universidade de Wisconsin EUA 2006 5

Universidade de Groningen Holanda 2008 4

Universidade de Kansas EUA 2009 4

Universidade de Carolina do Norte EUA 1999 4

Universidade de Turin Itlia 2007 3

Escola de Economia de Londres Inglaterra 2010 3

Universidade Victoria Wellington Nova Zelndia 2007 3

Universidade Nottingham Trent Inglaterra 2005 3

Universidade de Melbourne Austrlia 2007 3

Fonte: Elaborao prpria com resultados do CiteSpace II.

A Universidade de Manchester, na Inglaterra, a que apresenta o maior nmero de arti-gos. Dessa universidade destacam-se os seguintes pesquisadores e temas: Claire Moxham com pesquisas sobre medio de desempenho em organizaes sem fins lucrativos; Paul Clarkson com a avaliao e implementao de sistemas de medio de desempenho no servio de sade pblico ingls; e Sven Modell com a gesto da contabilidade e controle na gesto pblica.

A Universidade de Wisconsin, nos Estados Unidos, ocupa a segunda posio em relao ao nmero de artigos e tem como representantes autores como Donald Moynihan e Carolyn Heinrich, que possuem artigos listados entre os 10 mais citados da amostra.

As anlises das publicaes permitiram identificar algumas caractersticas da literatura sobre medio de desempenho na gesto pblica, tais como: perodos de destaque no nmero de publicaes e citaes; peridicos mais citados; colaborao entre pases e instituies de pesquisa; e artigos mais citados.

A seo seguinte apresenta a anlise das cocitaes de autores mais frequentes e in-fluentes nos artigos da amostra.



3.2 Anlise das cocitaes de autores

Alm dos trabalhos mais citados, foram analisadas as relaes de cocitao dos autores das refe-rncias em trabalhos de terceiros. Inicialmente, foi gerada a rede de cocitao entre os autores, por meio da abordagem Author Co-citation Analysis (ACA), considerando todas as referncias da amostra, no CiteSpace II (Chen, 2006). Os autores presentes em cada artigo foram cruzados en-tre si. Em seguida, essas cocitaes foram agrupadas em conglomerados denominados clusters.

A figura 4 apresenta a rede de cocitao de autores processada a partir de 12.162 re-ferncias (93,89% do total), sendo formada por 902 ns (autores) e 4.107 links (conexes), que resultaram em 15 clusters. O resultado da pesquisa indica uma baixa densidade (0,01) que implica uma baixa conectividade entre os autores.

F i g u r a 4Rede completa de autores cocitados e componente principal cluster 9


Nota: Os crculos (ns) representam os autores. Os nmeros na figura esquerda identificam os 5 maiores clusters. Os rtulos da figura

do lado direto identificam os autores com citao superior a 20.

A anlise da rede de cocitao aponta o cluster 9 como componente principal. Ele pos-sui 782 autores e concentra 87% dos autores cocitados pelos artigos da amostra. A partir dos anos das citaes dos pares de autores, observa-se uma grande amplitude entre os anos das publicaes, sendo a mais antiga publicada em 1914 por Morris Llewellyn Cooke e as mais recentes em 2011, como o relatrio de auditoria do National Audit Office of Estonia, o artigo da pesquisadora Jasmijn Bol que aborda a medio de desempenho individual, alm do artigo sobre redes de pesquisa sobre governana da australiana Jenny Lewis.



Uma anlise complementar a partir dos resultados do CiteSpace II revela que os autores mais influentes e centrais esto concentrados no componente principal (cluster 9). O grfico 3 apresenta os 15 autores mais cocitados, que pertencem ao cluster 9 (figura 4).

O autor mais citado e central Christopher Pollitt, autor de vrios livros de referncia na rea da administrao pblica. Alm dos autores convencionais, destacam-se tambm os relatrios de auditoria da Comisso de Auditoria para a Inglaterra e Pas de Gales, que inclui os governos municipais, a polcia e o Servio Nacional de Sade.

A presena da literatura no convencional ou literatura cinzenta (grey literature) de-monstra a importncia dos relatrios como referncias para os artigos sobre medio de de-sempenho na gesto pblica. Segundo Crtes (2006), frequente o uso de relatrios tcnicos, balanos contbeis, informes governamentais e boletins tcnicos na fundamentao de procedi-mentos, anlise de desempenho e avaliao da competitividade de determinados setores. Neste sentido, Crtes (2006) afirma que a literatura cinzenta disponvel em sites de rgos oficiais e instituies no governamentais constitui fontes primordiais de informaes setoriais.

G r f i c o 3Relao dos 15 autores mais citados e/ou influentes identificados nos artigos da amostra




A anlise das cocitaes permitiu identificar os autores mais citados, os mais centrais, e ainda revelou que a literatura cinzenta exerce grande influncia no tema medio de desem-penho na gesto pblica.

A seo seguinte analisa as cocitaes das referncias mais importantes considerando citao e centralidade e os pares de documentos mais importantes.

3.3 Anlise das cocitaes de referncias

Essa ltima anlise est sobre as relaes de coocorrncia das citaes em trabalhos de ter-ceiros a partir da abordagem de similaridade entre referncias DCA (Document Co-citation Analysis) pelo CiteSpace II (Chen, 2006).

Com o objetivo de eliminar as referncias duplicadas, considerando todas as referncias da amostra, procedeu-se ao refinamento dos dados, que envolveu a gerao da rede, seguido pela conferncia das referncias em uma planilha eletrnica, o que permitiu padroniz-las. O refinamento foi realizado trs vezes, at a gerao de uma rede de cocitaes figura 5 composta por 1.087 ns (referncias), 4.209 links (conexes), 72 clusters de cocitaes, totalizando 12.162 referncias (93,89% do total).

A densidade da rede de 0,71%, o que indica uma baixa conectividade. Na parte cen-tral da rede observa-se o principal cluster (48), constitudo por 228 membros, tendo 1998 como principal ano de publicao. Esto identificados na figura os clusters 44, 19, 71 e 53, que formam, juntamente com o 48, os cinco principais clusters de cocitaes de referncias. Os r-tulos da ilustrao do lado direito identificam as referncias com citao maior ou igual a 10.

F i g u r a 5Rede completa de documentos cocitados pelos artigos da

amostra e componente principal cluster 48




No principal componente (cluster 48), com maior nmero de documentos cocitados, a citao mais atual o captulo de livro The UK Research Assessment Exercise (RAE) de Martin e Whitley (2010) em Reconfiguring knowledge production: changing authority relationships in the sciences and their consequences for intellectual. O captulo trata da avaliao da pesquisa nas universidades vinculada a dotaes financeiras. A referncia mais antiga presente no princi-pal cluster o artigo de Flanagan, publicado em 1954 no peridico Psychological Bulletin, que aborda os requisitos comportamentais para medidas de desempenho.

O cluster 44 apresenta 49 membros em sua composio, com publicaes predomi-nantes em 1984. A referncia mais recente a de Ezzamel (1994), que analisa o sistema de oramentao no processo de mudana organizacional em uma Universidade do Reino Unido, em um contexto de reduo de financiamento estatal. J a referncia mais antiga no cluster o artigo de Gouldner (1957), que estuda os papis sociais analisando o vnculo do indivduo no contexto do trabalho. A referncia com maior grau de centralidade o artigo de Freidson (1984) que aborda a sociologia da sade.

O cluster 19 est isolado em relao aos demais, sendo constitudo por 39 referncias publicadas predominantemente em 1974. Dentre os cinco maiores clusters, o 19 o que possui as publicaes mais antigas, como o livro Politics, economics and welfare de Dahl e Lindblom (1953) sobre organizaes e economia poltica, que tambm apresenta a maior frequncia no mbito do cluster. No cluster 19, no foram observadas referncias centrais ao se considerar o total de referncias.

No cluster 53, as 34 referncias agrupadas foram publicadas predominantemente em 1993, sendo a referncia mais recente a de Adair e colaboradores (2003), que trata de uma reviso da literatura sobre medio de desempenho no sistema de sade e servios de sade mental. Esse cluster apresenta referncias com alto grau de citao, considerando o total da amostra, como Pollitt (1993) e Carter e colaboradores (1992), sendo o artigo de Neil Carter o mais influente no grupo, pois possui a maior centralidade (0,08).

As 28 referncias do cluster 71 foram publicadas no perodo de 1980 a 1990, e os mais recentes so os artigos de DellOmo (1990) e Couper (1990). J o mais antigo Goodwin (1979).

Na identificao das referncias mais importantes dos artigos da amostra, foram consi-deradas a frequncia de citao e a centralidade. A partir desses dois indicadores bibliomtri-cos, as 10 cocitaes mais frequentes e as 10 mais centrais dispostas no grfico 4, resultando em 15 referncias (figura 5), constituindo-se por nove artigos e seis livros.

A referncia mais frequente o livro de Osborne e Gaebler (1992), seguido pelo artigo de Hood (1995) e o artigo de Poister e Streib (1999). J as referncias mais centrais so as de Brignall e Modell (2000), o artigo de Dimaggio e Powell (1983) e o livro de Carter e cola-boradores (1992).

A partir dos dados do grfico 4, foi gerada uma rede de cocitaes no NetDraw (figura 6), considerando as 15 referncias mais influentes. A rede apresenta os artigos citados conjun-tamente, considerando as referncias mais citadas na amostra. O tamanho do n representa a frequncia da referncia e a espessura da linha representa a frequncia da parceria.



G r f i c o 4Referncias mais citadas e centrais identificadas nos artigos da amostra


Nota: O nmero entre colchetes representa o cluster da referncia.

Os pares de documentos com maior nmero de cocitao so os trabalhos de Kaplan e Norton (artigo de 1992 e livro de 1996); os artigos de Melkers e Willoughby (2005) e Julnes e Holzer (2001); e os artigos de Melkers e Willoughby (2005) e Poister e Streib (1999).

Como resultado, pode-se argumentar que as referncias clssicas da administrao p-blica que tratam da questo da reforma da gesto pblica constituem uma base importante para a pesquisa em medio de desempenho na gesto pblica, como o livro dos consultores americanos Osborne e Gaebler (1992), Reinventing government, que destaca a ideia de go-verno empreendedor com nfase nos resultados da gesto pblica. Outro clssico presente o artigo de Christopher Hood publicado em 1995 no peridico Accounting Organizations and Society, com enfoque na discusso sobre o New Public Management (NPM) como alternativa



para a administrao pblica tradicional. O NPM tambm tema do livro de Christopher Pollitt e Geert Bouckaert (2004), pesquisadores da Universidade de Oxford.

F i g u r a 6Rede de cocitaes das 15 referncias mais frequentes/influentes

Fonte: Elaborao prpria a partir do Sitkis.

Nota: Retirou-se a citao de Freidson (1984) por no apresentar coocorrncia com os documentos mais cocitados.

Tambm merece destaque a presena do artigo de Paul Dimaggio e Walter Powell (1983), que aborda a homogeneizao das formas e prticas organizacionais.

Quanto s referncias que tratam especificamente da medio de desempenho, desta-cam-se na formao do corpo terico os trabalhos de Kaplan e Norton (artigo de 1992 e livro de 1996). O modelo de medio de desempenho Balanced Scorecard (BSC) proposto por Kaplan e Norton (1992) o modelo de medio de desempenho mais difundido do mundo (Tezza et al., 2010).

Foi possvel identificar, por meio das cocitaes mais frequentes e tambm as com maior grau de centralidade, um grupo de artigos e livros que abordam especificamente a medio de desempenho no contexto da gesto pblica, sendo eles: Poister e Streib (1999), Melkers e Willoughby (2005), Behn (2003), Julnes e Holzer (2001), Brignall e Modell (2000), Carter e colaboradores (1992) e Radin (2006).

A anlise das cocitaes de referncias evidenciou que existe uma baixa conectividade entre os autores citados na rede, que apresentou quatro agrupamentos (clusters) que se desta-



cam. Essa anlise tambm possibilitou identificar as referncias mais importantes consideran-do citao e centralidade e tambm os pares de documentos mais importantes.

4. Dados obtidos na base SciELO

Com a finalidade de levantar a produo nacional sobre o tema medio de desempenho na gesto pblica, foi realizada uma busca na base de dados SciELO Brasil. Essa base foi esco-lhida em funo do acesso aberto, qualidade e prestgio atribudo aos peridicos no cenrio cientfico brasileiro (Santos e Noronha, 2013).

Os termos utilizados na busca da base SciELO foram medio de desempenho ou avaliao de desempenho combinados com pblico ou pblica. A busca resultou em 12 artigos publicados no perodo de 2002 a 2013, que so apresentados na Tabela 4.

Ta b e l a 4A amostra de artigos da SciELO

Autoria Ttulo Peridico CitaesSciELO

Szwarcwald e colaboradores (2005)

Desigualdades socioeconmicas em sade no Brasil: resultados da Pesquisa Mundial de Sade, 2003

Revista Brasileira de Sade Materno Infantil 16

Sancho e colaboradores (2011)

Avaliao da efetividade da rede municipal pblica de apoio diagnstico em patologia clnica: o caso de

Belo Horizonte (MG)Cincias & Sade Coletiva 3

Bonacim e Araujo (2011)

Avaliao de desempenho econmico-financeiro dos servios de sade: os reflexos das polticas

operacionais no setor hospitalarCincias & Sade Coletiva 1

Ubeda e Santos (2008) Os principais desafios da gesto de competncias humanas em um instituto pblico de pesquisa Gesto & Produo 1

Pierantoni e colaboradores (2011)

Avaliao de desempenho: discutindo a tecnologia para o planejamento e gesto de recursos humanos

em sade

Revista da Escola de Enfermagem da USP 0

Lotta (2002) Avaliao de desempenho na rea pblica: perspectivas e propostas frente a dois casos prticos RAE Eletrnica 0

Bonacim e Araujo (2010)

Influncia do capital intelectual na avaliao de desempenho aplicada ao setor hospitalar Cincias & Sade Coletiva 0

Fonseca e Vieira (2011)Anlise pluridisciplinar das situaes de trabalho: para alm da avaliao de desempenho dos trabalhadores do setor de sade pblica no estado de Minas Gerais

Sade e Sociedade 0

Varela e colaboradores (2012)

Desempenho dos municpios paulistas: uma avaliao de eficincia da ateno bsica sade

Revista de Administrao (So Paulo) RAUSP 0

Mota e colaboradores (2012)

Avaliao do Sistema de Vigilncia Sanitria do Sangue em mbito federal, Brasil, 2007 Cincias & Sade Coletiva 0

Continua



Autoria Ttulo Peridico CitaesSciELO

Braz e colaboradores (2013)

Avaliao da completude da varivel raa/cor nos sistemas nacionais de informao em sade para aferio da equidade tnico-racial em indicadores usados pelo ndice de Desempenho do Sistema

nico de Sade

Sade em Debate 0

Moraes e Iguti (2013)Avaliao do desempenho do trabalhador como forma peculiar de prescrio do trabalho: uma

anlise do PMAQ-ABSade em Debate 0

21


A evoluo temporal das publicaes, bem como das citaes concedidas por publica-es da base SciELO, pode ser observada no grfico 5. A linha slida representa a evoluo das publicaes e a tracejada a das citaes. Pode-se observar que o nmero de publicaes e citaes crescente, com pico de publicaes em 2011 (total de quatro) e de citaes em 2012 (total de sete).

G r f i c o 5Publicaes e citaes na base SciELO


A anlise dos 12 artigos apontou que o total de 21 citaes recebidas por artigos da base SciELO est concentrado em quatro artigos, 33% do total.

Por meio da anlise dos artigos da amostra SciELO foram identificados sete trabalhos voltados avaliao de desempenho organizacional do setor da sade e cinco relacionados



com o desempenho do indivduo. Dos artigos voltados ao desempenho do trabalhador, trs tm como foco a rea da sade e, com um cada, tem-se como local de pesquisa o instituto de pesquisa pblico e as prefeituras municipais.

Quanto aos artigos relacionados com a avaliao do desempenho da organizao, o artigo de Szwarcwald e colaboradores (2005) o que recebeu o maior nmero de cita-es na base SciELO. Os autores, por meio de informaes coletadas na Pesquisa Mundial de Sade (PMS), abordam a avaliao de desempenho do sistema de sade brasileiro, apresentando evidncias de desigualdades socioeconmicas que devem ser consideradas nas polticas pblicas do sistema de sade. J o artigo de Varela e colaboradores (2012) prope uma metodologia de avaliao de desempenho dos municpios paulistas em aes de ateno sade.

O artigo de Mota e colaboradores (2012) aborda a avaliao de desempenho do Sis-tema de Vigilncia Sanitria de Sangue em mbito federal, enquanto o artigo de Sancho e colaboradores (2011) enfoca a avaliao da rede municipal pblica de apoio diagnstico em patologia clnica em Belo Horizonte (MG). J a avaliao econmica de hospital universitrio pblico tema dos artigos de Bonacim e Araujo (2010, 2011).

O artigo de Braz e colaboradores (2013) aborda a qualidade da informao, especifica-mente a varivel raa/cor, no mbito do ndice de Desempenho do Sistema nico de Sade institudo pelo Ministrio da Sade.

No tocante aos trabalhos voltados avaliao de desempenho do indivduo tambm h um predomnio dos artigos voltados rea da sade, como Fonseca e Vieira (2011), Pieran-toni e colaboradores (2011) e Moraes e Iguti (2013).

O artigo de Ubeda e Santos (2008) aborda a avaliao de desempenho como forma de identificar as competncias individuais em um instituto pblico de pesquisa, enquanto a pesquisa de Lotta (2002) trata da avaliao de desempenho de trabalhadores em duas prefei-turas, So Paulo (Brasil) e Sonthofen (Alemanha).

Os artigos coletados tiveram suas publicaes concentradas em oito peridicos (tabela 5). Observa-se uma concentrao das publicaes nove (75%) em peridicos da rea da sade, destacando-se o peridico Cincias & Sade Coletiva com quatro artigos (33% do total da amostra).

Nota-se tambm a presena de artigos sobre medio de desempenho na gesto pblica em peridicos de outras reas como Cincias Sociais Aplicadas, RAE Eletrnica, Revista de Ad-ministrao (So Paulo) RAUSP e Gesto & Produo na rea de Engenharias.

No perodo de 2010 a 2013, foram publicados nove trabalhos cientficos, o triplo da quantidade de artigos publicados na dcada anterior.

Analisando as referncias, observa-se uma pulverizao das citaes, com apenas cinco (1,48%) do total de referncias (337) recebendo mais de uma citao pelos artigos da amos-tra. Dessa forma, no foi possvel evidenciar uma referncia e autor de destaque. Nas refern-cias dos artigos analisados na base SciELO no foram observadas convergncias significativas com as referncias identificadas na base do WoS.



Ta b e l a 5Publicaes nos peridicos que publicaram sobre medio de desempenho

na gesto pblica na base SciELO

Peridico

2000a

2009

2010a

2013 Total

Cincias & Sade Coletiva 0 4 4

Gesto & Produo 1 0 1

RAE Eletrnica 1 0 1

Revista de Administrao (So Paulo) RAUSP 0 1 1

Revista Brasileira de Sade Materno Infantil 1 0 1

Revista da Escola de Enfermagem da USP 0 1 1

Sade em Debate 0 2 2

Sade e Sociedade 0 1 1

Total 3 9 12


5. Consideraes finais

A partir desta pesquisa foi possvel apresentar um panorama da produo intelectual no cam-po da medio de desempenho na gesto pblica na Web of Science, por meio da anlise bibliomtrica. Para fins de comparao com a produo nacional tambm foram analisados artigos da base SciELO.

A pesquisa efetuada permitiu constatar que na WoS tanto as publicaes quanto as citaes relacionadas com a medio de desempenho na gesto pblica tiveram um aumento expressivo a partir de 1997, poca em que surgiu a Nova Gesto Pblica (New Public Mana-gement).

As publicaes sobre medio de desempenho na gesto pblica surgiram em sua maio-ria a partir de 2008 e os 10 artigos mais citados tm suas publicaes entre os perodos de 1996 e 2006. Isso demonstra que o campo de pesquisa recente e emergente.

Os journals que mais se destacaram em relao temtica em estudo foram cinco: International Review of Administrative Sciences, Public Administration Review, Public Money & Management, The International Journal of Human Resource Management, Review of Public Per-sonnel Administration e International Journal of Operations & Production Management. Os trs primeiros esto relacionados com a administrao pblica e os dois ltimos relacionam-se s reas de gesto de pessoas e de gesto de operaes.

Outra evidncia dessa pesquisa indica que as parcerias de pesquisa esto concentradas nos Estados Unidos, Canad, Europa e Austrlia, com destaque para Estados Unidos e Ingla-



terra. No que tange instituio de pesquisa, a Universidade de Manchester, na Inglaterra, a que apresenta o maior nmero de artigos, com destaque para os pesquisadores Claire Mo-xham, Paul Clarkson e Sven Modell.

A pesquisa tambm revela o autor Christopher Pollitt como de maior destaque, sendo referncia na rea da administrao pblica devido publicao de vrios livros.

Outro destaque est para a literatura no convencional ou literatura cinzenta (grey literature, em ingls), demonstrando a relevncia para o tema de medio de desempenho na gesto pblica como os relatrios de auditoria da Comisso de Auditoria para a Inglaterra e Pas de Gales.

A pesquisa tambm permitiu identificar os pares de documentos com maior nmero de cocitaes, que so: Kaplan e Norton (artigo de 1992 e livro de 1996); os artigos de Melkers e Willoughby (2005) e Julnes e Holzer (2001); e os artigos de Melkers e Willoughby (2005) e Poister e Streib (1999). Ao lado disso, pde-se perceber que os trabalhos de Kaplan e Nor-ton, tanto no artigo de 1992 quanto no livro de 1996, so utilizados para a insero do tema medio de desempenho na gesto pblica. J os trabalhos que fazem mediao dos temas medio de desempenho e gesto pblica so os seguintes: Poister e Streib (1999), Melkers e Willoughby (2005), Behn (2003), Julnes e Holzer (2001), Brignall e Modell (2000), Carter e colaboradores (1992) e Radin (2006).

Quanto produo nacional, o tema medio de desempenho no setor pblico reve-lou-se como emergente na base SciELO com pico de publicaes em 2011 e de citaes em 2012. Observa-se uma concentrao de artigos em peridicos da rea da sade, com desta-que para o Cincias & Sade Coletiva e o Sade em Debate. O achado da literatura cinzenta tambm foi identificado na pesquisa da base SciELO, com destaque para os instrumentos legais e normativos como do Ministrio da Sade e da Agncia Nacional de Vigilncia Sa-nitria (Anvisa). Dadas a limitao do tamanho da amostra nacional e a pulverizao das citaes concedidas no foi possvel destacar um autor ou uma referncia dos dados prove-nientes da base SciELO.

Outra contribuio deste artigo est no prprio mtodo de anlise dos dados da WoS, na medida em que apresenta a integrao entre softwares de anlises bibliomtricas e acres-centa a etapa de validao e padronizao das referncias. A integrao dos softwares Sitkis, Netdraw e CiteSpace II possibilitou que a rede fosse refinada, isolando os pares de docu-mentos mais cocitados. J a validao e padronizao concederam maior confiabilidade dos indicadores de centralidade e frequncia de autores e documentos ao eliminar as referncias duplicadas e corrigir erros de importao dos dados dos softwares.

Finalmente, pode-se concluir que a literatura sobre medio de desempenho na gesto pblica emergente, sendo composta por livros, relatrios tcnicos e artigos cientficos. Isso abre muitas possibilidades de pesquisa, como a de estudar os autores mais citados ou coci-tados, alm da anlise bibliomtrica, para identificar suas caractersticas, o porqu de eles serem to populares, e assim por diante. Tambm seria interessante estudar, por meio de anlise de contedo, os autores que servem de ligao entre os demais autores e, ainda, os peridicos apontados como mais importantes.



Uma limitao imposta pela abordagem metodolgica refere-se delimitao da amos-tra extrada da base de dados internacional (Web of Science) e nacional (SciELO). Por isso, possvel que alguns artigos aderentes ao tema possam no ter sido selecionados.

Referncias

ADAIR, Carol E. et al. History and measurement of continuity of care in mental health services and evidence of its role in outcomes. Psychiatric Services, v. 54, n. 10, p. 1351-1356, 2003.

BEHN, Robert D. Why measure performance? Different purposes require different measures. Public Administration Review, v. 63, n. 5, p. 586-606, 2003.

BITITCI, Umit et al. Performance measurement: challenges for tomorrow. International Journal of Management Reviews, v. 14, n. 3, p. 305-327, 2012.

BONACIM, Carlos A. G.; ARAUJO, Adriana M. P. de. Avaliao de desempenho econmico-financeiro dos servios de sade: os reflexos das polticas operacionais no setor hospitalar. Cinc. Sade Cole-tiva, Rio de Janeiro, v. 16, n. supl. 1, p. 1055-1069, 2011.

BONACIM, Carlos A. G.; ARAUJO, Adriana M. P. de. Influncia do capital intelectual na avaliao de desempenho aplicada ao setor hospitalar. Cinc. Sade Coletiva, Rio de Janeiro, v. 15, n. supl. 1, p. 1249-1261, jun. 2010.

BORGATTI, Stephen P. NetDraw: graph visualization software. Harvard: Analytic Technologies, 2002.

BOURNE, M. et al. Designing, implementing and updating performance measurement systems. International Journal of Operations & Production Management, v. 20, n. 7, p. 754-771, 2000.

BRAZ, Rui M. et al. Avaliao da completude da varivel raa/cor nos sistemas nacionais de in-formao em sade para aferio da equidade tnico-racial em indicadores usados pelo ndice de Desempenho do Sistema nico de Sade. Sade Debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, dez. 2013.

BRIGNALL, Stan; MODELL, Sven. An institutional perspective on performance measurement and management in the new public sector. Management Accounting Research, v. 11, n. 3, p. 281-306, 2000.

BUFREM, Leilah; PRATES, Yara. O saber cientfico registrado e as prticas de medio da informa-o. Cincia da Informao, Braslia, v. 34, n. 2, p. 9-25, mar. 2005.

CARTER, Neil; DAY, Patricia; KLEIN, Rudolf. How organisations measure success: the use of perfor-mance indicators in government. Londres: Routledge, 1992.

CATELLI, Armando; SANTOS, Edilene S. Mensurando a criao de valor na gesto pblica. Rev. Adm. Pblica, Rio de Janeiro, v. 38, n. 3, p. 423-449, ago. 2004.



CHADEGANI, Arif C. et al. A comparison between two main academic literature collections: Web of Science and Scopus databases. Asian Social Science, v. 9, n. 5, p. 18-26, 2013.

CHEN, Chaomei. CiteSpace II: detecting and visualizing emerging trends and transient patterns in scientific literature. Journal of the American Society for Information Science and Technology, v. 57, n. 3, p. 359-377, 2006.

CRTES, Pedro L. A importncia da literatura cinzenta disponvel na internet para as reas de Cincias Contbeis e Administrao de Empresas. Revista Brasileira de Gesto de Negcios, v. 8, n. 20, p. 13-22, 2006.

COUPER, David C. Police department learns 10 hard quality lessons. Quality Progress, v. 23, n. 10, p. 37-40, 1990.

DAHL, Robert A.; LINDBLOM, Charles E. Politics, economics, and welfare. Piscataway: Transaction Publishers, 1953.

DELLOMO, Gregory G. Capturing arbitrator decision policies under a public sector interest arbitra-tion statute. Review of Public Personnel Administration, v. 10, n. 2, p. 19-38, 1990.

DIMAGGIO, Paul J.; POWELL, Walter W. The iron cage revisited: institutional isomorphism and col-lective rationality in organizational fields. American Sociological Review, v. 48, n. 2, p. 147-160, 1983.

EZZAMEL, Mahmoud. Organizational change and accounting: understanding the budgeting system in its organizational context. Organization Studies, v. 15, n. 2, p. 213-240, 1994.

FERNANDEZ, Sergio; RAINEY, Hal G. Managing successful organizational change in the public sector. Public Administration Review, v. 66, n. 2, p. 168-176, 2006.

FLANAGAN, John C. The critical incident technique. Psychological Bulletin, v. 51, n. 4, p. 327, 1954.

FONSECA, Joo C. de F.; VIEIRA, Carlos E. C. Anlise pluridisciplinar das situaes de trabalho: para alm da avaliao de desempenho dos trabalhadores do setor de sade pblica no estado de Minas Gerais. Sade Soc., So Paulo, v. 20, n. 2, p. 390-397, jun. 2011.

FRANCO-SANTOS, Monica et al. Contemporary performance measurement systems: a review of their consequences and a framework for research. Management Accounting Research, v. 23, n. 2, p. 79-119, 2012.

FRANCO-SANTOS, Monica et al. Towards a definition of a business performance measurement sys-tem. International Journal of Operations & Production Management, v. 27, n. 8, p. 784-801, 2007.

FREIDSON, Eliot. The changing nature of professional control. Annual Review of Sociology, v. 10, p. 1-20, 1984.

GARFIELD, Eugene. Is citation analysis a legitimate evaluation tool? Scientometrics, Amsterd, v. 1, n. 4, p. 359-375, 1979.



GONZLEZ, Mario O. A.; TOLEDO, Jos Carlos de. A integrao do cliente no processo de desenvol-vimento de produto: reviso bibliogrfica sistemtica e temas para pesquisa. Produo, So Paulo, v. 22, n. 1, p. 14-26, 2012.

GOODWIN, Van Allyn. Federal sector arbitration under the civil service reform act of 1978. San Diego L. Rev., v. 17, n. 4, p. 857-894, 1979.

GOULDNER, A. W. Cosmopolitans and locals: toward an analysis of latent social rotes I. Admin-istrative Science Quarterly, v. 2, n. 3, p. 281-306, 1957.

HANNEMAN, Robert A.; RIDDLE, Mark. Introduction to social network methods. Riverside, CA: University of California, 2005.

HEFETZ, Amir; WARNER, Mildred. Privatization and its reverse: explaining the dynamics of the government contracting process. Journal of Public Administration Research and Theory, v. 14, n. 2, p. 171-190, 2004.

HEINRICH, Carolyn J. Outcomes-based performance management in the public sector: implica-tions for government accountability and effectiveness. Public Administration Review, v. 62, n. 6, p. 712-725, 2002.

HOOD, Christopher. The New Public Management in the 1980s: variations on a theme. Account-ing, organizations and society, v. 20, n. 2, p. 93-109, 1995.

JULNES, Patria de L.; HOLZER, Marc. Promoting the utilization of performance measures in public organizations: An empirical study of factors affecting adoption and implementation. Public Admin-istration Review, v. 61, n. 6, p. 693-708, 2001.

KAPLAN, Robert S.; NORTON, David P. The balanced scorecard measures that drive performance. Harvard Business Review, v. 70, n. 1, p. 71-79, jan./fev. 1992.

KAPLAN, Robert S.; NORTON, David P. The balanced scorecard: translating strategy into action. Nova York: Harvard Business Review Press, 1996.

KRAVCHUK, Robert S.; SCHACK, Ronald W. Designing effective performance-measurement systems under the Government Performance and Results Act of 1993. Public Administration Review, v. 56, n. 4, p. 348-358, 1996.

LACERDA, Rogrio T. O. et al. Uma anlise bibliomtrica da literatura sobre estratgia e avaliao de desempenho. Gesto & Produo, v. 19, n. 1, p. 59-78, 2012.

LOTTA, Gabriela S. Avaliao de desempenho na rea pblica: perspectivas e propostas frente a dois casos prticos. RAE electron., So Paulo, v. 1, n. 2, p. 1-12, dez. 2002. Disponvel em: . Acesso em: 15 jul. 2014.

MARTELETO, Regina M. Anlise de redes sociais aplicao nos estudos de transferncia da in-formao. Cincia da Informao, Braslia, v. 30, n. 1, p. 71-81, jan./abr. 2001.



MARTIN, Ben; WHITLEY, Richard. The UK research assessment exercise: a case of regulatory cap-ture? In: WHITLEY, Richard; GLAESER, Jochen; ENGWALL, Lars (Ed.). Reconfiguring knowledge production changing authority relationships in the sciences and their consequences for intellectual innovation. Oxford: Oxford University Press, 2010. p. 51-80.

MELKERS, Julia; WILLOUGHBY, Katherine. Models of performance-measurement use in local governments: understanding budgeting, communication, and lasting effects. Public Administration Review, v. 65, n. 2, p. 180-190, 2005.

MOON, M. Jae et al. Municipal reinvention: managerial values and diffusion among municipalities. Journal of Public Administration Research and Theory, v. 11, n. 3, p. 327-352, 2001.

MORAES, Paulo N. de; IGUTI, Aparecida M. Avaliao do desempenho do trabalhador como forma peculiar de prescrio do trabalho: uma anlise do PMAQ-AB. Sade Debate, Rio de Janeiro, v. 37, n. 98, p. 416-426, set. 2013.

MOTA, Daniel M. et al. Avaliao do Sistema de Vigilncia Sanitria do Sangue em mbito federal, Brasil, 2007. Cinc. Sade Coletiva, Rio de Janeiro, v. 17, n. 1, p. 191-202, jan. 2012.

MOTTA, Paulo Roberto de M. O estado da arte da Gesto Pblica. RAE-Revista de Administrao de Empresas, v. 53, n. 1, p. 82-90, 2013.

MOYNIHAN, Donald P. Managing for results in state government: evaluating a decade of reform. Public Administration Review, v. 66, n. 1, p. 77-89, 2006.

MUGNAINI, Rogrio et al. Indicadores bibliomtricos da produo cientfica brasileira: uma anlise a partir da base Pascal. Cincia da Informao, Braslia, v. 33, n. 2, p. 123-131, 2004.

NUDURUPATI, S. S. et al. State of the art literature review on performance measurement. Comput-ers & Industrial Engineering, v. 60, n. 2, p. 279-290, 2011.

OSBORNE, David; GAEBLER, Ted. Reinventing government: how the entrepreneurial spirit is trans-forming the public sector. Reading, MA: Addison-Wesley, 1992.

PIERANTONI, Celia Regina et al. Avaliao de desempenho: discutindo a tecnologia para o plane-jamento e gesto de recursos humanos em sade. Rev. Esc. Enferm. USP, So Paulo, v. 45, n. spe, p. 1627-1631, dez. 2011.

POISTER, Theodore H.; STREIB, Gregory D. Strategic management in the public sector: concepts, models, and processes. Public Productivity & Management Review, v. 22, n. 3, p. 308-325, 1999.

POLLITT, Christopher. Managerialism and the public services: cuts or cultural change in the 1990s? Oxford: Blackwell, 1993.

POLLITT, Christopher; BOUCKAERT, Geert. Reforma managementului public: analiz comparat. Status: Published, 2004.

PRATCHETT, Lawrence. New technologies and the modernization of local government: an analysis of biases and constraints. Public Administration, v. 77, n. 4, p. 731-751, 1999.



RADIN, Beryl. Challenging the performance movement: accountability, complexity, and democratic values. Washington, DC: Georgetown University Press, 2006.

SANCHO, Leyla G.; VARGENS, Jos M. da C.; SANCHO, Rafael G. Avaliao da efetividade da rede municipal pblica de apoio diagnstico em patologia clnica: o caso de Belo Horizonte (MG). Cinc. Sade Coletiva, Rio de Janeiro, v. 16, n. supl. 1, p. 1135-1144, 2011.

SANDERSON, Ian. Performance management, evaluation and learning in modern local govern-ment. Public Administration, v. 79, n. 2, p. 297-313, 2001.

SANO, Hironobu; ABRUCIO, Fernando Luiz. Promessas e resultados da Nova Gesto Pblica no Brasil: o caso das organizaes sociais de sade em So Paulo. Revista de Administrao de Empresas, v. 48, n. 3, p. 64-80, 2008.

SANTOS, Solange M. dos; NORONHA, Daisy P. Peridicos brasileiros de cincias sociais e huma-nidades indexados na base SciELO: caractersticas formais. Perspect. Cinc. Inf., Belo Horizonte, v. 18, n. 2, p. 2-16, jun. 2013.

SCHILDT, H. A. SITKIS: software for bibliometric data management and analysis v0.6.1. Helsinki: Institute of Strategy and International Business, 2002.

SPEKL, Roland F.; VERBEETEN, Frank H. M. The use of performance measurement systems in the public sector: effects on performance. Management Accounting Research, v. 25, n. 2, p. 131-146, 2014.

SPINAK, Ernesto. Diccionrio enciclopdico de bibliometra, cienciometra e informetra. Montevidu: Unesco, 1996.

SZWARCWALD, Clia L. et al. Desigualdades socioeconmicas em sade no Brasil: resultados da Pesquisa Mundial de Sade, 2003. Rev. Bras. Sade Mater. Infant., Recife, v. 5, supl. 1, p. S11-S22, dez. 2005.

TAGUE-SUTCKIFFE, Jean. An introduction to informetrics. Information Processing & Management, v. 28, n. 1, p. 1-3, 1992.

TAHAI, Alireza; MEYER Meyer J. A revealed preference study of management journals direct influ-ences. Strategic Management Journal, v. 20, n. 3, p. 279-296, 1999.

TAYLOR, Andrew; TAYLOR, Margaret. Operations management research: contemporary themes, trends and potential future directions. International Journal of Operations & Production Management, v. 29, n. 12, p. 1316-1340, 2009.

TEZZA, Rafael et al. Sistemas de medio de desempenho: uma reviso e classificao da literatura. Gesto & Produo, So Carlos, v. 17, n. 1, p. 75-93, jan./mar. 2010.

TOWNLEY, Barbara. The institutional logic of performance appraisal. Organization Studies, v. 18, n. 2, p. 261-285, 1997.

TOWNLEY, Barbara et al. Performance measures and the rationalization of organizations. Organi-zation Studies, v. 24, n. 7, p. 1045-1071, 2003.



UBEDA, Cristina L.; SANTOS, Fernando C. A. Os principais desafios da gesto de competncias humanas em um instituto pblico de pesquisa. Gest. Prod., So Carlos, v. 15, n. 1, p. 189-199, abr. 2008.

VANZ, Samile A. de S.; CAREGNATO, Snia E. Estudos de citao: uma ferramenta para entender a comunicao cientfica. Em Questo, Porto Alegre, v. 9, n. 2, p. 295-307, jul./dez. 2003.

VARELA, Patrcia S. et al. Desempenho dos municpios paulistas: uma avaliao de eficincia da ateno bsica sade. Rev. Adm. (So Paulo), So Paulo, v. 47, n. 4, p. 624-637, dez. 2012.

WASSERMAN, Stanly; FAUST, Katherine. Social network analysis: methods and applications. Cam-bridge: University Press, 1994.

rica Kushihara Akim especialista em gesto pblica pela Universidade Federal de So Carlos (UFSCar). E-mail: [email protected].

Ricardo Coser Mergulho professor do Programa de Ps-Graduao em Engenharia de Produo da Universidade Federal de So Carlos Sorocaba (UFSCar). E-mail: [email protected].

Panorama da produção intelectual sobre a medição de desempenho na gestão pública

Documents

Transcript of Panorama da produção intelectual sobre a medição de desempenho na gestão pública