Post on 14-Feb-2019
Levantamento e avaliação da literatura econômica
sobre o BNDES
Produto 5 – Análise Bibliométrica
Maio de 2013
3
Levantamento e avaliação
da literatura econômica
sobre o BNDES
Pesquisa Científica nº 03/2011 – FEP/BNDES
Literatura Econômica1
Pesquisadores:
Alex Luiz Ferreira
Anne Hanley
Júlio Manuel Pires
Maurício Jorge Pinto de Souza
Renato Leite Marcondes
Rosane Nunes de Faria
Sérgio Naruhiko Sakurai
Assistentes:
Guilherme Byrro Lopes
Graziella Magalhães Candido de Castro
Gustavo Foresto Crispim
1 Este projeto está sendo executado com o apoio financeiro do Banco Nacional do Desenvolvimento
Econômico e Social (BNDES), por meio de financiamento não reembolsável com recursos do Fundo de
Estruturação de Projetos do BNDES (FEP). O conteúdo dos estudos e pesquisas é de exclusiva
responsabilidade dos autores, não refletindo, necessariamente, a opinião do BNDES. Para maiores
informações sobre essa modalidade de financiamento, acesse o site
http://www.bndes.gov.br/programas/outros/fep.asp
5
Índice Lista de Figuras .............................................................................................................. 6
Lista de Tabelas .............................................................................................................. 7
Indicadores bibliométricos para a avaliação da Literatura Econômica do BNDES
no período de 1952-2013 ................................................................................................ 8
1. Introdução ............................................................................................................. 8
2. Indicadores Bibliométricos ................................................................................. 10
3. Metodologia ........................................................................................................ 13
3.1. Banco de Dados ............................................................................................ 13
3.2. Método de Análise ....................................................................................... 17
4. Resultados ........................................................................................................... 20
4.1. Indicadores de Produção .............................................................................. 20
4.1.1. Variáveis de característica das obras ........................................................ 20
4.1.2 Variáveis de classificação das obras ......................................................... 33
4.2. Indicadores de Desempenho......................................................................... 37
4.2.1. Variáveis de característica das obras ........................................................ 37
4.2.2. Variáveis de classificação das obras ......................................................... 46
4.3. Indicadores Relacionais................................................................................ 49
5. Considerações Finais .......................................................................................... 61
Referências Bibliográficas ......................................................................................... 64
Anexo I............................................................................................................................66
Anexo II........ ................................................................................................................. 71
Anexo III....... ................................................................................................................. 76
Anexo IV..... ................................................................................................................... 78
Anexo V............ ............................................................................................................. 80
6
Lista de Figuras
Figura 1 - Esquema representativo das fases da montagem do banco de dados do Projeto
“Literatura Econômica sobre BNDES” .......................................................................... 13
Figura 2 - Resumo do processo de análise bibliométrica ............................................... 18
Figura 3 - Evolução dos documentos da literatura econômica sobre o BNDES no
período 1957-2013 e instituição responsável ................................................................. 22
Figura 4 - Documentos da literatura econômica sobre o BNDES, por tipo e Instituição
responsável pela publicação ........................................................................................... 24
Figura 5 - Distribuição de frequência dos periódicos acadêmicos ................................. 28
Figura 6 - Distribuição das publicações sobre o BNDES por autores ............................ 31
Figura 7 - Autores que mais publicaram sobre o BNDES com a respectiva instituição de
afiliação .......................................................................................................................... 32
Figura 8 - Documentos da literatura econômica sobre o BNDES, por idioma e país da
publicação ....................................................................................................................... 33
Figura 9 - Classificação das obras sobre o BNDES de acordo com o grau de referência
que o documento confere ao banco ................................................................................ 35
Figura 10 - Distribuição de frequência dos documentos da literatura econômica sobre o
BNDES por número de citação recebida ........................................................................ 38
Figura 11 - Evolução do número de citações dos principais trabalhos mais citados no
Banco de Dados .............................................................................................................. 42
Figura 12 - Distribuição dos autores por número de citação recebida ........................... 43
Figura 13 - Distribuição das obras sobre o BNDES de acordo com o número de citações
recebidas e grau de referência ao banco ......................................................................... 49
Figura 14 - Redes de citação dos dezessete trabalhos mais citados no Banco de Dados 51
Figura 15 - Redes de co-citação dos dezessete trabalhos mais citados .......................... 52
Figura 16 - Distribuição dos autores de acordo com o número de coautores, segundo
afiliações ao BNDES e outras instituições ..................................................................... 55
Figura 17 - Três principais redes de coautoria identificadas no Banco de Dados .......... 56
Figura 18 - Número de documentos produzidos em coautoria e sua participação no total
(1968-2013) .................................................................................................................... 57
Figura 19 - Redes de cooperação entre instituições ....................................................... 60
7
Lista de Tabelas
Tabela 1 - Temáticas consideradas na Fase III de classificação dos documentos .......... 16
Tabela 2 - Características gerais do Banco de Dados ..................................................... 21
Tabela 3 - Documentos da literatura econômica sobre o BNDES, por tipo e década da
publicação ....................................................................................................................... 25
Tabela 4 - Principais instituições nacionais responsáveis pela publicação da literatura
econômica sobre o BNDES, por tipo de documento ...................................................... 26
Tabela 5 - Principais instituições internacionais responsáveis pela publicação da
literatura econômica sobre o BNDES ............................................................................. 27
Tabela 6 - Principais periódicos em que foram publicados artigos sobre o BNDES,
quantidade de artigos e participação no total de artigos publicados............................... 29
Tabela 7 - Classificação Qualis/CAPES dos periódicos em que foram publicados artigos
sobre o BNDES, quantidade e participação no total ...................................................... 30
Tabela 8 - Principais temáticas tratadas nas obras sobre o BNDES, número de vezes e
participação ..................................................................................................................... 34
Tabela 9 - Principais períodos tratados nas obras sobre o BNDES, número de vezes e
participação ..................................................................................................................... 35
Tabela 10 - Principais temáticas e períodos tratados nas obras sobre o BNDES ........... 36
Tabela 11 - Estatísticas Descritivas do Número de citações por documento por
instituição responsável .................................................................................................... 38
Tabela 12 - Os dezessete principais trabalhos de acordo com o número de citações
recebidas ......................................................................................................................... 39
Tabela 13 - Citações com código unificado, principais documentos ............................. 41
Tabela 14 - Autores mais citados e indicador de citação média por publicação ............ 44
Tabela 15 - Periódicos mais citados e indicador de citação média por publicação ........ 45
Tabela 16 - Distribuição das obras sobre o BNDES de acordo com o número de citações
recebidas e temática tratada ............................................................................................ 47
Tabela 17 - Distribuição das obras sobre o BNDES de acordo com o número de citações
recebidas e período avaliado........................................................................................... 48
Tabela 18 - Análise Fatorial aplicada a rede de citações dos trabalhos mais citados ..... 54
Tabela 19 - Distribuição das obras realizadas em coautoria com cooperação externa, de
acordo com afiliação ao BNDES e a outras instituições ................................................ 58
Tabela 20 – Citações com código unificado, por documento......................................... 71
Tabela 21 – Comparação das consultas dos principais documentos no Google
Acadêmico ...................................................................................................................... 75
Tabela 22 – Número de documentos identificados nas principais ferramentas de busca79
Tabela 23 - Resultado completo da Análise Fatorial ...................................................... 80
8
Indicadores bibliométricos para a avaliação da Literatura
Econômica do BNDES no período de 1952-2013
1. Introdução
A despeito da importância do BNDES para provisão de financiamento de longo
prazo desde sua criação na década de 1950, e da literatura econômica produzida a seu
respeito, não existe ainda uma sistematização e avaliação do perfil dessa literatura.
Algumas questões importantes como o tamanho da produção acadêmica sobre o
BNDES desde o seu início; a repercussão das publicações; os autores mais prolíficos; as
principais instituições que têm desenvolvido trabalhos acadêmicos sobre o BNDES; as
principais temáticas dessa produção; a tendência da produção, entre outras questões
relacionadas, ainda não foram respondidas.
Nesse contexto, o presente relatório aborda a seguinte problemática: quais as
principais características da produção acadêmica em economia sobre o BNDES no
período de 1952-2013. Assim, a partir de uma avaliação quantitativa da literatura
econômica sobre o BNDES, a principal contribuição desta pesquisa é prover o banco de
informações que contribuam para a maior compreensão da literatura que tem sido
desenvolvida a seu respeito e da tendência dessa produção.
A análise quantitativa é conduzida por meio de indicadores bibliométricos
calculados a partir de um Banco de Dados gerado pelo projeto intitulado “Levantamento
e avaliação da literatura econômica acadêmica brasileira e internacional sobre o
BNDES” (FEP 03/2011).
Apesar de o termo bibliometria ter sido criado apenas em 1969, por Alan
Pritchard, a análise de citação e outras medidas de impacto têm sido discutidas e
aplicadas a diferentes objetivos desde o primeiro quartil do século XX. Gross e Gross
(1927) aplicaram a análise de citação de periódicos para a identificação dos periódicos
mais influentes para os estudantes de química e, dessa forma, orientar a política de
aquisição dos periódicos de uma biblioteca.
O termo bibliometria é definido como a aplicação de métodos matemáticos e
estatísticos para medir a quantidade e o desempenho de publicações como livros, artigos
e outros meios de comunicação (PRITCHARD, 1969).
9
A análise bibliométrica caracteriza-se como um instrumento importante para as
organizações, pois consiste em uma ferramenta que possibilita a criação de perfis de
áreas de interesse, o mapeamento de relacionamento de autores, a análise de tendência e
o desenvolvimento de indicadores de inovação (OKUBO, 1997; PENTEADO et al.,
2003). Os indicadores bibliométricos também podem auxiliar as organizações na
tomada de decisão sobre áreas de pesquisa de maior interesse e fornecer subsídio na
alocação de fundos orçamentários para pesquisa (DURIEUX e GEVENOIS, 2010).
Nesse sentido, a análise bibliométrica torna-se importante como meio de conhecimento
mais pormenorizado das informações levantadas sobre a produção acadêmica
relacionada ao BNDES desde sua fundação.
Este volume do relatório divide-se em cinco seções incluindo esta introdução.
Na seção 2 discutem-se os principais indicadores bibliométricos utilizados na literatura.
A seção 3 descreve o Banco de Dados utilizado e os procedimentos adotados para a
condução do presente trabalho. A seção 4 destina-se à apresentação e discussão dos
resultados da análise bibliométrica para os indicadores de produção, repercussão e
relacionais. As principais conclusões desta etapa da pesquisa evidenciam-se na última
seção.
10
2. Indicadores Bibliométricos
A literatura reporta basicamente três tipos de indicadores bibliométricos:
quantitativos ou de produção, desempenho ou de impacto e estruturais ou relacionais
(ROUSSEAU, 1998; GAUTHIER, 1998; LUNDBERG, 2006; DURIEUX e
GEVENOIS, 2010). Não raramente, esses indicadores apresentam denominações
diferentes, porém relacionados ao mesmo conceito e objetivo.
Os indicadores quantitativos objetivam a métrica da produção a partir da
contagem do número de publicações, por autor, por tipo de documento e o número de
publicação por instituição de pesquisa ou país. Quando esses indicadores tornam-se
disponíveis para um período de tempo suficientemente longo, eles permitem conjecturar
sobre a tendência da publicação (DURIEUX e GEVENOIS, 2010).
Para Okubo (1997), esses indicadores oferecem uma medida aproximada e
simplificada da produção científica em um determinado período, entretanto algumas
limitações devem ser observadas como, por exemplo, a incapacidade de se avaliar
aspectos qualitativos da publicação. .
Diferentemente dos indicadores quantitativos, os indicadores de desempenho
procuram fornecer uma medida de qualidade e repercussão da publicação, dos autores e
das instituições analisadas (DURIEUX e GEVENOIS, 2010). Por exemplo, o número
de vezes que um autor, um artigo ou uma instituição é citado por outros pesquisadores,
em outros trabalhos ou por outras instituições constitui um indicador de desempenho ou
impacto amplamente empregado em análises bibliométricas. Garfield (1955) apresentou
a importância dos índices de citação como fonte de informação para os pesquisadores e
argumentou que, para o caso de um artigo relevante, o índice de citação apresenta-se
como uma medida do grau de influência do artigo para outros pesquisadores, ou seja, o
seu fator de impacto. Entretanto, devido à dificuldade em definir o conceito de
qualidade em sua totalidade e, principalmente, mensurá-la por meio de indicadores
quantitativos, as discussões têm se concentrado na definição do conceito de “impacto da
publicação”.
Martin e Irvine (1983) apresentam e distinguem os conceitos de “qualidade”,
“importância” e “impacto” de uma publicação. Para os autores, não existe uma medida
direta desses aspectos, que somente podem ser apreendidos de forma indireta por meio
das percepções dos cientistas (avaliação por pares) e por práticas sociais dos cientistas
como, por exemplo, a citação. Nesse sentido, o número de citações de uma publicação
11
não reflete diretamente sua qualidade ou importância, mas sim um indicador parcial de
impacto de um trabalho científico que pode depender, em parte, da importância da
publicação, mas também pode ser afetado por outros fatores como a localização do
autor, o seu prestígio na comunidade científica, a língua em que foi publicado e a
disponibilidade da revista.
Okubo (1997) também salienta outra limitação desses indicadores, qual seja, a
autocitação, que é um problema real e crescente na comunidade científica. Aksnes
(2003) argumenta que embora a autocitação possa ser considerada um procedimento
natural e aceitável, particularmente quando o número de citações é empregado como um
indicador de impacto, a autocitação pode ser tratada como um problema pelo fato de
não refletir apropriadamente o impacto da publicação para a comunidade científica.
Alguns analistas recomendam não a exclusão da autocitação, mas sim o cálculo
da proporção de autocitação presente e a utilização dessa informação como variável de
controle. As taxas de autocitação variam consideravelmente para diferentes campos do
conhecimento (ANU, 2005).
Considerando algumas das limitações relacionadas aos indicadores de impacto,
deve-se atentar que a utilização desses indicadores constitui importante meio para
mensurar um aspecto da qualidade, mas não a qualidade da publicação em sua
totalidade.
Por fim, os indicadores estruturais ou relacionais mensuram as conexões entre
publicações, entre autores ou campo de pesquisa (DURIEUX e GEVENOIS, 2010).
Esses indicadores são amplamente utilizados na literatura bibliométrica principalmente
nas análises de coautoria e co-citação de artigos e documentos. A análise de co-citação
tipicamente apresenta uma rede onde os autores/documentos mais citados estão
conectados pelo link de co-citação. Os indicadores relacionais são aplicados para o
mapeamento de estruturas de conhecimento e de redes de relacionamento entre autores,
documentos, instituições, e países, sendo importantes para a identificação das parcerias
entre autores ou entre instituições; e para mostrar ligações entre temas ou áreas de
pesquisa, ou mesmo tópicos emergentes em um campo do conhecimento (LIMA et al. ,
2010; OKUBO, 1997; GAUTHIER, 1998).
A Análise de Co-citação é um dos métodos quantitativos amplamente utilizados
para a estruturação de redes de relacionamento, sendo o foco dessas análises a
identificação de padrões estruturais de especialização no campo de pesquisa analisado
(CHEN, IBEKWE-SANJUAN, HOU, 200X). Esse padrão pode ser avaliado tanto por
12
meio de Análise de Co-citação de Autores (ACA) ou pela Análise de Co-citação de
Documentos (DCA) (WHITE e GRIFFITH, 1981).
Small (1973) define a análise de co-citação como a frequência com que dois
documentos da literatura são citados conjuntamente por um documento posterior.
Adicionalmente, o autor argumenta que quando dois artigos são frequentemente co-
citados, eles são necessariamente mais citados individualmente e os artigos mais citados
individualmente representam os conceitos, os métodos ou os experimentos chave em
um campo do conhecimento. Dessa forma, o padrão da co-citação pode ser utilizado
para mapear o relacionamento entre esses conceitos chave.
White e Griffith (1981) argumentam que o mapeamento de uma área do
conhecimento pode ser realizado empregando os autores como unidade de análise e as
co-citações de pares de autores como variáveis que indicam a distância entre eles, sendo
que quanto maior a frequência em que dois autores são citados conjuntamente maior
seria relação entre eles.
No presente trabalho, os indicadores quantitativos da produção são úteis para
descrever o perfil da literatura econômica sobre o BNDES, enquanto a avaliação da
literatura relevante para a comunidade científica pode ser investigada por meio dos
indicadores de impacto e de redes de citação, co-citação e coautoria.
13
3. Metodologia
3.1. Banco de Dados
A Figura 1 apresenta as fases associadas à montagem do Banco de Dados
utilizado na condução da Análise Bibliométrica desenvolvida no presente capítulo. O
Banco de Dados foi desenvolvido no âmbito desse projeto que tem por objetivo geral
realizar uma sistematização e avaliação da literatura econômica produzida a respeito do
BNDES desde o seu início.
Figura 1 - Esquema representativo das fases da montagem do banco de dados do
Projeto “Literatura Econômica sobre BNDES”
Fonte: Elaboração Própria
Na Fase I foi realizado um extenso trabalho de identificação da literatura
acadêmica, de forma bastante abrangente, não se restringindo, por exemplo, apenas aos
trabalhos que no título contemplavam o nome BNDE(S). De fato, as buscas abrangeram
também o resumo, as palavras-chave e também, em algumas ferramentas de busca, ao
corpo de texto e à referencia bibliográfica das obras.
A identificação das obras foi realizada por meio de buscas por palavras-chave
associadas à missão do BNDES de ser instrumento de financiamento de longo prazo
para a realização de investimentos. Essas buscas incluíram palavras e expressões como:
financiamento de longo prazo, BNDE(S), investimento de longo prazo, banco de
desenvolvimento, financiamento de bem de capital, financiamento de infraestrutura,
14
privatizações e financiamento do desenvolvimento. As consultas também contaram com
as palavras-chave e expressões em língua espanhola e em inglesa2.
Tais consultas foram realizadas por diferentes frentes de trabalho, tal que,
primeiramente, foram acessadas as principais bibliotecas e acervos brasileiros. Para tal,
foi utilizada, inicialmente, a relação dos cursos recomentados e reconhecidos pela Capes
(com filtro para Grande Área: Ciências Sociais Aplicadas e Área: Economia), com o
objetivo de levantar os potenciais centros de pesquisa e publicação nacionais,
principalmente teses e dissertações3. Além disso, em todos esses centros, foram
identificados os sites específicos dos acervos de teses e dissertações, assim como os
sites gerais das bibliotecas4 e as revistas acadêmicas associadas a cada centro, quando
presentes. Ademais, outros periódicos acadêmicos também foram consultados de acordo
a listagem dos periódicos avaliados pela CAPES. Uma vez identificados os
documentos, o acesso ao material pôde ser realizado de forma on-line ou por meio de
obtenção físicas das obras, por parte da equipe de pesquisa. Outra frente direcionou
esforços nas consultas presenciais nas bibliotecas do BNDES, FEA-RP/USP, FEA/USP,
PUC/SP, UFF, UFRJ. Uma terceira frente de consultas ateve-se na identificação da
literatura internacional sobre o BNDES, buscando os acervos das principais instituições
e centros de pesquisa fora do país5. Adicionalmente, foram também consultados fontes e
acervos online de documentos acadêmicos, como JSTOR, Scielo, Web of Knowledge,
Science Direct, Google Acadêmico (cobrindo assim tanto os periódicos nacionais e
internacionais associados à centros de pesquisa e os que não tem essa associação). Por
fim, muitos outros centros de pesquisa que não foram relacionados acima, também
foram consultados, uma vez que estes apareceram nas referencias bibliográficas dos
documentos identificados como relevantes dentro desse projeto.
Essa busca abrangeu principalmente os periódicos acadêmicos, as teses e
dissertações desenvolvidas em instituições nacionais e estrangeiras, assim como livros,
2Em inglês: Long-term financing, long-term investment, development bank, capital goods financing,
infrastructure financing, infrastructure investment, privatization development investments, National Bank
of Social and Economic Development, Brazilian Development Bank. Em Espanhol: financiamiento a
largo plazo, inversión(es) a largo plazo, banco de desarrollo, financiamiento de infraestructura,
privatización, inversión(es) del desarrollo, Banco de Desarrollo de Brasil. 3 Relação completa das fontes de consultas está apresentada no anexo. 4 Em muitos casos há uma separação dos sites de pesquisa dos documentos acadêmicos sob forma de
dissertações e teses, dos sites de publicações de working papers ou documentos para discussão, das
bibliotecas de livros e dos catálagos de artigos das revistas acadêmicas dos centros de pesquisa. 5 A relação completa das principais instituições internacionais cobertas na pesquisadas é apresentada
também no anexo.
15
capítulos de livros e textos para discussão, entre outros6. O período de referência para a
pesquisa compreendeu os trabalhos produzidos desde a fundação do BNDES até maio
de 2013.
Esse protocolo inicial de busca indicou a existência de um amplo material
acadêmico. No entanto, uma parcela significativa dos trabalhos que possuíam essas
palavras-chave não tratava de fato do BNDES. Assim, para identificar as potenciais
obras que avaliam o papel do banco, foi executada uma primeira leitura dos
documentos, para selecionar aquelas que realmente se encaixavam no objetivo da
presente pesquisa e que seriam alvo de estudo e leitura de forma mais aprofundada.
Como resultado, um vasto material bibliográfico foi avaliado, mas nem todos compõem
a versão atual do Banco de Dados (ver Anexo IV).
A Fase II corresponde à coleta e cadastramento das informações bibliográficas
dos documentos, quais sejam, autor, título, ano, resumo, palavras-chave, afiliação
institucional dos autores e informações sobre as referências bibliográficas citadas pelos
trabalhos. As referências bibliográficas citadas nos documentos representam um aspecto
relevante da pesquisa, em primeiro lugar, porque permitem a identificação de novos
trabalhos para compor o Banco de Dados (complementando a Fase I) e, em segundo
lugar, porque permitem identificar os documentos mais citados entre os trabalhos
acadêmicos que avaliam o BNDES. É importante ressaltar que não foram incluídas no
Banco todas as referências dos artigos, mas apenas aqueles trabalhos citados que se
aproximavam dos mesmos critérios de temas-chave associados à missão do BNDES,
utilizados na Fase I.
O tratamento das referências bibliográficas na Fase II é constituído de duas
etapas. Na primeira etapa, foram identificadas nos documentos relevantes, as referências
bibliográficas com potencial de pertencer ao Banco. Tais referências formaram um
conjunto próprio de dados, uma ferramenta de pesquisa e identificação de novos
trabalhos, muitos dos quais não apareceram nas primeiras consultas realizadas na Fase I.
A segunda etapa envolveu a leitura e avaliação destas referências, assim como na Fase I,
resultando num mecanismo de retroalimentação do próprio Banco de Dados. Dessa
forma, foram incluídas no Banco de Dados às referências que eram pertinentes ao
escopo desse trabalho. Assim, as referências incluídas no Banco de Dados para cada
trabalho se constituem em referências qualificadas ao objetivo do projeto e, como
6 Foi criada uma categoria “outros” para incluir working papers, estudos especiais e alguns relatórios de
pesquisa.
16
consequência, são também uma entrada do próprio Banco de Dados. As citações
analisadas a partir desse Banco mostram-se restritas aos trabalhos que se referem ao
BNDES.
Na Fase III, os textos foram classificados de acordo com o período a que se
referem e a temática tratada. A divisão cronológica foi definida a partir da história do
BNDES e abrange cinco subperíodos: 1952-1964; 1964-1980; 1980-1990; 1990-2002 e
2002-20137. A Tabela 1 apresenta as temáticas tratadas que foram definidas seguindo as
linhas de financiamento do BNDES. Adicionalmente, foram criadas três temáticas,
“Privatizações”, “Teórico – Banco de desenvolvimento” e “Outros” considerando que
vários trabalhos trataram especificamente desses temas. Cabe ressaltar, que um único
documento pode tratar de mais de uma temática e abranger mais de um período.
Tabela 1 - Temáticas consideradas na Fase III de classificação dos documentos
Temáticas
Agropecuária Inovação
Infraestrutura Meio Ambiente
Mercado de Capitais Privatizações
Exportação e Inserção Internacional Indústria Teórico - Banco de Desenvolvimento
Comércio, Serviços e Turismo Outros
Desenvolvimento Social e Urbano, Esporte e Cultura
Fonte: Elaboração Própria
Os documentos também foram classificados quanto ao grau de referência ao
BNDES no texto. Para tal classificação foi adotado o seguinte critério, representado por
uma variável binária denominada “Grau de Referência ao BNDES”:
1 – O objeto do estudo é a própria atuação do BNDES ou o banco ocupa papel
importante no documento;
0 – O objeto de estudo não é o BNDES ou este não é referido de maneira significativa
no documento8.
7 Alguns documentos não avaliam um período específico, por exemplo, aqueles que tratam do papel
teórico dos bancos de desenvolvimento. Essas obras foram agrupadas num item denominado “atemporal”. 8 Por exemplo, um documento que avalia o papel do BNDES na geração de postos de trabalhos recebe
classificação 1, quanto ao grau de referência. Já um documento que descreve as fontes de financiamento
no Brasil e apenas apresenta tabelas ou figuras dos desembolsos do BNDES, sem uma avaliação crítica,
recebe classificação 0. Adicionalmente, alguns documentos que se restringem a descrever sumariamente a
história do BNDES também receberam classificação 0.
17
A dimensão desse esforço nas Fases I, II e III foi tal que resultou num Banco de
Dados bastante direcionado e único, apenas com obras selecionadas e qualificadas, que
atendiam às especificidades do projeto de levantamento de literatura acadêmica sobre o
BNDES. O Anexo IV apresenta um comparativo do Banco de Dados com os resultados
de consultas semelhantes nas principais ferramentas de busca.
Na Fase IV, o Banco de Dados é consolidado no Microsoft Access, permitindo
assim a criação de relações entre as suas diferentes informações, a construção das
consultas associadas à obtenção de estatísticas de acompanhamento da pesquisa, bem
como as consultas destinadas à Análise Bibliométrica (Produto 5). Particularmente
importante nesta fase é a obtenção da “Lista de Títulos” destinada aos pesquisadores,
que se trata da lista dos documentos citados (uma ou mais vezes) e cuja classificação de
Grau de Referência ao BNDES é definida como um pela variável binária.
Por fim, a Fase V envolveu a adequação do Banco de Dados para um formato de
“Navegação” com uma interface User-friendly (Produto 4 do Projeto). Nesta versão do
Banco, é possível realizar buscas por meio de palavras-chave, título, autores, temáticas e
ter acesso a todas as informações coletadas na pesquisa, incluindo as referências
bibliográficas relevantes. Essa versão também permite visualizar as principais
estatísticas que caracterizam o Banco de Dados construído.
3.2. Método de Análise
A partir das informações do Banco de Dados, ainda no Microsoft Access, foram
construídas várias consultas de acordo com a questão de interesse e essas consultas
foram transferidas para planilhas eletrônicas do Microsoft Excel e para o editor de
dados do IBM SPSS Statistics 20 para a geração de tabelas, gráficos e testes de média.
As redes de citação e co-citação foram elaboradas com o apoio do software UCINET
6.0 (BORGATTI et al, 2002) e Netdraw (BORGATTI, 2002). A Figura 2 resume o
processo da análise.
18
Figura 2 - Resumo do processo de análise bibliométrica
As informações do Banco de Dados são utilizadas na construção dos indicadores
de produção e de impacto e foram separadas em “variáveis de características”, que são
aquelas que possibilitam caracterizar a produção, e “variáveis de classificação”,
construídas a partir da classificação definida pelos pesquisadores quanto ao período de
análise, temáticas tratadas e grau de referência ao BNDES no texto. As informações são
analisadas por meio de estatísticas unidimensionais (por exemplo, número de
publicações), estatísticas bidimensionais, ou seja, a relação entre duas variáveis (como
número de publicações por tipo de documento), estatísticas multidimensionais, ou seja,
relação entre mais de duas variáveis (exemplo: número de publicações por tipo de
documento por ano) e estatísticas que detectam padrões de distribuição de frequência
das variáveis quantitativas.
O período de análise da presente pesquisa corresponde aos anos de 1952 a 2013.
Portanto, todos os indicadores referentes à quantidade como o número de citações, o
número de documentos publicados, entre outros, se referem ao estoque para o período
fixado. Na literatura de análise bibliométrica e cientométrica vários autores têm
proposto a condução da análise para períodos de tempo relativamente longos (JOHNES,
1988; VAN LEEUWEN et al., 2003). Um período longo apresenta o benefício de
reduzir a influência de fatores aleatórios na análise, além de corresponder a um período
em que existem razões substantivas para que os documentos possam ser citados
(NEDERHOF, 1988, Apud ANU, 2005).
Obtenção dos dados
no Banco de Dados
do Projeto
Envio das
informações para
planilhas eletrônicas
Elaboração de
estatísticas básicas e
análises gráficas A
ná
lise do
s
da
do
s
Elaboração do
Relatório Final
Fonte: Elaboração Própria com base em Margazão et al. (2010).
19
Ademais, considerando o fato de que parcela significativa da produção publicada
sobre o BNDES se deu por meio de seus veículos de divulgação e disseminação do
conhecimento como Livros, Revista do BNDES, BNDES Setorial, Working Papers,
Seminários, etc., torna-se relevante analisar de forma separada as publicações cujo
responsável é o BNDES. Essa análise é feita a partir de um filtro para a instituição, ou
seja, são considerados os documentos em que o BNDES é a instituição responsável pela
publicação. A partir desse filtro é possível calcular os indicadores separadamente
considerando o caso em que o BNDES é a instituição responsável pela publicação e o
caso em que outras instituições são responsáveis. Os resultados encontrados são
comparados por meio de alguns testes não paramétricos para comparação de médias. A
opção pelos testes não paramétricos se deve ao fato de que as distribuições das
publicações, autores entre outras não apresentarem aderência à normalidade, violando
um dos pressupostos para quase todos os tipos de testes de médias. São utilizados tantos
testes para amostras independentes como o Teste de Mann-Whitney e o Teste de
Kruskal-Wallis, quanto teste para amostras emparelhadas como o Teste de Wilcoxon.
O Teste de Mann-Whitney é um teste alternativo ao Teste t para amostras
independentes e compara o centro de localização (tendência central) das duas amostras
como forma de detectar diferenças entre as duas populações correspondentes. Já o Teste
de Kruskal-Wallis é uma generalização do Teste de Mann-Whitney para mais de dois
grupos. A partir de amostras aleatórias de K populações, pode-se testar a hipótese da
existência de um parâmetro de localização comum a todas as populações. Finalmente, o
Teste de Wilcoxon aplica-se para analisar diferenças entre duas condições no mesmo
grupo de sujeitos, ou seja, é uma alternativa ao Teste t para amostra emparelhada e
permite testar se as populações diferem em localização (PESTANA e GAGEIRO,
2005).
A técnica multivariada da Análise Fatorial também é aplicada objetivando
identificar características comuns entre os trabalhos mais citados no Banco de Dados. A
análise fatorial é um conjunto de técnicas estatísticas que permite reduzir o número
original de variáveis por meio da extração de fatores independentes, de tal forma que
esses fatores possam explicar, de forma resumida, as variáveis originais. A análise
fatorial pressupõe a existência de um número menor de variáveis não observáveis e
subjacentes aos dados, que indicam o que existe de comum nas variáveis originais
(PESTANA e GAGEIRO, 2005).
20
4. Resultados
Esta seção estrutura-se em três partes. Na seção 4.1 são apresentados os
indicadores de produção, na seguinte os indicadores associados aos trabalhos mais
citados (seção 4.2) e, na sequência, a análise relacional (seção 4.3). Nas duas primeiras
seções destacam-se as características gerais dos trabalhos e os principais resultados da
classificação destas obras, de acordo com o período e a temática a que se referem, bem
como ao grau de referência ao BNDES no texto.
4.1. Indicadores de Produção
4.1.1. Variáveis de característica das obras
O Banco de Dados do BNDES compõe-se de 821 trabalhos acadêmicos
publicados no período entre 1952 a 20139. A Tabela 2 apresenta as características gerais
do Banco de Dados de obras de literatura econômica sobre o BNDES. Dessas obras,
773 (equivalente a 94,2%) foram lidas, avaliadas e classificadas conforme a
metodologia exposta acima. Ainda, durante a realização da fase de identificação da
literatura econômica sobre o BNDES, foram utilizadas duas outras categorias: não
localizado e não classificado, que representam 5,8% do Banco de Dados10.
9 Cabe ressaltar que o documento mais antigo localizado foi publicado em 1957. Ademais, algumas
publicações do ano de 2013 já foram incorporadas ao Banco de Dados. 10 Compõem o grupo de “não localizados” aqueles documentos que foram identificados, principalmente
pelo critério de citação, mas que não foram obtidos para avaliação de classificação. No geral, esses são
documentos mais antigos ou documentos internacionais (exemplo teses), em que o acesso ao material é
restrito e até o momento não foi possível obter uma cópia física. Esse grupo corresponde a 1,6% do
Banco de Dados. Os documentos que se enquadram dentro do grupo de “não classificados” podem ser
separados em dois subgrupos igualmente representados: o primeiro composto por livros que são
coletâneas de artigos e o segundo abrange os documentos que já foram localizados na pesquisa, porém
não foram ainda avaliados e incorporados aos classificados. Entende-se que essas coletâneas (livros) são
relevantes dentro do Banco de Dados uma vez que é utilizada como referência bibliográfica em muitos
documentos, ou seja, nesses casos a citação refere-se à coletânea e não ao artigo em específico. Contudo,
já que os artigos que compõem essas coletâneas foram avaliados e classificados entende-se como
desnecessária a classificação da coletânea, evitando a dupla contagem.
21
Tabela 2 - Características gerais do Banco de Dados
BNDES responsável pela
publicação Total
Classificação Não Sim
Classificados 517 256 773
Não Classificado 23 12 35
Não Localizado 13 - 13
Total 553 268 821 Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
A Figura 3 permite compreender a evolução e a tendência da literatura ao longo
do período analisado considerando separadamente os trabalhos publicados pelo próprio
BNDES dos trabalhos publicados por outras instituições. Observa-se uma tendência
crescente no número total de publicações referente à literatura econômica sobre o
BNDES e verifica-se uma mudança considerável da tendência da série na década de
1990 e a partir do ano 2000. Até o ano de 1969, apenas 13 publicações constam no
Banco de Dados. Nas décadas de 1970 e 1980, as publicações referentes ao BNDES
ainda foram relativamente reduzidas apresentando média anual de 4,54 publicações.
Contudo, na década de 1990, observa-se significativo aumento nas publicações, que
apresentaram média de 15,7 publicações por ano. Essa tendência de crescimento torna-
se mais acentuada a partir do ano 2000, quando a publicação média anual é de 38,3,
com concentração no ano de 2010, em que foram registradas no Banco de Dados 77
publicações. Desta forma, percebe-se que taxa de crescimento das publicações sobre o
banco está acima da taxa de crescimento de elaboração de trabalhos científicos no
Brasil, que está em torno de 8% ao ano, segundo dados do Portal Brasil (BRASIL,
2013).
22
Figura 3 - Evolução dos documentos da literatura econômica sobre o BNDES no
período 1957-2013 e instituição responsável
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
Portanto, esse crescimento da literatura sobre o BNDES reflete o maior
interesse por parte dos pesquisadores nos temas relacionados ao banco, acompanhando
o próprio crescimento dos desembolsos do BNDES nos últimos anos11. No entanto, é
preciso ponderar que o aumento da publicação sobre o BNDES também é resultado do
aumento da produção científica em geral no Brasil.
Ainda na Figura 3 fica perceptível que até o final da década de 1980, o BNDES
praticamente não se associou significativamente à literatura que surgia a respeito do
banco. Nesse período a média anual das publicações patrocinadas pelo BNDES foi de
apenas 0,7, enquanto as publicações patrocinadas por outras instituições apresentou
média de 3,9 publicações por ano. Entretanto, a partir de 1990 a instituição aumenta sua
participação na publicação total, sendo responsável por parcela significativa e crescente
da literatura econômica sobre o banco. Durante a década de 1990, a média anual das
publicações patrocinadas pelo BNDES foi de 3,9, elevando-se para quinze a partir do
ano de 2000, enquanto para as publicações patrocinadas por outras instituições, a média
anual de publicações por ano passou de 11,8, na década de 90, para 23,4, a partir dos
anos 2000. Tal fato decorre da reedição da Revista do BNDES a partir de 1994 e do
apoio à publicação de livros, especialmente comemorativos. O pico de publicações do
BNDES em 2002, por exemplo, ocorre em virtude da comemoração dos cinquenta anos
11 A correlação calculada entre os desembolsos do BNDES como proporção do PIB e o número de
publicações sobre o BNDES foi de 0,78.
0
10
20
30
40
50
60
70
80
901
95
7
196
1
196
4
196
8
197
0
197
2
197
4
197
6
197
8
198
0
198
2
198
4
198
6
198
8
199
0
199
2
199
4
199
6
199
8
200
0
200
2
200
4
200
6
200
8
201
0
201
2
Outros BNDES
23
do banco, que gerou um grande número de publicações especialmente capítulos de
livros12.
Para avaliar o argumento de crescimento das publicações ao longo do tempo foi
aplicado o Teste de Kruskal-Wallis, assumindo a hipótese nula de que o número de
publicações nos três períodos – até o final da década de 1980, década de 1990 e a partir
dos anos 2000 – são iguais em tendência central. O teste foi realizado para o grupo de
publicações do BNDES, de outras instituições e para o total delas. Os resultados dos
testes permitem afirmar que o número de publicações se difere nos períodos analisados,
ao nível de significância de 1%, para os três grupos de publicações. Dessa forma, pode-
se argumentar que o número de documentos cresceu ao longo do tempo, tanto para os
documentos publicados pelo BNDES, quanto para aqueles publicados por outras
instituições.
Com o objetivo de avaliar se o número de documentos publicados pelo BNDES
difere dos publicados por outras instituições foi utilizado o Teste de Wilcoxon, para os
três períodos mencionados acima. O resultado permite afirmar, a um nível de
significância de 5%, que o número de documentos publicados pelo BNDES se difere do
número de documentos publicados por outras instituições em cada período.
A Figura 4 fornece a distribuição desta produção por tipo de documento.
Observa-se que a contribuição do BNDES como responsável pela publicação em
relação às outras instituições atingiu quase um terço (32,6%) dos documentos. Ainda se
nota que 44,7% das publicações são artigos, 19,4% capítulos de livros, 13,1% livros e a
categoria “outros13” totaliza 4,4% dos documentos. Por fim, é perceptível a
predominância de artigos científicos em relação aos outros tipos de documentos. No que
se refere às publicações do BNDES, nota-se também a concentração em artigos,
representando 51,1% do total das publicações do banco.
12 No caso dos livros comemorativos aos 50 anos do banco especificamente: “BNDES: Um banco de
ideias - 50 anos refletindo o Brasil” e “BNDES 50 ANOS: HISTÓRIAS SETORIAIS”, diferente dos
outros livros comemorativos do banco, por se tratar de uma coletânea de capítulos com autorias
individualizadas optou-se por contar separadamente cada um dos capítulos. Esses dois livros respondem
por cerca da metade das publicações deste ano. 13 A categoria “outros” engloba working papers, estudos especiais e alguns relatórios de pesquisa.
24
Figura 4 - Documentos da literatura econômica sobre o BNDES, por tipo e
Instituição responsável pela publicação
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
A Tabela 3 apresenta a evolução da produção bibliográfica, por tipo de
documento, ao longo das décadas analisadas. Observa-se nas duas primeiras décadas a
concentração dos documentos em livros. A partir de 1990, verifica-se o crescimento na
publicação de artigos em relação aos outros tipos de documentos, o que, como
mencionado, está associado ao maior volume de publicações na área de economia de
forma geral. Cabe destacar ainda a participação de teses e principalmente de
dissertações nas décadas de 2000 e 2010.
25
Tabela 3 - Documentos da literatura econômica sobre o BNDES, por tipo e década
da publicação
Década
Tipo de Documento
Artigo Livro Capítulo
de livro
Dissertação
de mestrado
Tese de
doutorado
Texto
para
discussão
Outros Total
1957 - 1959 - - 1 - - - - 1
1960 - 1969 2 9 - - - - 1 12
1970 - 1979 19 11 8 5 3 - - 46
1980 - 1989 23 12 13 9 6 - 5 68
1990 - 1999 93 12 10 10 12 16 4 157
2000 - 2009 164 42 77 33 12 13 18 359
2010 - 2013 66 22 50 20 5 7 8 178
Total 367 108 159 77 38 36 36 821
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
As Tabelas 4 e 5 apresentam respectivamente as principais instituições nacionais
e internacionais responsáveis pela publicação dos documentos sobre a literatura
econômica referente ao BNDES. As instituições nacionais respondem por 79,8% da
publicação total que compõem o Banco de Dados, enquanto as internacionais por
21,2%. Observa-se que a instituição que mais publicou trabalhos foi o próprio BNDES,
representando 32,6% de toda publicação. Em segundo e terceiro lugar, respectivamente,
aparecem o Instituto de Pesquisa Econômica Aplicada – IPEA e a Universidade
Estadual de Campinas – UNICAMP. A publicação de livros e capítulos de livros ficou
concentrada no BNDES. Enquanto que as teses e dissertações foram desenvolvidas
principalmente pelos centros de pós-graduação da UNICAMP e da UFRJ.
26
Tabela 4 - Principais instituições nacionais responsáveis pela publicação da
literatura econômica sobre o BNDES, por tipo de documento
Instituição Nacional Artigo
Livro e
Capítulo
de Livro
Tese de
doutorado
Dissertação
de mestrado
Texto
para
discussão
Outros Total
BNDES 137 113 - - 11 7 268
IPEA 9 18 - - 17 3 47
UNICAMP 16 5 10 12 - 1 44
UFRGS 26 - 1 2 - - 29
UFRJ 6 1 3 16 1 - 27
USP 9 - 5 7 - 1 22
FGV-RJ 6 5 1 8 - - 20
UFRJ/UNICAMP - 16 - - - - 16
FGV-SP 13 - - - - - 13
Centro Celso Furtado 5 4 - - - 1 10
ANBID - 9 - - - - 9
UFF - - 2 5 1 - 8
PUC-Rio - 1 - 5 - - 6
UFMG 2 - 1 2 1 - 6
Civilização Brasileira - 6 - - - - 6
Outras 42 51 3 18 5 5 124
Total 271 229 26 75 36 18 655
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
No que tange às instituições internacionais (Tabela 5) destaca-se a presença da
editora Elsevier e da Universidade de Illinois com 21 e 15 publicações respectivamente.
Além da Elsevier, outras grandes editoras também figuram como responsáveis pela
publicação de documentos sobre o BNDES (Pergamon Press, Sage publications). Isso
ocorre porque essas instituições publicam diversos periódicos internacionais, tais como:
Energy Policy, World Development e Latin American Perspectives.
27
Tabela 5 - Principais instituições internacionais responsáveis pela publicação da
literatura econômica sobre o BNDES
Instituição Internacional Quantidade de
Publicações
Participação no Total
de Instituições
Internacionais
Elsevier 21 12,7%
University of Illinois 15 9,0%
Latin American Studies Association
(LASA) 8 4,8%
Pergamon Press 7 4,2%
Universidade de Miami 7 4,2%
Sage publications 7 4,2%
Instituto de Desarrollo Económico y
Social 6 3,6%
University of Wisconsin 5 3,0%
Cambridge University 4 2,4%
Harvard University 4 2,4%
Edward Elgar Publishing 3 1,8%
Taylor & Francis 3 1,8%
CEPAL 3 1,8%
Universidad Nacional Autónoma de
México 3 1,8%
BID 2 1,2%
Outras 68 41,0%
Total 166 100,0%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
Avaliando apenas os artigos, pode-se identificar em quais periódicos se
concentram a produção sobre o BNDES. Os artigos relacionados ao BNDES foram
publicados em 92 diferentes periódicos acadêmicos no período analisado, sendo em
média quatro artigos por periódicos. No entanto, observa-se a concentração de artigos
em poucos periódicos, sendo que 57,6% dos periódicos acadêmicos possuem apenas um
artigo publicado. Por outro lado, apenas a Revista do BNDES concentra 107 artigos, o
que a torna o principal veículo de publicação sobre o banco14. A Figura 5 apresenta a
distribuição de frequência de publicação de artigos nos periódicos acadêmicos.
14Sem considerar a Revista do BNDES (107 artigos) e BNDES Setorial (18 artigos), a média de artigos
publicados por periódico reduz-se a 2,6.
28
Figura 5 - Distribuição de frequência dos periódicos acadêmicos
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
A Tabela 6 apresenta a lista dos vinte periódicos em que mais foram publicados
artigos sobre o banco. Fica evidente a concentração da publicação em periódicos do
próprio banco, sendo a Revista do BNDES responsável por 29% de todos os artigos
considerados no Banco de Dados, embora o BNDES Setorial também apareça com
participação significativa. Outros cinco periódicos apresentaram mais de 10 artigos
publicados.
29
Tabela 6 - Principais periódicos em que foram publicados artigos sobre o BNDES,
quantidade de artigos e participação no total de artigos publicados
Revista Quantidade de
Publicações
Participação no
total de Revistas
Revista do BNDES 107 29,2%
BNDES Setorial 18 4,9%
Economia e Sociedade 14 3,8%
Análise econômica 13 3,5%
Revista de Economia Política 13 3,5%
Ensaios FEE 13 3,5%
The Quarterly Review of Economics and
Finance 12 3,3%
Latin American Perspectives 8 2,2%
Estudos Econômicos 8 2,2%
Pesquisa e planejamento econômico 7 1,9%
Desarrollo Económico 7 1,9%
Latin American Research Review 7 1,9%
Journal of interamerican Studies and World
Affairs 6 1,6%
Journal of Latin American Studies 6 1,6%
Energy Policy 5 1,4%
Outras 123 33,5%
Total 367 100%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
Como a literatura econômica sobre o BNDES concentra-se em artigos
publicados em periódicos, um indicador adicional associado à qualidade dessa
publicação é a classificação Qualis/CAPES na área de Economia e áreas correlatas15. A
Tabela 7 mostra que dos artigos listados no Banco de Dados, 83% foram publicados em
periódicos com classificação Qualis/CAPES. Entretanto, observa-se concentração da
publicação em revistas classificadas como B5, aproximadamente 36%. A publicação em
periódicos A1 totaliza 7,9%, enquanto que as classificações B1, B2 e B3 apresentam
participações semelhantes em torno de 10 a 12%. Quando se compara essa distribuição
dos trabalhos com a das revistas na área de economia classificadas pela CAPES
verifica-se uma relação bastante próxima. Por exemplo, os estratos B1 e B2 abrangem
24% das revistas classificadas em economia e no Banco de Dados sobre o BNDES tal
15 Administração, História, Ciências Sociais e Multidisciplinar. Cabe ressaltar que a Revista do BNDES e
BNDES Setorial não possuem classificação Qualis/CAPES na área de economia.
30
percentual foi de 25%. A proporção de periódicos B5 na CAPES de economia atingiu
cerca de 22%.
Tabela 7 - Classificação Qualis/CAPES dos periódicos em que foram publicados
artigos sobre o BNDES, quantidade e participação no total
Qualis Quantidade de
Publicações
Participação no total de artigos com
Qualis/CAPES
A1 29 7,9%
B1 44 12,0%
B2 43 11,7%
B3 39 10,6%
B4 17 4,6%
B5 132 36,0%
C 1 0,3%
Não definido 62 16,9%
Total 367 100,0%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
Nota: Dos 132 artigos com Qualis B5, 125 foram publicados na Revista do BNDES ou no BNDES
Setorial.
Em relação aos autores que trabalham na construção da literatura econômica
sobre o BNDES, foram identificados no Banco de Dados um total de 824 autores. No
que se refere à instituição de afiliação, foi verificado que 28,4% dos autores afiliam-se
ao BNDES no momento da publicação do trabalho e 71,6% são pesquisadores de outras
instituições.
O banco de dados contém 821 trabalhos e 824 autores, o que representa uma
média de 0,99 trabalhos por autor. O maior número de autores do que de trabalhos
reflete a existência de coautoria na publicação em maior grau do que a existência de
autores com mais de um trabalho. Outra medida pode ser obtida se for considerado que
cada coautor individualizado do documento recebe crédito total pelo trabalho, assim a
média de textos publicados por autor é 1,57, sendo que os valores variam de um a 31
documentos por autor16. A distribuição de frequência das publicações por autor é
assimétrica como apresenta a Figura 6, o que evidencia a concentração da publicação
por autor abaixo dessa última média. De fato, 76,1% dos autores publicaram apenas um
16 Para os casos em que os documentos possuem mais de um autor, foi adotado o critério de que cada
autor individualizado do documento recebe crédito total pelo trabalho.
31
documento durante todo o período analisado e 97,5% dos autores têm até cinco textos
publicados no período. Essa assimetria na distribuição de autores que mais publicam é
em geral encontrada na literatura de análise bibliométrica. Isso reflete o fato de que
alguns poucos autores se dedicam especificamente ao tema e muitos autores contribuem
marginalmente em termos da quantidade de publicações. Assim, não há recorrência na
autoria de trabalhos sobre o banco, dificultando muitas vezes a especialização na
pesquisa sobre o banco.
O número de documentos publicados por autor também se difere quando se
considera separadamente os autores afiliados ao BNDES e autores afiliados a outras
instituições, sendo que os afiliados ao BNDES publicam maior número de documentos
em média. Os percentis mostram que 75% dos autores afiliados ao BNDES têm até dois
documentos publicados enquanto que para os autores de outras instituições, 75% dos
autores têm um documento publicado.
Para avaliar se essa diferença é estatisticamente significativa foi aplicado o teste
não paramétrico para amostras independentes de Mann-Whitney. O resultado permite
rejeitar, ao nível de significância de 1%, que as distribuições do número de documentos
por autor são iguais em tendência central. Portanto pode-se afirmar que a publicação por
autor é diferente considerando as afiliações, sendo que os autores afiliados ao BNDES
publicam mais em média.
Figura 6 - Distribuição das publicações sobre o BNDES por autores
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
Cabe ressaltar que do total de 821 documentos que constam na Base de Dados,
cerca de 30% foram produzidos por pelo menos um autor afiliado ao BNDES. Das
publicações pelas quais o BNDES é responsável (268 textos) verifica-se que 82%
32
apresentam pelo menos um autor afiliado ao banco. De forma ilustrativa observa-se que
a Revista do BNDES publica quase exclusivamente documentos de autores afiliados ao
banco, refletindo uma política editorial. Assim, a concentração de publicações sobre o
banco patrocinadas pela própria instituição, associada à centralização da autoria em seus
afiliados, demonstra certo de grau de endogenia da literatura.
A Figura 7 permite identificar os autores que contribuíram mais vezes para a
literatura econômica referente ao BNDES. O autor que mais publicou sobre o BNDES é
o economista Fernando Pimentel Puga, com 31 trabalhos no período analisado. Outros
autores que aparecem com 15 ou mais publicações são Ernani Torres Filho (21),
Armando Castelar Pinheiro (20), Gilberto Borça Jr. (16), Werner Baer (16) e Fábio
Giambiagi (15).
Figura 7 - Autores que mais publicaram sobre o BNDES com a respectiva
instituição de afiliação
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
Ainda considerando os aspectos gerais das publicações que compõem o Banco
de Dados, a Figura 8 apresenta o idioma da publicação dos trabalhos referentes ao
BNDES, que é um indicador do grau de internacionalização da literatura. Observa-se
que o Português (idioma nacional) e o Inglês (principal idioma do meio científico) são
responsáveis por quase a totalidade das publicações. Percebe-se também que
BNDES
BNDES
IPEA/FGV/UFRJ/BNDES/PUC-RIO
BNDES
University of Illinois
BNDES/UFRJ
BNDES
INSPER
BNDES
UFRJ
BNDES/UFRJ
BNDES/LSE/UFF
UNICAMP
PUC-RIO/ANBID/IEPE
BNDES
0 5 10 15 20 25 30 35
PUGA, F. P.
TORRES FILHO, E.
PINHEIRO, A. C.
BORÇA JÚNIOR,…
BAER, W.
GIAMBIAGI, F.
BNDES
LAZZARINI, S. G.
NASCIMENTO, M.…
HERMANN, J.
MONTEIRO…
SOUSA, F. L.
SUZIGAN, W.
OLIVEIRA FILHO,…
CASTRO, L. B.
33
aproximadamente 18% dos trabalhos foram publicados em Inglês, o que sinaliza um
grau relativamente alto de internacionalização da publicação sobre o banco, tendo em
vista que a instituição está diretamente envolvida com a questão do desenvolvimento
nacional, portanto as pesquisas podem ser de maior interesse para os veículos de
divulgação internos. No que se refere aos países de publicação, o Brasil destaca-se
como o principal responsável pela publicação, outros países com maior destaque são os
Estados Unidos e em menor grau o Reino Unido. Por fim, a internacionalização das
publicações sob responsabilidade do BNDES é limitada, compreendendo apenas três
documentos em inglês e um em espanhol.
Figura 8 - Documentos da literatura econômica sobre o BNDES, por idioma e país
da publicação
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.
4.1.2 Variáveis de classificação das obras
Conforme mencionado anteriormente os arquivos foram classificados de acordo
com a temática tratada no texto. Considerando essa dimensão é possível identificar os
principais temas tratados nas publicações referentes ao BNDES, assim como a
importância desses temas em cada período analisado. A Tabela 8 apresenta o número de
vezes que cada temática foi tratada pelos trabalhos do Banco de Dados, salientando que
um único trabalho pode tratar várias temáticas conjuntamente. Percebe-se a maior
representatividade das temáticas Indústria e Infraestrutura, o que já era esperado tendo
em vista que são as principais áreas de atuação do banco.
80,0%
17,7%
2,1% 0,2%
Português
Inglês
Espanhol
Francês79,8%
9,6%
3,7%
2,6% 2,4% 1,0% 1,0% Brasil
Estados
UnidosReino Unido
Outros
Holanda
Argentina
Canada
34
Tabela 8 - Principais temáticas tratadas nas obras sobre o BNDES, número de
vezes e participação
Temática Número vezes Participação total
(%)
Indústria 231 21,8%
Infraestrutura 160 15,1%
Privatizações 96 9,0%
Desenvolvimento Social e Urbano, Esporte e
Cultura
113 10,7%
Mercado de Capitais 107 10,1%
Teórico - Banco de Desenvolvimento 91 8,6%
Exportação e Inserção Internacional 72 6,8%
Inovação 55 5,2%
Agropecuária 24 2,3%
Meio Ambiente 14 1,3%
Comércio, Serviços e Turismo 6 0,6%
Outros 92 8,7%
Total 1061 100%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Os documentos que compõem o Banco de Dados também foram classificados de
acordo com o período a que se referem. Como mencionado, essa divisão cronológica foi
definida a partir da história do BNDES. A Tabela 9 apresenta a frequência em que esses
períodos são estudados nas obras selecionadas.
Observa-se que a análise está concentrada nos períodos 1990-2002 e 2002-2013,
o primeiro período caracteriza-se por profundas reformas com o objetivo de redefinir o
papel do Estado na economia e aprofundamento do grau de internacionalização da
economia brasileira na área comercial e financeira. No que se refere ao período mais
recente, a expansão dos desembolsos do banco e a sua ação anticíclica pode ter elevado
o interesse dos pesquisadores pela instituição.
35
Tabela 9 - Principais períodos tratados nas obras sobre o BNDES, número de vezes
e participação
Período Número de vezes Participação no
total (%)
1952-1964 130 11,9%
1964-1980 152 13,9%
1980-1990 137 12,5%
1990-2002 285 26,1%
2002-2013 333 30,4%
Atemporal 57 5,2%
Total 1094 100% Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Outro ponto relevante para a pesquisa é compreender qual o grau de referência
dado pelo documento ao BNDES, nesse sentido foi criada uma variável binária para
permitir a classificação dos textos de acordo com essa referência. A Figura 9 apresenta a
distribuição dos documentos classificados de acordo com a variável “Grau de referência
ao BNDES”. Nota-se que a metade dos documentos que compõem o Banco de Dados
tem como objeto de estudo a atuação do BNDES, a outra metade incorpora documentos
em que o BNDES não é o objeto de estudo.
Figura 9 - Classificação das obras sobre o BNDES de acordo com o grau de
referência que o documento confere ao banco
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
386387
Alta referência ao BNDES Baixa referência ao BNDES
36
A Tabela 10 apresenta o cruzamento da classificação das temáticas com a
classificação dos períodos tratados pelos documentos. Observa-se que as temáticas
Infraestrutura e Indústria têm participação elevada em todos os períodos de análise,
porém apresentam tendência de perda de participação para outras temáticas emergentes,
embora de forma distinta. A temática Indústria apresenta uma queda mais acentuada a
partir da década de 1980, enquanto que a temática Infraestrutura reduz sua participação
apenas entre os dois primeiros períodos. Em outras palavras, a Infraestrutura mostra-se
mais recorrente como tema de estudo em todos os períodos. Nos trabalhos que analisam
o período de 2002-2013 observa-se maior participação das temáticas como
Desenvolvimento Social e Urbano, Esporte e Cultura, Mercado de Capitais e Inovação.
Em linha com o crescimento dos aportes do banco para o setor agropecuário, as
pesquisas que tratam deste tema apresentaram um relativo aumento nos últimos
períodos. Outro ponto de destaque é a importância do tema Privatização nos trabalhos
que abordam os períodos 1980-1990 e 1990-200217.
Tabela 10 - Principais temáticas e períodos tratados nas obras sobre o BNDES
Período
Temática
1952-
1964
1964-
1980
1980-
1990
1990-
2002
2002-
2013 Total
Agropecuária 1,40% 1,58% 3,24% 2,44% 3,33% 2,55%
Comércio, Serviços e Turismo 0,00% 0,00% 0,00% 0,24% 1,11% 0,44%
Desenvolvimento Social e Urbano,
Esporte e Cultura 8,41% 7,11% 6,02% 8,78% 14,41% 9,77%
Exportação e Inserção Internacional 5,61% 6,72% 6,48% 9,27% 9,31% 7,78%
Indústria 34,11% 34,39% 25,46% 17,32% 14,41% 22,53%
Infraestrutura 22,43% 17,79% 15,74% 13,66% 15,08% 15,99%
Inovação 0,93% 3,16% 3,24% 5,12% 7,98% 4,67%
Meio Ambiente 0,00% 0,40% 0,93% 0,98% 2,44% 1,24%
Mercado de Capitais 4,67% 9,09% 8,33% 9,27% 14,19% 9,58%
Outros 10,28% 6,72% 6,02% 7,07% 6,65% 7,34%
Privatizações 4,21% 5,14% 17,59% 20,24% 3,10% 9,83%
Teórico - Banco de Desenvolvimento 7,94% 7,91% 6,94% 5,61% 7,98% 8,28%
Total 100% 100% 100% 100% 100% 100%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
17Uma vez que um documento pode tratar de mais de uma temática e também mais de um período, os
resultados da Tabela 10 devem ser avaliados com cautela. Por exemplo, podem ocorrer casos em que um
documento avaliou todos os períodos e, na década de 90, deu atenção especial ao processo de
privatizações. Na classificação foram alocados para esse documento todos os períodos e também, dentre
as temáticas tratadas, a privatização. Dessa forma por se tratarem de classificações independentes, no
cruzamento dessas duas informações (Tabela 10) o tema privatizações aparecerá como tratado em todos
os períodos, uma vez que não é possível isolar o período específico em que determinada temática foi
tratada em cada texto. Em função desta limitação, os resultados da Tabela 10 são apenas um sinalizador
de quais temáticas foram mais importantes em cada subperíodo.
37
4.2. Indicadores de Desempenho
4.2.1. Variáveis de característica das obras
O número de citações que um trabalho ou autor recebe dentro do Banco de
Dados pode ser utilizado como um indicador de impacto, ou seja, da repercussão ou
visibilidade desse trabalho ou autor para a comunidade acadêmica e, principalmente,
para a literatura econômica sobre o BNDES. Os trabalhos mais citados servem de
referência para outros pesquisadores que pretendem investigar uma determinada área.
Do total de 821 documentos, 58,6% não foram citados e 79,0% receberam até duas
citações. De acordo com João Faria (2008) e David Hamilton (1991), tal resultado é
bastante comum em Ciências Sociais Aplicadas. O maior valor para o número de
citações que um trabalho recebeu foi 36.
A Figura 10 apresenta a distribuição de frequência das obras que compõem o
Banco de Dados de acordo com o número de citações que receberam, desagregado pela
instituição patrocinadora da publicação. A assimetria da distribuição evidencia a
concentração do número de citações abaixo da média, ou seja, concentração em poucos
documentos. Essa assimetria ainda é mais evidente para os documentos cuja instituição
responsável pela publicação não é o BNDES. Dentre os documentos publicados pelo
BNDES, 48,5% não receberam citações, enquanto para os documentos publicados por
outras instituições, esse percentual atinge 63,5%. Desta forma, a repercussão dos
trabalhos patrocinados pelo banco mostra-se relativamente maior.
38
Figura 10 - Distribuição de frequência dos documentos da literatura econômica
sobre o BNDES por número de citação recebida
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Do total de 821 documentos analisados, 268 são documentos cujo BNDES é a
instituição responsável pela publicação e 553 são publicados por outras instituições. A
Tabela 11 apresenta as estatísticas descritivas para o número de citações por documento.
É possível observar que três quartos dos documentos publicados pelo BNDES
receberam até três citações, enquanto que para os documentos publicados por outras
instituições três quartos receberam até duas citações. Observa-se ainda, a média de 1,89
citações por documento, mas essa média se difere quando é considerada instituição
responsável pela publicação. O Teste de Mann-Whitney para amostras independentes
permite rejeitar a hipótese, com 1% de significância, de que o número de citações por
documentos são iguais em tendência central para as publicações BNDES e outras
instituições. Portanto, pode-se afirmar que os documentos publicados pelo BNDES são
mais citados em média que os documentos publicados por outras instituições.
Tabela 11 - Estatísticas Descritivas do Número de citações por documento por
instituição responsável
Instituição Responsável Média Mediana Terceiro quartil
BNDES 2,14 1 3
Outra Instituição 1,77 0 2
Todas 1,89 0 2 Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Para analisar mais detalhadamente quais são as publicações que receberam
maior número de citações, a Tabela 12 apresenta os dezessete documentos mais citados
com seus respectivos autores e o ano de publicação.
39
Tabela 12 - Os dezessete principais trabalhos de acordo com o número de citações
recebidas
Título Ano de
Publicação Autor
Número
de
Citaçõe
s
Quinze anos de política econômica 1982 LESSA, C. 36
A industrialização e o desenvolvimento econômico do Brasil 1988 BAER, W. 36
The Brazilian economy: growth and development 2001 BAER, W. 28
BNDES, 40 anos: um agente de mudanças 1992 BNDES 26
A aplicação de fundos compulsórios pelo BNDES na formação da
estrutura setorial da indústria: 1952 a 1989 1994
MONTEIRO FILHA,
D. 26
Privatização de recursos públicos: os empréstimos do sistema
BNDES ao setor privado nacional com correção monetária parcial 1989 NAJBERG, S. 22
The Development of the brazilian steel industry 1969 BAER, W. 20
BNDES: 50 anos de desenvolvimento 2002 BNDES 18
O BNDE e a industrialização brasileira: 1952-1961 1981 VIANA, A. 18
O papel da poupança compulsória no financiamento do
desenvolvimento: desafios para o BNDES 1994
BONELLI, R.,
PINHEIRO, A. 18
JK e o programa de metas, 1956-1961: processo de planejamento e
sistema político no Brasil 2002 LAFER, C. 17
Fontes de recursos do BNDES 1995 PROCHNIK, M. 17
The changing role of the State in the Brazilian economy 1973
BAER, W.,
KERSTENETZKY, I.,
VILLELA, A.
17
A atuação do sistema BNDES como instituição financeira de
fomento no período 1952-1996 1998 CURRALERO, C. 16
A economia brasileira em marcha forçada 1985 CASTRO, A.,
SOUZA, F. 15
Aspectos macroeconômicos da privatização no Brasil 1989 WERNECK, R. 15
Da substituição de importações ao capitalismo financeiro: ensaios
sobre economia brasileira 1972 TAVARES, M. 15
Outros
1193
Total 1553
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES *Considera-se o ano da publicação da edição que foi incorporada ao Banco de Dados
O livro “Quinze anos de política econômica” de Carlos Lessa e o livro “A
industrialização e o desenvolvimento econômico do Brasil” de Werner Baer são os
documentos mais citados do banco de dados, totalizando 36 citações18.
Também, há que se atentar para o fato de que alguns dos documentos do Banco
de Dados possuem algumas características peculiares. Em primeiro lugar, há um grupo
de documentos que representam coletâneas de artigos de outros autores. Tais coletâneas
fazem parte do Banco de Dados, pois muitos autores citam diretamente a coletânea ao
invés de citar a referência de um texto específico. Também, há um grupo de documentos
que foram publicados em diferentes formatos, como dissertações ou teses que foram
posteriormente publicadas em forma de artigos ou como livros. Nestes casos há
18 Algumas obras tratam de maneira mais abrangente a economia brasileira, mas também mencionam o
BNDES na publicação, como algumas de Werner Baer, Celso Lafer e Antonio Barros de Castro. Pode
acontecer, em alguns casos, que as citações decorram não em função da análise que os trabalhos fizeram
sobre o BNDES, mas da parte de análise da economia brasileira.
40
diferentes modos de citar o mesmo trabalho. Para melhor representar estes casos foi
criado um código de identificação unificado, entendendo que esses documentos
específicos tratam não só do mesmo assunto, mas apresentam a mesma visão e
argumentação de um documento anterior do próprio autor. O código unificado soma as
citações dessas diferentes versões dos trabalhos.
A Tabela 13 apresenta os documentos mais citados que estão nessa condição.
Por exemplo, o primeiro documento “A aplicação de fundos compulsórios pelo BNDES
na formação da estrutura setorial da indústria: 1952 a 1989” possui um título adicional
associado ao principal, cuja publicação foi de uma tese de doutorado que foi
posteriormente publicada em formato de artigo. A tese recebeu 26 citações, mas
unificando com o artigo, o número de citações passa para 34. A coletânea “BNDES:
Um banco de ideias - 50 anos refletindo o Brasil” compreende 17 obras ao Banco de
Dados, mas foi citada 11 vezes, com referência à própria coletânea. De outro lado,
unificando com as citações que os artigos que compõem coletânea receberam, o total de
citações sobe para 28. Os resultados da Tabela 13 traduzem outra forma de avaliar a
repercussão dos trabalhos, salientando a importância das coletâneas para a literatura
sobre o BNDES19.
19 O Anexo II apresenta os resultados das citações por documento, separando pelo tipo de formato
publicado.
41
Tabela 13 - Citações com código unificado, principais documentos
Citações - Código
Unificado Qt.
Títulos
associados Título Autor sem cód. com cód.
A aplicação de fundos
compulsórios pelo BNDES na
formação da estrutura setorial da
indústria: 1952 a 1989
MONTEIRO FILHA, D. C.
(1994) 26 34 1
BNDES: Um banco de ideias -
50 anos refletindo o Brasil
MONTEIRO FILHA, D.
C.; MODENESI, R. L.
(2002)
11 28 17
A economia brasileira nos
anos 90
GIAMBIAGI, F.;
MOREIRA, M. M. (1999) 8 27 4
Direcionamento do crédito: o
papel dos bancos de
desenvolvimento e a experiência
recente do BNDES
TORRES FILHO, E. (2007) 14 24 1
BNDES 50 Anos: Histórias
Setoriais
FILHO, J. K.; SÃO
PAULO, E. M. (2002) 5 22 14
JK e o programa de metas, 1956-
1961: processo de planejamento
e sistema político no Brasil
LAFER, C. (2002) 17 17 1
O BNDES e o Plano de Metas DIAS, J. L. (1996) 6 13 1
A reforma do sistema FAT-
BNDES: críticas à proposta
Arida
TORRES FILHO, E. (2005) 10 12 1
Desenvolvimento econômico e
desenvolvimento político JAGUARIBE, H. (1962) 10 10 1
O BNDES em um Brasil em
transição
ALÉM, A. C.;
GIAMBIAGI, F. (2010) 2 10 12
Total: 43 documentos 125 279 -
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
O desenvolvimento das citações de um trabalho ao longo do tempo aponta um
comportamento aproximado a de um ciclo de vida. Na Figura 11 apresentam-se os
ciclos dos seis trabalhos mais citados. Pode-se observar o pico de citações dos trabalhos
ao redor dos dez anos após sua publicação. Como os dois trabalhos mais antigos de
Lessa (1964) e Baer (1965) tornaram-se referências clássicas do período, seu ciclo
mostra-se mais alongado e não apresentando retração expressiva nos últimos anos.
Dessa forma, como grande parte dos textos foi publicada nas últimas duas décadas o
ciclo de citações desses trabalhos ainda não se completou.
42
Figura 11 - Evolução do número de citações dos principais trabalhos mais citados
no Banco de Dados
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Além do número de citações por documento, outro indicador relevante é o
número de citações por autor. Os autores mais citados tornam-se referências em suas
respectivas áreas de atuação e, dessa forma, pode-se destacar os autores-chave da
literatura econômica do BNDES. Para os casos em que os documentos possuem mais
de um autor, foi adotado o critério de que cada autor do documento recebe crédito total
pelo trabalho.
A análise estatística mostra que em média os autores receberam 2,6 citações,
mas o desvio-padrão elevado de 8,7 indica alta dispersão das citações. Considerando a
distribuição de frequência dos autores de acordo com o número de citações que
receberam, a Figura 12 evidencia a assimetria com concentração de autores com número
de citações igual a zero, totalizando 59,5% dos autores. Esses resultados são coerentes
com o que se verifica na literatura de análise bibliométrica. De maneira geral, a
distribuição das citações apresenta essa assimetria, caracterizando uma situação em que
0123456789
101112131415161718
Quinze anos de política econômica (1964)
A industrialização e o desenvolvimento econômico do Brasil (1965)
BNDES, 40 anos: um agente de mudanças (1992)
The Brazilian economy: growth and development (1979)
A aplicação de fundos compulsórios pelo BNDES na formação da estrutura setorial da
indústria: 1952 a 1989 (1994)Privatização de recursos públicos: os empréstimos do sistema BNDES ao setor privado
nacional com correção monetária parcial (1989)
43
poucos autores-chave recebem muitas citações e a grande maioria dos autores recebem
poucas citações.
Apesar de em média os autores receberam 2,64 citações, esse número se difere
consideravelmente quando se considera a instituição de afiliação do autor. Os autores
afiliados ao BNDES apresentam em média mais que o dobro de citações que os autores
afiliados a outras instituições. O Teste de Mann-Whitney para amostras independentes
rejeita a 1% de significância a hipótese nula de que o número de citações por autor
afiliado BNDES e afiliado a outras instituições são iguais em tendência central.
Portanto, pode-se afirmar o número de citações por autor se diferem entre as
instituições, sendo que os autores afiliados ao BNDES são mais citados que os autores
afiliados a outras instituições. Adicionalmente, observou-se que há certa endogeneidade
nas citações do BNDES, já que quando se considera unicamente as citações oriundas de
trabalhos de autores afiliados ao banco verifica-se que estes citam proporcionalmente
mais obras de autores que também possuem afiliação do BNDES. Cerca de 56,7% das
citações de autores afiliados ao BNDES são direcionadas à obras cuja afiliação de pelo
menos um dos autores é o próprio banco, enquanto 39,4% das citações de autores não
afiliados ao banco direcionam-se a documentos de afiliados ao banco.
Observa-se, ainda, que há uma maior assimetria na distribuição do número de
citações para os autores não afiliados ao BNDES. Ou seja, para os autores externos ao
BNDES, as citações são ainda mais concentradas em poucos autores.
Nota- se também, um menor percentual de autores sem citação para os afiliados ao
BNDES. Dentre os autores afiliados a outras instituições, 68,6% não receberam citações
de seus documentos publicados, esse percentual cai para 36,1% para os autores afiliados
ao BNDES, evidencia de que maior número de autores do BNDES recebem citações.
Figura 12 - Distribuição dos autores por número de citação recebida
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
44
O número de citações por autor, como um indicador de impacto, pode apresentar
alguns vieses que devem ser minimizados. Existem autores que podem receber muitas
citações porque publicaram muitos trabalhos, mas cada um desses trabalhos conta
isoladamente com menor repercussão no campo científico. Por outro lado, alguns
autores, apesar de publicarem poucos trabalhos, podem produzir material importante
para a comunidade acadêmica. Neste contexto, um indicador relativo relevante que pode
amenizar esse viés é o número de citações que um determinado autor recebe em relação
ao total de artigos publicados pelo autor, ou seja, a citação média por publicação de
determinado autor. Esse indicador apresenta o impacto médio do trabalho do autor.
Outro problema relacionado ao número de citações por autor é a questão da
autocitação20. A Tabela 12 apresenta o indicador citação por publicação assim como o
número de autocitação.
Tabela 14 - Autores mais citados e indicador de citação média por publicação
Autores Citações Publicações
Indicador
Citações/
Publicações Autocitação
Indicador
Autocitação/
Citações
BAER, W. 124 16 7,75 25 20,2%
PINHEIRO, A. C. 122 20 6,10 33 27,0%
GIAMBIAGI, F. 70 15 4,67 10 14,3%
TORRES FILHO, E. 66 21 3,14 8 12,1%
MONTEIRO FILHA, D.C. 64 7 9,14 6 9,4%
BNDES 64 12 5,33 1 1,6%
LESSA, C. 45 3 15,00 0 0,0%
ALÉM, A. C. 36 5 7,20 3 8,3%
VILLELA, A. V. 34 6 5,67 1 2,9%
NAJBERG, S. 34 5 6,80 1 2,9%
PUGA, F. P. 31 31 1,00 4 12,9%
VELASCO JÚNIOR, L. 29 3 9,67 3 10,3%
SUZIGAN, W. 28 7 4,00 0 0,0%
PROCHNIK, M. 27 3 9,00 1 3,7%
WERNECK, R. L. F. 23 2 11,50 1 4,3%
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
20 A autocitação autoral é uma referência que o autor faz em seu próprio artigo de trabalhos publicados
por ele.
45
Carlos Lessa destaca-se como o autor com maior indicador de citação média.
Apesar de possuir apenas três obras listadas no Banco de Dados, o autor atingiu 45
citações, resultando em um indicador de 15 citações por publicação. Ainda se destacam
nesse quesito, Rogério L. F. Werneck, Licinio Velasco Jr., Dulce Monteiro Filha, Marta
Prochnik, Werner Baer e Ana Claudia Além21. Quanto à questão da autocitação,
observa-se que o autor mais citado no Banco de Dados também se destaca como o autor
que mais cita seus próprios trabalhos.
Outro indicador importante na avaliação da repercussão da produção acadêmica
consiste na citação média por periódico. A Tabela 13 mostra os periódicos mais citados
e o número de documentos publicados nele. A Revista do BNDES destaca-se pelo
elevado número de citações recebidas (278), representando quase um quinto do total de
citações identificadas na pesquisa. Em segundo plano, a Pesquisa e Planejamento
Econômico do IPEA atingiu 48 citações. Outro grupo com certo destaque em termos de
citações compõe-se das revistas: The Quarterly Review of Economics and Finance,
Revista de Economia Política, World Development e Economia e Sociedade.
Tabela 15 - Periódicos mais citados e indicador de citação média por publicação
Revista Citações Publicações Citação/Publicação
Revista do BNDES 278 107 2,60
Pesquisa e planejamento econômico 48 7 6,86
Revista de Economia Política 36 13 2,77
The Quarterly Review of Economics and Finance 36 12 3,00
World Development 28 2 14,00
Economia e Sociedade 25 14 1,79
BNDES Setorial 18 18 1,00
Visão do desenvolvimento 16 4 4,00
Estudos Econômicos 13 8 1,63
Journal of interamerican Studies and World Affairs 13 6 2,17
Ensaios BNDES 12 2 6,00
Revista brasileira de economia 11 3 3,67
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
Quando se considera a citação média de cada revista verifica-se que a publicação
World Development apresentou, ainda que com apenas dois textos, a maior taxa de
21 Cabe ressaltar que foram contabilizadas separadamente as publicações semelhantes de mesma autoria
em idiomas e formatos diferentes. Neste último caso, um autor pode ter publicado primeiramente uma
tese, dissertação ou texto para discussão e posteriormente um artigo, capítulo de livro ou livro. No
formato atual do banco de dados, tais documentos contabilizaram-se isoladamente.
46
repercussão média por documento publicado (14). O periódico Pesquisa e Planejamento
Econômico também apresentou uma repercussão média expressiva para os documentos
publicados. Adicionalmente, destacam-se nesse indicador as publicações do BNDES:
Ensaios BNDES e Visão do Desenvolvimento.
4.2.2. Variáveis de classificação das obras
De forma semelhante ao que foi realizado na seção anterior, os trabalhos citados
são analisados de acordo com a temática e o período a que se referem, bem como ao
grau de importância que o BNDES ocupa no documento.
O número de citações que cada temática recebe pode ser um indicador de
repercussão do tema. A Tabela 16 apresenta o número de documentos que tratam da
temática por número de citações que receberam, bem como o número de citações totais
que cada temática recebeu. Como esperado, de maneira geral, as temáticas mais tratadas
pelos autores em suas publicações também foram as mais citadas. A primeira coluna da
Tabela 16 mostra que existe uma concentração do número de documentos que
receberam dez ou mais citações tratando das temáticas Indústria e Infraestrutura, 17 e 13
documentos respectivamente. No entanto, do total de trabalhos que avaliam a temática
Indústria (231), cerca de 55,0% não receberam nenhuma citação (127). Já para a
temática Infraestrutura, 45,0% dos trabalhos não tiveram repercussão. A penúltima
coluna da Tabela 16 mostra que a temática Indústria recebeu no total 598 citações,
enquanto que Infraestrutura recebeu 511 citações.
Quando esses resultados são comparados com a Tabela 8, que mostra o número
de vezes que cada temática foi tratada pelos trabalhos, infere-se que a temática
Infraestrutura repercutiu relativamente mais. Na Tabela 8, Infraestrutura mantinha
participação de cerca de 15,1% no total de temáticas tratadas. Quando o indicador de
citações totais para cada temática é analisado, a participação do tema Infraestrutura sobe
para 22,2% (Tabela 16). Privatizações foi outra temática que foi tratada pelos trabalhos
que repercutiram na literatura, ou seja, documentos que receberam mais de uma citação.
Do total de 96 documentos que tratam desta temática, 42 documentos (43,8%) não
receberam citações, percentual relativamente reduzido quando comparado às outras
temáticas avaliadas. No agregado, a temática Privatização recebeu 324 citações.
Apesar de ser um tema que ganhou importância para a literatura sobre o BNDES mais
47
recentemente, como mostra a Tabela 10, o tema Mercado de Capitais apresentou uma
significativa repercussão no período. Do total de 107 trabalhos que avaliam essa
temática, 41,1% receberam uma ou mais citações, isso representa um total de 217
citações. Comércio e Meio Ambiente foram as temáticas com maior percentual de
trabalhos sem nenhuma citação, indicando que ainda há uma limitada repercussão
desses temas na literatura, possivelmente por serem temáticas emergentes.
Tabela 16 - Distribuição das obras sobre o BNDES de acordo com o número de
citações recebidas e temática tratada
Quantidade de Documentos
Citações
10 ou
mais 5 a 9 1 a 4 0
Total de
Documentos
Citados
% de 0
citações
Total de
Citações
Participação
no Total de
Citações
Total de Títulos 43 70 227 481 821
Temáticas
Agropecuária 0 0 6 18 24 75% 7 0%
Comércio, Serviços e
Turismo 0 0 1 5 6 83% 1 0%
Desenvolvimento Social e
Urbano, Esporte e Cultura 1 3 29 80 113 71% 88 4%
Exportação e Inserção
Internacional 6 6 15 45 72 63% 148 6%
Indústria 17 23 64 127 231 55% 598 26%
Infraestrutura 13 21 54 72 160 45% 511 22%
Inovação 0 4 15 36 55 65% 51 2%
Meio Ambiente 0 0 3 11 14 79% 5 0%
Mercado de Capitais 7 6 31 63 107 59% 217 9%
Privatizações 11 21 22 42 96 44% 324 14%
Teórico - Banco de
Desenvolvimento 3 13 24 51 91 56% 161 7%
Outros 8 6 23 55 92 60% 195 8%
Total de Citações 2306 100%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Em relação aos períodos históricos tratados pelos documentos que compõem o
Banco de Dados, é possível, por meio dos trabalhos mais citados, identificar quais
períodos receberam maior atenção da comunidade acadêmica que investiga temas
relacionados ao BNDES. A Tabela 17 apresenta os períodos com o respectivo número
de citações.
Embora grande parte dos documentos que compõem o Banco de Dados avaliem
os períodos mais recentes, como observado na Tabela 9, no que se refere ao número de
citações, nota-se que os primeiros períodos apresentam número de citações
relativamente maiores, pois esses trabalhos já estão mais avançados no ciclo de citações.
48
Considerando os três períodos iniciais, percebe-se que estes representam 56,6% do total
de citações recebidas. Esse resultado está de acordo com o esperado, pois trabalhos mais
recentes ainda apresentam pouca repercussão. Da primeira parte da Tabela 17, observa-
se que do total de documentos que avaliam os períodos de 1952-1964, 1964-1980,
1980-1990, 1990-2002 aproximadamente metade deles não receberam nenhuma citação.
Já do total de 333 documentos que avaliaram a última década (2002-2013), 228 não
receberam nenhuma citação (68,5%). Em termos absolutos o período mais citado foi o
de 1990-2002, que recebeu 615 citações (penúltima coluna da Tabela 15).
Tabela 17 - Distribuição das obras sobre o BNDES de acordo com o número de
citações recebidas e período avaliado
Quantidade de Documentos
10 ou mais
citações
5 a 9
citações
1 a 4
citações
0
citação
Total de
Documentos
Citados
Percentual
de 0
citações
Total de
Citações
Participação
no Total de
Citações
Total de
Títulos 43 70 227 481 821
Período
1952-1964 14 17 33 66 130 51% 495 21%
1964-1980 10 18 42 82 152 54% 428 18%
1980-1990 13 18 40 66 137 48% 429 18%
1990-2002 18 35 91 141 285 49% 615 26%
2002-2013 7 14 84 228 333 68% 308 13%
Atemporal 3 5 20 29 57 51% 111 5%
Total de
Citações 2386 100%
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Outra questão relevante associada à classificação dos documentos citados refere-
se ao grau de referência dos textos ao BNDES. A Figura 13 apresenta a distribuição dos
documentos que compõem o banco de dados por número de citações e pelo grau de
referência que faz ao BNDES. Nota-se que em geral os documentos mais citados
também são aqueles que têm o BNDES como objeto de estudo. Entre os documentos
com 10 ou mais citações observa-se que 66,7% são obras em que o BNDES aparece de
maneira significativa no documento, já entre os documentos com zero citações apenas
41,3% têm o BNDES como objeto de estudo.
49
Figura 13 - Distribuição das obras sobre o BNDES de acordo com o número de
citações recebidas e grau de referência ao banco
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
A média de citações dos trabalhos com elevado grau de referência ao BNDES,
que assume valor da variável binária igual a 1, é de 2,15. Para os trabalhos com baixo
grau de referência ao BNDES, cujo valor da variável binária é igual a 0, a média é de
1,77. Para verificar se existe diferença estatística entre as médias desses dois grupos
foram aplicados os Testes de Mann Whitiney, que testa se a distribuição das citações por
trabalho diferem entre os dois grupos (1 e 0) e o Teste de Mediana, que testa se as
medianas dos grupos são diferentes22. Em ambos os testes os resultados permitem
rejeitar a hipótese nula, ao nível de significância de 1%, que a média ou mediana são
iguais. Assim, a repercussão dos trabalhos que têm o BNDES como objeto de estudo é
maior que os trabalhos que não se referem ao BNDES de modo expressivo.
4.3. Indicadores Relacionais
Outra forma de visualizar a estrutura de citações do Banco de Dados é por meio
das redes. Esses indicadores são amplamente utilizados na literatura de análise
22
Foram aplicados testes não paramétricos de diferenças de médias para amostras independentes tendo
em vista que a variável número de citações por trabalho não apresentou distribuição normal, conforme
teste de normalidade de Kolmogorov-Smirnov.
0%
20%
40%
60%
80%
100%
10 oumais
citações
5 a 9citações
1 a 4citações
0citações
Baixa referência ao BNDES 33% 31% 40% 59%
Alta referência ao BNDES 67% 69% 60% 41%
Baixareferência aoBNDESAltareferência aoBNDES
50
bibliométrica, principalmente nas análises de co-citação e coautoria de artigos e
documentos. A Figura 14 apresenta a rede de citações dos documentos mais citados
conforme foi detalhado na Tabela 1223.
O valor da densidade da rede é de 0,1061 indicando que apenas 10,6% de todas
as conexões possíveis são estabelecidas na rede, o que aponta para uma rede pouco
densa. Para a construção da rede e análise dos documentos mais centrais, optou-se pelo
método de Grau de Centralidade (Centrality Degree) que considera o número de
interações que os atores de uma rede estabelecem com os outros24. Ademais, o tamanho
do nó reflete a frequência com que o documento foi citado.
O alto grau de centralidade dos trabalhos de Baer (1998), Lessa (1982),
Monteiro Filha (1994), Baer (2001) e BNDES (1992) aponta para uma maior influência
desses documentos na literatura econômica sobre o BNDES. De fato, com exceção de
Baer (2001), os outros documentos têm o BNDES como objeto de estudo, ou seja,
analisam de maneira significativa a atuação do banco. Pode-se dizer que esses
documentos formam a rede principal de citações.
Alguns documentos também apresentam grau elevado de centralidade, porém
essa caracteriza-se por ser apenas local. Em outras palavras, embora o documento seja
amplamente citado, a rede de citações desse documento não está conectada aos outros
documentos mais citados. Esse é o caso, por exemplo, dos trabalhos de Baer et al.
(1973), Werneck (1989) e BNDES (2002) que recebem várias conexões por meio das
citações de outros trabalhos que pouco se conectam a rede principal. Analisando
especificamente os trabalhos de Baer et al. (1973) e Werneck (1989) observa-se que os
mesmos não analisam o BNDES de maneira significativa. Na verdade são documentos
que discutem temas de grande repercussão na área acadêmica e estreitamente
relacionados à atuação do BNDES, como a intervenção do Estado no processo de
industrialização do Brasil analisado em Baer et al. (1973) e o processo de privatização
no Brasil tratado por Werneck (1989). Essas características podem explicar o padrão
desses documentos na rede, ou seja, o potencial de gerarem redes locais dentro da rede
principal.
23 Devido ao alto número de autores com poucas citações e, portanto, a dificuldade em representá-los em
uma rede inteligível optou-se pela construção da rede considerando os 17 documentos mais citados, sendo
que esses trabalhos obtiveram mais de 14 citações. 24 O método do Grau de Centralidade também foi utilizado para a construção das redes de co-citação,
autores e parcerias institucionais.
51
Figura 14 - Redes de citação dos dezessete trabalhos mais citados no Banco de Dados
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
A Figura 15 apresenta a rede de co-citação construída considerando os dezessete
documentos mais citados no Banco de Dados. A análise de co-citação tipicamente
apresenta uma rede onde os autores/documentos mais citados estão conectados pelo link
de co-citação.
Figura 15 - Redes de co-citação dos dezessete trabalhos mais citados
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
Observa-se, na parte mais densa da rede, que os trabalhos de Viana (1981) e
Najberg (1989) formam o par de documentos com maior número de co-citação seguido
por Viana (1981) e Curralero (1998). Essas três dissertações de mestrado analisam
detalhadamente a atuação do BNDES, podendo ser considerados os trabalhos centrais,
ou mais influentes da rede. Além desses principais, ainda são co-citados em menor grau
os trabalhos de Lessa (1982), Castro (1985), Prochnik (1995), Monteiro Filha (1994) e
Baer (1998). Dessa forma, pode-se argumentar que esses seriam os documentos
referências para os pesquisadores que investigam sobre o BNDES.
Para avaliar a relação entre os trabalhos mais citados do Banco de Dados, foi
aplicada a técnica multivariada da análise fatorial visando agregar os trabalhos de
acordo com as citações e co-citações recebidas. A Tabela 23, no anexo V, traz os
resultados completos da análise fatorial, bem como, os valores dos testes aplicados para
verificar a adequação dos dados à técnica. O modelo estimado apresentou adequado
ajustamento considerando os testes de Kaiser-Meyer-Olkin (KMO), esfericidade de
53
Bartlett (LR test) e alpha de Crobach. O resultado da análise identificou sete autovalores
superiores à unidade, de tal forma que sete fatores podem ser usados para explicar as
relações de citações e co-citações dos trabalhos do Banco de Dados. Esses autovalores
explicam 57% da variância total das variáveis originais. A Tabela 18 a seguir, apresenta
as cargas fatoriais correspondentes a cada um dos sete fatores. As cargas fatoriais
correspondem aos coeficientes de correlação entre cada fator e cada um dos 17
trabalhos considerados na análise.
Verifica-se que o Fator 1 está forte e positivamente correlacionado com cinco
documentos que apesar das informações textuais, tem como característica principal a
apresentação de estatísticas sobre o banco, tal que é um grupo usado conjuntamente
como “Fonte de Dados”. Por exemplo, o trabalho de Viana (1981) apresenta correlação
de 71% com o Fator 1. Os demais trabalhos que compõem esse grupo apresentaram
correlação em torno de 50% ou mais com esse fator. Nota-se que Viana (1981) e Bonelli
e Pinheiro (1994) são análises de períodos mais curtos e os demais analisam mais de
uma década de atuação do banco. O Fator 2 está relativamente mais correlacionado
com documentos cujo os autores são referências clássicas quanto à economia brasileira,
que são citados conjuntamente. O Fator 3 se relaciona fortemente com documentos em
língua inglesa publicados pelo Werner Baer. Portanto, os documentos em questão
tratam-se de referências clássicas sobre economia brasileira, porém citados pela
literatura internacional. Os documentos correlacionados com o Fator 4 assemelham-se,
em conteúdo, aos documentos do Fator 2, sendo importantes também principalmente
como base ou panorama histórico para os trabalhos. Nota-se que os demais fatores estão
correlacionados com trabalhos individuais, o que corrobora o resultado de redes locais
mencionado anteriormente. Ou seja, trabalhos que repercutiram na literatura em termos
de citação, mas não possuem ligação, em termos de co-citação, com os demais
documentos citados.
54
Tabela 18 - Análise Fatorial aplicada a rede de citações dos trabalhos mais citados
Fator
Trabalhos 1 2 3 4 5 6 7
WERNECK, R. L. F. (1989) 0.00 -0.19 -0.55 -0.35 -0.24 0.00 -0.11
VIANA, A. L. D. (1981) 0.71 0.30 -0.01 0.02 0.04 0.16 0.01
CURRALERO, C. R. B. (1998) 0.49 -0.07 -0.04 -0.12 0.10 0.38 0.46 PROCHNIK, M. (1995) 0.58 -0.20 -0.09 -0.04 -0.03 -0.29 -0.10
NAJBERG, S. (1989) 0.55 0.09 -0.06 -0.03 0.39 0.02 -0.32
BAER, W. (1988) -0.04 0.62 0.34 -0.34 -0.01 -0.10 -0.05 BONELLI, R.; PINHEIRO, A. C. (1994) 0.52 -0.32 0.06 0.31 -0.16 -0.25 -0.04
LAFER, C. (2002) -0.07 0.05 0.01 -0.02 0.10 -0.10 0.84
LESSA, C. (1982) 0.11 0.75 -0.06 0.21 -0.13 -0.07 0.08 CASTRO, A. B.; SOUZA, F. E. P. (1985) -0.03 0.14 -0.03 0.74 -0.06 -0.01 -0.05
BAER, W.; KERSTENETZKY, I.; VILLELA, A. V.
(1973) -0.24 -0.11 0.07 -0.30 -0.16 -0.23 -0.09
BAER, W. (2001) 0.05 -0.15 0.71 0.02 -0.26 0.00 0.02
MONTEIRO FILHA, D. C. (1994) 0.03 -0.10 -0.07 -0.02 0.83 -0.09 0.15
TAVARES, M. C. (1972) 0.00 0.53 -0.10 0.14 -0.09 -0.18 0.00 BNDES (2002) 0.01 -0.11 -0.04 0.03 -0.08 0.85 -0.09
BNDES (1992) 0.12 -0.21 0.10 0.45 0.39 0.15 -0.27
BAER, W. (1969) -0.20 0.18 0.59 -0.27 0.06 -0.12 -0.13
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
A análise de coautoria permite avaliar as parcerias e redes de cooperação
estabelecidas entre pesquisadores que investigam um determinado tema. Esses autores
podem ser afiliados à mesma instituição ou podem pertencer a instituições diferentes,
localizadas até mesmo em países distintos.
Inicialmente, verificou-se que 65,0% dos documentos do Banco de Dados foram
escritos por apenas um autor, que é resultado bastante comum em ciências sociais
(Figura 16). Esse percentual é ainda maior para os documentos cujos autores não são
afiliados ao BNDES (74,6%), já para o caso em que pelo menos um dos autores é
afiliado ao BNDES, verifica-se que 44,9% dos documentos não apresentam coautoria.
Entre os trabalhos em coautoria, destacam-se as colaborações de dois e três
autores, representando respectivamente um quinto e menos de um décimo do total. No
caso em que pelo menos um dos autores é afiliado ao BNDES, a Figura 14 indica um
grau ainda maior de coautoria em seus trabalhos. Para verificar se a coautoria dos
trabalhos cuja afiliação dos autores refere-se ao BNDES é, estatisticamente, maior que a
coautoria em trabalhos cuja afiliação dos autores é de outras instituições, realizou-se o
Teste de Mann-Whitney25.
Dos 821 documentos analisados, 235 tiveram sua afiliação associada ao
BNDES, pois pelo menos um de seus autores é afiliado ao banco, enquanto o restante
dos documentos (586) possui autores afiliados a outras instituições. Dentre os trabalhos
cuja afiliação do autor foi associada ao BNDES, encontra-se, em média, 1,81 autores
por obra, enquanto para os documentos publicados por autores não afiliados ao banco, o
25 Teste permite rejeitar, a 1% de significância, a hipótese nula de que o número de autores por documento é igual em
tendência central para autores não afiliados ao Banco e pelo menos um autor afiliado ao banco.
55
número médio de autores por obra é de 1,53. O Teste de Mann-Whitney para amostras
independentes permite afirmar que existe um maior grau de coautoria nos trabalhos
publicados por pelo menos um autor afiliado ao Banco.
Figura 16 - Distribuição dos autores de acordo com o número de coautores,
segundo afiliações ao BNDES e outras instituições
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
Para a construção da rede de coautoria, o método utilizado também foi o Grau de
Centralidade, resultando o valor da densidade da rede de 0,22%. Esse resultado salienta
que as relações de coautoria são reduzidas para os documentos publicados sobre o
BNDES.
A Figura 17 apresenta as três principais redes de coautoria identificadas no
Banco de Dados. O tamanho do nó (circunferência) reflete a frequência com que o autor
aparece em trabalhos em coautoria. A espessura da ligação entre os autores indica a
frequência em que esses pesquisadores trabalham conjuntamente. O primeiro grupo
inclui dois pesquisadores centrais que são Puga, F. P. e Torres Filho, E. T. que
estabelecem uma ampla rede de coautoria. As duas outras redes menores possuem cada
uma um autor central. Observa-se que Giambiagi, F. é o autor central da segunda rede
que também se conecta a rede principal. Já a terceira rede caracteriza-se por ser
relativamente mais local do que as anteriores, apresentando De Negri, J. A. como autor
central.
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
1 2 3 4 5 6 7
Fre
qu
ênci
a R
ela
tiv
a
Quantidade de Autores por Obra
Outras Afiliações Uma das afiliações é BNDES
Figura 17 - Três principais redes de coautoria identificadas no Banco de Dados
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
Adicionalmente, a literatura econômica nacional e internacional relata que o
número de trabalhos em coautoria aumentou ao longo do tempo (Sutter e Kocher, 2004;
Faria et al. 2007). A Figura 18 apresenta o número de trabalhos produzidos em
coautoria a partir de 1968, quando foi publicado o primeiro texto nessa condição.
Verifica-se uma tendência crescente da coautoria nos documentos sobre o BNDES a
partir dos anos 1990. Nos últimos anos, mais da metade dos trabalhos foram em
coautoria, revelando um aumento da colaboração e especialização entre os
pesquisadores.
Figura 18 - Número de documentos produzidos em coautoria e sua participação no
total (1968-2013)
Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
No caso de coautoria, a instituição de afiliação dos autores pode ser utilizada
como uma medida de cooperação interinstitucional. A colaboração é interna quando a
coautoria do trabalho caracteriza-se por autores afiliados à mesma instituição. Por outro
lado, a colaboração é externa quando os autores afiliam-se a diferentes instituições.
Dentre os trabalhos desenvolvidos em coautoria, os resultados mostraram que 62% dos
documentos publicados foram produzidos em redes de colaboração interna, enquanto
38% resultaram de colaboração externa.
0%
10%
20%
30%
40%
50%
60%
70%
0
5
10
15
20
25
30
35
40
45
50
196
81
97
01
97
11
97
21
97
31
97
51
97
81
97
91
98
01
98
21
98
41
98
51
98
61
98
71
98
91
99
01
99
11
99
21
99
31
99
41
99
51
99
61
99
71
99
81
99
92
00
02
00
12
00
22
00
32
00
42
00
52
00
62
00
72
00
82
00
92
01
02
01
12
01
22
01
3
Co-autoria Percentual de co-autoria
58
Ao analisar separadamente os autores afiliados ao BNDES, constata-se que as
redes de colaboração externa do banco mostram-se ainda mais restritas, chegando a
21% dentre os documentos com coautoria.
Essa relativa menor cooperação externa dos afiliados ao BNDES também pode
ser verificada na Tabela 19. Essa tabela apresenta o número de documentos produzidos
por autores do banco com parceiras nacionais ou internacionais, bem como o mesmo
indicador para os autores de outras afiliações. Observa-se que os trabalhos de afiliados a
outras instituições foram produzidos contando com uma relativa maior colaboração
externa internacional.
Tabela 19 - Distribuição das obras realizadas em coautoria com cooperação
externa, de acordo com afiliação ao BNDES e a outras instituições
Cooperação Externa
Nacional % no Total Internacional % no Total Total
BNDES 23 77% 7 23% 30 100%
Outras 50 67% 25 33% 75 100% Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES
A Figura 19 apresenta a rede de cooperação interinstitucional no
desenvolvimento de trabalhos em coautoria. O valor da densidade da rede é de 0,0336
indicando que apenas 3,36% de todas as conexões possíveis são estabelecidas, o que
aponta para uma rede com reduzidas relações entre as instituições. Neste caso, o
tamanho do nó (dimensão da circunferência) indica a frequência com que a instituição
aparece em trabalhos com coautoria, como consequência da atuação de seus afiliados, e
a espessura da ligação entre as instituições denota a frequência de coautoria entre duas
instituições.
Nota-se que a rede de colaboração é constituída de uma rede principal que
conecta as instituições nacionais mais importantes, em termos de colaboração na
coautoria de trabalhos, dentre elas o BNDES, a UFRJ, o IPEA, a UNICAMP, a USP, a
UFF e a PUC-Rio. Além dessa rede principal, verifica-se ainda a existência de algumas
redes locais com destaque para duas principais constituídas de instituições
internacionais. No caso da rede local centrada na Universidade de Illinois as demais
instituições não estabelecem parcerias de coautoria entre si. Um padrão oposto é
observado na rede local que inclui o BIRD, ONU e três universidades estrangeiras, no
qual não há centralidade em apenas uma instituição.
59
No que se refere à rede principal, observa-se que o BNDES aparece como a
instituição com maior número de trabalhos em coautoria, portanto com maior nível de
colaboração. No entanto, a colaboração interna, ou seja, entre autores do Banco, é
predominante na rede. Em termos de colaboração interinstitucional, a UFRJ sobressai
como a principal parceira do BNDES na coautoria dos trabalhos. Outras colaborações
de parceira relevantes entre as instituições são UNICAMP e IPEA, UNICAMP e UFRJ,
UNICAMP e UFF e UFRJ e USP.
60
Figura 19 - Redes de cooperação entre instituições
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
5. Considerações Finais
Os indicadores apresentados na presente pesquisa permitiram traçar um perfil
pormenorizado da literatura econômica sobre o BNDES e vislumbrar a trajetória dessa
publicação. A partir das informações levantadas foram construídos indicadores
bibliométricos que associados à análise de redes sintetizam o perfil bibliográfico,
autoral e de repercussão.
A publicação acadêmica sobre o BNDES concentra-se em artigos publicados em
periódicos e capítulos de livros. Ademais, um volume significativo de teses e
dissertações foi desenvolvido, indicando que o tema recebeu atenção dos centros de
pós-graduação no país, especialmente nos programas da UNICAMP e da UFRJ.
Verificou-se uma tendência de crescimento da publicação acadêmica sobre o
BNDES, especialmente nas duas últimas décadas, com taxas superiores ao crescimento
da elaboração de trabalhos científicos no Brasil. Isso reflete o crescimento das
publicações na área de economia de forma geral ocorrido no período e a maior atenção
dada pela literatura à contribuição do BNDES, especialmente com o crescimento dos
seus desembolsos. Adicionalmente, a análise do Banco de Dados revelou que as
publicações sobre o tema são altamente concentradas, tanto em termos de instituições
responsáveis pela publicação, como em autores que mais publicam.
A preocupação do BNDES em gerar informação e pesquisas sobre a sua atuação
refletiu-se nos resultados da Análise Bibliométrica. De maneira geral, o BNDES é a
instituição responsável pelo maior número de publicações sobre o banco e,
adicionalmente, a instituição de afiliação de pouco mais de um quarto dos autores que
produzem sobre o tema. A despeito da atenção do banco à geração de informação e
produção bibliográfica, isso gerou um grau de endogenia na literatura.
Sobre os indicadores internacionais, foi possível observar que aproximadamente
um quinto da publicação sobre o BNDES foi realizada em idioma diferente do
português, em especial inglês. Adicionalmente, pouco menos de um terço dos
documentos foram publicados fora do Brasil, revelando o interesse e a possibilidade de
publicação no exterior. Apesar de não existir uma base sólida para tal comparação,
entende-se que se trata de um indicador expressivo de internacionalização quando
comparado com outras temáticas em ciências sociais, principalmente por se tratar de um
tema mais relacionado à economia brasileira.
62
No que se refere à classificação dos documentos, as temáticas mais tratadas
foram Indústria e Infraestrutura, sendo essas também as mais citadas. Grande parte dos
trabalhos avaliam esses dois temas conjuntamente. Os períodos mais tratados pelas
publicações foram as três últimas décadas, no entanto, como esperado, os trabalhos que
avaliaram os primeiros períodos de atuação do BNDES receberam maior número de
citações. Adicionalmente, verificou-se que os documentos mais citados são também
aqueles que avaliam o papel do BNDES com maior grau de profundidade.
Foi possível identificar um grupo de autores-chave que mais publicaram e que
receberam um elevado número de citações. As análises estatísticas evidenciaram a
concentração das citações em poucos documentos e autores. Como resultado, infere-se
que apesar da extensa lista de trabalhos e autores que tem se dedicado ao tema, o
número de documentos que repercutiu em termos de citações na literatura é
relativamente reduzido. Adicionalmente, a análise de redes de citação e co-citação dos
principais trabalhos indicou a existência de um expressivo número de redes locais, ou
seja, embora o documento seja amplamente citado, a rede de citações desse documento
não está conectada aos outros documentos que formam a rede principal. Essa reduzida
densidade na rede de citações também foi observada nas redes de coautoria e de
parcerias institucionais entre autores.
Aceitando o indicador de qualidade da produção intelectual da CAPES (Qualis),
nota-se que grande parte dos artigos do Banco de Dados sobre o BNDES foi publicada
em periódicos que possuem classificação Qualis. Entretanto, apenas cerca de um terço
estão nos periódicos classificados nos estratos mais elevados, quais sejam A1, B1 e B2.
Por outro lado, quase metade da publicação encontra-se em periódicos classificados nos
estratos: B3, B4, B5 e C.
Em termos de cooperação, os autores afiliados ao BNDES publicam
relativamente mais em coautoria e estabelecem cooperação entre si. Por outro lado, as
redes de colaboração entre afiliados ao BNDES e autores de outras instituições são
relativamente menores que o padrão observado para os demais autores do Banco de
Dados. A análise de redes para as instituições de afiliação dos autores revelou que a
principal rede de cooperação entre pesquisadores ocorre entre UFRJ e BNDES.
Com base nas principais evidências apresentadas nesta pesquisa, algumas
sugestões ao Banco podem ser colocadas. Primeiramente, sugere-se o estabelecimento
de redes de colaboração com autores de outras instituições nas publicações em que o
BNDES é o responsável. Tal diretiva fortaleceria os laços de publicação entre o corpo
63
técnico do banco com outras instituições nacionais e estrangeiras. Ademais, uma
política de publicação em outros periódicos de qualidade reconhecida permitirá maior
exposição da literatura às críticas externas, além de maior visibilidade dos trabalhos na
comunidade acadêmica científica. Adicionalmente, como a Revista do BNDES é o
principal veículo de publicação sobre o banco, uma sugestão para ampliar o impacto da
revista consistiria na maior abertura deste periódico a autores não afiliados ao banco,
permitindo assim um debate mais amplo. Finalmente, uma proposta para a divulgação
das pesquisas sobre o banco na literatura econômica internacional seria a submissão
para periódicos que já publicaram trabalhos sobre o tema.
64
Referências Bibliográficas
AKSNES, D. W. A macro study of self-citation. Scientometrics, v. 56, n. 2, p. 235-
246, 2003.
ANU – The Australian National University. Quantitative indicators for research
assessment – a literature review. Canberra: Research School of Social Sciences,
2005. 84 p. (REPP Discussion Paper 05/1).
BORGATTI, S. P.; EVERETT, M .G.; FREEMAN, L. C. Ucinet for Windows:
Software for Social Network Analysis. Harvard, MA: Analytic Technologies, 2002.
BORGATTI, S. P. NetDraw: Graph Visualization Software. Harvard: Analytic
Technologies, 2002.
BRASIL. Portal Brasil. Produção científica. Disponível em:<
http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-
cientifica> Acesso em 12 de março de 2013.
CHEN, C.; IBEKWE-SANJUAN, F.; HOU, J. The structure and dynamics of
cocitation clusters: A multiple-perspective cocitation analysis. Journal of the
American Society for Information Science and Technology, v. 61, n. 7, p. 1386-
1409, Jul, 2010.
DURIEUX, V.; GEVENOIS, P. A. Bibliometric Indicators: Quality Measurements of
Scientific Publication. Radiology, v. 255, n. 2, p. 342-351, May, 2010.
FARIA, J. R.; ARAUJO JR, A. F. & SHIKIDA, C. The Citation Pattern of Brazilian
Economists. Estudos Econômicos, v. 37, n. 1, p. 151-166, jan./mar. 2007.
FARIA, J. R. Citation. International Encyclopedia of the Social Sciences, 2008.
Disponível em: <http://www.encyclopedia.com/doc/1G2-3045300336.html>. Acesso
em 12 de março de 2013.
GARFIELD, E. Citation Indexes for Science A New Dimension in Documentation
through Association of Ideas. Science, v. 122, n. 3159, p.108-11, July, 1955.
GAUTHIER, E. Bibliometric analysis of scientific and technological research:a
user's guide to the methodology. Canadá: Observatoire des Sciences et des
Technologies, 1998. 59 p. (88F0006XPB No. 8).
GROSS, P. L. K; GROSS, E. M. College Libraries and Chemical Education. Science,
v. 66, n. 1713, p. 385-389, Oct, 1927.
HAMILTON, D. P. Research Papers: Who’s Uncited Now? Science, v. 251, p. 25,
1991.
JOHNES, G. Research performance indications in the university sector. Higher
Education Quarterly, v. 42, p. 54-71, 1988.
65
LIMA, R. A.; VELHO, L. M. L. S.; FARIA, L. I. L. Análise Bibliométrica da
Atividade Científica da Embrapa Solos (1975-2009). Rio de Janeiro: EMBRAPA,
2010. 26 P. (Boletim de Pesquisa e Desenvolvimento 153).
LUNDBERG, J. Blibliometrics as a research assessment tool – impact beyond the
impact factor. 2006. 57 p. Tese (Doutorado) - Department of Learning, Informatics,
Managements and Ethics, Karolinska Institute, Stockholm, 2006.
MARTIN, B. R.; IRVINE, J. Assessing basic research. Some partial indicators of
scientific progress in radio astronomy. Research Policy, n. 12, p. 61-90, 1983.
MARZAGÃO, D. S. L.; ERARIO, A. L.; CARVALHO, M. M. Sistemas de
indicadores de desempenho: revisão bibliográfica por métodos bibliométricos. In: XXX
CONGRESSO NACIONAL DE ENGENHARIA DE PRODUÇÃO, São Carlos – SP,
12 a 15 de Outubro, 2010.
MOED, H. F.; DE BRUIN, R. E.; VAN LEEUWEN, TH. N. New bibliometric tools
for the assessment of national research performance: database description,
overview of indicators and first applications. Scientometrics, v. 33, n. 3, p. 381-422,
1995.
PENTEADO, R.; DOU, H.; BOUTIN, E.; QUONIAM, L. De la création des bases de
données au développement de systèmes d’intelligence pour l’entreprise. Information
Sciences for decision Making, v. 8, n. 67, p. 05, 2003.
PRITCHARD, Alan. Statistical bibliography or bibliometrics. Journal of
Documentation, v. 25, n. 4, p.348-349, Dec. 1969.
OKUBO, Y. Bibliometric indicators and analysis of research systems: methods
and examples. Paris: OECD, 1997. 70 p. (STI Working Papers, 1997/1).
ROUSSEAU, R. Indicadores bibliométricos e econométricos para a avaliação de
instituições científicas. Ci. Inf., Brasília, v. 27, n. 2, p. 149-158, maio/ago.1998.
SMALL, H. Co-citation in the scientific literature: a new measure of the relationship
between two documents. Journal of de American Society for Information Science,
v. 24, n. 4, p. 265-269, Jul/Aug 1973.
SUTTER, M.; KOCHER, M. Patterns of co-authorship among economics departments
in the USA. Applied Economics, v. 36, p. 327-333, 2004.
VAN LEEUWEN, TH. N.; VISSER, M. S.; MOED, H. F.; NEDERHOF, T. J.; VAN
RAAN, A. F. J. The Holy Grail of science policy: Exploring and combining
bibliometric tools in search of scientific excellence. Scientometrics, v. 57, n. 2, p. 257-
280, 2003.
WHITE, H. D; GRIFFITH, B. C. Author cocitation: A literature measure of intellectual
structure. Journal of the American Society for Information Science, v. 32, n. 3, p.
163–171, May 1981.
66
Anexo I
Lista de Instituições Nacionais
UFMT
http://www.uftm.edu.br/paginas/ensino/cod/83/area/9/t/TESES+E+DISSERTACOES
http://www.biblioteca.ufmt.br/pergamum/biblioteca/index.php
UNICAMP
www.bibliotecadigital.unicamp.br
http://acervus.unicamp.br/
USP (FEA, FEARP, ESALQ)
http://www.teses.usp.br/
www.dedalus.usp.br
UERJ
http://www.bdtd.uerj.br/
http://virtua.sirius.uerj.br:8000/cgi-bin/gw_2012_2/chameleon
UFPR
http://dspace.c3sl.ufpr.br/dspace/handle/1884/284
http://acervo.ufpr.br/
UFPR
http://dspace.c3sl.ufpr.br/dspace/handle/1884/284
http://acervo.ufpr.br/
UNICAMP
www.bibliotecadigital.unicamp.br
http://acervus.unicamp.br/
FUFSE
http://www.ufs.br/
UFMA
http://www.tedebc.ufma.br/
https://www.secureweb.ufma.br/sab/
UFAL http://www.sibi.ufal.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFBA
http://www.bibliotecadigital.ufba.br/
http://www.pergamum.bib.ufba.br/pergamum/biblioteca/index.php
UFC
http://www.teses.ufc.br/tde_busca/index.php
http://www.biblioteca.ufc.br/index.php?option=com_content&task=section&id=29&Itemid=55
UFC
http://www.teses.ufc.br/tde_busca/index.php
http://www.biblioteca.ufc.br/index.php?option=com_content&task=section&id=29&Itemid=55
UNB
http://bdtd.bce.unb.br/tedesimplificado/tde_busca/index.php
67
http://consulta.bce.unb.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&id=
UCB
http://www.biblioteca.ucb.br/
UFES
http://www.bdtd.ufes.br/tde_busca/index.php
http://www.bc.ufes.br/
UFMG
http://www.bibliotecadigital.ufmg.br/dspace
https://catalogobiblioteca.ufmg.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFV
http://www.tede.ufv.br/tedesimplificado/tde_busca/index.php
http://alexandria.cpd.ufv.br:8000/cgi-bin/gw/chameleon
UFU
http://www.bibliotecas.ufu.br/
UFPA
http://bc.ufpa.br
UFPB/J.P.
http://bdtd.biblioteca.ufpb.br/tde_busca/index.php
http://150.165.241.35/biblioteca/side.htm
UFPE
http://www.bdtd.ufpe.br/bdtd/tedeSimplificado/tde_busca/index.php
http://www.biblioteca.ufpe.br/pergamum/biblioteca/
UEM
http://www.pce.uem.br/
UFF
http://www.bdtd.ndc.uff.br/tde_busca/
http://www.sdc.uff.br/consulta/
PUC-RIO
http://www.econ.puc-rio.br/biblioteca.php
FGV/RJ
http://epge.fgv.br/pt/pesquisa/teses-dissertacoes
http://bibweb.fgv.br/cgi-bin/gw_2010_3/chameleon?&skin=fgvrj&lng=pt
IBMEC
http://pergamum.ibmec.br/biblioteca/index.php
UFRN
http://bdtd.bczm.ufrn.br/tedesimplificado/tde_busca/index.php
http://www.ufrn.br/ufrn/conteudo/servicos/bibliotecas.php
UFRGS
http://sabi.ufrgs.br/F?RN=882975189
http://www.lume.ufrgs.br/handle/10183/1
PUC/RS
http://www3.pucrs.br/portal/page/portal/biblioteca/Capa/BCEPesquisa/BCETesesDiss
http://www3.pucrs.br/portal/page/portal/biblioteca/Capa
UNISINOS
68
http://biblioteca.asav.org.br/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFSC http://aspro02.npd.ufsc.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=
UFSCAR
http://200.136.241.56/htdocs/tedeSimplificado/tde_busca/index.php
http://200.9.84.221/cgi-bin/wxis.exe?IsisScript=phl82.xis&cipar=phl82.cip&lang=por
UNESP/ARAR
http://www.athena.biblioteca.unesp.br/F/?func=find-b-0&local_base=BDTD
http://unesp.br/bibliotecadigital/
PUC/SP
http://www.sapientia.pucsp.br/tde_busca/index.php?tipoPesquisa=1
http://lumen.pucsp.br/F/?func=find-b-0&local_base=bngk
UFPE
http://www.bdtd.ufpe.br/bdtd/tedeSimplificado/tde_busca/index.php
http://www.biblioteca.ufpe.br/pergamum/biblioteca/
INSPER
http://tede.insper.edu.br/tde_busca/index.php
http://pergamum.insper.edu.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=
UFV
http://www.tede.ufv.br/tedesimplificado/tde_busca/index.php
http://alexandria.cpd.ufv.br:8000/cgi-bin/gw/chameleon
UFJF
http://www.bdtd.ufjf.br/tde_busca/index.php
http://siga.ufjf.br/index.php?module=biblioteca&action=main:pesquisasimples#1359463766668
UFRJ
http://fenix2.ufrj.br:8991/F/
PUC/SP
http://www.sapientia.pucsp.br/tde_busca/index.php?tipoPesquisa=1
http://lumen.pucsp.br/F/?func=find-b-0&local_base=bngk
FEAD
http://www.fead.br/papyrus/pesquisa.asp
FGV/SP
http://bibliotecadigital.fgv.br
UFSM
http://cascavel.cpd.ufsm.br/tede/tde_busca/index.php
http://bibweb.si.ufsm.br/
UCAM
http://www.ucam.edu.br/informa/
UEL
http://www.bibliotecadigital.uel.br/teses_dissertacoes.php
http://virtua.uel.br:8000/cgi-bin/gw/chameleon
UFC
http://www.teses.ufc.br/tde_busca/index.php
69
http://www.biblioteca.ufc.br/index.php?option=com_content&task=section&id=29&Itemid=55
UFPEL
http://www.ufpel.edu.br/tede/tde_busca/index.php
http://pergamum.ufpel.edu.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&id=
IPEA
http://www.ipea.gov.br/biblioteca/
Lista de Instituições Internacionais
Universidades website
UNAM - Universidad Nacional Autónoma de México
http://dgb.unam.mx/
UBA - Universidad de Buenos Aires
http://www.sisbi.uba.ar/
CEPAL http://www.eclac.cl/biblioteca/default.asp
Universidade do Chile http://www.uchile.cl/bibliotecas
Universidade de Lisboa http://ulisses.sibul.ul.pt/ulisses/portal/html/index.htm
Universidade de Coimbra http://www.uc.pt/bguc
Universidade do Porto http://sigarra.up.pt/up/WEB_BASE.GERA_PAGINA?P_pagi
na=1007165
Universidade Complutense de Madrid
http://www.ucm.es/BUCM/
Universidad Politécnica de Madrid http://www.upm.es/institucional/UPM/Biblioteca
Universidad de Vallidolid http://www.uva.es
Universitat de Valencia http://biblioteca.uv.es/
Universitat de Barcelona http://www.bib.ub.edu/
Università di Bologna http://www.unibo.it/Portale/Biblioteche+e+musei/default
.htm
CNR Itália http://library.isti.cnr.it:8080/index.php?lang=en&page=cat
alog1
Università di Milano http://www.sba.unimi.it/
Università di Padova http://www.cab.unipd.it/
La Sapienza http://w3.uniroma1.it/biblioteche/
École Normale Supérieure Paris http://halley.ens.fr/
Sorbonne http://www.bibliotheque.sorbonne.fr/biu/
Université Paris http://www.univ-paris1.fr/bibliotheques/
Technische Universität München http://www.ub.tum.de/em
Universität Heideberg http://www.ub.uni-heidelberg.de/
Universität Göttingen http://www.sub.uni-goettingen.de/sub-aktuell/
Universität Freiburg http://www.ub.uni-freiburg.de/
Universität Bonn http://www.ulb.uni-bonn.de/
Universität München http://www.ub.uni-muenchen.de/
Universidade de Tóquio http://www.lib.u-tokyo.ac.jp/
Universidade de Kyoto http://www3.kulib.kyoto-u.ac.jp/index-e.html
Universidade de Osaka http://www.library.osaka-u.ac.jp/
70
Universidade de Tohoku http://tul.library.tohoku.ac.jp/
Instituto de Tecnologia de Tóquio http://www.libra.titech.ac.jp/welcome_e.php
Cambridge University http://www.lib.cam.ac.uk/
Oxford University http://www.ox.ac.uk/research/libraries/index.html
Imperial College London http://www3.imperial.ac.uk/library
University College London http://www.ucl.ac.uk/library/catalog.shtml
London School of Economics http://www2.lse.ac.uk/library/home.aspx
University of Edinburgh http://www.ed.ac.uk/schools-departments/information-
services/library-museum-gallery
King’s College London http://www.kcl.ac.uk/library/index.aspx
Manchester University http://www.library.manchester.ac.uk/
Bristol University http://www.bris.ac.uk/library/#page=page-1
Leeds University http://library.leeds.ac.uk/
Sheffield University http://www.shef.ac.uk/library
Harvard University http://lib.harvard.edu/
Stanford University http://www-sul.stanford.edu/
University of California - berkeley http://www.lib.berkeley.edu/
MIT - Massachusetts Institute of Technology
http://libraries.mit.edu/
Caltech http://library.caltech.edu/
Columbia University http://library.columbia.edu/
Princeton University http://library.princeton.edu/
University of Chicago http://www.lib.uchicago.edu/e/index.html
Yale University http://www.library.yale.edu/
Cornell University http://www.library.cornell.edu/
UCLA - University of California, Los Angeles
http://www.library.ucla.edu/
UC San Diego http://libraries.ucsd.edu/
University of Pennsylvania http://www.library.upenn.edu/
John Hopkins University https://catalyst.library.jhu.edu/
Washington University http://library.wustl.edu/
University of Wisconsin-Madison http://library.wisc.edu/#books
71
Anexo II
Tabela 20 – Citações com código unificado, por documento
Título do
Documento
Mestre
Código
Obra Título do Documento
Tipo do
Objeto Citações
A aplicação de
fundos
compulsórios
pelo BNDES na
formação da
estrutura setorial
da indústria:
1952 a 1989
378
A aplicação de fundos
compulsórios pelo BNDES
na formação da estrutura
setorial da indústria: 1952 a
1989
Tese de
doutorado 26
359
A contribuição do BNDES
para a formação da estrutura
setorial da indústria brasileira
no período 1952/89
Artigo 8
A aplicação de fundos compulsórios pelo BNDES na formação da
estrutura setorial da indústria: 1952 a 1989 Total 34
BNDES: Um
banco de ideias -
50 anos refletindo
o Brasil
567 BNDES: Um banco de ideias
- 50 anos refletindo o Brasil Livro 11
322
Transformação do sistema
BNDES em financiador do
setor privado nacional
Capítulo de
livro 8
210
O BNDES e seus critérios de
Financiamento Industrial:
1952 a 1989
Capítulo de
livro 3
345
Novos paradigmas de
competitividade: implicações
para a atuação do Sistema
BNDES
Capítulo de
livro 2
576
A criatividade e a informação
em um processo decisório
contínuo e participativo
Capítulo de
livro 1
574
Comparação entre os
pressupostos do BNDES e da
análise de custo-benefício na
análise de projetos
Capítulo de
livro 1
573 O BNDES e a agroindústria Capítulo de
livro 1
347 Crescer e distribuir: uma
pauta para o BNDES
Capítulo de
livro 1
578
Prospec: modelo de geração
de cenários em planejamento
estratégico
Capítulo de
livro -
570 Avaliação de Projetos no
Brasil
Capítulo de
livro -
575 Metodologia de análise de
projetos
Capítulo de
livro -
72
579 Participação do setor privado
nas áreas de infraestrutura
Capítulo de
livro -
577
Usinas de reciclagem de lixo:
aspectos sociais e viabilidade
econômica
Capítulo de
livro -
568 Perspectivas da Economia
Brasileira
Capítulo de
livro -
583
Fundo de Amparo ao
Trabalhador (FAT):
Metodologia de avaliação do
impacto das aplicações pelo
BNDES no emprego
Capítulo de
livro -
569
Em busca de um modelo de
segurança de suprimento de
matérias-primas
fundamentais
Capítulo de
livro -
572
Tecnologia: suas formas, a
legislação e o apoio
institucional
Capítulo de
livro -
571
Avaliação "social" de
projetos: uma metodologia
para a dependência
Capítulo de
livro -
BNDES: Um banco de ideias - 50 anos refletindo o Brasil Total 28
A economia
brasileira nos
anos 90
342 Privatização no Brasil: Por
quê? Até onde? Até quando?
Capítulo de
livro 9
469 A economia brasileira nos
anos 90 Livro 8
255 Privatização: Mitos e Falsas
Percepções
Capítulo de
livro 5
468
Sistema Financeiro
Brasileiro: Reestruturação
Recente, Comparações
Internacionais e
Vulnerabilidade à Crise
Cambial
Capítulo de
livro 5
693
The Brazilian Financial
System: Recent
Restructuring, International
Comparisons, and
Vulnerability to a Foreign
Exchange Crisis
Artigo -
A economia brasileira nos anos 90 Total 27
Direcionamento
do crédito: o
papel dos bancos
de
desenvolvimento
213
Direcionamento do crédito: o
papel dos bancos de
desenvolvimento e a
experiência recente do
BNDES
Capítulo de
livro 14
73
e a experiência
recente do
BNDES 214
Mecanismos de
direcionamento do crédito,
bancos de desenvolvimento e
a experiência recente do
BNDES
Capítulo de
livro 10
Direcionamento do crédito: o papel dos bancos de desenvolvimento e a
experiência recente do BNDES Total 24
BNDES 50
ANOS:
HISTÓRIAS
SETORIAIS
768 BNDES 50 ANOS:
HISTÓRIAS SETORIAIS Livro 5
424 O Setor Siderúrgico Livro 4
435 O setor elétrico Livro 4
427 O complexo automotivo Livro 2
431 O setor de bens de capital Livro 2
434 O setor de telecomunicações Livro 1
432 O complexo têxtil Livro 1
436 O transporte ferroviário de
cargas Livro 1
426 A agroindústria Livro 1
433 A infraestrutura urbana Livro 1
437
O desenvolvimento social e
urbano: período de 1996-
2002
Livro -
430 O setor petroquímico Livro -
428 Os setores de comércio e de
serviços Livro -
425 O setor de celulose e papel Livro -
429 O complexo eletrônico
brasileiro Livro -
BNDES 50 ANOS: HISTÓRIAS SETORIAIS Total 22
JK e o programa
de metas, 1956-
1961: processo de
planejamento e
sistema político
no Brasil
264
JK e o programa de metas,
1956-1961: processo de
planejamento e sistema
político no Brasil
Livro 17
115
El planeamiento em el Brasil.
Observaciones sobre el Plan
de Metas (1956-1961)
Artigo -
JK e o programa de metas, 1956-1961: processo de planejamento e
sistema político no Brasil Total 17
O BNDES e o
Plano de Metas
250 O BNDE e o Plano de Metas
- 1956/61
Capítulo de
livro 7
249 O BNDES e o Plano de
Metas Livro 6
O BNDES e o Plano de Metas Total 13
A reforma do
sistema FAT-
BNDES: críticas
à proposta Arida
204
A reforma do sistema FAT-
BNDES: críticas à proposta
Arida
Artigo 10
679 A proposta Arida para o
BNDES Artigo 2
74
A reforma do sistema FAT-BNDES: críticas à proposta Arida Total 12
Desenvolvimento
econômico e
desenvolvimento
político
540 Desenvolvimento econômico
e desenvolvimento político Livro 10
543
Economic e political
development - a theoretical
approach and a brazilian case
study
Livro -
Desenvolvimento econômico e desenvolvimento político Total 10
O BNDES em
um Brasil em
transição
446 BNDES e emprego Capítulo de
livro 3
596
Os desafios da
sustentabilidade ambiental e
as políticas do BNDES
Capítulo de
livro 2
648 O BNDES em um Brasil em
transição Livro 2
644
O Brasil diante de um novo
ciclo de investimento e
crescimento econômico
Capítulo de
livro 1
594
O papel do BNDES no
desenvolvimento do setor
sucroenergético
Capítulo de
livro 1
253 O BNDES e o apoio às
exportações
Capítulo de
livro 1
595
O "S" do BNDES e a
sustentabilidade do
desenvolvimento
Capítulo de
livro -
589
O BNDES e o mercado de
capitais: uma abordagem
sustentável
Capítulo de
livro -
588
Políticas governamentais
pró-investimento e o papel
do BNDES
Capítulo de
livro -
593
A reestruturação mundial da
indústria automotiva, o Brasil
e o papel do BNDES
Capítulo de
livro -
590
Reflexões sobre a inovação
no Brasil e o papel do
BNDES
Capítulo de
livro -
591 O BNDES e a estruturação
de projetos de infraestrutura
Capítulo de
livro -
592 O BNDES e os novos
caminhos da logística
Capítulo de
livro -
O BNDES em um Brasil em transição Total 10 Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
75
Tabela 21 – Comparação das consultas dos principais documentos no Google Acadêmico
nº citações
Banco de
Dados
Scholar
Quinze anos de política econômica 1982 LESSA, C. 36 216
A industrialização e o desenvolvimento econômico
do Brasil 1988 BAER, W. 36 271
The Brazilian economy: growth and development 2001 BAER, W. 28 648
BNDES, 40 anos: um agente de mudanças 1992 BNDES 26 0
A aplicação de fundos compulsórios pelo BNDES
na formação da estrutura setorial da indústria: 1952
a 1989
1994 MONTEIRO
FILHA, D. C. 26 20
Privatização de recursos públicos: os empréstimos
do sistema BNDES ao setor privado nacional com
correção monetária parcial
1989 NAJBERG, S. 22 20
The Development of the brazilian steel industry 1969 BAER, W. 20 116
BNDES: 50 anos de desenvolvimento 2002 BNDES 18 0
O BNDE e a industrialização brasileira: 1952-1961 1981 VIANA, A. L. D. 18 10
O papel da poupança compulsória no financiamento
do desenvolvimento: desafios para o BNDES 1994
BONELLI, R.,
PINHEIRO, A. C. 18 18
JK e o programa de metas, 1956-1961: processo de
planejamento e sistema político no Brasil 2002 LAFER, C. 17 41
Fontes de recursos do BNDES 1995 PROCHNIK, M. 17 28
The changing role of the State in the Brazilian
economy 1973
BAER, W.,
KERSTENETZKY,
I., VILLELA, A. V.
17 79
A atuação do sistema BNDES como instituição
financeira de fomento no período 1952-1996 1998
CURRALERO, C.
R. B. 16 13
A economia brasileira em marcha forçada 1985 CASTRO, A. B.,
SOUZA, F. E. P. 15 447
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
76
Anexo III
A análise fatorial de dados permite reduzir o número original de variáveis, de tal
forma que os fatores extraídos possam explicar as variáveis originais. Segundo Johnson
e Wichern (2002) o modelo fatorial para a i-ésima variável pode ser expresso
algebricamente da seguinte forma:26
iimimiiii FlFlFlY ...2211 (1)
Em que: i é a média da variável i; jF representa o j-ésimo fator comum não-
correlacionado, como média zero e variância unitária; ijl é o fator de carga da i-ésima
variável no j-ésimo fator e i é o termo de erro, com média zero, que capta a variação
específica em iY não explicada pelos fatores comuns.
O modelo fatorial implica a seguinte estrutura de covariâncias para a i-ésima
variável:
iimiii lllYVar 22
2
2
1 ...)( (2)
kmimkiki llllYYCov ...),( 11 (3)
ijji lFYCov ),( pi ,...,2,1 e mj ,...,2,1 (4)
Em que: a porção ( 22
2
2
1 ... imii lll ) explicada pelos m fatores comuns é chamada
de i-ésima comunalidade (indica a proporção da variância total da variável que é
explicada pelo conjunto de fatores comuns) e a porção i é chamada de variância
específica.
26 Para maiores detalhes sobre análise fatorial ver: Anderson (1984) e Morrison (1976).
77
As estimativas das cargas fatoriais podem ser obtidas por vários métodos, porém
nesse trabalho empregou-se o método mais comum que são os componentes principais e
utilizou-se a rotação ortogonal Varimax.
Para testar a adequação do modelo de análise fatorial geralmente utiliza-se a
estatística de Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de Bartlett. O KMO
é um indicador que compara a magnitude dos coeficientes de correlação observados
com as magnitudes dos coeficientes de correlação parcial e varia entre 0 e 1. Pequenos
valores de KMO (abaixo de 0,5) indicam que o uso da análise fatorial não é adequado.
Por sua vez, o teste de esfericidade de Bartlett serve para testar a hipótese nula de que a
matriz de correlação é uma matriz identidade. Se essa hipótese não for rejeitada, o uso
do modelo de análise fatorial deve ser reavaliado.
Na determinação do número de fatores necessários para representar o conjunto
de dados, considera-se a contribuição individual e adicional de cada fator para a
variância explicada do conjunto de dados. Usualmente, consideram-se apenas os fatores
cuja raiz característica é maior que a unidade, isto é, aqueles que correspondem a uma
proporção da variância superior àquela atribuída a uma variável isolada.
78
Anexo IV Uma maneira de avaliar a importância do Banco de Dados construído no projeto
consiste na comparação com outras ferramentas de busca. Para tal exercício, foi
avaliada a qualidade da busca pelos documentos que apresentam a palavra “BNDE” ou
“BNDES” em seu título, nos sites de pesquisa disponíveis na internet. Na Tabela 22,
apresenta-se a síntese desse resultado.
Uma busca simples pela palavra “BNDE” na base JSTOR revela a existência de
154 documentos com essa característica. Deste total avaliado, 42 compõe o atual Banco
de Dados do projeto (27,3%), valor entre parêntesis na tabela. A busca pela palavra
“BNDES” retorna 104 documentos, sendo que 35 compõe o banco (33,7%). Esses
valores encontrados representam os documentos que pertencem ao escopo desse
trabalho. Todo o restante refere-se a documentos de inúmeras áreas do conhecimento,
destacando-se documentos sobre química, física e biofísica, matemática e outras
ciências naturais. Dessa forma, cerca de 70% dos resultados de busca no JSTOR não
são de documentos referentes à literatura econômica associada ao BNDES.
Usando o mesmo critério de busca na base Scielo(BNDE), dos 22 documentos
encontrados na primeira busca, nenhum deles faz menção ao banco. Na grande maioria,
são documentos relacionados ao estudo de nutrientes no solo27. Na segunda consulta,
apesar de 50% dos documentos se referirem ao BNDES, o número absoluto de obras é
bastante baixo. Em relação às buscas na base Science Direct, nota-se um expressivo
aumento do número de documentos encontrados em ambos os casos. Apesar disso, em
termos absolutos a quantidade de documentos que se enquadram no critério de seleção
não é diferente do caso do JSTOR. Com isso, em termos percentuais, cerca de 12% a
13% dos resultados satisfazem o critério de seleção descrito anteriormente. A base Web
of knowledge é muito restrita em relação às demais, sendo que poucos resultados foram
obtidos.
De maneira geral, deriva-se destes resultados uma das principais vantagens do
Banco de Dados construído para a presente pesquisa, uma vez que, além de já incluir os
resultados destas ferramentas de busca, inclui apenas os documentos da literatura
econômica que referem-se ao BNDES e que atendem ao objetivo do projeto.
27 Além disso, muitos dos 22 resultados de busca no Scielo aparecem apenas devido ao financiamento do
BNDES ao longo da pesquisa e, no final dos trabalhos, há um agradecimento ao banco.
79
Tabela 22 – Número de documentos identificados nas principais ferramentas de
busca Palavra
Chave Jstor Scielo Science Direct Web of Knowledge
BNDE 154 (42) 22 (0) 188 (21) 4 (0)
BNDES 104 (35) 10 (5) 437 (59) 5 (1)
Fonte: Elaboração Própria a partir do Banco de Dados BNDES.
Ao considerar as buscas via Google Acadêmico, uma ferramenta de busca
amplamente utilizada, alguns pontos merecem atenção. Em primeiro lugar, a quantidade
de resultados supera a dos demais sites, pois a consulta é realizada em diversos campos
dos documentos, que não apenas o título. Dessa forma, não é possível realizar a mesma
comparação com as demais ferramentas. Os resultados da consulta compreenderam uma
série de documentos que tiveram financiamento do BNDES, documentos que tratam
sobre política e fatos históricos do país, programas de disciplinas de curso superior,
documentos que citam a autores que pertenceram ao banco, trabalhos jurídicos etc.De
fato, grande parte dos documentos identificados na busca não está relacionada à
literatura econômica sobre o papel da instituição. Adicionalmente, em alguns casos
constatou-se também dupla contagem de trabalhos, nos casos em que havia um mesmo
documento com grafia diferente.
Nessa última ferramenta, a consulta por documentos específicos do banco ajuda
a colocar em perspectiva os resultados presentes no banco de dados construído ao longo
do projeto. Os resultados da consulta com base nos principais trabalhos (mais citados)
do Banco de Dados, que serão detalhados e discutidos a frente, apontam para duas
interpretações. Por um lado, trabalhos clássicos sobre o tema geral Economia Brasileira
receberam um número maior de citações, em termos absolutos, nos trabalhos
encontrados pelo Google Acadêmico do que no atual Banco de Dados. Esse resultado
era esperado uma vez que se tratam de importantes referências bibliográficas para
outros inúmeros trabalhos que não tratam da literatura econômica sobre o BNDES. Por
outro lado, contudo, considerando as obras mais citadas no Banco de Dados e que
tratam de especificamente dessa literatura, observou-se um maior número de citações no
Banco de Dados do presente trabalho do que no Google Acadêmico. Esse resultado
reforça o argumento de que o atual Banco de Dados faz uma abordagem mais ampla, no
sentido de conter um maior número de trabalhos sobre o tema, ao mesmo tempo, que
qualifica esses documentos de acordo com o objetivo do levantamento de literatura
acadêmica sobre o BNDES.
80
Anexo V Tabela 23 - Resultado completo da Análise Fatorial
Fator Autovalor %
Variancia Explicada
% Variancia
Acumulada Fator1 2,16 0,13 0,13
Fator2 1,71 0,10 0,23
Fator3 1,33 0,08 0,31
Fator4 1,21 0,07 0,38
Fator5 1,18 0,07 0,45
Fator6 1,11 0,07 0,51
Fator7 1,00 0,06 0,57
Fator8 0,98 0,06 0,63
Fator9 0,96 0,06 0,68
Fator10 0,91 0,05 0,74
Fator11 0,84 0,05 0,79
Fator12 0,79 0,05 0,83
Fator13 0,67 0,04 0,87
Fator14 0,64 0,04 0,91
Fator15 0,54 0,03 0,94
Fator16 0,50 0,03 0,97
Fator17 0,47 0,03 1,00
Documento Fator1 Fator2 Fator3 Fator4 Fator5 Fator6 Fator7 Comunalidade
doc17 0,06 -0,37 0,24 -0,22 0,51 -0,07 -0,15 0,47
doc78 0,47 0,53 0,10 0,09 0,20 0,26 -0,03 0,38
doc84 0,44 0,07 0,46 0,22 -0,02 0,36 0,18 0,38
doc208 0,43 0,10 -0,13 0,22 0,42 -0,15 0,14 0,52
doc243 0,52 0,29 -0,11 0,23 0,12 -0,02 -0,37 0,43
doc258 -0,49 0,50 0,04 0,22 0,10 0,15 -0,23 0,38
doc259 0,46 0,07 -0,33 0,08 0,22 -0,10 0,41 0,44
doc264 -0,12 0,07 0,61 0,20 -0,26 -0,12 0,47 0,26
doc277 -0,15 0,71 0,14 -0,31 0,02 -0,02 0,00 0,35
doc295 0,16 0,26 -0,28 -0,46 -0,34 -0,15 0,22 0,43
doc330 -0,35 -0,21 -0,08 0,12 0,22 -0,09 -0,01 0,75
doc334 -0,23 0,03 -0,41 0,32 -0,07 0,38 0,36 0,40
doc378 0,30 -0,03 0,23 0,42 -0,42 -0,39 -0,29 0,27
doc541 -0,17 0,49 0,06 -0,24 0,06 -0,15 -0,03 0,65
doc566 0,24 -0,25 0,09 -0,29 -0,20 0,68 -0,20 0,25
doc645 0,44 -0,02 -0,37 0,00 -0,41 -0,06 -0,14 0,48
doc851 -0,49 0,14 -0,25 0,41 -0,08 0,15 -0,13 0,47
Estat. KMO 0,56 alpha 0,53 LR chi2(136)= 265,53 Prob>chi2 = 0,00 Fonte: Elaboração Própria a partir do Banco de Dados BNDES.