Perfil e impacto da produção

técnico-científica da Embrapa

2007 - 2015

Roberto Penteado

Wilson Fonseca

Flavio Avila

Produção, citações e downloads

Brasília, 04 de Junho de 2018

Avaliação bibliométrica:

Definição, Estudos e

Indicadores

Definição de Bibliometria

Bibliometria (Bibliometrics) – Estudo dos

aspectos quantitativos da difusão, uso e impacto

da informação registrada. Foi adotada inicialmente

de forma restritiva, na análise estatística de

publicações escritas, em particular dos registros

bibliográficos. Com o tempo, a Bibliometria

ampliou seu espectro, com a incorporação de

documentos diversos, tais como bases de dados

internas de uma empresa, bases de publicações

científicas e patentes.

Definição de Cientometria

Cientometria (Scientometrics) – É considerada

um segmento da sociologia da ciência para estudar

os aspectos quantitativos da ciência como

disciplina ou atividade econômica, aplicada ao

desenvolvimento de políticas científicas. Trata dos

estudos quantitativos de todas as atividades

científicas consideradas pertinentes, inclusive a

publicação. Por isso, a Cienciometría é mais

completa que a Bibliometría.

Áreas das ciências da informação

Estudos bibliométricos na Embrapa

2006 – PENTEADO FILHO, R. de C. Création de systèmes

d’intelligence dans une organisation de recherche et

développement avec la scientométrie et la médiamétrie. 2006. 328

f. Tese (Doutorado) – Université du Sud, Toulon.

2009a – PENTEADO FILHO, R. de C.; AVILA, A. F. D. Embrapa

Brasil: análise bibliométrica dos artigos na Web of Science: (1977-

2006). Brasília, DF: Embrapa Informação Tecnológica, 2009a. 116

p. (Textos para Discussão, 36).

2007 – FONSECA JÚNIOR, W. C. A Comunicação

organizacional: um estudo epistemológico. 2007. 204 f. Tese

(Doutorado em Comunicação Social) – Universidade Metodista de

São Paulo, São Bernardo do Campo.

Estudos bibliométricos na Embrapa

2009b – PENTEADO FILHO, R. de C.; AVILA, A. F. D. Estudo das

citações dos artigos da Embrapa na Web of Science de 1977 a

2006. Brasília, DF: Embrapa Informação Tecnológica, 2009b. 131

p. (Textos para Discussão, 37).

2016b – PENTEADO FILHO, R. De C.; FONSECA JUNIOR, W. C.

O problema da padronização das afiliações de autores na base de

dados Web of Science – o caso Embrapa e sua solução. In:

ENCONTRO BRASILEIRO DE BIBLIOMETRIA E CIENTOMETRIA,

5., 2016, São Paulo. Anais... São Paulo: USP, 2016. p.A18

2016a – PENTEADO FILHO, R. De C.; FONSECA JUNIOR, W. C.

F.; AVILA, A.F. O papel da pesquisa bibliométrica na avaliação de

desempenho de instituições de pesquisa: o caso Embrapa.

CONTECSI - International Conference on Information Systems and

Technology Management - ISSN 2448-1041 (2016).

Indicadores em ciência e tecnologia

Indicadores de atividade / produção –

Abrangem a contagem do número de publicações

por tipo de documentos (livros, artigos,

publicações científicas, informes) por instituição,

área de especialização e país. São indicadores

quantitativos que não entram no mérito da

qualidade das publicações.

Indicadores em ciência e tecnologia

Indicadores de conexão / relacionais –

Refletem o grau de colaboração na ciência em

nivel nacional e internacional, assim como o

crescimento ou declínio da pesquisa cooperativa.

Para isso, esses indicadores tratam das co-

ocorrências de autores, citações e palavras,

mapas do conhecimento, redes sociais e a

colaboração entre autores, instituições e países.

Indicadores em ciência e tecnologia

Indicadores de citação - São os mais difundidos

e também os mais polêmicos na análise da

literatura científica, para proporcionar informação

sobre o número de citações recebidas, por um

artigo específico, de outros artigos indexados na

mesma base de dados. Esses indicadores

denotam o impacto de autores ou artigos sobre

determinada comunidade científica, assim como

sua influência e visibilidade nessa comunidade.

Bases de dados multidisciplinares

Web of Science (WoS) – 1960 – Institute for Scientific Information (ISI) /

Thomson Scientific (1992) / Clarivate Analytics (2016). Esta base tem

registros de mais de 12 mil periódicos e é a mais utilizada en estudos

cientométricos. As principais bases da WoS são: Science Citation Index

Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts &

Humanities Citation Index (A&HCI). http://webofscience.com

Scopus – 2004 – Elsevier – Esta base de dados engloba mais de 20 mil

periódicos de diversos países e idiomas. Está crescendo em importância

pois tem origem na maior editora de periódicos do mundo.

SciELO (Scientific Eletronic Library Online) – 1998 – FAPESP/BIREME

– Base regional com algumas dezenas de periódicos.

Como baixar os dados

Como baixar os dados

Como baixar os dados

Como baixar os dados

Como baixar os dados

Como baixar os dados

Como baixar os dados

Avaliação bibliométrica:

Técnicas e métodos

Uso do software VantagePoint

O que é o VantagePoint?

O VantagePoint é um software de mineração de

textos que se utiliza para descobrir o

conhecimento en bases de datos textuais.

Existem outras duas versões do software:

Thomson Data Analyzer - utilizado nas bases de

dados Web of Knowledge da Thomson Scientific,

de artigos e de patentes como a WoS e a Derwent,

Science Citation Index;

TechOASIS - para uso do Governo dos EUA.

Minerar textos por padrões

Como vemos o texto como dado, podemos utilizar

técnicas de mineração de dados para encontrar

padrões e descobrir diferentes perspectivas em

grandes coleções de textos.

O que minerar?

Os dados textuais dos campos

Que são

dados

textuais

brutos dos

campos?

Campos

Delimitados

Estruturados

Em resumo

Com a explosão das informacões é inviável ler artigo por artigo.

O texto pode ser tratado como dado.

Padrões nos dados tem significado.

Bibliometria de co-palavras é a chave para encontrar padrões.

Bibliometria de co-palavras funciona melhor com informação estruturada.

O VantagePoint é uma ferramenta que da poder ao analista mas não o substitue.

O que faz o VantagePoint?

Resume uma amostra de dados:

Quem? - O que? - Onde? - Quando?

Relações

Tendências

Indicadores

Pense, com base em sua realidade, que perguntas são potencialmente úteis para responder.

Exemplo de estudo:

Perfil da produção de artigos da

Embrapa entre 2007 e 2015

Roberto Penteado

Wilson Fonseca

Flavio Avila

Oportunidades e Desafios

Perfil da produção de artigos

RESUMO – Estudo da produção científica da Embrapa e das

consequências de seus resultados para a avaliação de

desempenho da instituição nas dimensões política e social, de

informação e organizacional.

METODOLOGIA – Adoção do software VantagePoint para a

análise bibliométrica, e MS Excel para gerar gráficos. Para isso

foi realizada uma busca em 26 de agosto de 2016, nas bases

de dados da la Web of Science de todos os registros em todos

os idiomas e tipos de documentos (artigos, editoriais,

comentarios, etc.) com os possíveis nomes que faziam

referência à Embrapa. Ao final foram selecionados apenas os

artigos, resultando em 10.681 registros no período 2007-2015.

RESULTADOS – Os resultados se encontram a seguir.

Artigos por ano: 1975 - 2015

Artigos por ano: 2007 - 2015

Artigos por pesquisador (Total): 2007 - 2015

Artigos por idioma: 2007 - 2015

Origem dos periódicos: 2007 - 2015

Classificação dos periódicos: 2007 - 2015

Artigos por País: 2007 - 2015

Artigos por região do mundo: 2007 - 2015

Artigos por região do mundo: 2007 - 2015

Principais parceiros: 2007 - 2015

Principais parceiros: 2007 - 2015

Parceiros por região do globo: 2007 - 2015

EUA / Canadá / México

Parceiros por região do globo: 2007 - 2015

Europa

Parceiros por região do globo: 2007 - 2015

Demais Regiões do Globo

Parceiros por região do globo: 2007 - 2015

África

Parceiros por região do globo: 2007 - 2015

América do Sul / Central / Caribe

Parceiros por região do globo: 2007 - 2015

Ásia / Oceania

Parceiros por região do globo: 2007 - 2015

Organismos Internacionais

Financiadores: 2007 - 2015

Agenda Brasil: 2007 - 2015

Agenda Brazil: 2007 - 2015

Citações (Histórico): 1974 - 2006

Citações (Histórico): 1974 - 2015

Artigos por classe de citação: 2007 - 2015

Centros por classe de citação: 2007 - 2015

Centros por classe de citação: 2007 - 2015

Centros por classe de citação: 2007 - 2015

Citações por tipo de centro: 2007 - 2015

Citações de artigos por idioma: 2007 - 2015

Citações por origem do periódico: 2007 - 2015

Periódicos com zero citação: 2007 - 2015

Periódicos com zero citação: 2007 - 2015

Periódicos com + citações: 2007 - 2015

Periódicos com + citações: 2007 - 2015

Citações por origem e regiões: 2007 - 2015

Parceiros com mais citações: 2007 - 2015

Downloads de publicações: 2009 - 2015

Downloads de publicações: 2009 - 2015

Unidades por downloads: 2009 - 2015

Unidades por downloads: 2009 - 2015

Síntese dos Resultados

Produção Científica

– A Embrapa se encontra entre as instituições científicas

brasileiras mais produtivas; *entre as dez mais;

– Sua alta produção se deve à inclusão de novos

periódicos na base de dados, que agora tende a se

estabilizar (visibilidade x produção);

– Há tendência de crescimento das publicações européias

e norte-americanas na base de dados;

– Há tendência de crescimento dos artigos da Embrapa em

inglês por centros temáticos (Embrapa Recursos Genéticos

/ Embrapa Instrumentação);

– Centros ecorregionais tendem a publicar mais em português;

Síntese dos resultados

Colaborações e Financiamento

– A Embrapa é muito pouco mencionada nos artigos como

financiadora de sua própria pesquisa;

– Aplicando o índice DOM, os artigos com colaboradores das

OIPAs, Asia / Oceanía e África tendem a ser mais citados;

– Mais de 90% das coautorías da Embrapa se concentram no Brasil

(76,12%) e em sete países (EE.UU., França, Reino Unido, Espanha,

Holanda, Alemanha, Espanha e Canadá com 14,28% - Labex);

– Há dois tipos de financiadores: Agenda Brasil e Agenda Brazil;

– Questão importante: em que medida a agenda de pesquisa dos

financiadores externos estão em conformidade com os interesses

institucionais da Embrapa e vice-versa?

Síntese dos resultados

Citações

– O desempenho da Embrapa na citação de seus artigos tende a

ser muito melhor quando suas pesquisas são publicadas em

revistas internacionais, com colaboradores internacionais;

– Dos 1.272 autores da Embrapa e parceiros que publicaram

pelo menos um artigo com mais de cem citações, apenas 11

estão entre os 52 autores mais prolíficos;

– Os dois autores da Embrapa que produziram mais artigos

(154 e 110, respectivamente) se encontram no 95°e

212°lugares entre os que possuem mais de cem citações;

– Os trabalhos publicados em revistas de língua inglesa

possuem mais chance de alcançar um alto número de citações

do que em revistas de idioma português;

– É necessário um período de 5 anos para que as citações

cheguem a seu ápice.

Conclusões

O papel dos indicadores – indicadores de desempenho são

recursos necessários. No entanto, os resultados obtidos devem ser

avaliados qualitativamente de acordo com o perfil de cada

organização científica e de seus centros de pesquisa;

Valorização da diversidade – O desempenho de uma instituição

de P&D como a Embrapa somente será plenamente eficaz se se

levar em conta a contribuição global de suas unidades centrais e

descentralizadas, com seus diferentes perfis. Por isso é necessário

propor um trabalho de avaliação de desempenho mais qualificado;

Conclusões

Melhoria da gestão de desempenho institucional – Existe

a necessidade de melhoria do sistema de gestão de

desempenho da Embrapa, para ajustá-lo às preocupações da

comunidade internacional sobre o uso de indicadores em

C&T, aos documentos orientadores da Empresa (plano

diretor, cenários futuros, agendas estratégicas) e ao perfil de

suas unidades;

Avaliação de desempenho dos produtos de informação – A

produção científica da Embrapa contempla, além dos artigos

publicados em revistas científicas, os mais diversos produtos de

informação (manuais técnicos, vídeos, cartilhas etc.). Com as

novas tecnologias, esses produtos passaram a ficar em evidencia

no portal da Embrapa. É necessário desenvolver um plano ou

projeto que promova um melhor aproveitamento dos produtos de

informação com seus respectivos indicadores de desempenho.

Conclusões

Melhoria da política de publicação de documentos

científicos – É necessário reduzir distorções tais como a

publicação em revistas científicas que não estão em sintonía

com os públicos e temas da Embrapa, apenas para se obter

melhores pontuações nas bases de dados.

Agenda de pesquisa interna x externa – É necessário

atenção à gestão da agenda de pesquisa da Embrapa,

especialmente nos casos de colaboração internacional.

Obrigado

wilson.fonseca@embrapa.br

flavio.avila@embrapa.br

roberto.penteado@embrapa.br