Métricas Alternativas
Andréa Gonçalves do Nascimento
Mestranda do Programa de Pós-Graduação em Biblioteconomia da UNIRIO
Ciclo de Oficinas “O futuro das ideias” | CCJF | Rio de Janeiro | junho 2015
Agenda
• Cenário
• Impacto
• Métricas tradicionais
• Métricas alternativas (e um pouco de prática)
Cenário
• Avaliação de impacto da produção científica é tema de constante discussão na comunidade acadêmica
• Índices tradicionais de impacto são alvo de questionamentos e críticas sobre a sua validade e atualidade
• Surgimento de novas práticas e ferramentas para a comunicação acadêmica
• Produção acadêmica cada vez mais vinculada aos meios eletrônicos no que tange à produção, publicação, disseminação e validação
• Comunidade acadêmica busca maneiras alternativas de medir, avaliar e dar significado à produção acadêmica
IMPACTO(efeito)
(alcance)
(influência)
(valor)
Métricas de impacto
• Para ser utilizado, deve ser medido
• Para ser entendido, deve ser contextualizado
artigo
periódico
autor
instituição níveis
Métricas de artigo
• Contagem de citações
“Na ciência, o fato de um artigo ter sido publicado não é suficiente. Para provar o seu impacto, um artigo precisa de outros artigos posteriores que o ratifiquem.”
Bruno Latour, “Ciência em Ação”
Métricas de periódico
• Impact factor
• Immediacy index
• Cited half-life
• Eigenfactor and Article Influence
• SCImago Journal Ranking (SJR)
• h5-index
• h5-median
• Taxa de aceitação
• Assinaturas, circulação, acervo em bibliotecas
Métricas de autor
• H-Index
• i10-Index
• Publish or Perish
Métricas institucionais
• Essencial Science Indicators Ranking
• SCImago Institutions Ranking
• Snowball Metrics
Em resumo...
Fonte: MyRI, Product Decision chart – What do you want to do? Disponível em: www.ndlr.ie/myri
“No one can read everything. We rely on filters to make sense of the scholarly literature, but the narrow, traditional filters are being swamped. However, the growth of new, online scholarly tools allows us to make new filters; these altmetrics reflect the broad, rapid impact of scholarship in this burgeoning ecosystem. We call for more tools and research based on altmetrics.”
Jason Priem, Dario Taraborelli, Paul Groth and
Cameron Neylon, “altmetrics: a manifesto”
altmetrics:
“a criação e estudo de novas métricas baseadas na web social para analisar e informar atividades acadêmicas”
altmetric.org
Indicadores
Bibliometria
Geração de indicadores a partir de dados bibliográficos e de
citação
Altmetria
Geração de indicadores a partir de dados de
ambientes e ferramentas na web
Article-level Metrics (ALM)
• ALM é muitas vezes confundido com altmetrics
• ALM busca medir o impacto de um artigo usando fontes de dados tradicionais e alternativas
• Incorporar fontes de dados alternativas fornece uma imagem mais rica sobre como esse artigo está sendo discutido, compartilhado e usado
ALM vs. altmetrics
ALMs = nível de
agregação de dados
Altmetrics = tipo de fontes
de dados
IMPACTO
USODownloads
VisualizaçõesREVISÃO POR
PARESOpinião de
especialistas
CITAÇÕES
INTERAÇÃOFavoritos
ComentáriosCompartilhamentos
Adaptado de altmetrics.org
Múltiplas dimensões
Métricas alternativas
• Para ser considerado, deve ser medido
• Para ser entendido, deve ser contextualizado
produto
periódico
autor
instituição níveis
O que se mede?
Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.
Métrica Descrição Fontes
Views / Downloads Downloads ou visualizações na web e em
sites de mídia social
Figshare, Slideshare, Dryad,
Facebook, YouTube, LinkedIn
Shares / Mentions Post público para compartilhar notícias de um
artigo ou resultado de pesquisa
Twitter, Topsy, Facebook,
reddit, artigos de notícias, blog
posts, Google+, YouTube,
Figshare, Mendeley
Saves / Captures Salvo em um site de bookmark social ou
marcado como favorito em um site de mídia
social ou gestor de referência
Mendeley, CiteULike,
Delicious, Github, Twitter, and
Slideshare
Reviews / Social Media Discutido com inclusão de um comentário
adicional
Faculty of 1000 (F1000), blog
posts, comentários de artigos,
comentários no Facebook
Adaptations Criação de trabalhos derivados usando um
artigo ou outro resultado de pesquisa
Github
Cites Citações em literatura acadêmica Pubmed, Scopus, Web of
Science
Métricas de produto
• Métricas de uso:
• Clicks / Visualizações
• Downloads
• Métricas de captura:
• Bookmarks
• Favoritos
• Salvo / Lido
• Menções:
• Blog
• Comentários
• Resenhas
• Mídia social:
• Curtidas
• Compartilhamento
• Tweets
• Pioneira no desenvolvimento e uso de Article-Level Metrics
• ALM disponível para todos os artigos publicados na PLOS. Rastreia
uso, citações e atividade social na web.
• Inclui visualizações em HTML, downloads de PDFs e XML, uso no
PubMed Central, citações em bases de dados e mecanismos de
busca externos (incluindo Google Scholar e Scopus), Facebook,
Twitter, blogs, e comentários no próprio site.
• Monitora a influência dos artigos a curto, médio e longo prazo
• Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos, citações acadêmicas ou não
• Audiências: público em geral e acadêmico
• Dimensões: atenção, autopromoção e impacto
• Adotada também por outros editores, instituições e publicações (ex: OJS/PKP)
• API permite usar e melhor desenvolver a ferramenta de ALM construída pela PLOS.
• Altmetric.com rastreia menções de produtos científicos em sites de
mídia social, jornais, blogs e outras fontes, e registra a resposta
online a esses produtos
• Empresa com fins de lucro
• Adotada por diversos editores, bases de dados e periódicos
• Altmetric score indica a atenção recebida por um determinado item,
ponderando quantidade e “qualidade” da menção
• Três fatores principais: número de menções, onde foi feita a menção
e frequência de menções do autor
Number = score
Blue = TwitterYellow = blogsRed = news
Altmetric score
Altmetric score
• Maioria dos artigos tem score 0
• Média de 30-40% dos artigos mencionados pelo menos uma vez
• Dados incompletos para artigos publicados antes de julho de 2011
Produtos
• Altmetric Explorer
• Altmetric for Institutions
• API
• Bookmarklet
• Badges
Exemplo com artigo de autores da USP
Prática #1 – Instalar e usar o Altmetric Bookmarklet
Prática #2 – Usar o Altmetric Explorer para descobrir o score de artigos publicados em periódicos da Fiocruz
Métricas de periódico
“Até agora, nenhuma métrica alternativa desafiouseriamente o fator de impacto […]. Dito isso, à medida que[números de] visualizações e downloads de artigos se tornem mais comuns, é possível que métricas de periódicobaseadas em métricas de artigo agregadas comecem a seruma alternativa útil para ver a frequencia com que osusuários estão interagindo com o conteúdo do periódico.”
Roemer & Borchardt, “Meaningful metrics: a 21st-Century Librarian’s Guide to Bibliometrics, Altmetrics and Research Impact
Editores que firmaram parcerias para incluir altmetrics em seus artigos online:
• Elsevier• BioMed Central• Nature• Springer• Emerald• Wiley• EBSCO• High Wire Press • Ingenta• Taylor & Francis
Vantagens para editores
• Revistas focadas em nichos específicos
• Revistas que não possuem cálculo de FI
• Revistas destinadas a um público mais amplo que o acadêmico
• altmetrics podem ajudar a justificar a importância do periódico e necessidade de mais recursos
Métricas de autor
• Funcionam como perfil online do pesquisador
• Permite monitorar e compartilhar suas métricas emdiferentes fontes
• ImpactStory
• PlumX
• ResearchGate score
• ImpactStory é uma ferramenta online que permite aos
pesquisadores descobrir e compartilhar os diversos impactos de
seus produtos de pesquisa, de artigos a posts em blogs,
datasets, softwares, entre outros.
• Voltada para pesquisadores, permite importação de registros de
outros sites e inserção manual de identificadores de artigo/autor.
• Assinatura mensal (US$10) ou anual (US$60)
• Métricas abertas e contextualizadas: classificadas por audiência
e por tipo de engajamento – citações, recomendações,
discussões, etc.
Prática #3 – Criar um perfil no ImpactStory e adicionar seus produtos
de pesquisa
Métricas institucionais
• Mesmo conjunto de dados baseados em métricas de artigo, agregados por instituição
• Segmento com potencial de crescimento, mas ainda com baixa adoção
• PlumX Group Metrics
• Altmetric for Institutions
• Usado por universidades e institutos de pesquisa como um meio
de aferir a produtividade de departamentos e grupos
• Disponível por assinatura. Adquirido pela EBSCO em 2014.
• Inclui métricas relacionadas a produtos, grupos, pesquisadores,
laboratórios, departamentos e publicações.
• Permite que instituições acompanhem a influência de seus
pesquisadores, rastreando mais de 20 diferentes tipos de
'artefatos', incluindo artigos de periódicos, livros, vídeos,
apresentações, trabalhos de conferência, códigos, etc.
for Institutions
• Acesso a toda a base de dados do Altmetric.com em uma interface
semelhante a Altmetric Explorer
• Permite agrupar artigos por autor, departamento ou instituição, usar
filtros e receber alertas
• Disponível somente por assinatura institucional
Enfim...
Prós
• Complemento aos métodos tradicionais de avaliação
• Diversidade: métricas diversas, produtos diversos, captura
múltiplas dimensões do impacto científico
• Velocidade: Apuração quase imediata da atenção recebida por
um trabalho científico
• Colaboração: participação em discussões sobre o artigo em
blogs e sites de mídia social
• Visibilidade: permite acompanhar a repercussão online dos
trabalho e entender melhor sua audiência
• Implementação: dados abertos e múltiplas ferramentas
disponíveis para desenvolvimento
Contras
• Heterogeneidade e efemeridade das fontes, indicadores e ferramentas
• Falta de credibilidade: medida de impacto ou de popularidade?
• Métodos limitados de identificação única de artigos
• Dificuldades técnicas e tecnológicas para implementação
• Direcionamento das fontes de coleta de citações
• Possibilidade de manipulação dos dados
• Necessidade de contexto/significado
• Desafio na adoção e uso por universidades e órgãos de fomento
Para pensar...
• O atual ciclo de pesquisa não termina com a publicação, mas com o compartilhamento e medição do impacto
• altmetrics permitem que o autor/pesquisador/editor veja onde o trabalho está sendo visualizado, compartilhado e discutido na web
• É responsabilidade do autor/editor promover a visibilidade e o uso de seu trabalho
Leitura adicional
Research Impact & Visibility: Traditional and altmetrics
http://libguides.library.uu.nl/researchimpact/altmetrics
Altmetrics in action: examples and feedback from data-savvy researchers
http://www.altmetric.com/blog/altmetrics-in-action-examples-and-feedback-from-data-savvy-researchers/
Exploring altmetrics in an emerging country context
http://figshare.com/articles/Exploring_altmetrics_in_an_emerging_country_context/1041797
Andréa Gonçalves do Nascimento
Top Related