Indicadores e métricas

na publicação científica

Photo by Hal Gatewood on Unsplash

13 novembro , 2019

Novas modalidades de peer-review

e as métricas alternativas (Altmetrics)

sumário

Métricas tradicionais: contagem de

citações e indicadores de revistas

Métricas tradicionais:

contagem de citações e

indicadores de revistas

Photo by Echo Grid on Unsplash

métricas tradicionais

investigadores e as instituições necessitam cada vez

mais de filtros e métricas que permitam aferir o impacto do seu trabalho

Imagem Manual de Ciência Abertahttps://foster.gitbook.io/manual-de-formacao-em-ciencia-aberta

métricas tradicionais

a realidade vigente na dita “publicação tradicional” passa pela

submissão de artigos em revistas indexadas em bases de

dados científicas com peer-review

as métricas baseadas na contagem de citações têm sido o

meio mais usado pela comunidade científica

métricas tradicionais

contagem de citações

número de vezes que um artigo é citado por outros artigos

científicos

métrica fundamental para a avaliação da publicação científica e para a aferição do prestígio dos investigadores, sendo a base de cálculo para a maioria dos indicadores bibliométricos

http://isiknowledge.com/WOS

http://www.scopus.com/

http://scholar.google.pt/

métricas tradicionais

web of Science core collectionh t t p : / / i s i k n o w l e d g e . c o m / W O S

S C I - E X P A N D E D

Science Citation Index Expanded - 1900-present

S S C I

Social Sciences Citation Index - 1956-present

A & H C I

Arts & Humanities Citation Index -1975-present

C P C I - S

Conference Proceedings Citation Index-Science - 1991-present

C P C I - S S H

Conference Proceedings Citation Index- Social Science & Humanities -1991-presente

ESCI

Emerging Sources Citation Index -2015-presente

métricas tradicionais

web of Science core collectionh t t p : / / i s i k n o w l e d g e . c o m / W O S

Times cited

Citation report

Author search

Cited Reference Search

outras

métricas tradicionais

Scopus (Elsevier)h t t p : / / i s i k n o w l e d g e . c o m / W O S

Times cited

Author search

Author ID

Citation Overview

métricas tradicionais

métricas de revistas – fator de impacto

Consulta no Journal of Citation Reports (Clarivate Analytics)

http://jcr.incites.thomsonreuters.com/

edição 2018

atualizado todos os anos, em meados do ano civil

baseia-se nos dados de citação da Web of Science Core Collection

(Clarivate Analytics) http://isiknowledge.com/WOS

divisão do número de citações correntes a artigos publicados

nos últimos dois anos pelo número total de artigos publicados

nesse mesmo período.

métricas tradicionais

métricas de revistas – SCImago Journal Rank Indicator

consulta no SCImago Journal Rank - http://www.scimagojr.com/ e SCOPUS –www.scopus.com

consiste numa medida de visibilidade das revistas científicasdados a partir de 1996) - "journal prestige“

mede a “influência científica” média dos artigos de uma revista

métricas tradicionais

métricas de revistas – CiteScore

indicador desenvolvido pela Elsevier, cujos rankings podem ser consultados na base de dados SCOPUS – www.scopus.com

dados de citação da base de dados SCOPUS

métricas tradicionais

métricas de revistas – exemplos

Comparative Education

Brain and Language

Novas modalidades de

peer-review e as

métricas alternativas

(altmetrics)

Photo by Laura Vinck on Unsplash

os resultados da investigação, tal como os

investigadores são avaliados mediante

dois métodos essenciais:

revisão por pares - qualitativa

métricas – quantitativas

As métricas baseadas na contagem de citações têm sido o

meio mais usado pela comunidade científica.

revisão por pares (peer-review)

Meio usado para avaliar o conteúdo dos resultados de

investigação. É o mecanismo formal de certificação da

qualidade através do qual os manuscritos são sujeitos ao

escrutínio de outros.

Imagem Manual de Ciência Abertahttps://foster.gitbook.io/manual-de-formacao-em-ciencia-aberta

revisão por pares aberta

termo abrangente para um conjunto de formas diferentes e

sobrepostas em que os modelos da revisão por pares podem

ser adaptados em função dos objetivos da Ciência Aberta.

“identidades abertas” os nomes do autor e do revisor são

conhecidos por ambos fomenta uma maior responsabilidade dos revisores e reduz as possibilidades de vieses ou conflitos de interesse não revelados.

os “comentários abertos” os comentários dos revisores são

publicados juntamente com o artigo - adicionam uma garantia de qualidade

revisão por pares aberta

Imagem Manual de Ciência Abertahttps://foster.gitbook.io/manual-de-formacao-em-ciencia-aberta

revisão por pares aberta

Copernicus - https://publications.copernicus.org/

Frontiers - https://www.frontiersin.org/

eLife - https://elifesciences.org/

revisão por pares aberta

F1000research - https://f1000research.com/

ScienceOpen - https://www.scienceopen.com/

Peerage of Science - https://www.peerageofscience.org/

métricas alternativas

ciência aberta

ampliação do ciclo de difusão do conhecimento científico

disseminação dos resultados da investigação mais transparente

e aberta

atividade que deve ser medida e fornecer informação adicional para

complementar às métricas tradicionais - contagem de citações deixa

de ser o meio exclusivo

métricas alternativas

as métricas baseadas em contagem de citações são

insuficientes para avaliar o impacto de uma publicação no

meio académico

a 1ª citação a um artigo pode levar anos

artigos de relevância para o avanço do conhecimento

podem nunca vir a ser citados

a contagem de citações não tem em conta o impacto fora do circuito

científico e académico

métricas alternativas

publicações

resultados científicos

métricas alternativas

IMPACTOSOCIAL

IMPACTOCIENTÍFICO

ACADÉMICO

Journal Impact Factor

Contagem de citações

MÉTRICAS TRADICIONAIS MÉTRICAS ALTERNATIVAS(ALTMETRICS)

Contagem de downloads e

visualizações, menções e

referências nas redes sociais,

blogues,

gestores de bibliografia

métricas alternativas

resultados científicos

Datasets

Software científico

Livros e capítulos de livro

Posters e apresentações em conferências

Teses de mestrado e doutoramento

Performances (teatro, música e cinema)

Blog posts

Aulas e outras atividades docentes

métricas alternativas

complementares

Métricas alternativas ao uso exclusivo das

citações e não alternativas às citações

métricas alternativas

vantagens

tempo real – permitem a perceção do impacto em dias

abrange a diversidade de resultados científicos

tem em conta outras audiências(profissionais de várias áreas e público em geral)

métricas alternativas

informação

DORA - San Francisco Declaration on Research

Assessment - https://sfdora.org/ . recomenda:- que se evitem as metodologias de avaliação baseadas em

indicadores de prestígio de revistas científicas

- que passem a considerar-se todos os tipos de resultados de

investigação

- a usar-se em paralelo várias formas de métricas e métodos de

avaliação qualitativa.

métricas alternativas

informação

Snowball Metricshttps://www.snowballmetrics.com/

métricas alternativas

informação

NISO Alternative Assessment Metrics Project

https://www.niso.org/publications/rp-25-2016-altmetrics

métricas alternativas

informação

Leiden manifesto for research Metricshttp://www.leidenmanifesto.org/

fornece orientações para um uso

responsável das métricas

pt - http://www.sibi.usp.br/noticias/manifesto-leiden/

métricas alternativas

informação

What are Altmetricshttp://www.whatarealtmetrics.com/

Manual de Ciência Abertahttps://foster.gitbook.io/manual-de-formacao-em-ciencia-aberta/

métricas alternativas

Retirado da apresentação de Stephan Buettgen da EbscoDiagram from Ian Mulvany, eLIfe: https://twitter.com/IanMulvany/status/425006889949495296

métricas alternativas

ferramentas

Altmetric.com

https://www.altmetric.com

Plum Analytics

https://plumanalytics.com/

ImpactStoryhttps://impactstory.org/

métricas alternativas

altmetric.comexemplo de integração do serviço altmetric numa página web de uma revista

https://www.nature.com/articles/s41467-018-03808-6/metrics

métricas alternativas

PlumX Metricsexemplo de integração do serviço num registo de uma base de dados

https://www.scopus.com/record/pubmetrics.uri?eid=2-s2.0-84907965045&origin=recordpage

métricas alternativas

Impactstoryprofiles

https://profiles.impactstory.org/u/0000-0001-6728-7745

métricas alternativas

Article-level metricsdados de métricas por artigo, incluindo métricas alternativas

integrados em bases de dados e plataformas, associados a um

determinado artigoScience Direct Article Metrics -https://www.sciencedirect.com/science/article/pii/S0261517717300092

Taylor & Francis https://www.tandfonline.com/doi/full/10.1080/16742834.2017.1350093#metrics-content

PLoS -https://journals.plos.org/plosone/article/metrics?id=10.1371/journal.pone.0032688

conclusões

não existe uma solução perfeita, os vários indicadores podem

e devem ser usados de forma complementar

combinar estas novas ferramentas com as mais

tradicionais, a fim de obter informações analíticas significativas

e válidas

conclusões

Um relatório recente da Comissão Europeia (2017)

identifica duas abordagens na implementação da Ciência

Aberta e na forma como os métodos de avaliação podem auxiliar.https://publications.europa.eu/en/publication-detail/-/publication/47a3a330-

c9cb-11e7-8e69-01aa75ed71a1/

conclusões

Manter os métodos atuais (tradicionais) de avaliação,

encorajando em simultâneo práticas mais abertas em relação às métricas

Implementar métodos de avaliação com recurso a

métricas alternativas, dados abertos, ciência cidadã e

aprendizagem aberta.

Photo by Matthijs Waanders on Unsplash

obrigadasbidm-referencia@ua.pt

13 novembro, 2019