Qualis nas Engenharias III – uma análise das novas regras de avaliação

Rafael Garcia Barbastefano

Diretor Científico da ABEPRO Professor do DEPRO-CEFET/RJ

Petrolina/Juazeiro, 2017

Estrutura da apresentação

• Qualis

• Critérios para definição dos estratos

• Mudanças no ciclo avaliativo atual

• Análises das distribuições do FIR

• Estratégias das publicações da Abepro

Qualis Periódicos

• Qualis é o conjunto de procedimentos utilizados pela Capes para estratificação da qualidade da produção intelectual dos programas de pós-graduação.

• Afere a qualidade dos artigos e de outros tipos de produção, a partir da análise da qualidade dos veículos de divulgação.

• A classificação expressa o valor atribuído à pertinência do conteúdo veiculado em cada área.

• Estabelece limites para o número de publicações nos estratos superiores (A1, A2, e B1).

Limites para A1-B1

• A1<A2

• A1+A2<B1

• A1+A2+B1<50% das publicações

Características do Qualis das Engenharias III • Critérios objetivos nos estratos A1 a B3 – São

usados dois indicadores para ordenamento e definição dos estratos (FIR’ para A1-B2 e SJR para B3).

• Estratos definidos a partir das bases de indexação • Comparação de periódicos em áreas diferentes –

Os indicadores verificam a importância relativa de um veículo em relação aos demais da sua área. Permite a comparação de periódicos de áreas diferentes e a valorização do caráter multidisciplinar da área, bem como a publicação em áreas com fatores de impacto menores.

Importância do Qualis nas Engenharias III Qualis afeta diretamente os seguintes quesitos da Avaliação dos Programas de Pós-Graduação: • 2.3 – Distribuição das atividades de pesquisa e de formação

entre os docentes do programa – 30% do item 2 – Corpo Docente (20% da avaliação total);

• 3.3 – Qualidade das Teses e Dissertações e da produção de discentes autores – 40% do item 3 – Corpo Discente, Teses e Dissertações (35% da avaliação total);

• 4.1 – Publicações qualificadas do Programa por docente permanente – 50% do item 4 – Produção intelectual (35% da avaliação total);

• 4.2 – Distribuição de publicações qualificadas em relação ao corpo permanente do programa – 30% do item 4 - Produção intelectual (35% da avaliação total).

Estratos Qualis, conforme a indexação (após 2016)

• Estratos A1, A2, B1 e B2 – Journal of Citation Reports

• Estrato B3 – SCImago Journal & Country Rank

• Estratos B4 e B5 - periódicos não indexados nas bases anteriores. A classificação varia conforme a abrangência.

Fator de Impacto Relativizado

• Fórmula que permite comparar periódicos de áreas diferentes

• Critério para determinação dos estratos A1-B2

• Compara o Fator de Impacto com a Mediana das áreas nas quais o periódico está listado

• Pode ser um embrião de um Qualis único para as Engenharias

Cálculo do FIR

• Onde

– FI – Fator de impacto do periódico

– Med – Mediana dos fatores de impacto medianos das categorias usadas por cada periódico

– MV – Meia-vida do periódico

𝑓𝑖𝑟 =𝐹𝐼

𝑀𝑒𝑑1 +

𝑀𝑉

12,2

Exemplo de cálculo do FIR

• Cognition, Technology & Work

• ISSN:1435-5558

• Fator de Impacto (2015): 0,987

• Meia Vida de Citação: 7,6 anos

• Presente em duas áreas: Engineering, Industrial (SCIE); Ergonomics (SSCI).

Busca no JCR

Cognition, Technology & Work catalogado tanto em categoria do SSCI, quanto do SCIE

Obtenção dos dados

• Cognition Technology & Work

– Fator de Impacto: 0,987

– Meia Vida: 7,6 anos

– Mediana das áreas

• Engineering, Industrial: 1,452

• Ergonomics: 1,236

• Mediana das Medianas: 1,344

Cálculo do FIR

• O fator de impacto relativizado do periódico Applied Ergonomics será dado pela fórmula

𝑓𝑖𝑟 =𝐹𝐼

𝑀𝑒𝑑1 +

𝑀𝑉

12,2=0,987

1,3441 +

7,6

12,2=1,192

SJR

• SCImago Journal Rank

• Critério adotado para determinação do estrato B3

• Calculado através de processo iterativo, verificando-se a propagação de referências de um jornal para outros

• Disponível em http://www.scimagojr.com

Fórmula do SJR

• SJRi -Scimago Journal Rank of the Journal i.

• Cji - Citation from journal j to journal i.

• Cj - Number of References of journal j.

• d - Constant, normally 0.85.

• e - Constant, normally 0.10.

• N - Number of Journals

• Artj - Number of Articles of journal j

• Fonte: http://www.scimagojr.com/SCImagoJournalRank.pdf

Obtenção do SJR

Resultado da busca

B4-B5

• Periódicos não indexados na SCImago ou JCR são classificados nos estratos B4-B5

• Classificação de acordo com a abrangência – B4 – Periódicos científicos de abrangência

nacional ou internacional que não integrem as bases JCR ou Scopus, mas que tenham política editorial bem definida, com Corpo Editorial qualificado.

– B5 – Periódicos científicos de abrangência regional, com política editorial bem definida.

Verificação dos critérios de abrangência

• Um elemento para verificação de abrangência - Ulrich´s Periodicals Directory

C

• Séries de conferências, livros

• Declaração falsa de indexação

• Periódicos suspensos do JCR por stacking ou auto-citação

Características da produção em periódicos nas Engenharias III no ciclo avaliativo atual

• Qualis representa os periódicos com publicações no atual ciclo avaliativo

• Mudança na escala de avaliação

• Melhoria da acurácia no Qualis

• Pulverização das publicações no JCR

• Algumas publicações foram rebaixadas para “C” ou B5

• Elementos para melhoras futuras

Qualis representa a publicação da quadrienal

• Revistas com poucas publicações ou com publicações concentradas em um período curto de tempo tendem a sair da classificação, como por exemplo:

– International Journal of Legal Medicine

– British Journal of Criminology

– Liver Transplantation

Mudanças na escala de pontuação

• A1 – 1,0

• A2 – 0,9

• B1 – 0,75

• B2 – 0,5

• B3 – 0,3

• B4 – 0,1

• B5 – 0,05

JCR

Scopus

Demais indexadores

Melhoria da acurácia no Qualis

• Distribuição com perfil regular

• Verifica-se uma clara melhora da classificação através dos histogramas de distribuição do FIR ao longo dos anos

• Permite identificar faixas relativas aos estratos.

Distribuição do FIR

0

25

50

75

100

125

150

175

200

225

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 6,0 6,5 7 oumais

Pu

blic

açõ

es

FIR´

Histograma - Fator de Impacto Relativizado - mediana das medianas - Qualis 2012 - Engenharias III

A1 A2 B1

Qualis 2013/2014

0

25

50

75

100

125

150

175

200

225

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 5,5 6,0 6,5 7 oumais

Pu

blic

açõ

es

FIR´

Histograma - Fator de Impacto Relativizado - mediana das medianas - Qualis 2013/14 - Engenharias III

A1 A2 B1

Qualis 2015

Faixas nos estratos superiores

• A1 – FIR > 3,0

• A2 – 2,0<FIR<3,0

• B1 – 0,7<FIR<2,0

• B2 – FIR<0,7

Pulverização das publicações no JCR

• Foi feita uma análise das publicações registradas no Qualis, indexadas no JCR, antes de 2012 e no atual ciclo avaliativo

• Foram retiradas publicações em duplicidade em 2013-2015

• O número de publicações indexadas no JCR em 2013-2015 é praticamente o mesmo do último Qualis abrangente de todas as publicações até 2012.

Publicações indexadas no JCR

14831376

0

200

400

600

800

1000

1200

1400

1600

Até 2012 Qualis 2013-2015

Retirada e rebaixamento de publicações

• Retirada de séries de conferências

– Journal of Physics. Conference Series

– Procedia CIRP

– Procedia: Social and Behavioral Sciences

– Materials Science Forum

– Advanced Materials Research

• Rebaixamento de periódicos considerados predatórios

Elementos para melhoras futuras

• Séries de conferências

• Duplicação de periódicos na base

Séries de conferências que ainda constam do Qualis

• Applied Mechanics and Materials (2013,2014)

• Energy Procedia (2013,2014)

• Physics Procedia (2013,2014)

• Procedia Engineering (2013,2014)

• Electronic Notes in Discrete Mathematics (2013, 2015)

• Key engineering materials (2015)

Periódicos duplicados

• Periódicos com mais de um ISSN podem aparecer mais de uma vez

• Ocupam espaço nos estratos superiores (63 títulos com 131 registros em 2015)

• Nova regra para B2 pode fazer estrato ficar muito reduzido

Distribuição dos estratos em 2015 • B2 já é o estrato

com o menor número de publicações

• Com a remoção das duplicações, o estrato pode ficar muito reduzido.

Análise das distribuições do FIR nas áreas

• As distribuições do Fator de Impacto Relativizado nas publicações registradas nas áreas das Engenharias da Capes é bem semelhante

• Ocorrem diferenças significativas entre áreas do JCR nos valores do FIR mais altos

Possibilidade de um Qualis Único para as Engenharias?

Áreas com poucas possibilidades de periódicos classificados como A1

• Scie/Marine, Scie/Engineering, Ocean e Ssci/Ergonomics teriam poucas possibilidades de periódicos no estrato mais alto

• Áreas correspondentes ao core da Engenharia de Produção (SCIE/Engineering, Industrial) com poucas revistas com potencial para A1

• Áreas afins (Economia e Administração) com muitas publicações com potencial para A1

• O sistema de avaliação demanda estudos para estabelecimento de proposta de ajustes para equalizar as diferenças entre as áreas nos estratos superiores

Publicações A1

8

8

8

9

9

9

11

12

13

15

17

17

18

20

0 5 10 15 20 25

SCIE/DENTISTRY, ORAL SURGERY & MEDICINE

SCIE/MATHEMATICS, INTERDISCIPLINARY…

SCIE/CHEMISTRY, APPLIED

SCIE/MATHEMATICS, APPLIED

SCIE/ENGINEERING, MULTIDISCIPLINARY

SCIE/OPERATIONS RESEARCH & MANAGEMENT…

SCIE/ENGINEERING, CIVIL

SCIE/ENVIRONMENTAL SCIENCES

SCIE/ENERGY & FUELS

SCIE/ENGINEERING, MECHANICAL

SCIE/MATERIALS SCIENCE, MULTIDISCIPLINARY

SCIE/ENGINEERING, CHEMICAL

SCIE/ENGINEERING, ELECTRICAL & ELECTRONIC

SCIE/MECHANICS

Publicações no estrato A1 das Engenharias III por categoria do JCR

Publicações em engenharia com potencial para classificação A1

1

1

2

2

3

4

5

5

6

7

7

11

12

18

21

24

41

0 5 10 15 20 25 30 35 40 45

MARINE

PETROLEUM

CELL & TISSUE

OCEAN

AGRICULTURAL

INDUSTRIAL

AEROSPACE

GEOLOGICAL

MANUFACTURING

BIOMEDICAL

METALLURGY & METALLURGICAL

ENVIRONMENTAL

MULTIDISCIPLINARY

MECHANICAL

CIVIL

CHEMICAL

ELECTRICAL & ELECTRONIC

Número de publicações com FIR > 3,0 por categoria de Engenharia do JCR

Áreas afins a EP com potencial para classificação A1

0

2

4

4

6

11

12

18

21

30

42

43

44

72

0 10 20 30 40 50 60 70 80

SSCI/ERGONOMICS

SSCI/TRANSPORTATION

SCIE/ENGINEERING, INDUSTRIAL

SCIE/TRANSPORTATION SCIENCE & TECHNOLOGY

SCIE/ENGINEERING, MANUFACTURING

SCIE/ENGINEERING, ENVIRONMENTAL

SCIE/OPERATIONS RESEARCH & MANAGEMENT…

SSCI/ENVIRONMENTAL STUDIES

SSCI/BUSINESS, FINANCE

SSCI/BUSINESS

SCIE/MATHEMATICS, APPLIED

SCIE/ENVIRONMENTAL SCIENCES

SSCI/MANAGEMENT

SSCI/ECONOMICS

Número de publicações com FIR > 3,0 por categoria do JCR

Publicações da Abepro

• A Abepro edita três periódicos:

– Production

– Brazilian Journal of Operations & Production Management

– Produção Online

Estratégias para os periódicos

• Definição de nichos de publicação

• Busca de indexação nas bases JCR, Emerging Sources Citation Index e Scopus

• Internacionalização do Corpo Editorial

• Redução de prazos entre recebimento de artigos e publicação

• Seleção de melhores trabalhos nas conferências

Conclusões

• O processo de elaboração do Qualis nas Engenharias III é trabalhoso e está em evolução

• Os coordenadores precisam conhecer os processos de elaboração do Qualis, caso desejem realizar uma gestão acadêmica mais efetiva

Obrigado

• Rafael Garcia Barbastefano

– rafael.barbastefano@abepro.org.br