ANPTUR 2015Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e TurismoQuadriênio 2013-2016Eliane P. Zamith BritoMárcia M. M. De LucaAridelmo J. C. Teixeira27.admi@capes.gov.br

Avaliação de Programas pela CAPES• Se adapta à medida que a comunidade de pesquisa

avança• Leiden Manifesto – princípios para orientar a

avaliação de pesquisa no mundo – Nature abril/2015• Elaborado por um conjunto de cientometristas,

cientistas sociais e os administradores de pesquisa • São críticos do uso de métricas isoladas para

avaliação de programas e pesquisadores, p.e.: • Rankings das publicações, p.e., Financial Times• Fator H para avaliar os pesquisadores• Número de artigos em periódicos selecionados

1º A avaliação quantitativa deve dar suporte à avaliação qualitativa especializada

• Os indicadores quantitativos podem corrigir tendências enviesadas da avaliação por pares e facilitar a deliberação

• Fortalecer a revisão por pares tendo como base informações relevantes

• Os indicadores não devem substituir o juízo informado• Todos são responsáveis pelas avaliações

• Os avaliados que fornecem os dados• Os que calculam os indicadores• Consultores que usam os indicadores

2º Medir o desempenho de acordo com a missão do PPG• O PPG deve ser avaliado considerando seus objetivos • Os indicadores devem levar em conta o contexto

socioeconômico e cultural mais amplo• Os cientistas podem ter diversas missões de pesquisa

• Que avança as fronteiras do conhecimento acadêmico – PPG Acadêmicos

• Focada em soluções para os problemas da sociedade - MP

• A avaliação pode ser baseada em méritos relevantes• Políticas públicas• Para a indústria• Para os cidadãos em geral• Noções de excelência acadêmica

3º Proteger a excelência da pesquisa localmente relevante

• Uso só do fator de impacto de bases no idioma inglês pode ser problemático - Spell e Scielo

• Inclusão de periódicos nacionais nos estratos superiores da classificação por deliberação da área, porque eles têm impacto para a comunidade nacional• Cerca de 60% da produção nos estratos superiores é em periódicos

nacionais - 2/3 da produção do estrato A2 e 50% do B1 • Periódicos promovidos pela área representam mais de 12% do total

da produção da área

• Particularmente importante para as temáticas orientadas para a pesquisa de temas regionais e nacionais

• Livros

4º Manter a coleta de dados e os processos analíticos abertos, transparentes e simples• Plataforma Sucupira

• Inclusão continuada de dados com chancela anual• Acesso aos dados por qualquer pessoa - SNPG - Sucupira• Indicadores principais para análise comparativa dos PPG

• Discussão no CTC sobre simplificação da avaliação• Página da Área • Nossa área - Manual de avaliação disponibilizado aos

coordenadores de PPG • Seminário de acompanhamento - exercício de avaliar

• Avaliação por pares - 1 em cada 3 PPG participa do processo

5º Permitir que os avaliados verifiquem os dados e as análises

• Todas as avaliações e os dados usados nas avaliações anteriores estão disponíveis para acesso por qualquer pessoa - SNPG

• Plataforma Sucupira • Inclusão continuada de dados com chancela anual• Acesso aos dados em planilhas permitindo reproduzir

as avaliações quantitativas por qualquer pessoa • Indicadores principais para análise comparativa dos

PPG serão disponibilizados

6º Considerar as diferenças entre áreas nas práticas de publicação e citação• Selecionar um conjunto de possíveis indicadores e

permitir que as distintas áreas escolham aqueles que lhes são mais adequados• Historiadores e cientistas sociais – livros publicados no

idioma nacional X cientistas da computação trabalhos apresentados em eventos é mais importante

• Os critérios de classificação de periódicos, livros, eventos e produção tecnológica tem que ser distintos por área

• Nossa área é muito diversa – critérios mistos• Livros• Fator de impacto• Critérios de conformidade/qualidade• Produção Tecnológica

7º Basear a avaliação de pesquisadores individuais no juízo qualitativo da sua carreira

• Quando se compara um grande número de pesquisadores, uma abordagem que considere informações diversas sobre o conhecimento, experiência, atividades e influência

• Capes não avalia pesquisadores individuais, mas o conjunto deles na forma de programa de formação

• Avaliamos as experiências e o alinhamento destas com a proposta de formação discentes do PPG

8º Evite solidez mal colocada e falsa precisão• Indicadores de ciência e tecnologia são propensos à

ambiguidade conceitual e à incerteza, e demandam fortes suposições que não são universalmente aceitas

• A melhor prática de avaliação utiliza indicadores múltiplos para fornecer uma imagem mais robusta e plural

• Os produtores de indicadores deveriam, pelo menos, evitar a falsa precisão, p.e., o fator de impacto de revistas é publicado com três casas decimais. No entanto, dada a ambiguidade conceitual e a variabilidade aleatória das contagens de citações, não faz sentido distinguir as revistas com base em diferenças mínimas do FI

• Evite a falsa precisão: apenas uma casa decimal se justifica

9º Reconhecer os efeitos sistêmicos da avaliação e dos indicadores

• Os indicadores mudam o sistema da pesquisa por meio dos incentivos que estabelecem

• Estes efeitos devem ser previstos. Isto significa que um conjunto de indicadores é sempre preferível – um único indicador convida a burlas ou a desvios do objetivo, em que a medida se torna um fim em si • Total de pontos para avaliar os programas na

nossa área

10º Examinar e atualizar os indicadores regularmente

• A missão da pesquisa e os objetivos da avaliação mudam e o sistema de pesquisa evolui junto

• Medidas que anteriormente eram úteis se tornam inadequadas e surgem novos indicadores

• Os sistemas de indicadores têm de ser revistos e talvez modificados

• A avaliação da pesquisa pode desempenhar um papel importante no desenvolvimento da ciência e de suas interações com a sociedade

• As métricas da pesquisa podem fornecer informações cruciais que seriam difíceis de reunir ou entender por especialistas individuais. Mas não se deve permitir que essa informação quantitativa se transforme de instrumento em um fim em si.

• As melhores decisões são tomadas pela combinação de estatísticas robustas com sensibilidade para a finalidade e a natureza da pesquisa que é avaliada

• Tanto a evidência quantitativa quanto a qualitativa são necessárias.

• A tomada de decisão na ciência deve ser baseada em processos de alta qualidade informados por dados da mais alta qualidade

Produção anual dos docentes permanentes PPG acadêmicos da área – Triênio 2010-2012

P >=1000

800=<P<1

000

600=<P<8

00

400=<P<6

00

200=<P<4

00

150=<P<2

00

100=<P<1

50

50=<P<1

00

35=<P<5

0

20=<P<3

5

1=<P<2

0zer

o0

50

100

150

200

250

300

350

Produção Bibliográfica Quadriênio 2013-2016

• Quantidade X Qualidade da produção• Melhores produtos de cada docente

• Coordenadores dos PPG pediram que considerasse ainda o volume para manter o incentivo à produção• 20% total da produção • 80% melhores produtos dos docentes

(Livros/artigos de periódico)• Alinhamento da produção à proposta de

formação discente

4.1. Métrica 1 - Pontos médios de produção bibliográfica total do PPG

05

1015

2025

Núm

ero

de p

rogr

amas

0 100 200 300 400 500Pontos

n=88

Pontos médios de produção bibliográfica total do programaMétrica 4.1

Média 207Mediana 202

Desvio padrão 98

Mínimo 55

Máximo 500

A proposta é ter uma trava em 200 pontos para o programa ser avaliado como muito bom

Item 4.1. Métrica 2 - Pontos médios de produção bibliográfica qualificada do PPG

05

1015

2025

Núm

ero

de p

rogr

amas

40 60 80 100 120 140Pontos

n=88

Pontos médios de produção bibliográfica das duas principais produçõesMétrica 4.1

Média 108Mediana 110Desvio padrão 27Mínimo 35Máximo 156

4.2. Distribuição de publicações qualificadas em relação ao corpo docente permanente do PPGAvalia-se a proporção dos docentes permanentes do PPG considerados produtivos, isto é, que alcançaram a mediana da produção qualificada da área, considerando as duas melhores produções bibliográficas do docente.MB > ou = a 80B > ou = a 70, mas < que 80R > ou = a 50, mas < que 70F > ou = a 20, mas < que 50D < que 20Para os docentes que atuarem no programa em apenas parte do quadriênio, os pontos serão proporcionais ao período de atuação neste.

Princípios da classificação de periódicos para todas as áreas• Classificação considera apenas os periódicos com

produção da área no período• Considera apenas os periódicos informados pelos

PPG da área no sistema da CAPES• Usado apenas para avaliar os programas da área na

CAPES no quadriênio• Estabelece limites para a ocupação dos estratos

considerados de elevado impacto – A1, A2 e B1• Classificação de 2017 valerá para todo o

quadriênio

Processo de classificação 2015• Agradecer a ajuda enorme de colegas da área• Parâmetros

• Itens de conformidade não seriam mais usados • Usaríamos menos indicadores, mas que com maior poder

de diferenciar (em especial os predatórios)• Ajustar os critérios dos estratos considerando os %

definidos pela CAPES para os estratos de alto impacto• A1< A2• A1+A2 no máximo 25% dos periódicos na base da área• A1 + A2 + B1 no máximo 50% dos periódicos na base da

área• Critérios que pudessem perdurar para outros quadriênios

Critérios para a classificação• B5

• ISSN • Ter no mínimo 2 edições/ano• No máximo um ano de atraso

• B4• ISSN • Ter no mínimo 2 edições/ano• Índice de atraso no máximo igual a 0,5• 2 ou mais anos de existência

• B3• ISSN • Ter no mínimo 2 edições/ano• Índice de atraso no máximo igual a 0,5• 3 ou mais anos de existência• Ter no mínimo um indexador (definidos no documento da área)

Critérios para a classificação• B2

• ISSN • Ter no mínimo 2 edições/ano• Estar no Redalyc ou ser editado por Editoras definidas (doc da área)• Ou Scielo com FI < 0,01 ou Scielo com FI alto, mas de outra área

pelo critério da base• B1

• ISSN • Ter no mínimo 2 edições/ano• Scielo com FI > 0,01 e ser da área pelo critério da base, ou• 0<JCR<=0,7 ou (33%)• 0<H-Scopus<=9 (mediana da área)

Critérios para a classificação• A2

• ISSN • Ter no mínimo 2 edições/ano• 0,7<JCR<=1,4 ou (67%)• 9<H-Scopus<=24 (75%)

• A1• ISSN • Ter no mínimo 2 edições/ano• 1,4<JCR• 24<H-Scopus

• Revistas relevantes para a área que serão promovidas um estrato

Periódicos prioritários

Revisão em 2017• Valorizar

• DOI• Pontualidade ou antecipação• Indexadores • Spell

• Rever os limites da área para abranger subgrupos• Pedaladas editoriais

• Tempo de processamento dos artigos• Índice de concentração de autores do mesmo PPG• Buraco nas edições

B2

Posição da área na base Scopus

1996 1998 2000 2002 2004 2006 2008 2010 2012 201402468

101214161820

Citações/doc

1996 1998 2000 2002 2004 2006 2008 2010 2012 20140

100200300400500600700800900

1000

Documentos

  Docs Cites/doc1996 32a 50a1998 30a 56a2000 32a 36a2002 27a 59a2004 30a 55a2006 25a 89a2008 21a 75a2010 20a 70a2012 17a 81a2014 14a 89a