Avaliação da produção científica brasileira: contextualização e indicadores Rogério Mugnaini...
Transcript of Avaliação da produção científica brasileira: contextualização e indicadores Rogério Mugnaini...
Workshop Fiocruz, 16 de nov. de 2010
Avaliaçãoda produção científica brasileira:
contextualização e indicadores
Rogério Mugnaini
Workshop Fiocruz, 16 de nov. de 2010
Sumário
• Contexto– Fluxo da Comunicação Científica
divulgação > publicação > avaliação
• Caminhos... (indicadores são suficientes?)– Artigo científico
prioridade > evolução do processo de avaliação
– Periódico científicofunções > categorias > níveis > avaliação
– Bases de dadoscritérios > características > usos > repercussões
– Indicadoreslimitações (bases de dados, periódicos, audiência) > diversidade das
áreas
Novo
conhecimento
Div
ulga
ção
Aceitação pela com
unidade científica
Acei
taçã
o
Fluxo da Comunicação Científica: divulgação
(Noronha, 2010)
NOVO CONHECIMENTO
COMUNICAÇÃO
INFORMAL
e FORMAL
INDEXAÇÃORECUPERAÇÃODIVULGAÇÃO
PESQUISADOR
CONHECIMENTOINTERESSE
ESCOLHA/DELIMITAÇÃO
TEMA
BUSCAREDAÇÃO
•correspondências•contatos pessoais•colégio invisível•reuniões•comun. em congressos
•e-mail•grupo de discussão•chat•teleconferência•open archives
Buy
Sm
artD
raw
!- p
urch
ased
cop
ies
prin
t thi
s
docu
men
t with
out a
wat
erm
ark
.
Vis
it w
ww
.sm
artd
raw
.com
or
call
1-8
00-7
68-3
729
.
Buy
Smar
tDra
w!-
purc
hase
d co
pies
prin
t thi
s
docu
men
t with
out a
wat
erm
ark
.
Visi
t ww
w.s
mar
tdra
w.c
om o
r cal
l 1-
800-
768-
3729
.
Buy SmartDraw!- purchased copies print this
document without a watermark .
Visit www.smartdraw.com or call 1-800-768-3729.
Buy SmartDraw!- purchased copies print this
document without a watermark.
Visit www.smartdraw
.com or call 1-800-768-3729.
Buy SmartDraw!- p
urchased copies print this
document without a waterm
ark.
Visit www.smartd
raw.com or call 1-800-768-3729.
Buy S
martD
raw!- purchased copies print this
document w
ithout a waterm
ark.
Visit w
ww
.smartdraw
.com or call
1-800
-768-3729
.
Buy SmartDraw!- purchased copies print this
document without a watermark.
Visit www.smartdraw.com or call 1-800-768-3729.
Buy Sm
artDraw
!- purchased copies print this
document w
ithout a waterm
ark.
Visit ww
w.sm
artdraw.com
or call 1-800-768-3729.
Bibliotecas
Sistemas de
Informações
•Impressa
•eletrônica
•livros•periódicos•anais de congressos•relatórios técnicos•revisões de literatura•bibliografias•teses e dissertaçãoes
•documentos (artigos, livros, teses etc.)•eletrônicos-textos integrais na Internet
• bases de dados (referenciais, bibliográficas, texto completo... • open access • bibliotecas virtuais
•adequado/capacitado•tempo/recurso•material disponível•assuntos não esgotados
“BRAINSTORM”Para quem? O quê? Como?
•seleção de fontes (prim. sec.)•base de dados refer./textuais•localização/obtenção doc.•apontamentos
INPUT
‘
OUTPUT
(Noronha, 2010)
Fluxo da Comunicação Científica: publicação
Progs. Pós-Grad
Periódicos
Artigos
Fluxo da Comunicação Científica : avaliação
Workshop Fiocruz, 16 de nov. de 2010
PCT
Base de dados
Periódicos
Caminhos....?
Workshop Fiocruz, 16 de nov. de 2010
O fluxo da comunicação científica está conformado pela PCT!
O sistema de avaliação top-down precisa de uma reação botton-up!!!
Os indicadores precisam ser contextualizados, ou até mesmo
substituídos!!!
Progs. Pós-Grad
Periódicos
Artigos
Fluxo da Comunicação Científica : avaliação
Periódicos
Bases de
dados
Pol. Cient.
e Técn.
Workshop Fiocruz, 16 de nov. de 2010
Caminhos....?
Workshop Fiocruz, 16 de nov. de 2010
Se a PCT precisa de orientação, estamos falando de orientar pessoas!
Pessoas que compõem as comissões de área.
As revistas têm história, são instituições estabelecidas do sistema de C&T.
Mas, e os indicadores? São sensíveis às especificidades das áreas e à história das revistas?
De que maneira as bases de dados contribuem com os periódicos?
Artigo científico: prioridade
Workshop Fiocruz, 16 de nov. de 2010
A adoção do artigo como principal veículo para comunicação científica se apóia na certificação dos pares, que acompanhou as primeiras publicações desde sua instituição. Os árbitros por pertencerem à mesma área de conhecimento são tidos como hábeis no julgamento, conforme critérios estabelecidos pela própria comunidade.
Spagnolo (apud DAVYT; VELHO, 2000) afirma que esse processo se adequou perfeitamente à estrutura de autoridades científicas por ter sido formado por ela mesma, mas que realiza a difícil tarefa de ligar a descoberta científica ao programa de recompensa e recursos (CHUBIN; HACKETT apud DAVYT; VELHO, 2000).
Análise por pares• Desde 1945
• Micro análises
• Custo elevado
• Informação dispendiosa
• Subjetividade (influência pessoal)
Análise quantitativa• Década de 70
• Macro análises
• Bases de dados
• Informação disponível
• Redução (perda de informação)
(Martin, 1996; Holbrook, 1992; Bordons e Zulueta, 1999; Davyt e Velho, 2000)
Artigo científico: evolução do processo de avaliação
Workshop Fiocruz, 16 de nov. de 2010
Periódico científico: funções
Funções do periódico científico (MULLER, 1999):estabelecimento da ciência "certificada";canal de comunicação entre os cientistas e de divulgação mais ampla da
ciência;arquivo ou memória científica, e; registro da autoria da descoberta científica.
“El desempeño de estas funciones permiten la construcción, difusión y depuración del conocimiento científico, con lo cual las publicaciones periódicas se convierten en el ejemplo más representativo de que la "ciencia se nutre de la ciencia" (Ríos, 2000 apud LÓPEZ ORNELAS; CORDERO ARROYO, 2005)
Workshop Fiocruz, 16 de nov. de 2010
Periódico científico: categorias
Workshop Fiocruz, 16 de nov. de 2010
Limitação geográfica e suas categorias (BARBALHO, 2005):
Internacionais: publicações que disseminam resultados de
pesquisas de interesse da comunidade científica internacional;
Nacionais: títulos que divulgam resultados de pesquisa de
interesse nacional e regional;
Locais: publicações que atendem e divulgam resultados de
pesquisas de determinadas instituições ou comunidades
científicas, objetivando assegurar a memória institucional.
Periódico científico: níveis
Workshop Fiocruz, 16 de nov. de 2010
Day (1998) divide os periódicos em três níveis: (apud LÓPEZ ORNELAS; CORDERO ARROYO, 2005)
Publicações sob responsabilidade de associações científicas reconhecidas pela comunidade
internacional. Estas publicações normalmente contam com cotas de seus sócios, deste modo
os seus custos são menores (inclusive para assinaturas) e as mesmas têm maior presença;
Publicações editadas e comercializas por grandes editores internacionais. Este respaldo eleva
seus custos, inclusive para submissão de textos, mas apresentam como principal vantagem a
grande circulação, e conseqüentemente impacto;
Publicações sob responsabilidade de instituições públicas, e o maior exemplo deste caso são
as publicações vinculadas as universidades. Estas, devido a sua dependência lógica a estrutura
administrativa das instituições a que pertencem são as que apresentam os maiores
problemas, como dependência e restrições a verbas, trocas de funcionários, problemas de
divulgação e distribuição, entre outros que afetam principalmente a periodicidade destes
periódicos.
Periódico científico: avaliação
Workshop Fiocruz, 16 de nov. de 2010
O modo pelo qual a natureza gradual da classificação de periódicos foi substituída por um discurso baseado em uma
divisão faz parte da transformação da natureza do poder científico. Devido à distinção entre nacional e internacional,
a estrutura hierárquica dos periódicos científicos é uma hierarquia de dois níveis. No topo impera um único conjunto
de periódicos; abaixo da divisão estão conjuntos de periódicos que desfrutam de diversos graus de visibilidade
ou, devo dizer, invisibilidade (GUÉDON, 2010, p.5)
Bases de dados: critérios
Workshop Fiocruz, 16 de nov. de 2010
A constituição de uma base de dados de revistas, considerando o crescimento contínuo do número de revistas científicas, implica, por sua vez, não apenas a reunião, mas seleção de um determinado grupo de revistas.
Tal seleção deverá considerar características de:
• Qualidade científica, • Qualidade editorial,• Periodicidade, • Normalização.
Estes e outros critérios são considerados para definição de uma coleção, que traz em si mesma um objetivo específico.
• Concepção– Bases bibliográficas - recuperação da informação
• Seleção– Temáticas - multidisciplinares - internacionais / locais
• Avaliação– Ingresso - permanência
• Cobertura
Bases de dados: características
Workshop Fiocruz, 16 de nov. de 2010
Indicadores: limitações das bases de dados
Posições das formas citadas referentes ao título da revista Memórias do Instituto Oswaldo Cruz no ranking da base SciELO Brasil, considerando todos os anos
Mugnaini (2006)
Posição no
ranking de títulos corrigido
s Título padronizado Nº de citações
1MEMORIAS DO INSTITUTO OSWALDO
CRUZ 4.654Posição
no ranking
sem correção Título citado Nº de citações
6 MEM INST OSWALDO CRUZ 2.712
37MEMORIAS DO INSTITUTO OSWALDO
CRUZ 1.127122 MEM. INST. OSWALDO CRUZ 581
6.074 MEM. INST. OSWALDO CRUZ. 126.479 MEMS INST. OSWALDO CRUZ 116.709 MEM INST OSWALDO CRUZ 94 (SUPPL. 107.408 MEMORIAS INSTITUTO OSWALDO CRUZ 97.494 MEMORIAS DO INSTITUTO OSWALDO 9
7.512MEMORIAS DO INSTITUTO OSVALDO
CRUZ 9
9.309MEMORIAS DO INSTITUTO OSWALDO
CRUZ, 79.697 MEM.INST. OSWALDO CRUZ 6
10.687 MEM. I. OSWALDO CRUZ 610.951 MEM INS OSWALDO CRUZ 611.087 MEM INST OSWALDO CRUZ 93 (SUPPL. 5
11.452MEMORIAS DO INSTITUTO OSWALDO
CRUZ, RIO DE JANEIRO 5
11.930MEMORIAS DO INSTITUTO OSWALDO
CRUZ 94 (SUPL 513.101 MEM INST OSWALDO CRUZ 91 413.601 MEM INSTITUTO OSWALDO CRUZ 413.677 MEM INST OSW CRUZ 413.779 MEM INST OSWALDO CRUZ 413.844 INST OSWALDO CRUZ 414.390 MEM. DO INST. OSWALDO CRUZ 414.988 MEM INST. OSWALDO CRUZ 415.275 MEM INST OSWALDO 416.604
–19.803 6 variações com freqüência 3 1821.921
–30.140 16 variações com freqüência 2 3231.211
–84.790 52 variações com freqüência 1 52
Total 4.654
Indicadores: limitações dos periódicos
Workshop Fiocruz, 16 de nov. de 2010
Núcleo de Bradford no tema “epidemiologia” na base Medline.
(Mugnaini et al., 2009)
Total de artigos Autores AL&C
1992-19961997-20012002-20061992-19961997-20012002-2006
1a zona 73 81 115 8 8 14
Total 3,822 3,955 4,362 303 439 777
# of journals
Indicadores: limitações dos periódicos
Workshop Fiocruz, 16 de nov. de 2010
País de afiliação e país de publicação no tema “epidemiologia” na base Medline (Mundo, AL&C e 10 países mais produtivos AL&C).
(Mugnaini et al., 2009)
0% 20% 40% 60% 80% 100%
World
LA&C
Brazil
Jamaica
Mexico
Chile
Venezuela
Argentina
Colombia
Peru
Uruguay
Cuba
Domestic LA&C* SPAIN UNITED STATES ENGLAND other
Indicadores: história dos periódicos
Workshop Fiocruz, 16 de nov. de 2010
Consumo de informação, pela Revista de Saúdo Pública – período de 1967-2006.
(Mugnaini et al., 2009)
(Mugnaini & Población; 2007)
0%
25%
50%
75%
100% rev_ISI
rev_SciELO/ISI
rev_SciELO
rev_outr
rev_BRA
livro_outr
livro_cap
livro
anais
tese
SciELO Brasil: Coleção com100% de revistasBrasileiras (150)
?6 mil
Tamanho da audiência potencial
MacRoberts; MacRoberts, 1996
Indicadores: limitações da audiência
Indicadores: limitações da audiência
Gráfico AA1: Citações a 39 revistas SciELO (Ciências da Vida) - ano de
2004
spmj
rlae
rimtsp
rhc
rsp
rn
rsbmt
ramb rbp
rboto rbhh
rbgo rbepid
rbb
rb
ne
mioc jped
jbpml
isz
hb
hcsm gmb
csc
csp
bjpp
bjm bjmbr
bjid bjb babt
anp
ag
abo
abem
abc
aabc
acb
abb
citsAll_ISI
FI_ISI
IndInf_ISI
IndInf
0
citsAll
0
FI
0
-0,7
-0,35
0
0,35
0,7
1,05
-0,25 0 0,25 0,5 0,75 1
3
1
2
4
Fator 1
Fator 2
Mugnaini (2006)
Indicadores: limitações da audiência
Grupo 2 (citado)
Colaboração (artigo citado) Total
Nacional Internacional Autor único Sem identif.
País de afiliação (autor citante)
Freq. % Freq. % Freq. % Freq. % Freq. %
Brasil 1.766 36,4 631 14,3 100 18,2 365 50,8 2862 27,2 Estados Unidos 872 18,0 1.007 22,8 105 19,2 70 9,7 2054 19,5 Inglaterra 200 4,1 276 6,2 30 5,5 34 4,7 540 5,1 França 224 4,6 244 5,5 25 4,6 31 4,3 524 5,0 Alemanha 187 3,9 226 5,1 34 6,2 16 2,2 463 4,4 Argentina 101 2,1 172 3,9 9 1,6 21 2,9 303 2,9 Espanha 109 2,2 123 2,8 26 4,7 11 1,5 269 2,6 Canadá 99 2,0 121 2,7 17 3,1 13 1,8 250 2,4 Japão 75 1,5 113 2,6 18 3,3 8 1,1 214 2,0 Itália 87 1,8 72 1,6 22 4,0 7 1,0 188 1,8 Austrália 78 1,6 88 2,0 3 0,5 12 1,7 181 1,7 Venezuela 56 1,2 83 1,9 10 1,8 10 1,4 159 1,5 México 69 1,4 78 1,8 6 1,1 6 0,8 159 1,5 Suíça 56 1,2 68 1,5 3 0,5 8 1,1 135 1,3 Colômbia 28 0,6 71 1,6 8 1,5 7 1,0 114 1,1
Subtotal 4.007 82,6 3.373 76,4 416 75,9 619 86,2 8415 79,9 Outros 843 17,4 1.044 23,6 132 24,1 99 13,8 2118 20,1
Total 4.850 100,0 4.417 100,0 548 100,0 718 100,0 10533 100,0
Citações internacionais a revistas SciELO, segundo país de afiliação dos autores citantes e tipo de colaboração do artigo citado Mugnaini (2006)
Indicadores: diversidade das áreasCitações internacionais a revistas SciELO, segundo país de afiliação dos autores citantes e tipo de colaboração do artigo citado
(Mugnaini, Meneghini & Packer, 2007)
book
thesis
Agricultural Sciences
Applied Social Sciences
Biological Sciences
Engineering
Exact and Earth Sciences
Health Sciences
Human Sciences
Linguistics, Letters and
Arts
article
proceedings
-1
-0,5
0
0,5
1
1,5
2
-1,5 -1 -0,5 0 0,5 1 1,5 2
Factor1
Fac
tor2
Indicadores: diversidade das áreasDistribuição dos pesquisadores brasileiros, segundo tendência de publicação nacional/internacional (fonte: Plataforma Lattes) (Leite, Mugnaini & Leta; 2009)
0% 20% 40% 60% 80% 100%
Earth Sciences
Biology
Engineering
Health Sciences
Agriculture
Humanities
Social Sciences
Linguistic and Arts
Int Mostly Int Nat_Int Mostly Nat Nat
Indicadores: diversidade das áreas
Comparação do índice h dos pesquisadores das academias de ciência do Brasil e EUA, segundo área
(Mugnaini, R.; Packer, A.L.; Meneghini, R., 2008)
Caminhos....!!!
Workshop Fiocruz, 16 de nov. de 2010
Se a PCT precisa de orientação, estamos falando de orientar pessoas!
Pessoas que compõem as comissões de área.
As revistas têm história, são instituições estabelecidas do sistema de C&T.
Mas, e os indicadores? São sensíveis às especificidades das áreas e à história das revistas?
De que maneira as bases de dados contribuem com os periódicos?