Indicadores em escala nacional: discussão conceitual e possibilidades para a PC&T brasileira
description
Transcript of Indicadores em escala nacional: discussão conceitual e possibilidades para a PC&T brasileira
Indicadores em escala nacional:discussão conceitual e possibilidades
para a PC&T brasileira
Rogério Mugnaini
Indicador: definições
Indicadores proveem informação indireta do fenômeno ou evento a que eles estão
aplicados. Um indicador é uma medida de um item usado para prover informação de outro, item imensurável (STEAD apud HOLBROOK,
1992, p. 264).
Indicador: definições
Chaparro (1996) explica que indicadores complementam estatísticas (medidas
estáticas), ao passo que focam a dinâmica do processo de desenvolvimento da C&T a partir da análise conjunta de variáveis e verificando
sua influência no processo.
Indicador: definições
Mais precisamente, um indicador em C&T é, em analogia a um indicador social ou econômico, uma medida em geral quantitativa usada para
substituir, quantificar ou operacionalizar dimensões relacionadas à avaliação do
processo e grau de desenvolvimento científico e tecnológico (JANNUZZI, 2001 e 2002).
Indicadores e as políticas nacionais
(Mugnaini et al., 2004)
Indicadores de C&T propostos no PADCT III
Cadeia de avaliação dos esforços e resultados de PC&T
(Mugnaini et al., 2004)
Princípios do indicador
Excellence in Research for Australia
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
1. Quantitativo
– Medidas objetivas com metodologia definida que produzirá
resultados sempre confiáveis, independente de quando ou por quem
os princípios são aplicados;
2. Reconhecido internacionalmente
– Considerando que nem todos os indicadores permitirão
comparabilidade internacional direta, os mesmos devem ser medidas
de qualidade de pesquisa reconhecidas internacionalmente;
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
3. Comparável a indicadores usados por outras áreas
– Devem ser capazes de identificar níveis comparáveis de
qualidade de pesquisa entre as áreas;
4. Capaz de ser usado para identificar excelência
– Devem ser capazes de avaliar a qualidade da pesquisa,
e quando necessário, focado em identificar excelência;
(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
5. Relevante para pesquisa
– Devem ser relevantes à componente de pesquisa de
qualquer disciplina;
6. Reprodutível e verificável
– Devem ser baseados em metodologias transparentes e
disponíveis publicamente, ao ponto de instituições
poderem reproduzi-los por si mesmas;(AUSTRALIAN RESEARCH COUNCIL, 2008)
Princípios dos indicadores
7. Temporal
– Devem ser específicos a um período de tempo particular
conforme o período de referência;
8. Impacto contextual
– Devem sugerir respostas/conclusões numa direção desejável
e não resultar em consequências perversas indesejáveis;
– Devem limitar seu escopo para impedir que grupos de
interesses ou indivíduos manipulem o sistema a seu favor.(AUSTRALIAN RESEARCH COUNCIL, 2008)
O que se deve esperar dos indicadores
Van Raan (1993) elenca alguns grupos de problemas metodológicos:
Validade e confiança relacionadas à: • Aplicabilidade - A espera de que os indicadores sanem as necessidades
dos usuários e que eles meçam o que foram designados para medir, se referindo a validade. Na questão da segurança, espera-se que eles produzam os mesmos resultados quando recalculados. Diferenças podem advir de bases de dados utilizadas para construção dos indicadores.
• Precisão e significância estatística de valores numéricos calculados e, em particular, de tendências de indicadores; e relatividade - Não há um padrão para comparação dos indicadores. Não se sabe o significado de magnitudes altas ou baixas (o autor diz que uma solução prática é a comparação com a média mundial, por exemplo).
Fonte de dados dos indicadores cientométricos
• Tipos de fontes de informação:
– Bases de dados de periódicos;
– Bases de dados de currículos;
– Sistemas de bases de dados institucionais;
– Bases de dados das agências de fomento.
Bases de dados de periódicos Vantagens
o Agregação de periódicos; o Estabelecimento de parâmetros de qualidade,
proporcionando benchmarking; o Garante as informações do artigo.
Desvantagens o Seu escopo de ação não chega ao nível dos autores; o Não garante a informação de autoria, nem mesmo das
referências bibliográficas do artigo.
Iniciativas o Author finder (Web of Science): efetiva, mas para buscas
pontuais; o Researcher and Contributor ID (Orcid): recente e
promissora.
Bases de dados de currículos Vantagens
o Contempla a produção do autor; o Contempla os vários tipos de documento; o Agrega outras informações sobre a carreira acadêmica
(bancas, orientações, projetos, cargos administrativos, atividades de extensão).
Desvantagens o Veracidade/validação da informação (auto-
preenchimento); o Informação incorreta.
Iniciativas o Crescente utilização em estudos cientométricos, vindo a
ser conhecida mundialmente; o Script Lattes.
(SILVA & SMIT, 2009)
(LANE, 2010 , p.489)
Sistemas de bases de dados institucionais
Vantagens o Contempla a produção do autor; o Garante a utilização de dados da carreira acadêmica; o Possibilita a análise das condições de trabalho.
Desvantagens o Depende da iniciativa do pesquisador; o Limita-se aos dados do currículo, que são auto-
preenchidos.
Iniciativas o Integração com a Plataforma Lattes.
Bases de dados das agências de fomento
Vantagens o Seleciona a produção da pós-graduação; o Permite identificar a área de atuação do pesquisador,
assim como a linha de pesquisa; o Possibilita a análise da comunidade científica nacional.
Desvantagens o Limita-se aos dados do currículo, que são auto-
preenchidos.
Iniciativas o Coleta Capes.
Possibilidades para a consolidação das fontes
• Identificação de bancos de autoridade de cada fonte de informação;
• Integração de informações dos diferentes sistemas, de modo a minimizar vieses;
• Definição de aspectos do Sistema de C&T a se mensura;
• Proposição, teste e validação de indicadores.
Referências bibliográficas• AUSTRALIAN RESEARCH COUNCIL. ERA Indicator Principles. Canberra: Commonwealth of
Australia, 2008. http://www.arc.gov.au/pdf/ERA_Indicator_Principles.pdf Accessed 10 March 2009
• CHAPARRO, F. Introduction: some reflections on science and technology indicators. Research Evaluation, v. 6, n. 3, p. 175-178, 1996.
• HOLBROOK, J. A. D. Why measure science? Science and public policy, vol. 19, n. 5, p. 262-266, out. 1992.
• JANNUZZI,P.M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicações. Campinas: Ed. Alínea, 2002. 141 p.
• JANNUZZI,P.M. Considerações sobre o uso, mau uso e abuso de indicadores sociais na avaliação de políticas públicas municipais. Revista de Administração Pública, Rio de Janeiro, v.36, n.1, p.51-72, 2002.
• Lane, J. Let´s make science metrics more scientific. Nature, v. 464,p. 488-489, 2010.• MUGNAINI, R.; JANNUZZI, P.; QUONIAM, L. Indicadores bibliométricos da produção científica
brasileira: uma análise a partir da base Pascal. Ciência da Informação, Brasilia, v. 33, n. 2, p. 123-131, 2004
• SILVA, F. M.; SMIT, J. W. Organização da informação em sistemas eletrônicos abertos de Informação Científica & Tecnológica: análise da Plataforma Lattes. Perspectivas em ciência da informação. 14: 77-98, 2009.
• VAN RAAN, A. F. J. Advanced bibliometric methods to assess research performance and scientific development: basic principles and recent practical applications. Research Evaluation, vol. 3, n. 3, p. 151-166, dez. 1993.
Obrigado!
Rogério [email protected]