Suely de Brito Clemente SOARESCibertecária – CRB-8/1335

Mestre em Educação, Ciência e Tecnologia http://libdigi.unicamp.br/document/?code=vtls000384508

Indicadores da Indicadores da produção científica:produção científica:Fator de ImpactoFator de Impacto

e e Índice-Índice-hh

http://www.rc.unesp.br/biblioteca/brcdigital

suelybcs@rc.unesp.br – MSN: suelybcs@hotmail.com – SKYPE: suelybcs

SOARES, S. B. C., 2008 Apresentação licenciada por uma licença Creative Commons

Fator de ImpactoFator de ImpactoGARFIELD, E. Citation indexes for science: a new dimension in GARFIELD, E. Citation indexes for science: a new dimension in documentation through association of ideas. documentation through association of ideas. ScienceScience, Washington, , Washington, v. 122, n. 3159, p. 108-111, 1955. v. 122, n. 3159, p. 108-111, 1955. Reprints and Reflexions: International Reprints and Reflexions: International Journal of Epidemiology,Journal of Epidemiology, Oxford, v. 35, p. 1123-1127, 2006. Oxford, v. 35, p. 1123-1127, 2006. http://doi.dx.org/10.1093/ije/dyl189http://doi.dx.org/10.1093/ije/dyl189 - - garfield@codex.cis.upenn.edugarfield@codex.cis.upenn.edu

Depois de desligar-se do projeto, Garfield Depois de desligar-se do projeto, Garfield aproveitou essa experiência e iniciou uma série aproveitou essa experiência e iniciou uma série de outros estudos que culminaram na fundação de outros estudos que culminaram na fundação do do Institute for Scientific Information Institute for Scientific Information (ISI, atual (ISI, atual ISI-ISI-Thomson-ScientificThomson-Scientific) ) e, em e, em 19631963, na publicação da primeira edição do , na publicação da primeira edição do Science Citation Index Science Citation Index (SCI)(SCI)

(MUGNAINI, 2008)(MUGNAINI, 2008)

No início da década de 50, como membro do Projeto John Hopkins University Medical Indexing, Garfield identificou nas citações bibliográficas um recurso para representar os assuntos dos documentos por meio de procedimentos completamente automáticos

Além de serem utilizados por cientistas como Além de serem utilizados por cientistas como instrumentos de recuperação de documentos instrumentos de recuperação de documentos por assunto, os por assunto, os índices de citaçõesíndices de citações passaram a passaram a ser utilizados por sociólogos da ciência e pelos ser utilizados por sociólogos da ciência e pelos responsáveis pela elaboração de políticas responsáveis pela elaboração de políticas científicas para avaliação da científicas para avaliação da performanceperformance dos dos cientistas.cientistas.

(MUGNAINI, 2008)(MUGNAINI, 2008)

Os índices de citações foram desenvolvidos a partir do princípio de que as referências citadas por um autor identificam de maneira mais precisa o relacionamento entre documentos que tratam do mesmo assunto

Science Citation Index Science Citation Index (início em 1963 - 1900-(início em 1963 - 1900-presente)presente)

Social Science Citation Index Social Science Citation Index (1956-presente)(1956-presente)

Arts and Humanities Citation Index Arts and Humanities Citation Index (1975-(1975-

presente)presente) [Current Contents on...][Current Contents on...]

Em Em 19971997, produção de uma interface , produção de uma interface

de consulta única para os três índices,de consulta única para os três índices, chamada chamada Web of ScienceWeb of Science (WoS) (WoS) (1900-(1900-

presente)presente)

http://www.periodicos.capes.gov.brhttp://www.periodicos.capes.gov.br

HistCite – Eugene GarfieldHistCite – Eugene Garfield out/2008 out/2008

http://scientific.thomsonreuters.com/news/2008-http://scientific.thomsonreuters.com/news/2008-

10/8481882/10/8481882/

http://scientific.thomsonreuters.com/media/newsletterpdfs/8462431/http://scientific.thomsonreuters.com/media/newsletterpdfs/8462431/

kl0708.pdfkl0708.pdf

http://forums.thomsonscientific.com/ts/blog/article?http://forums.thomsonscientific.com/ts/blog/article?

blog.id=citation&message.id=5#M5blog.id=citation&message.id=5#M5

os indicadores calculados a partir dos dados das os indicadores calculados a partir dos dados das citações indexadas na WoS citações indexadas na WoS (Web of Science),(Web of Science),e agrupados por periódicos no e agrupados por periódicos no JCR JCR (Journal of Citation Report),(Journal of Citation Report), têm sido o recurso mais freqüentemente utilizado por têm sido o recurso mais freqüentemente utilizado por administradores da ciência no Brasil e no mundo, administradores da ciência no Brasil e no mundo, para fins de para fins de avaliação da produçãoavaliação da produção

No JCR são publicados três diferentes indicadores: No JCR são publicados três diferentes indicadores: @@ Fator de Impacto (FI), Fator de Impacto (FI),

@@ Meia-Vida das citações (MV) Meia-Vida das citações (MV) @@ Índice de Citação Imediata (ICI) Índice de Citação Imediata (ICI)

Destes indicadores, o mais utilizado é o Destes indicadores, o mais utilizado é o

F a t o r d e I m p a c t oF a t o r d e I m p a c t o(MUGNAINI, 2008)(MUGNAINI, 2008)

FATOR DE IMPACTOFATOR DE IMPACTO é o indicador bibliométrico é o indicador bibliométrico

publicado anualmente no publicado anualmente no Journal of Citation Reports Journal of Citation Reports (JCR) (JCR) pelo pelo ISI-Thomson Scientific ISI-Thomson Scientific (ISI)(ISI)

é calculado com base em citações é calculado com base em citações feitas por publicações feitas por publicações predominantementepredominantemente internacionais, indexadas pela WoSinternacionais, indexadas pela WoS

(MUGNAINI, 2008)(MUGNAINI, 2008)

O Fator de Impacto de determinado O Fator de Impacto de determinado

periódico é definido como a razão periódico é definido como a razão entre entre

o o número de citaçõesnúmero de citações feitas no feitas no

corrente ano a itens publicados nesse corrente ano a itens publicados nesse

periódico nos periódico nos últimos dois anosúltimos dois anos, ,

e o e o

número de artigosnúmero de artigos (itens fonte) (itens fonte)

publicados nos publicados nos mesmos dois anosmesmos dois anos

pelo mesmo periódico (JCR, 2006)pelo mesmo periódico (JCR, 2006)

Exemplo de cálculo do FI de 2006Exemplo de cálculo do FI de 2006 Periódico: Physical Review Letters - FI 2006: 7.072

N.º de citações recebidas em 2006 para os artigos publicados em: 2005 = 28078 2004 = 23332 Total = 51410

N.º de artigos publicados em: 2005 = 3694

2004 = 3575 Total = 7269

Citações recebidas 51410 = 7.072Número de artigos 7269

Fonte: Journal Citation Reports (2006)

http://isiwebofknowledge.com/currentuser_wokhome/wos_jnl_expansion/la/http://isiwebofknowledge.com/currentuser_wokhome/wos_jnl_expansion/la/

http://espacio.bvsalud.org/boletim.php?articleId=07113048200806http://espacio.bvsalud.org/boletim.php?articleId=07113048200806

O total de títulos da América Latina e Caribe passou a ser de 159 (o que representa um

aumento geral de aproximadamente 100%), assim distribuídos:

Argentina (11), Brasil (64),Chile (27),Colômbia (8), México (35),Venezuela (8), Costa Rica, Cuba, Jamaica, Peru, Trinidad e Tobago e Uruguai (1 título

cada)Desses títulos,

103 (65%) pertencem a coleções SciELO

• Total de citaçõesIndica o número total de vezes que cada periódico foi citado por todos os periódicosincluídos no banco de dados do JCR durante o ano corrente• Fator de impactoO Fator de impacto identifica a freqüência com que um artigo médio de um periódico é citado em um determinado ano. Você pode usar este número para avaliar ou comparar a importância relativa de um periódico com outros do mesmo campo ou ver com que freqüência os artigos são citados para determinar quais periódicos são melhores para a sua coleção

• Gráfico de tendências do fator de impactoRepresenta o Fator de impacto de um periódico durante os cinco últimos anos. Mede a freqüência com a qual um artigo médio de um periódico foi citado em um ano em particular, e compara a importância atual de um periódico durante osúltimos cinco anos

• Índice de impacto imediatoO Índice de impacto imediato mede a freqüência com que o artigo médio de um periódico é citado no mesmo ano de sua publicação. Este número é útil para avaliar revistas que publicam pesquisas de ponta

• Contagem de artigosO número de artigos publicados em um periódico em um ano ou em anos específicos

• Meia-vida citadaMarca a idade dos artigos citados mostrando o número de anos a partir do ano corrente que representam 50% do número total de citações de um periódico no ano corrente. Este número é útil para tomar decisões de arquivamento e gerenciamento de coleção. Uma editora poderá utilizar este número para ajustar políticas editoriais para competir em diferentes segmentos de mercado editoriais

• Meia-vida de citação

Identifica o número de anos a partir do ano corrente que representa 50% das referências citadas de artigos publicados de um periódico no ano corrente

Usado em conjunto com a Meia-vida citada, este número ajuda na avaliação de políticas

A validade do indicador FATOR DE IMPACTO está diretamente associada à aceitação

de duas premissas:

a) as publicações relevantes são freqüentemente citadas [QUANTITATIVA];

b) o conjunto de publicações indexadas pelo ISI é suficiente para apreender os resultados das pesquisas a serem avaliadas

[QUALITATIVA]

as evidências comprovam que a utilização do indicador, de modo não contextualizado e

relativizado, pode resultar no estabelecimento de critérios de avaliação injustos

Críticas ao Fator de ImpactoCríticas ao Fator de Impacto ComplexidadeComplexidade - Huth (2001, p. 16) afirma que "o FI - Huth (2001, p. 16) afirma que "o FI

representa os resultados finais de um conjunto representa os resultados finais de um conjunto complexo de variáveis. As pessoas que consultam o FI complexo de variáveis. As pessoas que consultam o FI não podem desconsiderar esta complexidade“não podem desconsiderar esta complexidade“

Densidade/ÁreaDensidade/Área - o número de citações feitas aos - o número de citações feitas aos artigos varia de forma proporcional à densidade/área artigos varia de forma proporcional à densidade/área (n. referências)(n. referências)

@ Engenharia, Tecnologia e Matemática: citam @ Engenharia, Tecnologia e Matemática: citam poucas referências por artigo - média entre 5 e 6poucas referências por artigo - média entre 5 e 6

@ Psicologia e Biologia: média entre 8 e 10 @ Psicologia e Biologia: média entre 8 e 10 citações por publicação. citações por publicação.

@ Astronomia, Geologia, Física, Química e @ Astronomia, Geologia, Física, Química e Medicina Clínica, artigos com 12 a 15 referências e Medicina Clínica, artigos com 12 a 15 referências e receberem, em média, esse mesmo número de citaçõesreceberem, em média, esse mesmo número de citações

@ Pesquisa biomédica, com um número superior @ Pesquisa biomédica, com um número superior de referências e citações: entre 18 e 20 por publicaçãode referências e citações: entre 18 e 20 por publicação

Críticas ao Fator de ImpactoCríticas ao Fator de Impacto o ritmo de obsolescência da literaturao ritmo de obsolescência da literatura é uma variável é uma variável importante para a análise de impacto, considerando que a importante para a análise de impacto, considerando que a velocidade com que novos conhecimentos de uma área são velocidade com que novos conhecimentos de uma área são incorporados à literatura tem reflexos na idade das referências incorporados à literatura tem reflexos na idade das referências citadas nos artigoscitadas nos artigos

Como para o cálculo do FI de um periódico são contabilizadas Como para o cálculo do FI de um periódico são contabilizadas apenas as citações feitas aos apenas as citações feitas aos artigos publicados nos últimos dois artigos publicados nos últimos dois anosanos, verifica-se que áreas que obsolescem mais lentamente, ou , verifica-se que áreas que obsolescem mais lentamente, ou seja, que referem trabalhos mais antigos, tendem a receber seja, que referem trabalhos mais antigos, tendem a receber poucas citações no exato período valorizado pelo ISIpoucas citações no exato período valorizado pelo ISI

Desse modo, mesmo que determinada área apresente, em Desse modo, mesmo que determinada área apresente, em média, média,

artigos muito densos, ela não apresentará necessariamente FI artigos muito densos, ela não apresentará necessariamente FI alto se os trabalhos citados forem mais antigos do que dois anosalto se os trabalhos citados forem mais antigos do que dois anos

Essential Science IndicatorsEssential Science Indicators Data for ranking scientists, institutions, countries and Data for ranking scientists, institutions, countries and

journalsjournals http://www.thomsonreuters.com/products_services/scientific1/Essential_Science_Indicatorhttp://www.thomsonreuters.com/products_services/scientific1/Essential_Science_Indicatorss

http://scientific.thomson.com/media/scpdf/esi-1005-q-pt.pdfhttp://scientific.thomson.com/media/scpdf/esi-1005-q-pt.pdf

http://http://www.periodicos.capes.gov.br www.periodicos.capes.gov.br

http://in-cites.com/countries/http://in-cites.com/countries/

2007allfields.html2007allfields.html

http://in-cites.com/institutions/top-bio.html

Até há bem pouco tempo, apenas os dados produzidos a partir das bases de dados do ISI, principalmente do Science Citation Index, do Social Science Citation Index e dos indicadores do Journal of Citation Report, eram capazes de oferecer uma noção do impacto das publicações na comunidade científica

Essa hegemonia se estabeleceu mesmo em países que editam publicações irrisoriamente contempladas em bases de dados internacionais

No caso do Brasil, apenas 23 periódicos nacionais foram indexados nas edições de 2006 do JCR [27 em 2007]

(MUGNAINI, 2008)

Atualmente, a situação não é mais a mesma. Outras bases de dados que indexam citações têm surgido e estão disputando o espaço do ISI no ramo de produção de informações para medida de impacto das publicações científicas. Entre essas bases e considerando o contexto da ciência dos países em desenvolvimento, destacam-se:

a) Scientific Electronic Library Online (SciELO): modelo para a publicação eletrônica de periódicos científicos na Internet, desenvolvido para responder às necessidades da comunicação científica nos países em desenvolvimento, especialmente da América Latina e Caribe. O Modelo SciELO contém ainda procedimentos integrados para medir o uso e o impacto dos periódicos científicos

b) Scopus: base de dados produzida pela Elsevier, que apresenta uma cobertura maior de publicações em termos quantitativos, inclusive no que diz respeito à produção dos países em desenvolvimentoc) Google Acadêmico: versão do Google para buscas de informações científicasA que representa o contraponto mais radical à concepção historicamente consolidada pelo ISI é o Google Acadêmico. Se no ISI as publicações passam por rigoroso processo seletivo para serem indexadas, opostamente, o lema do Google Acadêmico é: “seu conteúdo é bem-vindo!” (MUGNAINI, 2008)

http://scholar.google.comhttp://scholar.google.com acadêmico – onde fui citado? acadêmico – onde fui citado?

Onde fui citado? = Scopus Onde fui citado? = Scopus

Onde fui citado? = CrossRefOnde fui citado? = CrossRef

Onde fui citado? = ligação p/ Onde fui citado? = ligação p/ ISIISI

Onde fui citado? = ligação p/ Onde fui citado? = ligação p/ GoogleGoogle

WOS: 23 artigos que citaram WOS: 23 artigos que citaram esteeste

Scholar recuperou 19 citações Scholar recuperou 19 citações

O que é Índice-O que é Índice-hh ? ?

HIRSCH, J. E.HIRSCH, J. E.

propôs o índice-propôs o índice-hh neste artigo, publicado em 2005, neste artigo, publicado em 2005,

em agosto no repositório em agosto no repositório arXivarXiv e em novembro no e em novembro no

Proceedings of the National Academy of SciencesProceedings of the National Academy of Sciences

““An index to quantify an An index to quantify an

individual's scientific research individual's scientific research output”output”

http://arxiv.orgabsphysics0508025 http://www.pnas.org/cgi/content/abstract/102/46/16http://www.pnas.org/cgi/content/abstract/102/46/16569569

Obviamente a base de dados a ser utilizada deverá ter cobertura suficiente para abranger todo o período da produção científica de um pesquisador (tradução nossa)

O que é Índice-O que é Índice-hh ? ?

HH de de HHIRSCH, J. E.IRSCH, J. E.““I propose the index I propose the index `h`h´ ´

defined as the defined as the

number of papers number of papers

with citation number with citation number

higher or equal to higher or equal to `h`h´, ´,

as a useful index as a useful index

to characterize the to characterize the

scientific output of a researcher”scientific output of a researcher”

O que é Índice-O que é Índice-hh ? ?““Eu proponho o índice-Eu proponho o índice-hh, ,

definindo-o como o número dedefinindo-o como o número de

hh trabalhos trabalhos

com número igual ou superior com número igual ou superior

a a hh citaçõescitações, ,

como um índice útil para como um índice útil para

caracterizar a produção científica caracterizar a produção científica

de um pesquisador”de um pesquisador”

(HIRSCH, 2005, (HIRSCH, 2005, tradução nossatradução nossa))

Como se calcula o Índice-Como se calcula o Índice-hh ? ?

Ordenar todos os trabalhos Ordenar todos os trabalhos de um determinado autor, de um determinado autor, do 1º. ao último, do mais do 1º. ao último, do mais citado para o menos citado, citado para o menos citado, em duas colunasem duas colunas

TrabalhosTrabalhos

... 41... 41

4242

4343

4444 4545

O índice “h” será O índice “h” será ≥≥

ao número em que as ao número em que as

linhas se cruzamlinhas se cruzam

A primeira coluna em A primeira coluna em ordem crescente pela ordem crescente pela quantidade de trabalhosquantidade de trabalhos

A segunda coluna em A segunda coluna em ordem decrescente pelaordem decrescente pelaquantidade de citaçõesquantidade de citações

CitaçõesCitações

8787

7272

5050

4545

4040

Como se calcula o Índice-Como se calcula o Índice-hh ? ?

TrabalhosTrabalhos

... 41... 41

4242

4343

4444 4545

Autor com Autor com índice-índice-h = h = 44 44

tem pelo tem pelo menosmenos

4444 trabalhostrabalhos com com

44 ou + 44 ou + citaçõescitações

O índice “h” será O índice “h” será ≥≥ ao número ao número

em que as linhas se cruzamem que as linhas se cruzam

CitaçõesCitações

8787

7272

5050

45454040

Fonte: HIRSCH, J. E. (2005) Proc. Natl. Acad. Sci. USA, 102, p.16569-16572http://www.pnas.org/cgi/content/abstract/102/46/16569

Curva esquemática do número de citações versus número de trabalhos, enumerados em ordem decrescente de citações

(tradução nossa)

o índice-h é igual ou maior ao valor onde se cruzam as linhas

do número de citações com a do número de trabalhos

SPIRESSPIRES,, WEB of SCIENCE WEB of SCIENCE e e SCOPUSSCOPUS fornecem o índice- fornecem o índice-h h

O programa livre O programa livre ”PUBLISH or PERISH””PUBLISH or PERISH” calcula o índice-calcula o índice-h h tendo como base o Google Acadêmicotendo como base o Google Acadêmico

Informações completas sobre o Informações completas sobre o Publish or PerishPublish or Perish::

http://en.wikipedia.org/wiki/Publish_or_perish

CITAÇÕES DA PRODUÇÃO ACADÊMICACITAÇÕES DA PRODUÇÃO ACADÊMICAAvaliação Docente - Institucional - Avaliação Docente - Institucional -

Programas PGProgramas PG

http://en.wikipedia.org/wiki/Publish_or_perishhttp://en.wikipedia.org/wiki/Publish_or_perish

P U B L I S HP U B L I S H

OR OR

P E R I S HP E R I S H

http://www.harzing.com/index.htm http://www.harzing.com/index.htm

2 2 trabalhostrabalhoscom nºcom nº

≥≥ a 2 a 2 citaçõescitações

Cálculo do índice-h pelo Publish or Perish

AUTOR COMAUTOR COMÍndice-Índice-hh = 2 = 2

QUADRO COMPARATIVO DOS INDICADORES QUADRO COMPARATIVO DOS INDICADORES FATOR DE IMPACTO E ÍNDICE-FATOR DE IMPACTO E ÍNDICE-HH

FATOR DE IMPACTOFATOR DE IMPACTO ÍNDICE-ÍNDICE-hh

periódicosperiódicos periódicos - autoresperiódicos - autores

Web of ScienceWeb of Science qualquer basequalquer base

2 anos2 anos qualquer períodoqualquer período

citações em periódicoscitações em periódicos citações qq citações qq documentodocumento

ciência predominanteciência predominante predominante e predominante e periféricaperiférica

acesso restrito/pagoacesso restrito/pago acesso aberto/gratuitoacesso aberto/gratuito

busca por ISSN e etc.busca por ISSN e etc. Busca pelo PoP ...Busca pelo PoP ...

Considerações finaisConsiderações finais Ciência “predominante” - Ciência “periférica”Ciência “predominante” - Ciência “periférica” Brasil “periférico” - critérios de “predominante”Brasil “periférico” - critérios de “predominante” Opção: Movimento “Open Access” – Acesso Opção: Movimento “Open Access” – Acesso

AbertoAberto Importância das citações e referências corretas Importância das citações e referências corretas Importância de colocar DOI - http://dx.doi.org/...Importância de colocar DOI - http://dx.doi.org/... Uniformidade dos SOBRENOMES (se e de outros)Uniformidade dos SOBRENOMES (se e de outros) Não usar travessão para substituir AUTORNão usar travessão para substituir AUTOR Continuar publicando com sobrenome de Continuar publicando com sobrenome de

solteira (hífen novo sobrenome) solteira (hífen novo sobrenome) Colocar nas referências de seus trabalhos no Colocar nas referências de seus trabalhos no

Lattes e em todas as suas publicações:Lattes e em todas as suas publicações: Disponível em: <...>. Acesso em: 29 ago 2008 Disponível em: <...>. Acesso em: 29 ago 2008

LEITURAS RECOMENDADASLEITURAS RECOMENDADAS

CASTIEL, L. D.; SANZ-VALERO, J. Entre fetichismo e sobrevivência: o artigo científico é CASTIEL, L. D.; SANZ-VALERO, J. Entre fetichismo e sobrevivência: o artigo científico é uma mercadoria acadêmica?uma mercadoria acadêmica? Cadernos de Saúde Pública, Cadernos de Saúde Pública,  Rio de Janeiro,  v. 23,  n.   Rio de Janeiro,  v. 23,  n. 12, 2007. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=12, 2007. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-311X2007001200026&lng=pt&nrm=iso Acesso em: 2 set. 2008. S0102-311X2007001200026&lng=pt&nrm=iso Acesso em: 2 set. 2008. doi: 10.1590/S0102-311X2007001200026doi: 10.1590/S0102-311X2007001200026

EL-HANI, C. N.; SALLES, J. C.; FREIRE JÚNIOR, O. Para avaliar qualidade de pesquisa, EL-HANI, C. N.; SALLES, J. C.; FREIRE JÚNIOR, O. Para avaliar qualidade de pesquisa, basta usar indexação, índices de impacto e índices de citação? basta usar indexação, índices de impacto e índices de citação? Jornal da Ciência, Jornal da Ciência, Rio Rio de Janeiro, v. 23, n. 627, p. 7, 2008. de Janeiro, v. 23, n. 627, p. 7, 2008.

GUÉDON, J. C. Acesso aberto e a divisão entre ciência “predominante” e “periférica” = GUÉDON, J. C. Acesso aberto e a divisão entre ciência “predominante” e “periférica” = Open Access and the divide between “mainstream” and “peripheral” scienceOpen Access and the divide between “mainstream” and “peripheral” science. In: . In: FERREIRA, S. M. S. P. ; TARGINO, M. G. (Org.) FERREIRA, S. M. S. P. ; TARGINO, M. G. (Org.) Como gerir e qualificar revistas Como gerir e qualificar revistas científicas. científicas. No prelo. No prelo. English version available at:English version available at:http://eprints.rclis.org/archive/00012156/ http://eprints.rclis.org/archive/00012156/

MUGNAINI, R.; STREHL, L. Recuperação e impacto da produção científica na era MUGNAINI, R.; STREHL, L. Recuperação e impacto da produção científica na era google: uma análise comparativa entre o google acadêmico e a web of science. google: uma análise comparativa entre o google acadêmico e a web of science. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da InformaçãoInformação, Florianópolis, v. 13, n. esp. , p. 92-105, 2008. Disponível em: , Florianópolis, v. 13, n. esp. , p. 92-105, 2008. Disponível em: http://www.periodicos.ufsc.br/index.php/eb/article/view/1130 Acesso em: 28 ago. 2008.http://www.periodicos.ufsc.br/index.php/eb/article/view/1130 Acesso em: 28 ago. 2008.

ver também os seguintes trabalhos: http://unesp.br/prope//listagem_links.php?grupo_link=26ver também os seguintes trabalhos: http://unesp.br/prope//listagem_links.php?grupo_link=26

GRATA PELA OPORTUNIDADE E ATENÇÃO

http://www.rc.unesp.br/biblioteca/brcdigital

suelybcs@rc.unesp.br – MSN: suelybcs@hotmail.com – SKYPE: suelybcs SOARES, S. B. C., 2008

Apresentação licenciada por uma licença Creative Commons

Indicadores da Indicadores da produção científica:produção científica:Fator de ImpactoFator de Impacto

e e Índice-Índice-hh