Introdução à Revisão Sistemática de Literatura (RSL)
-
Upload
mariana-azevedo -
Category
Data & Analytics
-
view
766 -
download
4
description
Transcript of Introdução à Revisão Sistemática de Literatura (RSL)
Introdução à Revisão
Sistemática de Literatura (RSL)
Mariana de Azevedo Santos
22/10/2013
Universidade Federal de Lavras
Departamento de Ciência da computação (DCC)
Programa de Pós-graduação em Ciência da Computação (PPGCC)
PCC509 – Engenharia de Software
Sumário
Introdução
Motivação – Porque realizar uma revisão sistemática?
Como realizar uma revisão sistemática?
Etapas da revisão sistemática
Parte 1 – Planejamento da revisão
Parte 2 – Execução da revisão
Parte 3 – Comunicação e divulgação
Considerações finais
2
Introdução
3
É uma técnica que visa identificar, avaliar e interpretar todos
os estudos ou pesquisas disponíveis e relevantes para uma
questão de pesquisa específica, área temática ou fenômeno
de interesse
Surgimento
Área da saúde
2004: guia para revisão sistemática em ES por Kitchenham
(2004)
Introdução (cont.)
4
Revisão de literatura tradicional Revisão sistemática
A busca de estudos é mais informal
e subjetiva
Busca abrangente e exaustiva por
estudos seguindo a questão de
pesquisa
Tendência de citar seletivamente
literatura
Critérios de qualificação da citação
rigorosos e claros
Não descreve busca, seleção e
avaliação da qualidade dos estudos
Avaliação crítica dos estudos e
síntese dos resultados de acordo
com um método explícito e pré-
determinado
Por que realizar uma revisão sistemática?
5
De acordo com Justus (2009):
Delimitar um problema de pesquisa
Buscar novas linhas de pesquisa
Busca de insights metodológicos
Identificar recomendações para pesquisas futuras
Busca de fundamentação teórica
Como realizar uma revisão sistemática?
6
Primeiro passo - entender tipos de estudo [Kitchenham
2007]:
Estudos primários: estudos individuais empíricos que estão
diretamente relacionados à questão em pesquisa
Estudos secundários: são estudos que visam revisar, investigar
e sintetizar as evidências identificadas nos estudos primários
A revisão sistemática é considerada um estudo secundário
Como realizar uma revisão sistemática?
(cont.)
7
Outros tipos de revisões:
Estudos terciários: estudos que fazem a revisão de estudos
secundários relacionados a uma mesma questão de pesquisa
Mapeamento sistemático: visa identificar tipos de estudos
podem ser abordados por uma Revisão Sistemática, indicar o
local no qual os mesmos foram publicados, em que bases de
dados foram indexados e quais os tipos de resultados
apresentaram
Mais abrangente
Foca na classificação e categorização dos resultados
Etapas da Revisão Sistemática
8
• Identificação da necessidade de revisão
• Elaboração da proposta da revisão
• Desenvolvimento do protocolo da revisão
Planejamento da revisão
• Identificação das fontes de pesquisa
• Seleção dos trabalhos
• Avaliação da qualidade dos trabalhos
• Extração dos dados
• Síntese dos dados
Execução da revisão
• Apresentação dos resultados
Comunicação e divulgação
Etapa 1 – Planejamento da revisão
9
Responda a seguinte pergunta: qual é a necessidade de se
fazer uma RSL?
Ex.: identificar estudos acerca da definição ou utilização de
métricas para caracterização da qualidade interna de sistemas
de software desenvolvidos em Java
Etapa 1 – Planejamento da revisão
10
Elabore uma proposta para a sua pesquisa
Defina as questões de pesquisa que a sua RSL irá responder
Como defini-las?
Identifique o tema
Identifique o problema ou o gap, ou seja, uma dificuldade que ainda não foi apresentada uma solução científica na teoria atual
Defina o problema
Verifique se este problema pode ser empiricamente verificado e validado
Etapa 1 – Planejamento da revisão (cont.)
11
Desenvolva o protocolo para a sua RSL
Background: a problemática envolvida (teoria do assunto), os
objetivos da RSL
Questões de pesquisa: o que se pretende investigar?
As estratégicas de busca:
Em quais fontes irei executar minha RLS?
IEEE, Scopus, ScienceDirect, Emerald, Compendex, ACM Digital
Library, Springer
Etapa 1 – Planejamento da revisão (cont.)
12
Desenvolva o protocolo para a sua RSL (cont.)
As estratégicas de busca (cont.) :
Que tipos de estudo irei considerar?
Em andamento, finalizados (não publicados e/ou
publicados – em periódicos, teses, resumos...)
Termos de busca: derivar palavras-chave das questões de
pesquisa, buscando sinônimos e palavras relacionadas
Etapa 1 – Planejamento da revisão (cont.)
13
Desenvolva o protocolo para a sua RLS (cont.)
As estratégicas de busca (cont.):
String de busca:
Agrupar sinônimos e palavras relacionadas com o identificador
OR
Agrupar cada conjunto de termos com o identificador AND
Etapa 1 – Planejamento da revisão (cont.)
14
Desenvolva o protocolo para a sua RSL (cont.)
Critérios de inclusão e exclusão
Período
Área de concentração
Tipo de publicação
Tipo de formato de exportação de documentos
Idioma dos artigos
Verificar se os resultados encontrados atendem à questão de
pesquisa
Etapa 1 – Planejamento da revisão (cont.)
15
Desenvolva o protocolo para a sua RSL (cont.)
Avaliação da qualidade dos estudos encontrados
Verificar a qualidade dos estudos retornados
Verificar se a String busca formulada precisa ser ajustada (Testes
pilotos podem ajudar)
Estratégias de extração de dados
Definir como a informação requerida (questão de pesquisa) será
obtida
Processo de manipulação de dados, hipóteses, inferências e
validações devem ser previamente especificados
Síntese dos dados extraídos:
Técnicas utilizadas para sintetizar dados
Etapa 2 – Execução da revisão
16
Selecionar fontes de pesquisa
Todos os estudos
Publicados
Periódicos
Testes
Resumos
Etc.
Não publicados
Base
de
dados
Etapa 2 – Execução da revisão (cont.)
17
Estratégias de busca
String de busca
Ex.:
(software OR application OR applications OR system
OR systems OR "software system" OR "software
systems") AND (metric OR metrics OR "software
metrics" OR "code metrics" OR measure OR measures
OR measurement) AND (quality OR "internal quality"
OR "code quality" OR "software quality") AND ("object
oriented" OR "object-oriented" OR "oo")
Etapa 2 – Execução da revisão (cont.)
18
Identificação e seleção de estudos primários
Identificados
Selecionados
Incluídos
Excluídos Não
Selecionados
Etapa 2 – Execução da revisão (cont.)
19
Estudos identificados: são todos os estudos identificados
pelas fontes de busca
Estudos não selecionados: são aqueles que objetivamente
não atendem os critérios de inclusão
Estudos selecionados: são aqueles que aparentemente
atendem os critérios de inclusão
Etapa 2 – Execução da revisão (cont.)
20
Estudos excluídos: são aqueles que, após avaliação do texto
completo, não atendem aos critérios de inclusão
Estudos incluídos: são aqueles que, após avaliação do texto
completo, atendem aos critérios de inclusão
Etapa 2 – Execução da revisão (cont.)
21
Critérios de inclusão e exclusão
Ex.:
Critérios de inclusão:
i) ser da área de ciência da computação
ii) ter sido publicado entre 1998 e 2013
iii) ser um artigo de Journal ou Conference Paper
iv) ter sido publicado no idioma Inglês
v) poder ser exportado no formato BibTex
Critérios de exclusão:
i) texto de acesso restrito;
ii) textos duplicados
Etapa 2 – Execução da revisão (cont.)
22
Avaliação da qualidade
Estudos primários encontrados esclarece o contexto do que
está sendo pesquisado
Há evidências de adaptação e resposta do projeto de pesquisa
ao problema descrito na RSL?
Qualidade das fontes: artigos relevantes encontrados nas
diferentes fontes
Os resultados podem ser generalizados? E a relevância da
pesquisa está claramente indicada?
Etapa 2 – Execução da revisão (cont.)
23
Extração dos dados
Busca responder a questão de pesquisa
Carácter qualitativo e quantitativo
Métodos complementares:
Métodos estatísticos
Metanálise: integrar os resultados de dois ou mais
estudos
Etapa 2 – Execução da revisão (cont.)
24
Síntese dos dados
Descreve a resposta da questão de pesquisa
Estado da arte:
Principais autores
Principais áreas
Relação Tema x período
Principais temas
Trabalhos de maior impacto
Etapa 3 – Comunicação e divulgação
25
Como relatar:
Artigos, relatórios, etc...
Formato:
Justificativa da revisão
Questão ou questões de pesquisa
Objetivos
Descrição do Protocolo
Execução da revisão
Descrição dos critérios e métodos de extração
Análise e síntese dos dados
Conclusões
Considerações finais
26
Principais vantagens:
Poder de síntese: permite consolidar um grande volume de informações
Objetividade: reduz vieses e subjetividade
Dinâmica: identifica gaps ou áreas de oportunidade de pesquisa
Replicável: permite criar um protocolo em que é possível e claro para o leitor reproduzir as etapas de pesquisa
Flexível: pode ser adaptado à diferentes contextos (foi criada na área de medicina e hoje é muito usada na área de computação)
Considerações finais (cont.)
27
Principais desvantagens:
Demanda maiores esforços de pesquisa
Conduzir avaliações de qualidade é uma atividade difícil que
pode ser fonte de viés
Referências bibliográficas
28
Kitchenham, B.A. (2004) Procedures for Undertaking
Systematic Reviews, Joint Technical Report, Computer Science
Department, Keele University (TR/SE-0401) and National ICT
Australia Ltd. ( 0400011T.1).
Kitchenham, B. (2007) “Guidelines for Performing Systematic
Literature Review in Software Engineering”. EBSE Technical
Report, 2.3, Keele University.
Randolph, Justus (2009) A Guide to writing the dissertation
Literature Review. Practical Assessment, Research &
Evaluation,14(13).