Women for Positive Action is supported by a grant from Abbott A mulher e os ensaios clínicos no VIH.
The material was supported by an educational grant from Ferring Como fazer uma crítica apreciativa...
-
Upload
aurora-medina-de-sa -
Category
Documents
-
view
216 -
download
0
Transcript of The material was supported by an educational grant from Ferring Como fazer uma crítica apreciativa...
The material was supported by an educational grant from Ferring
Como fazer uma crítica apreciativa de um estudo
Nikolaos P. Polyzos M.D. PhD
Objetivos de aprendizagem
• Ao final desta apresentação você perceberá que não deve aceitar a conclusão de nenhum trabalho sem questionar.
• Esta apresentação vai fornecer orientações de como você se deve questionar as conclusões dos trabalhos.
Uma descoberta de uma pesquisa é menos provável de ser verdadeira quando:• Os estudos conduzidos num campo são menores
• O tamanho dos efeitos são menores
• Há maior flexibilidade nos desenhos, definições, resultados e modos analíticos
• Há um interesse financeiro maior e outro interesse e preconceito
Ioannidis JP, Plos Med 2005
Ensaio: Por que a Maioria das Descobertas Publicadas são Falsas - John P.A. Ioannidis
• Por que você deve questionar os resultados em todos os trabalhos
• Como você deve questionar os resultados
Os artigos mais citados nem SEMPRE estão dizendo a verdade
Por que você deve questionar os resultados em todos os trabalhos
• Descobertas iniciais…podem se provar erradas no futuro
• Estudos altamente citados (>1000 citações) com alegação de eficácia– 16% foram contraditos por pesquisas posteriores
– 16% descobriu-se ter fortes efeitos iniciais
– 44% foram replicados também com uma amostra maior em pesquisa subsequente comparado com o estudo original altamente citado)
– 24% permaneceram amplamente incontestados
Artigos mais citados nem SEMPRE estão dizendo a verdade
Ioannidis JP, JAMA 2005
Fabricação de dados pode ocorrer mesmo em periódicos altamente conceituados
Por que você deve questionar os resultados em todos os trabalhos
Caso Sudbø (Lancet)
Entre 908 pacientes no estudo 250 tinham a mesma data de aniversário
Fabricação de dados pode ocorrer mesmo em periódicos altamente conceituados
Ensaios de baixa qualidade de randomização podem mostrar efeito de tratamento
aumentados
Por que você deve questionar os resultados em todos os trabalhos
• Gravidez Cochrane e Base e Dados de Nascimentos– 250 ensaios controlados de 33 meta-análise
• Maior efeito aparente de tratamento nos estudos de qualidade mais pobre– Questões de randomização
• Possibilidade de Índices exagerados em até 41%
– Cegamento inadequado• Possibilidade de Índices exagerados em 17%
Ensaios de baixa qualidade de randomização podem mostrar efeito de tratamento inflado
Schulz. JAMA 1995; 273 (5): 408–412
LOTE DE META-ANÁLISE PARA NASCIMENTO PREMATURO <37 SEMANAS DE GESTAÇÃOStudy or subgroup Treatment No treatment weight Odds ratio
Events/toal Events/total (%) (M-H, fixed)(95% CI)
Low quality trailsSubtotal (95% CI) 114/996 147/725 35.2 0.52 (0.38 to 0.72)
Test for heterogeneity: χ2 = 4.95, df = 5, P = 0.42, I2 = 0%Test for overall effect: z = 4.01, P<0.001
High quality trialsSubtotal (95% CI) 250/2303 219/2290 64.8 1.15 (0.95 to 1.40)Test for heterogeneity: χ2 = 4.02, df = 4, P = 0.40, I2 = 1%Test for overall effect: z = 1.45, P = 0.15
Total (95% CI) 364/3299 366/3015 100 0.93 (0.79 to 1.10)Test for heterogeneity: χ2 = 25.94, df = 10, P = 0.004, I2 = 61%Test for overall effect: z = 0.86, P = 0.39
M-H=Mantel-Haenszel fixed effects model 0.1 0.2 0.5 1 2 5 10Favours treatment Favours no treatment
Odds ratio(M-H, fixed)
(95% CI)
Ensaios de baixa qualidade mostraram efeitos de tratamento que não foram confirmados por estudos de alta qualidade
Polyzos NP et al., BMJ 2010
Ensaios com resultados negativos não são publicados ou são publicados mais tarde
Por que você deve questionar os resultados em todos os trabalhos
Entre os estudos apresentados na maioria dos encontros científicos, ensaios com resultados positivos são mais propensos a serem publicados em comparação com os estudos negativos.
0 20 40 60 80 100
1.0
0.8
0.6
0.4
0.2
0.0
Time to publication (months)
Prop
ortio
n of
abs
trac
ts p
ublis
hed
in fu
ll-te
xt
Outcome in favour of the experimental arm
Not-positivePositiveNot-positive-censoredPositive-censored
Ensaios com resultados negativos não são publicados ou são publicados mais tarde
Polyzos NP et al., Hum Reprod 2011
Por que você deve questionar os resultados em todos os trabalhos
Meta-análise muitas vezes conta com poucas ou inconsistentes evidências
• 61 revisões sistemáticas publicadas durante Julho de 2012 em Cochrane– 15% das revisões incluíam 1ou 0 ensaios
– Metade incluíam menos que 1,000 pacientes randomizados
– 31 eram revisões atualizadas
– 11 dessas 31 revisões atualizadas incluíam o mesmo número de ensaios e participantes da revisão anterior que eles pretendiam atualizar.
Meta-análise e revisões sistemáticas podem muitas vezes contar com poucas ou inconsistentes evidências
Humaidan & Polyzos Nat Med 2012
Pesquisas apoiadas pela indústria podem demonstrar melhor efeito de tratamento
Por que você deve questionar os resultados em todos os trabalhos
Pesquisas apoiadas pela indústria podem demonstrar melhor efeito de tratamento
Lexchin J et al., BMJ. 2003.OR 4.05; 95% CI 2.98-5.51
Pesquisas patrocinadas por indústrias químicas foram 4x mais propensas a ter resultados que favoreciam o produto do patrocinador do que as pesquisas patrocinadas por outras fontes
Study (first author) Odds ratio
0.1 0.2 0.5 1 2 5 10 100 1000 10000
Azimi12
Cho14
Clifford15
Davidson16
Dieppe18
Djulbegovic19
Djulbegovic20
Friedberg23*Friedberg23┼
Kamal-Bahl26╪
Kamal-Bahl26§
Koep30
Mandelkern32
Sacristan36¶
Sacristan36**Thomas38
Vandenbroucke39
Yaphe41
82% das análises de custo-efeito patrocinadas pela indústria mostram que as drogas são rentáveis
Pesquisas apoiadas pela indústria podem demonstrar melhor efeito de tratamento
Valachis et al., J Clin Oncol 2012
(Relações Financeiras em Análises Econômicas de Terapias Direcionadas em Oncologia)
(Reportagem original)
A análise de custos-efetividade com o envolvimento da indústria foram associados com os pressupostos inferiores de base da sensibilidade do teste Pap.
O comparador “Espantalho”
100
90
80
70
60
50
40
30
20
10
00 10 20 30 40 50 60 70 80 90 100
Patrocínio ou afiliação do autor, patrocínio ou conflito de interesse com o fabricante
Estimativas para as ACE sem afiliação do autor, patrocínio ou conflito de interesse com o fabricanteEstimativas para as ACE com pelo menos um autor afiliado com o fabricante ou patrocínio ou conflito de interesse com o fabricante
1 - Especificidade
Sens
ibili
dade
Pesquisas apoiadas pela indústria pode demonstrar melhor efeito de tratamento
Polyzos NP et al., CMAJ 2011
Por que você deve questionar os resultados em todos os trabalhos
Ensaios patrocinados pela indústria e até os patrocinados pelo governo foram publicados
tardiamente no passado
• Tempo para publicação– Indústria (24meses) vs. não indústria (20 meses) depois do
estudo completo p<0.001Ross JS et al., JAMA 2013
• Taxa de publicação em um período de 2 anos – Indústria (40%) vs. não governamental/não-indústria (56%) – RR = 0.73, 95% CI 0.61–0.87; p<0.001– indústria(40%) vs. ensaios governamentais (47%); p = 0.22
Ross JS et al., Plos Med 2009
Ensaios patrocinados pela indústria podem ser publicados mais tarde do que os não patrocinados
• Ensaios NIH NÃO PUBLICADOS depois de concluídos– 30 meses – metade publicado– 51 meses - 1/3 não publicados
Mesmo os ensaios patrocinados pelo governo não são publicados imediatamente
80
60
40
20
00 20 40 60 80 100
Tempo desde a conclusão do estudo (meses)
Por
cent
agem
de
estu
dos
publ
icad
os
Não em risco
635 635 635 635 493 330 220 153 95 54 44
No de estudos não publicadosEnsaio concluído antes de 2007
269 264 259 235 221 197 175
Ensaio concluído em 2007-8
366 356 324 282 244 215 176
80
60
40
20
00 5 10 15 20 25 30
Tempo desde a conclusão do estudo (meses)
Por
cent
agem
de
estu
dos
publ
icad
os
P<.001
Ensaio concluídoantes de 2007
Ensaio concluídoem 2007-8
Ross JS et al., BMJ 2011
• Por que você deve questionar os resultados em todos os trabalhos
• Como você deve questionar os resultados
Como você deve questionar os resultados
Não rejeite antecipadamente um estudo baseado no seu estado como ensaio de governança clínica e que relata
ter melhorado com o tempo
Menos propenso a até mesmo ler o artigo inteiro !
Ligação da indústria com uma publicação reduz seu valor para médicos
Patrocínio da indústria:• Influencia negativamente a percepção dos médicos da qualidade da metodologia• Reduz a sua disposição a acreditar e agir conforme as descobertas do ensaio,
independentemente da qualidade do ensaio
1.25
1.00
0.75
0.50
Indústria vs. Nenhum Indústria vs. NIH
Fiananciamento
Prop
orçã
o da
pos
sibi
lidad
e
0.68 (95% CI, 0.49-0.94)P = .02
0.52 (95% CI, 0.37-0.71)P<.001
Disposição dos Médicos para Prescrever o Medicamento
Não rejeite antecipadamente um estudo baseado no seu estado
Kesselheim NEJM 2012
• A Diretriz da Boa Prática Clínica (Diretiva 2005/28/EC de 8 de Abril de 2005 do Parlamento Europeu e do Conselho)
• EudraCT vs. 9 (Registro de ensaios Europeus)• Resultados devem ser fornecidos para todos os ensaios
intervencionais clínicos que se iniciaram na União Europeia a partir de 1 de Maio de 2004
• O relatório e divulgação pública incluem:– Ensaios que foram terminados precocemente– Ensaios com resultados tanto positivos como negativos– Ensaios de produtos com OU sem uma autorização de marketing
na comunidade
https://eudract.ema.europa.eu/index.html
Por que você não deve rejeitar antecipadamente baseado em seu atual estado
• Para a Pharma introduzir uma nova droga a droga deve passar a Fase II dos estudos para estabelecer a dosagem e segurança, seguido pela fase III de estudos para confirmar a eficácia e depois demonstrar a segurança, o que é monitorado externamente e deve seguir estudos altamente metodológicos
• A taxa de sucesso da Fase II para novos projetos de desenvolvimento caíram de 28% (2006–2007) para 18% (2008–2009)
• O sucesso combinado da Fase III e submissão têm caído a ~50% de 2007 a 2010
A situação melhorou com o tempo?
Arrowsmith. Nature Reviews Drug Discovery 2011
Arrowsmith. Nature Reviews Drug Discovery 2011
Não rejeite antecipadamente um estudo baseado no seu estado
Como você deve questioner os resultados
Use uma abordagem de avaliação crítica ao avaliar um artigo científico
Avalie criticamente o propósito do estudo• Qual a justificativa para realizar o estudo?• Existe(m) questões de pesquisa(s) claramente
definida(s) e se não, deveria(m) existir?
Quadro de Como ler e criticar um trabalho de pesquisaAmerican Nurses Association http://www.nursingworld.org
Use uma abordagem de avaliação crítica padrão ao avaliar um artigo científico
Avalie criticamente o desenho do estudo• O desenho é apropriado para o estudo?• A amostra se encaixa com o desenho da pesquisa e o
tamanho é suficiente? • Como os dados foram coletados? • A abordagem analítica é consistente com as questões
do estudo e o desenho da pesquisa?
Use uma abordagem de avaliação crítica padrão ao avaliar um artigo científico
Quadro de Como ler e criticar um trabalho de pesquisaAmerican Nurses Association http://www.nursingworld.org
Examine se o estudo foi registrado em registro público• Será que o ensaio foi registrado antes de ser iniciado?• Será que os parâmetros primários são os mesmos registrados na
versão registrada do ensaio?
Use uma abordagem de avaliação crítica padrão ao avaliar um artigo científico
Sempre revise a literatura existente• A revisão da literatura é relevante para o estudo,
abrangente e inclui pesquisas recentes? • A revisão da literatura apoia a necessidade do estudo? • As descobertas são compatíveis com a literatura
existente?
Use uma abordagem de avaliação crítica padrão ao avaliar um artigo científico
Quadro de Como ler e criticar um trabalho de pesquisaAmerican Nurses Association http://www.nursingworld.org
Avalie criticamente os resultados e conclusões• Os resultados estão claramente apresentados no texto,
tabelas e dados? • Os resultados explicados tem relação com o quadro
teórico e questões da pesquisa?• As limitações foram apresentadas e suas implicações
discutidas?• Existem recomendações para a prática clínica?
Use uma abordagem de avaliação crítica padrão ao avaliar um artigo científico
Quadro de Como ler e criticar um trabalho de pesquisaAmerican Nurses Association http://www.nursingworld.org
• Nenhum ensaio é livre de limitações, resultados podem ocorrer ao acaso
• Existe até um risco de que os resultados sejam enganosos
• Quanto mais robusto o estudo, mais provável de ser verdadeiro
• Sempre revise toda a literatura e procure consistência no que está relatado
• Não aceite ou rejeite de imediato os resultados de um estudo baseado apenas na publicação do periódico, grupo de pesquisa ou envolvimento da indústria
Conclusões
Obrigado