Post on 22-Apr-2015
1
Validade (interna e externa) e confiabilidade na
pesquisa epidemiológica
Albanita Gomes da Costa de Ceballos
2
Referências Base
Almeida-Filho, N; Rouquayrol, MZ. Diagnóstico em Epidemiologia. In: ____. Introdução à Epidemiologia. 3 ed. Rio de Janeiro: Medsi, 2002.
Pereira, MG. Validade de uma investigação. In: _____. Epidemiologia teoria e prática. Rio de Janeiro: Guanabara Koogan, 1995.
Rothman, KJ e Greenland, S. Precision and validity in epidemiologic studies. In: ____. Modern Epidemiology. 2ed. Philadelphia: Lippincott Williams & Wilkins, 1998.
3
Epidemiologia
Ramo das ciências da saúde que estuda, na população, a ocorrência, a distribuição e os fatores determinantes dos eventos relacionados com a saúde.
(Pereira, 1995)
4
Diagnóstico dos eventos
Para garantir que as medidas de ocorrência, de distribuição e as associações entre os fatores determinantes e o evento, ou seja, a qualidade do estudo epidemiológico, é necessário considerar:
Erros;
Viés ou bias;
Precisão;
Validade.
5
Erros
Costuma-se considerar duas fontes principais de erro:
Erro Randômico: Relaciona-se com precisão ou confiabilidade.
Erro Sistemático: Relaciona-se com validade.
6
Erro Randômico
Aparece como uma imprecisão da estimativa obtida a partir do estudo em relação ao parâmetro que está sendo avaliado, sendo resultante da variação amostral.
É, portanto, fundamentalmente dependente do tamanho da amostra e de características específicas do parâmetro a ser estimado, ou seja, sua variância.
Ximenes e Araújo, 1995
7
Erro Randômico Podem ser evitados no estudo:
1. Fase de planejamento: Cuidados na seleção da amostra;
2. Fase de execução: Evitar perdas ou recusas não homogêneas entre os grupos;
3. Fase de análise de dados: controle de outliers e criteriosa imputação.
8
Erro Sistemático
Difere em sua natureza do erro randômico, por ter sua origem na existência de uma diferença entre o parâmetro a ser estimado e o verdadeiro efeito que se quer medir.
Resulta do desvio ou distorção da operação da medida, do instrumento ou do aplicador.
Almeida Filho e Rouquayrol, 2002
Ximenes e Araújo, 1995
9
Erros
Randômico Amostra
Sistemático Medida
10
Precisão e Validade
Baixa precisão; alguma validade Baixa precisão; baixa validade
Alta precisão; baixa validade Alta precisão; alta validade
Metáfora do alvo. Adaptado de Almeida Filho e Rouquayrol, 2002
11
Validade
Diz-se das conclusões de uma investigação quanto a amostra estudada ou a extrapolação das mesmas para a população de onde a amostra foi retirada ou mesmo outras populações.
A validade pode ser externa ou interna
12
Validade Externa
As conclusões do estudo feito em uma amostra podem ser generalizadas para a população de origem. Depende do quanto a amostra representa a população.
Ex: Um estudo sobre estresse e alteração vocal em uma amostra de
professores do ensino fundamental da rede estadual da Bahia mostra que a razão de prevalência é igual a 2,3 (IC 95% 2,1 a 2,5).*
É possível dizer que: Os professores baianos mais estressados têm 2,3 vezes mais chance de ter alteração vocal que os menos estressados podendo este valor variar entre 2,1 e 2,5.
* Estudo fictício
13
Validade Externa
Os resultados também podem ser generalizados para outras populações semelhantes.
Sobre o exemplo anterior pode-se dizer:
O estresse no professor faz com que ele tenha mais problemas vocais.
14
Validade Interna
Refere-se ao grau em que as conclusões de um estudo são corretas.
Engloba: Comparabilidade de grupos estudados (viés de
seleção)
Controle de fatores que possam dificultar a interpretação (viés de confundimento);
Técnica ou critério diagnóstico (viés de aferição)
Pereira, 1995
15
Viés de Seleção
Erro na identificação da população ou grupos de estudo;
Distorção devido a diferenças entre as características dos indivíduos que são incluídos no estudo e daqueles que não são;
Perdas ou não respostas dos incluídos originalmente na amostra (diferencial ou não diferencial)
16
Viés de Seleção Exemplo:
Foram selecionados 80 sujeitos para participar de um estudo em duas etapas. Na etapa 1 eles respondiam um questionários sobre sintomatologia da doença pesquisada (79 participaram;1,25% de perda). Na etapa 2 todos os 79 sujeitos foram chamados para realizar um exame em um hospital. Somente 38 compareceram (51,8% de perda).
A literatura mostra que a prevalência da doença estudada é em torno de 20%. Neste estudo foi encontrada uma prevalência de 46,8%.
17
Viés de Confundimento
Ocorre quando os resultados de uma associação entre dois fatores podem ser imputados, total ou parcialmente, a um terceiro fator não levado em consideração que é a variável de confundimento;
Variável de confundimento, ou de confusão ou confounding é a variável que, por estar associada a exposição principal e ser um fator de risco para o efeito estudado, induz a conclusão incorreta sobre a verdadeira relação entre dois eventos. (Pereira, 1995)
18
Viés de Confundimento
Exemplo:
Um estudo realizado em uma zona canavieira do Estado de Alagoas mostrou uma associação positiva e estatisticamente significante entre baixa escolaridade das mulheres e abortos espontâneos.
Sabe-se que as mulheres com menor escolaridade nesta região geralmente trabalham no corte da cana-de-açúcar.
Resta esclarecer: A associação de deve ao nível de escolaridade ou ao elevado esforço físico da atividade de trabalho?
19
Viés de Aferição
Definição inadequada do diagnóstico de um evento.
Geralmente devido à preparação ineficiente do observador ou examinador ou pelo uso inadequado dos instrumentos de aferição (problema mecânico ou técnico ou instrumento inapropriado para a mensuração)
20
Viés de Aferição
Observador ou examinador Confiabilidade
Validação Instrumento de aferição
21
Confiabilidade (ou Reprodutibilidade)
Capacidade de concordância interna, ou seja, de replicar os mesmos resultados.
Pode ser testada com a repetição das medidas utilizadas no mesmo grupo da mensuração original pelo mesmo observador ou por observadores diferentes.
Klein e Bloch in Medronho, 2002.
22
Validação
Quantifica o desempenho de um instrumento de medida em relação a um instrumento considerado padrão-ouro.
As medidas de VALIDADE mais usadas são:
Sensibilidade Especificidade Valor preditivo positivo Valor preditivo negativo
23
Validação
Sensibilidade : É a capacidade que o teste apresenta de detectar os indivíduos verdadeiramente positivos, ou seja, os verdadeiros doentes.
S= verdadeiros positivos (a) x100
verdadeiros positivos(a) + falsos negativos(c)
24
Validação
Especificidade: É a capacidade que o teste apresenta de detectar os indivíduos verdadeiramente negativos, ou seja, os verdadeiros sadios.
E= verdadeiros negativos (d) x100
falsos positivos(b) + verdadeiro negativos(d)
25
Validação
Valor Preditivo Positivo: É a probabilidade que tem cada positivo de ser, de fato, doente.
VP+ = verdadeiros positivos (a) x100
verdadeiros positivos(a) + falsos positivos (b)
26
Validação
Valor Preditivo Negativo: É a probabilidade que tem cada negativo de ser, de fato, sadio.
VP- = verdadeiros negativos (d) x100
falsos negativos(c) + verdadeiros negativos (d)
27
ValidaçãoVejamos o exemplo:
Doente Sadio Total
Doente 133(a) 47(b) 180 (a+b)
Sadio 14(c) 106(d) 120 (c+d)
Total 147 (a+c)
153 (b+d)
300(a+b+c+d)
Padrão - Ouro
Nov
o te
ste
S= a / a+c = 133 / 147 = 0,90
E= d / b+d = 106 / 153 = 0,69
VP+ = a / a+b = 133 / 180 = 0,73
VP- = d / c+d = 106 / 120 = 0,88
28
Validação
S= a / a+c = 133 / 147 = 0,90
Alta sensibilidade. O novo teste consegue identificar 90% dos verdadeiros doentes.
E= d / b+d = 106 / 153 = 0,69
Especificidade moderada. O novo teste erra na identificação de 30% dos sadios, atribuindo a estes a condição de doente.
VP+ = a / a+b = 133 / 180 = 0,73
Valor preditivo positivo moderado. O novo teste consegue “acertar” os doentes em cerca de 70% dos casos.
VP- = d / c+d = 106 / 120 = 0,88
Valor preditivo negativo muito bom. O novo teste consegue “acertar” os sadios em quase 90% dos não-casos
29
Síntese
Erros Randômico - Amostra
Sistemático - Medida
Validade Externa – Generalização
Interna – Conclusões do estudo
Validade Interna
Viés de seleção
Viés de confundimento
Viés de aferição
Viés de aferição
Do examaminador - confiabilidade
Do instrumento - validação
30
Síntese
Confiabilidade Concordância ou repetição de resultados.
Validação Desempenho do instrumento.
Sensibilidade: a / a + c
Especificidade: d / b+d
Valor Preditivo Positivo: a / a+b
Valor Preditivo negativo: d / c + d
31
Estudo complementar
Leia os textos para aprofundar o seu conhecimento:
Silva, FS; Pereira, MG. Avaliação das estruturas de concordância e discordância nos estudos de confiabilidade. Rev Saúde Pública, 32(4): 383-93, 1998.
Ximenes, RAA; Araújo, TBV. Validade Interna em Estudos de Corte Transversal: Reflexões a Partir de uma Investigação sobre Esquistossomose Mansônica e Condições Socioeconômicas. Cad. Saúde Pública,11(1), 1995
32
Atividade 1
Em um estudo para verificar a associação entre fazer vestibular e ter alguma dor de estômago foram selecionados 500 estudantes de escolas da cidade que estavam se preparando para fazer vestibular e 500 estudantes das mesmas escolas que cursavam primeiro ou segundo ano do ensino médio.
Entre os meses de maio e julho deste ano os estudantes foram entrevistados quanto a seus hábitos sociais, de lazer e alimentares, horas de estudo por dia e dinâmica familiar. Em seguida foram encaminhados para o serviço de um hospital local para fazer uma video-endoscopia digestiva. Dos 1000 alunos, somente 400 compareceram para o exame.
OBS: Todas as atividades aqui propostas foram desenvolvidas pela prof. Albanita G Costa. Os estudos são fictícios.
33
Atividade 1
Na análise das entrevistas verificou-se que grande parte dos alunos vestibulandos relatou estudar mais de 8 horas por dia, comer em horários irregulares, tomar muito refrigerante, comer frituras e dormir menos de 6 horas por noite. Estes estudantes relataram ainda serem pressionados constantemente pela família e pelos amigos para estudar mais. O mesmo não aconteceu com os demais estudantes.
Na avaliação dos 400 exames, observou-se que dos 120 vestibulandos que compareceram, 80 apresentaram algum problema de estômago e dos não vestibulandos apenas 40 apresentaram o problema.
34
Atividade 1
1. Qual o percentual de perdas? Quais as possíveis conseqüências para o estudo?
2. O estudo está sujeito a algum erro? Qual(is)? Explique.
3. O estudo está sujeito a algum viés? Qual(is)? Explique.
4. Crie a tabela 2x2 e verifique a associação descrita (observe o tipo de desenho de estudo). Interprete o seu resultado.
35
Atividade 2
Considere o exemplo da atividade 1, mas realizado em uma outra amostra.
A avaliação de problema de estômago foi feita pelo Método X (mais rápido, menos desconfortável e mais barato) que ainda está em teste. Em seguida os mesmos participantes foram submetidos ao exame da video-endoscopia digestiva adotada como padrão-ouro.
36
Atividade 2
1. Observe a tabela ao lado calcule e interprete os resultados:
Sensibilidade
Especificidade
Valor preditivo positivo
Valor preditivo negativo
Doente Sadio Total
Doente 163(a) 194(b) 357 (a+b)
Sadio 37(c) 606(d) 643 (c+d)
Total 200 (a+c)
800 (b+d)
1000(a+b+c+d)
Video-endoscopia
Mét
odo
X
2. Baseando-se nos resultados do estudo de validação, responda: O Método X deve ser usado como critério diagnóstico para problemas de estômago? Por que?