CONFERÊNCIAGarantia da Qualidade das

Análises QualitativasAnálises Qualitativas

Declaração de Potencial Conflito de Interesses

• Citação ao site LABConsult onde esta apresentaçãoCitação ao site LABConsult onde esta apresentação está disponível para download: www.labconsult.com.br

Garantia da QualidadeGarantia da Qualidade das Análises Qualitativas

Luisane M.F. Vieira

Diretora Científica do Site LABConsultDiretora Científica do Site LABConsult

Diretora de Acreditação da SBPC/ML

Definição:TESTE QUALITATIVOTestes que têm apenas dois resultados possíveisTestes que têm apenas dois resultados possíveis. Um teste puramente qualitativo é baseado em um único ponto de corte (nível de decisão médica)Alternativamente alguns testes qualitativos são umaAlternativamente alguns testes qualitativos são uma dicotomização de um teste quantitativo ou de uma escala ordinal. Podem ser usados para triagem, diagnóstico, confirmação g gou monitorização. Seu desempenho deve ser avaliado por meio de parâmetros como sensibilidade, especificidade, valores preditivos e eficiênciaeficiência. A prevalência da doença ou estado na população deve ser levada em conta para a avaliação da sua utilidade clínica.

Análises QualitativasAnálises QualitativasAnálises cujo resultado é traduzido para o médico ou paciente j p pdas seguintes formas:

Ausência/Presença• Exemplo:Exemplo:

• “Presença de larva de Ascaris lumbricoides”• Urobilinogênio +++

N ti id d /P iti id dNegatividade/Positividade• Pouco recomendável

Não reatividade/Reatividade• Exemplo:

• VDRL - Amostra não-reativa

ANVISA/RDCANVISA/RDC 302/2005

C t l d Q lid dControle da Qualidade

RDC 302/2005RDC 302/20059 1 Os programas de Controle Interno da9.1 Os programas de Controle Interno da

Qualidade (CIQ) e Controle Externo da Qualidade (CEQ) devem ser ( )documentados, contemplando:

a) lista de analitosb) forma de controle e freqüência de

utilizaçãoc) limites e critérios de aceitabilidade para

os resultados dos controlesd) li ã i t d lt d dd) avaliação e registro dos resultados dos

controles.

Controle da Qualidade I t E tInterno x Externo

Controle Interno Controle ExternoControle InternoErro Aleatório

Avaliação da imprecisão

Controle ExternoErro sistemático

Avaliação da exatidão doAvaliação da imprecisão do sistema analítico, medido com o desvio

d ã

Avaliação da exatidão do ensaioErro Total

padrão. Avaliação da acurácia do ensaio

ComentáriosComentáriosAs boas práticas de laboratório sempreAs boas práticas de laboratório sempre recomendaram a avaliação:

da imprecisão (por meio do controle interno da qualidade) eda exatidão ou da acurácia (por meio do controle externo da qualidade)controle externo da qualidade).

Para que esta avaliação atinja seu objetivo, ou seja, laudos de qualidade clinicamente aceitável, é preciso haver parâmetros para julgamento crítico do desempenho observado e ações de melhoria contínuacontínua.

ANVISA/RDCANVISA/RDC 302/2005

Controle Interno da QualidadeControle Interno da Qualidade

RDC 302/2005RDC 302/20059 2 1 O laboratório clínico deve realizar Controle9.2.1 O laboratório clínico deve realizar Controle

Interno da Qualidade contemplando:a) monitoramento do processo analítico pela ) p p

análise das amostras controle, com registro dos resultados obtidos e análise dos dados;

b) definição dos critérios de aceitação dosb) definição dos critérios de aceitação dos resultados por tipo de analito e de acordo com a metodologia utilizada;

c) liberação ou rejeição das análises após avaliação dos resultados das amostras controle.controle.

ComentáriosComentáriosTodos os sistemas analíticos apresentam uma pimprecisão inerente. É preciso que esta seja monitorada por meio de:

repetições das análises em amostras controlerepetições das análises em amostras controle estáveis (ex: amostras divididas) cálculos estatísticos da imprecisão

• por ex: coeficiente de variação entre duplicatas

análise crítica da imprecisão com relação aanálise crítica da imprecisão com relação a padrões de desempenho eações corretivas, se necessárias.

Comentários

A maior utilidade do controle interno é a prevenção da deterioração do desempenho do sistema analítico. Para esta finalidade, o laboratório deve implantar a análise crítica dos res ltados doimplantar a análise crítica dos resultados do controle interno da qualidade em todos os sistemas analíticos em todos os dias em que realiza análises de amostras de pacientes.

RDC 302/2005RDC 302/2005

9 2 2 1 F lt ti d it9.2.2.1 Formas alternativas descritas na literatura podem ser utilizadas desde que permitam a avaliação da precisãoque permitam a avaliação da precisão do sistema analítico.

Programa de Controle Interno da QualidadegExemplo

Analito/Sistema

Material de Controle

Nível/Frequência

Limites Critériosq

EPF/HPJ Amostra de i

1 amostra di idid /di

Não se li

Consistência lí ipaciente dividida/dia aplicam clínica

Sedimentosi

Amostra de i

1 amostra di idid /di

1 nível de dif

Consistência lí i-copia paciente dividida/dia diferença clínica

VDRL Controle C i l

1 vez a cada di d

Diferença de 1 í l

Consistência lí iComercial

NR/FR/Rdia de análise

1 título clínica

ComentáriosComentários

Quando não existirem controles comerciais disponíveis, será preciso usar amostras controle alternativas em geral obtidas a partircontrole alternativas, em geral obtidas a partir de materiais de pacientes.

RDC 302/2005RDC 302/20059 2 3 O laboratório clínico deve registrar as9.2.3 O laboratório clínico deve registrar as

ações adotadas decorrentes de rejeições de resultados de amostras controlede resultados de amostras controle.

ComentáriosComentários

Este requisito também é exigido pelos programas de acreditação. p gO objetivo é assegurar que o desempenho dos sistemas analíticos, p ,principalmente a estabilidade, seja avaliado antes da liberação de resultados de pacientes.

RDC 302/2005RDC 302/20059 2 4 As amostras controle devem ser9.2.4 As amostras controle devem ser

analisadas da mesma forma que amostras dos pacientesamostras dos pacientes.

(A t li ti )(Auto-explicativo)

Amostras divididas

RDC 302/2005 A dit ãRDC 302/2005 e Acreditação

AnálisesAnálises VHS (quantitativo)VHS (quantitativo)Urinálise:

SedimentoscopiaSedimentoscopiaBence Jones

ParasitologiaParasitologiaEPFSangue ocultoSangue ocultoGordura

Outras: ANA Biol Mol etcOutras: ANA, Biol Mol etc

Uso de amostras divididasUso de amostras divididas Tomar uma ou mais amostras abundantes e dividirTomar uma ou mais amostras abundantes e dividir em dois recipientes.Identificar e registrar (SIL inclusive)R li b áli l tRealizar ambas as análises normalmenteRealizar a análise críticaRegistrar:Registrar:

ResultadosAnálise CríticaAções corretivas (se necessárias)Responsável

Documentos: POPDocumentos: POPCIQCIQ

• Uso de amostra dividida em cada dia em que se analisam amostras

• Limites:• CV da literatura

CV histórico• CV histórico• ± 1 título

• Critérios• Consistência clínica:

• Mesmo padrão de FAN• Presença ou ausência de infecção etc• Presença ou ausência de infecção, etc

Comparação entreComparação entre sistemas analíticos

A dit ãAcreditação

Conceituando “Sistema Analítico”Conjunto de:Conjunto de:

Equipamento e instrumentosEquipamento e instrumentosReagentes (metodologia, fabricante, lote)C lib d (ti f b i t l t )Calibrador (tipo, fabricante, lote)Material de controle (tipo, fabricante, lote))(Operador)

Comparação entrep çsistemas analíticosPara testes para os mesmos analitos caso hajaPara testes para os mesmos analitos, caso haja diferentes sistemas analíticos:

MétodosEquipamentosEquipamentos

Deve haver um processo documentado de comparação que garanta a comutatividade dos resultados de amostras de pacientesresultados de amostras de pacientes.Quando há mais de dois sistemas ou analistas equipamentos, um deles ( o melhor sistema) pode ser eleito o método comparativo e os demaisser eleito o método comparativo e os demais podem ser comparados a ele.Usar amostras de pacientes sempre que a estabilidade permitaestabilidade permita.Realizar esta comparação pelo menos duas vezes no ano.

Programa de Comparação entre SistemasExemplo

Analito Sist 1 Sist 2 Sist 3 Data

A t M l Nã li J J lVHS Automa-tizado

Manual Não se aplica Jan e Jul

Tira Leitor 1 Leitor 2 Não se aplica Fev eTira reagenteurina

Leitor 1 Leitor 2 Não se aplica Fev eAgo

urina

HIV – Vidas Axsym Teste Rápido Fev e Ago

Sorologia

Comparação entre analistasComparação entre analistas

Para testes para os mesmos analitos caso haja diferentesPara testes para os mesmos analitos, caso haja diferentes analistas ou observadores, deve haver um processo documentado de comparação que garanta a comutatividade dos resultados de amostras de pacientes Quando há mais de dois analistas ou observadores, um deles ( o mais qualificado ou experiente) pode ser eleito como referência e os demais podem ser comparados a ele.U t d i t t bilid dUsar amostras de pacientes sempre que a estabilidade permita.Usar também os materiais dos ensaios de proficiênciaRealizar esta comparação pelo menos duas vezes no anoRealizar esta comparação pelo menos duas vezes no ano.

Programa de Comparação entre AnalistasExemplo

Analito Homer Simpson

Bruce Waine Sponge Bob Data

G R f ê i X NA J J lGram Referência X NA Jan e Jul

Hemograma X Referência NA Fev e AgoHemograma Diferencial

X Referência NA Fev e Ago

Sedimentos- X X Referência Jan e copia Jul

Parasitológico NA X Referência Fev e Agode fezes

ExemploExame: Sedimentoscopia- Data: 20/07/06Exemplo- Amostra: 232456

Homer Simpson:- Homer Simpson:- Grumos de leucócitos- Bactérias aumentadas

moderadamentemoderadamente

- Sponge Bob:- Grumos de leucócitos- Bactérias aumentadas

discretamente

- Análise crítica- Laudos compatíveis- Laudos compatíveis

Resp: Sponge Bob

Validação deValidação de Testes QualitativosQ

IntroduçãoIntroduçãoTestes qualitativos têm sido usados desde osTestes qualitativos têm sido usados desde os primórdios da medicina laboratorial para:

Triagem, Diagnóstico e Acompanhamento.

Há diversos procedimentos para avaliação doHá diversos procedimentos para avaliação do desempenho destes métodosCada setor técnico do laboratório tende a enfatizar alguns aspectos específicos:

Protocolo experimentalAnálise e interpretação dos dadosAnálise e interpretação dos dados

Ambientes de validaçãoAmbientes de validação

Primeiro ambiente:Primeiro ambiente:Comparação entre dois métodos• em geral um método novo -método teste g

(MT) em relação a um método tradicional já em uso - método comparativo (MC).

Nã h di ó ti d d iNão se conhece o diagnóstico verdadeiro nem se dispõe de um método “padrão-ouro”.Parâmetros estatísticos:a â et os estat st cos

• Concordância entre os métodos.

Ambientes de validaçãoAmbientes de validação

Segundo ambiente:Segundo ambiente:Avaliação de um método próprio (in house)Desenvolvimento de um novo método. Neste caso, seria ideal que o diagnóstico verdadeiro fosse determinado.Parâmetros estatísticos:

• Especificidade,Sensibilidade e• Sensibilidade e

• Valores preditivos.

Implantação de um novo teste qualitativoMotivos:Motivos:

Maior praticidade, Mais economia, Melhor desempenho, ouQualquer outro motivo que vá ao encontro de alguma necessidade dos clientesalguma necessidade dos clientes.

Ideal:Documentar o desempenho do novo teste antes de liberar resultados de pacientes.

Implantação de um novo teste qualitativoEsta documentação deveria incluir:Esta documentação deveria incluir:

Treinamento e familiaridade dos operadores;Plano de garantia da qualidade incluindo:Plano de garantia da qualidade, incluindo:

• Coleta e manuseio das amostras;• Controle interno da qualidade (CIQ);q ( )• Avaliação externa da qualidade (AEQ);

Dados para avaliação do desempenho do émétodo, incluindo:• Comparação com outro método (comparativo

ou de referência);ou de referência);• Validação clínica ou uso de padrão-ouro.

Desenvolvimento de um novo teste diagnósticoAvaliar a real necessidade de um novo teste diagnósticoAvaliar a real necessidade de um novo teste diagnóstico para a finalidade propostaDefinir o tipo de amostragem da população Escolher o teste Padrão-ouroEscolher o teste Padrão ouroO teste Padrão-ouro e o novo teste devem ser independentes e avaliados de maneira padronizada Estimar o tamanho da amostra necessária para atingir o p gintervalo de confiança de 95% (ou outro)Avaliar o custo e o tempo necessários Planejar o resultado do estudo expressando a sensibilidade a especificidade e os valores preditivossensibilidade, a especificidade e os valores preditivos positivos e negativos em relação aos diferentes valores de prevalência da doença. Se possível, considerar o uso da Curva ROC e da Razão p ,de Probabilidade para descrever o desempenho do teste diagnóstico.

ReprodutibilidadeReprodutibilidadeProximidade da concordância entre os resultados daProximidade da concordância entre os resultados da medição de um mesmo mensurando, sob condições definidas e inalteradas. As condições que não devem ser alteradas podem ç q pincluir:

Princípio ou método de análise,Observador, Instrumento de medição,Local,Tempo e pCondições de uso dos reagentes.

A reprodutibilidade pode ser expressa quantitativamente em termos de características de qdispersão dos resultados.

Avaliação da ReprodutibilidadeControles Negativos e Positivos

Não deve haver mais de uma rejeição de corrida a cada dez realizadas ou mais decorrida a cada dez realizadas, ou mais de duas corridas a cada vinte realizadas. Qualitativos de base quantitativa:

• Desvio-padrão e Coeficiente de Variação

C d A li C ffConcentrações do Analito x Cutoff

CutoffCutoffPonto da resposta analítica de um teste abaixo do qual o p qresultado de um teste qualitativo é convertido em ‘negativo” e acima do qual o resultado é determinado como positivo (ou vice-versa).

Para um teste verdadeiramente qualitativo o cutoff é o único ponto de decisão médica. Para um teste qualitativo derivado da dicotomização q çde um teste quantitativo ou de uma escala ordinal, há muitos pontos possíveis para o cutoff.

Concentração de um analito na qual testes repetidos ç q pgeram resultados positivos 50% das vezes e resultados negativos também em 50% das vezes.

Concentrações do Analito x Cutoff:Variação do percentual de amostras positivas e negativasVariação do percentual de amostras positivas e negativas

de acordo com a concentração do analito.

Fonte: CLSI EP12-A

Concentrações do Analito x Cutoff:Comparação entre dois sistemas

Fonte: CLSI EP12-A

Acurácia de um Teste(Exatidão)

Há várias características que podem ser usadas para q p pdescrever a qualidade e a utilidade de um teste laboratorial qualitativo.A acurácia é uma destas características:

“Proximidade da concordância entre o resultado de uma mensuração e o valor verdadeiro do mensurando (/analito)”

A acurácia de um teste qualitativo pode ser expressaA acurácia de um teste qualitativo pode ser expressa em função de:

Sensibilidade e especificidade, Valores preditivos positivo e negativo Razões de probabilidade positiva e negativa.

Nota: Adicionalmente, podem ser calculados Intervalos de Confiança

Dois Cenários de Avaliação de Testes Qualitativos

Valor verdadeiro conhecido:“Padrão-ouro”Protocolo STARDCurva ROC

Valor verdadeiro desconhecido;Comparação de Métodos

Valor VerdadeiroValor VerdadeiroConhecido

Tabela 2x2Tabela 2x2Tabela 2x2 – Cálculo da Acurácia do TesteTabela 2x2 Cálculo da Acurácia do Teste

Resultado do Teste Comparativo (de Referência)

Resultado do Método

Positivo Negativodo Método Teste (em Avaliação) Positivo VP FP

Negativo FN VNVP- Verdadeiro Positivo FP – Falso Positivo

FN – Falso Negativo VN – Verdadeiro Negativo

SensibilidadeSensibilidadeProporção de pacientes com uma condição clínica bem caracterizada cujos resultados de teste são positivos ou excedem um determinado limite de decisão. A condição clínica deve ser bem definida por critérios INDEPENDENTES d t t b li ãINDEPENDENTES do teste sob avaliação. A sensibilidade de um teste é a probabilidade com a qual ele produzirá resultados verdadeiramente positivos ao ser usado em uma população doente (determinada peloser usado em uma população doente (determinada pelo uso de um padrão de referência ou “padrão-ouro”). Na tabela 2x2 o cálculo é:

FNVPVPSens += /

EspecificidadeEspecificidadeProporção de indivíduos que não apresentam uma determinada condição clínica cujos resultados são negativos ou estão abaixo de um limite de decisão definido.um limite de decisão definido.A especificidade de um teste é a probabilidade de que o teste produza um

lt d d d i t tiresultado verdadeiramente negativo ao ser aplicado a uma população não afetada (determinada pelo uso de um padrão de referência ou “padrão-ouro”). Na tabela 2x2 o cálculo é:

FPVNVNEspec += /

Curva ROC:Curva de desempenhoO espectro de “trocas” (trade-offs) entre a sensibilidade e a especificidade de um método.Mostra graficamente o espectro de desempenho doMostra graficamente o espectro de desempenho do teste em pessoas afetadas e não-afetadas.Pares de sensibilidade e especificidade ao se variar o limiar (cutoff) do testelimiar (cutoff) do teste.

Eixo y: sensibilidade (ou fração de verdadeiro positivosEixo y: Fração de falso positivos (1-especificidade)Cada nível de decisão corresponde a um determinado par de frações de VP (sensibilidade) e de FP (1-especificidade).

Curva ROC ExemploCurva ROC - Exemplo

CLSI GP10-a: Fig 4 – Curvas ROC de pico sérico de amilase, lipase e fosfolipase A na identificação de pancreatite aguda em 151 pacientesfosfolipase A na identificação de pancreatite aguda em 151 pacientes consecutivos com dor abdominal.

Exemplo Tabela 2x2Exemplo Tabela 2x2

COMPARAÇÃO DE MÉTODOSCOMPARAÇÃO DE MÉTODOS QUALITATIVOS

MÉTODO TESTE X PADRÂO-OURO

Tabela 2x2MÉTODO TESTE X DIAGNÓSTICO VERDADEIRO

1- Modelo 2- Exemplo

DIAGNÓSTICO VERDADEIRO DIAG VERDADEIRO: H PiloryMÉTODO MÉTODOTESTE Positivo Negativo Total TESTE Positivo Negativo Total

Positivo VP FP TP+FP Positivo 54 7 61

Negativo FN VN FN+VN Negativo 7 34 41

Total VP+FN FP+VN N Total 61 41 102

Exemplo: Cálculosp(Fonte: CLSI EP12-a)

SENSIBILIDADE

SENSIBILIDADE= 100*VP/VP+FN 88,5 %

ESPECIFICIDADE

ESPECIFICIDADE 100*VN/FP+VN 82 9 %ESPECIFICIDADE= 100*VN/FP+VN 82,9 %

PREVALÊNCIA

PREVALÊNCIA= 100*(VP+FN)/N 59,8 %( ) ,

VALOR PREDITIVO DO RESULTADO POSITIVO

VPRP= 100*[VP/(VP+FP) 88,5 %

VALOR PREDITIVO DO RESULTADO NEGATIVO

VPRN= 100*[VN/(FN+VN) 82,9 %

EFICIÊNCIA ESTIMADA

EE= 100*[VP+VN)/N] 86,3 %

Cálculos adicionais:Intervalos de Confiança

Sensibilidade = 88,5%IC 95%d 78 2 94 3%IC 95%de 78,2 a 94,3%

Especificidade = 82,9%IC 95% de 68,7 a 91,5%

Valor verdadeiro d h iddesconhecido:Comparação de MétodosComparação de Métodos

Método Teste xMétodo Comparativo

Tabela 2x2 – Tabela de Contingência quando o Método Comparativo não é de referência (o diagnóstico verdadeiro é desconhecido)

Método Teste Método Comparativo

Positivo Negativo Totalg

Positivo a b a+bPositivo a b a+b

Negativo c d c+d

Total a+c b+d n

Concordância entre os métodosConcordância GlobalConcordância Global

]/)%[(100 ndaaliaPercentuConcordânc +=

É importante avaliar o grau de concordância tanto quando o método comparativo é positivo como quando o método comparativo é negativo.Pode ser útil calcular e reportar mais duas estimativas de concordância:

)]/(%[100 caatividadeiaParaPosiConcordânc +=

)]/(%[100 dbdtividadeiaParaNegaConcordânc +=

ExemploExemplo

EXEMPLO

ÉMÉTODO COMPARATIVO

MÉTODO TESTE Positivo Negativo TotalO O S os t o egat o ota

Positivo 285 15 300

Negativo 14 222 236

Total 299 237 536Total 299 237 536

CálculosCálculos

C dâ i P t l T t l 94 59%Concordância Percentual Total: 94,59%Intervalo de Confiança (95%): 90,08 a 98,467%98,467%

Concordância Percentual doa Resultados Positivos =95,32%

IC 95% de 92,3 a 97,1%Concordância Percentual doa Resultados N i 93 67%Negativos =93,67%

IC 95% de 89,82 a 96,13%

(Segundo o CLSI EP12-A)

ConclusãoConclusão

A garantia da qualidade dos métodos qualitativos é um desafio maior do que a da maior parte dos métodos quantitativos.A validação adequada de métodos qualitativos próprios é possível, mas t b lh ltrabalhosa, onerosa e complexa.

ReferênciasReferênciasCLSI. EP12-A Vol. 22 No. 14 (Replaces EP12-P -Vol. 20 No. 15 ) User P l f E l i f Q li i T P f A dProtocol for Evaluation of Qualitative Test Performance; Approved Guideline.Bossuyt PM et al. Towards complete and accurate reporting of studies of diagnostic accuracy: the STARD initiative. Clin Chem 49: 1- 6, 2003. http://bmj com/cgi/reprint/326/7379/41 pdf ehttp://bmj.com/cgi/reprint/326/7379/41.pdf e http://www.clinchem.org/cgi/reprint/49/1/7.pdfBossuyt PM et al. The STARD Statement for reporting studies of diagnostic accuracy: explanation and elaboration. Clin Chem 49:7-18, 2003.CLSI. GP10—Assessment of the Clinical Accuracy of Laboratory Tests Using Receiver Operating Characteristic (ROC) Plots.NCCLS. NRSCL8—Terminology and Definitions for Use in NCCLS Documents.C24—Statistical Quality Control for Quantitative M t P i i l d D fi iti f i f ti )Measurements:Principles and Definitions for more information).European Committee for Clinical Laboratory Standards. Guidelines for the evaluation of Diagnostic Kits. Part2. General Principles and Outline Procedures for the Evaluation of Kits for Qualitative Tests. Lund, Sweden:ECCLS, 1990.Sweden:ECCLS, 1990.Luisane Vieira. POP LABConsult: Validação de Métodos Qualitativos.http://www.labconsult.com.br/doc_pops.php

ObrigadaLuisane VieiraContatoContato+55(31)3273-7478luisane@labconsult.com.br

(Esta apresentação está disponível para download no site: www.labconsult.com.br))