ENSAIO DE PROFICIÊNCIAinmetro.gov.br/noticias/eventos/MetQuim_palestras/%CFntercompara%E... ·...

ENSAIO DE PROFICIÊNCIA

Seleção e usoEscola Avançada de Metrologia em QuímicaNovembro 2003

•Sérgio Motta•SENAI- CETIND


Objetivo

•Avaliação externa regular•Comparação de resultados•Avaliação da exatidão•Cumprimento de pré-requisitos


Objetivo

•Identificação de problemas nãodetectáveis internamente


Seleção e uso

•Complexidade•Entendimento dos resultados•Avaliação do desempenho


Interpretação dos resultados

•Complexidade- volume excessivo de dados•Adequação da avaliação•Benefício para o participante


Garantia da qualidade analítica

•Apenas mais uma ferramenta do CQA•Não usar como CQA rotina •Avaliação pontual

ENSAIO DE PROFICIÊNCIAGarantia da qualidade analítica

Padrões

Materiais dereferência

Itens retidosBrancos

Ensaios deproficiência

Correlação deresultados

CQA

Duplicatas


Avaliação externa

•Auditorias de 3a parte•Ensaios de proficiência


Tipos – ABNT ISO/IEC Guia 43-1/2 : 1999

•Programas de comparação de medição•Programas de ensaios interlaboratoriais•Programas de ensaios de partidas de amostras•Programas qualitativos•Programas de valor conhecido•Programas de processo parcial


Critérios para provedores de EP

•ABNT ISO / IEC Guia 43-1/2 : 1999

•ILAC-G13:2000 - Guidelines for therequirements for the competence of providers ofproficiency testing schemes


Por que participar ?

•Demostrar confiabilidade dos resultados•Cumprimento de pré-requisitos decredenciamento•Conhecer mais o próprio laboratório


Escolha do provedor

•Existe provedor para o ensaio desejado?•O programa existente é adequado?


XComo achar um provedor?

•Catálogo geral

•Órgãos credenciadores nacionais•Laboratórios que já participaram•Catálogo do provedores conhecidos•INTERNET•Ensaios de Proficiência- Requisitos paraprovedores e banco de dados CTLE 05INMETRO


Como decidir se o programa é adequado?

•Participar de algum programa é melhor do quenão participar


Como decidir se o programa é adequado?

•Raramente existe um programa perfeito!•Comparar o programa com a realidade dolaboratório•Participar de uma rodada para teste – caso nãoesteja certo da adequação•Aquisição de amostras antigas com relatórios


Como decidir se o programa é adequado?Itens avaliados

•Componentes desejados X Componentes oferecidos•Matriz desejada X Matriz oferecida•Concentração desejada X Concentração oferecida•Método desejado X Método requerido

•Adequação ao público alvo


Interpretação dos resultados

Passou Perdeu ???


Aprender com os resultados

Resultados satisfatórios Bom laboratório

Resultados ruins Mau laboratório


Os resultados devem ser estudados e liçõesaprendidas para não repetir o problema


Estatística – Principal ferramenta

Avaliação de desempenho de cada participante

Valor designadoFaixa aceitável


Valor designado e faixa aceitável

•Não existe padronização- diversos métodos•Não há melhor forma de definí-los•Provedor descreve a sua metodologia


Valor designado

Estimativa do valor verdadeiro

1. Formulação2. Valor de laboratórios referência3. Valor de consenso


Valor designado

Formulação

Adição de uma quantidade conhecida do analitoem uma matriz que não o contenha

Desvantagem- não simula dificuldades depreparação- recuperação


Valor designado

Valor de laboratórios de referência

Laboratórios de referência analisam amostrasco pela mesma metodologia

Vantagem- mais próximo do valor verdadeiroDesvantagem – Caro e dificuldade de identificarlaboratório de referência


Valor designado

Valor de consenso dos participantesValor obtido em cada rodada baseado nosresultados dos participantes- média apósexclusão de valores discordantes (outliers)

Vantagens- Econômico e aplicável a matrizesnaturaisDesvantagens- susceptibilidade a resultadostendenciosos dos participantes


Valor de consenso dos participantes X

Valor de laboratórios de referência

Valor verdadeiroX

Concordância entre os laboratórios


Valor designado e faixa aceitável

Mais comum- uso dos dados dos participantes


Tratamento dos dados

•Estatística paramétrica/ robusta•Youden, elipse•Z-score•En



•Estatística paramétrica •Distribuição normal

•Sujeita a influências de valores discordantes•Aplicação de testes para outliers•Média e desvio padrão



•Estatística robusta •Distribuição não normal

•Não sujeita a influências de outliers•Não necessidade de testes par outliers•Mediana e desvio absoluto da mediana



•Youden, elipse •2 amostras similares

•Informações sobre erros sistemáticos•Diferença de amostras – livre de errossistemáticos



•Youden, elipse



•z-score •Indicador de desempenho

•Quantifica o desempenho analítico doparticipante



•z-score

Z = ( x – X )σ



•z-score- critérios z < 2 – satisfatório

2 < z < 3 – questionávelz > 3 - insatisfatório



En – Erro normalizado

En =Ulab

2 + Uref2

x - X



En – Erro normalizado

En < 1 – satisfatório

En > 1 - insatisfatório


Avaliação de desempenho

Laboratórios procuram 2 coisas: • Necessito tomar ações corretivas?

• Estou melhorando o desempenho ao longodo tempo?



• Avaliar resultado de uma participação• Avaliar histórico das participações



• Avaliar resultado de uma participação

• Aceita a avaliação do provedor• Recalcula o indicador de desempenho



Recalcula o indicador de desempenho

• Usar a média e desvio padrão dosparticipantes que usaram o mesmo método

• Correção de resultados de recuperação



2. Avaliar histórico das participações

Comparar desempenho do laboratório ao longode várias participações

O Laboratório está melhorando ou piorando ?



Comparação de várias participações

• Z-score depende do desvio padrão da rodada• Rodadas diferentes não comparáveis• Provedor utiliza desvio padrão alvo• Laboratório calcula desvio padrão alvo



Indicador acumulado do desempenho(Rolling performance indicator)

• Usado para vária rodadas• Analisam tendências (bias) e precisão• CQA interno – primeiro indicador• EP- confirma as tendências do CQA• Plotar resultados consecutivos• Várias formas de cálculo



Desempenho global –Desempenho do laboratório em relação aos

participantes

• Resultado insatisfatório- grupo muitossatisfatórios

• Resultado insatisfatório- grupo com muitosinsatisfatórios


Ações corretivas

• Resultados insatisfatórios• Resultados questionáveis• Resultados insatisfatórios ou questionáveis

consecutivos• Tendências de resultados insatisfatórios ao

longo de várias participações• Tendências de 1 desvio padrão acima ou

abaixo do valor designado em váriasparticipações mesmo que satisfatórias


Análise de causas

• Padrões• Tratamento, armazenamento e manuseio das

amostras• Equipamentos• Ambiente• Cálculos e transcrições


Conclusões

• Aumento da importância de EP comoferramenta da garantia da qualidadeanalítica.

• Importante para o laboratório a compreensãodo escopo e disponibilidade de PEP nasáreas de seu interesse, permitindo decisõesadequadas.


Conclusões

3. Laboratórios necessitam desenvolverconhecimentos no entendimento de EP, seuobjetivo e como os dados devem ser usadose avaliados

4. Os PEP escolhidos devem se aproximar darealidade dos laboratórios.

5. A avaliação de desempenho deve levar emconta o contexto em que o laboratório estáenvolvido e não apenas o resultado por si só.


Conclusões

6. O desempenho ao longo do tempo deve seravaliado sempre que possível.

7. O laboratório deve desenvolver seusconhecimentos no tratamento estatístico dosPEP.

8.Sempre que possível manter contato com oprovedor para obter maior entendimento dosPEP.


CETIND Ensaios Químicos e Microbiológicos Calibração Volumétrica Ensaios de Proficiência

Sérgio Motta- [email protected]

Tel (71) 379-8303

ENSAIO DE PROFICIÊNCIAinmetro.gov.br/noticias/eventos/MetQuim_palestras/%CFntercompara%E... ·...

Documents

Transcript of ENSAIO DE PROFICIÊNCIAinmetro.gov.br/noticias/eventos/MetQuim_palestras/%CFntercompara%E... ·...