ENQUALAB-2007 – Congresso da Qualidade em Metrologia Rede Metrológica do Estado de São Paulo - REMESP

11 a 14 de junho de 2007, São Paulo, Brasil

SISTEMÁTICA PARA AVALIAÇÃO DA ROBUSTEZ DE MÉTODOS D E

ENSAIO ATRAVÉS DE PROJETOS DE EXPERIMENTOS

Daniel Homrich da Jornada 1, Morgana Pizzolato 2

1 Certificar e PPGEP/UFRGS, Porto Alegre, Brasil, daniel@portalcertificar.com.br, (51) 3379-0480 2 PPGEP/UFRGS, Porto Alegre, Brasil, morgana@producao.ufrgs.br, (51) 3316-4005

Resumo: O presente artigo trata da avaliação da robustez de métodos de ensaio. A avaliação da robustez é uma das etapas necessárias para validar um método de ensaio. O artigo traz uma breve revisão bibliográfica sobre métodos de avaliação da robustez disponíveis na literatura mais freqüentemente utilizados pelos laboratórios. Em seguida, é proposta uma sistemática de avaliação da robustez alternativa, que tem como base a aplicação dos conceitos de projeto de experimentos, analisando os dados através da análise de variância (ANOVA). A sistemática proposta é comparada com as sistemáticas das literaturas citadas. Como resultado, pôde-se observar vantagens desta sistemática, fundamentalmente com relação a uma avaliação mais completa sobre o método em validação. A apresentação da sistemática proposta é ilustrada com um exemplo que é construído em cada etapa, facilitando ao leitor o entendimento desta.

Palavras chave: validação de métodos, estudo de robustez, projeto de experimentos, ANOVA.

1. INTRODUÇÃO

A melhoria de processos e da qualidade de produtos tem tido cada vez maior ênfase e passa, invariavelmente, pela realização de ensaios laboratoriais. Neste contexto, cresce a demanda por laboratórios qualificados e torna-se imprescindível a adoção de procedimentos metrológicos confiáveis e adequados aos padrões internacionais.

A NBR ISO/IEC 17025:2005 estabelece os requisitos gerais para operação de um laboratório qualificado com base em requisitos de gestão e requisitos técnicos referentes ao seu escopo de atuação. Os laboratórios de ensaio devem adotar métodos de medição que atendam às necessidades do cliente e que sejam apropriados para o uso específico [1].

A validação de método é a confirmação por exame de que esse atende aos requisitos específicos para o seu uso pretendido [1]. Não ter a validação de um método de calibração ou ensaio, é ter apenas um número, não um resultado de fato, pois não há garantias de que o método de medição é adequado [2].

Com o objetivo de confirmar que os métodos são apropriados para o uso pretendido, o laboratório deve

validar: métodos não normalizados; métodos desenvolvidos pelo próprio laboratório; métodos normalizados usados fora dos escopos para os quais foram concebidos; ampliações e modificações de métodos normalizados [3].

Método normalizado é aquele desenvolvido por um organismo de normalização ou outras organizações, cujos métodos são aceitos pelo setor técnico em questão; e método não normalizado é aquele desenvolvido pelo próprio laboratório ou outras partes, ou adaptado a partir de métodos normalizados e validados [4]. A NB ISO/IEC 17025:2005 não especifica a maneira pela qual este procedimento deve ser implementado, mas determina que controles sejam estabelecidos. Assim sendo, cada laboratório deve adotar o procedimento mais adequado ao seu caso específico, observando, as exigências da norma no que se refere especificamente ao item 5.4 – Métodos de ensaio e calibração e validação de métodos [1].

As características de desempenho de um método de ensaio devem estar claramente declaradas no procedimento documentado e incluir: especificidade e seletividade; faixa de trabalho e faixa linear de trabalho; linearidade; sensibilidade; limite de detecção; limite de quantificação; exatidão e tendência (bias); precisão; robustez e; incerteza de medição [3].

A introdução de métodos de ensaio desenvolvidos pelo próprio laboratório deve ser uma atividade planejada e deve ser designada à pessoal qualificado e equipado com recursos adequados [1]. Adicionalmente, os planos devem ser atualizados à medida que prossegue o desenvolvimento do método e deve ser assegurada a comunicação efetiva entre todo o pessoal envolvido [1]. Neste sentido, um procedimento documentado para definir a sistemática de desenvolvimento e validação de métodos pelo laboratório faz-se necessário [1]. O trabalho [5] propõe uma sistemática para desenvolvimento e validação de métodos de ensaio, envolvendo desde a etapa de definição dos requisitos do método até a validação final deste. A figura 1 apresenta o fluxograma proposto no trabalho [5] para a validação de métodos de ensaio.

Figura 1. Fluxograma para desenvolvimento e validação de métodos de ensaio

Na literatura, além do trabalho [5], são encontrados alguns outros trabalhos que tratam de desenvolvimento e validação de métodos de ensaio. O trabalho [6] indica que um dos itens que gera grande incidência de não-conformidades em auditorias de laboratórios é relacionado aos métodos e procedimentos de ensaio. Essas não-conformidades estão relacionadas ao fato de que os laboratórios não têm experiência na realização de ensaios segundo determinadas normas; não tem capacidade de realização de ensaios; falta controle de elementos importantes na realização dos ensaios; interpretação errônea de requisitos de normas; utilização de critérios incorretos na realização do cálculo da incerteza de medição.

Considerando o fluxograma proposto no trabalho [5], apresentado na figura 1, o presente artigo restringe-se à etapa de realização dos estudos de validação, mais especificamente quanto à avaliação da robustez do método de ensaio.

Este trabalho se limita à avaliação da característica de robustez do método. A robustez pode ser definida como a medida da capacidade de um método de medição em resistir a pequenas e deliberadas variações dos fatores controláveis [7]. Ela mede quanto o método é sensível face às variações impostas [3]. Constatando-se a susceptibilidade do método à variações nas condições analíticas, estas deverão ser controladas e precauções devem ser incluídas no procedimento de medição [7].

Cabe ressaltar que a atividade de validação é sempre um equilíbrio entre custos, riscos e possibilidades técnicas. Existem muitos casos em que a faixa e a incerteza dos valores só podem ser fornecidas de forma simplificada devido à falta de informações [1].

Quando se realizam experimentos para a avaliação da robustez do método de ensaio também é necessário ter em mente os custos experimentais envolvidos nesse processo. Por isso, dotar-se de meios para minimizar os experimentos de robustez necessários e maximizar a informação gerada por esses estudos é de extrema relevância.

O presente trabalho preocupa-se em discutir as sistemáticas atualmente praticadas pelos laboratórios com maior freqüência na avaliação da robustez de seus métodos de ensaios, bem como propor uma sistemática que busque otimizar os experimentos e as informações geradas neste processo através da aplicação da metodologia de projeto de experimentos. A intenção deste trabalho consiste em trazer à tona a importância de avaliar a robustez quando da condução de estudos de validação de métodos de ensaio através de uma forma estatisticamente válida e otimizada.

O objetivo deste artigo não é esgotar a discussão sobre o assunto, uma vez que se trata de um tema ainda em desenvolvimento e muitas possibilidades podem ser aceitas, desde que atendam aos requisitos da norma NBR ISO/IEC 17025.

A seguir, na segunda parte deste trabalho, apresenta uma breve revisão da literatura sobre as sistemáticas de avaliação da robustez de métodos de ensaios. O trabalho limitou-se a avaliar as sistemáticas mais comumente utilizadas pelos laboratórios de ensaios.

Na terceira parte é proposta uma sistemática para avaliação de robustez fundamentada na metodologia de projetos de experimentos, visando minimizar os custos com os experimentos e otimizar as informações obtidas em tais estudos. A apresentação da sistemática proposta é ilustrada com um exemplo que é construído em cada etapa, facilitando ao leitor o entendimento desta.

Na quarta parte deste trabalho são apresentadas as conclusões e sugestões de trabalhos futuros.

2. SISTEMÁTICAS DE ESTUDO DE ROBUSTEZ

Visando ao fornecimento de orientações sobre como estruturar uma sistemática de validação de métodos de ensaios, [3] e [7] apresentam uma metodologia similar para validação de métodos de ensaio aplicável a laboratórios da área de ensaios químicos. Esses documentos têm como objetivo auxiliar laboratórios na tarefa de demonstrar que

um método de ensaio, nas condições em que é praticado, tem as características necessárias para seu uso pretendido.

Embora a literatura apresente diversos estudos de casos de validação de métodos, poucos são os trabalhos que se atém a um estudo detalhado da robustez de métodos de ensaio. Os trabalhos [3] e [7], ainda que descrevam procedimentos gerais para a validação de métodos, são superficiais quanto à avaliação da robustez. O trabalho [3] apresenta somente um exemplo em que há 7 fatores controláveis e remete à necessidade do laboratório consultar um estatístico, caso não seja 7 o número de fatores controláveis no experimento. O trabalho [7] não descreve nem referencia uma metodologia estatística que possa ser utilizada para essa avaliação de robustez.

No trabalho [8] encontra-se um estudo para validação de um método de ensaio para determinação de aflatoxina M1 em leite. O autor descreve como foram realizados os ensaios de recuperação com soluções padrões e amostras artificialmente contaminadas, tendo sido avaliados os parâmetros de linearidade, especificidade, exatidão, precisão e limites de detecção e de quantificação. Estes parâmetros são similares àqueles recomendados por [3] e [7].

O trabalho [9] apresenta um estudo que enfoca os resultados obtidos em termos de redução de custos através de alterações introduzidas no método de ensaio. Nesse estudo, da área de análises químicas, a robustez do método é avaliada com relação a alterações no tempo de análise das amostras e no volume de amostra analisado. O estudo, porém, não seguiu a metodologia de projetos de experimentos. Desta forma, erros devido a uma eventual não aleatorização perfeita do experimento e a existência de interação entre os fatores podem ter sido mascaradas. Outra observação importante que deve ser levada em consideração é que, nesse estudo, as alterações introduzidas no método geraram diferenças significativas na variável de resposta,

segundo os testes t apresentados. Contudo, não há indícios de que os autores tenham levado isto em consideração para suas conclusões, o que poderia tornar todo o estudo inválido.

3. SISTEMÁTICA PROPOSTA

O projeto de experimentos é uma metodologia que diz respeito ao planejamento e condução de experimentos, além da análise dos dados gerados, para que conclusões estatisticamente válidas e objetivas possam ser obtidas desses experimentos [10].

A metodologia de projetos de experimentos foi introduzida por Fischer em 1935, em experimentos na agricultura. O problema que se tinha na época era conseguir comparar de forma eficiente diferentes tipos de sementes, de plantações ou de adubos, de maneira a eliminar a influência de variáveis não controláveis, como o tipo de terreno, quantidade de chuva, incidência de sol, etc., na análise dos resultados. Posteriormente, a utilização de projeto de experimentos difundiu-se rapidamente em campos como Agronomia, Biologia, Engenharia Química e Engenharia Industrial. Atualmente, o projeto de experimentos tem sido aplicado virtualmente em todas as áreas de conhecimento [11].

Para um aprofundamento sobre diretrizes para o planejamento de experimentos pode-se consultar [12].

Para avaliação da robustez, a sistemática proposta consiste nos seguintes etapas: 1) identificação e mapeamento do método a ser estudado; 2) definição da variável de resposta, dos fatores controláveis e dos fatores constantes; 3) planejamento dos experimentos; 4) realização dos experimentos; 5) análise dos dados e; 6) otimização e controle do método de ensaio. A figura 2 apresenta o fluxograma da sistemática de avaliação de robustez de métodos de ensaio.

identificação e mapeamento do método

a ser estudado

definição da variável de resposta, dos fatores

controláveis e dos fatores constantes

planejamento dos experimentos

realização dos experimentos

análise dos dados

otimização e controle do método de ensaio

Fig. 2. Fluxograma proposto para realização da análise de robustez de métodos de ensaio

Na etapa 1, deve ser escolhido o método de ensaio cuja robustez se deseja avaliar. As etapas do método de ensaio devem ser mapeadas e estarem documentadas em um procedimento de ensaio, conforme recomenda [1].

Um exemplo da aplicação da sistemática proposta poderia ser a avaliação da robustez em um laboratório de ensaios ambientais. O método em avaliação poderia ser a determinação da concentração de metais em águas via ICP (plasma acoplado indutivo).

A seguir, na etapa 2 deve ser definida a variável de resposta, que é o que se tem como resultado medido dos experimentos a serem executados. Seguindo o exemplo, a variável de resposta é o analito do respectivo método de ensaio que está sendo validado. Também nessa etapa são definidos os fatores controláveis, que são os parâmetros cujos efeitos sobre a variável de resposta serão estudados. Além disso, são definidos nesta etapa os fatores mantidos constantes, que são os fatores que não serão alvo de estudo, mas para que não introduzam erro experimental serão mantidos em um nível constante. A figura 3 apresenta um exemplo dos fatores controláveis escolhidos e seus respectivos níveis.

Fator controlável Níveis do fator controlável TE - Técnicos Laboratoristas Técnico A e Técnico B

VA - Volume de ácido utilizado

2mL e 5mL

VD - Volume de digestão da amostra

10mL e 20mL

TP - Temperatura ambiental do laboratório

23ºC e 26ºC

Figura 3. Fatores controláveis e seus níveis

Ressalta-se a importância de uma avaliação criteriosa do método de ensaio quanto a definição dos fatores mantidos constantes, dos controláveis e seus níveis. Como exemplo de fator mantido constante pode-se citar o equipamento utilizado para realização dos ensaios. Como exemplo de variável de resposta pode-se citar a concentração de ferro na amostra, medido em mg/L.

Tendo definido o método de ensaio, a variável de resposta e os fatores controláveis e os mantidos constantes, a etapa 3 consiste em realizar um planejamento experimental. A escolha do planejamento experimental envolve considerações sobre tamanho da amostra, número de repetições, ordem de execução dos experimentos, eventual formação de blocos e aleatorização [12]. O planejamento experimental deve ser realizado de forma que propicie ao mesmo tempo qualidade e quantidade de informações adequadas para posterior análise dos dados.

Em determinadas situações, os ensaios podem demandar elevado tempo de preparo e, conseqüentemente, acarretar em custos para o laboratório. Quando isso acontecer pode-se utilizar um experimento fatorial fracionado ou ainda um experimento fatorial sem repetições. Neste último caso, para que o termo de erro possa ser avaliado, pode-se estimá-lo através das interações de mais alta ordem. Esse procedimento pode ser adotado porque raramente essas interações são significativas [11].

Seguindo o exemplo, como se trata de um experimento com 4 fatores controláveis e cada um deles estudado a 2 níveis, este consiste em um projeto do tipo 2k, neste caso 24. Dentre as vantagens dos projetos 2k, no trabalho [11] os autores destacam que são experimentos simples de serem analisados, principalmente quando há muitos fatores a serem investigados. Um exemplo de planejamento experimental é dado pela matriz apresentada na figura 4.

Vol. digestão 10mL Vol. digestão 20mL Vol. digestão 1 0mL Vol. digestão 20mL

5mL

2mL

5mL

2mL

A

B

TécnicoVolume de

ácido utilizadoTemperatura da sala de 23ºC Temperatura da sala de 2 6ºC

Figura 4. Matriz do planejamento dos experimentos

A etapa 4 consiste na execução dos experimentos planejados na etapa 3. Cabe ressaltar a importância do laboratório seguir à risca todo o planejamento experimental definido anteriormente, tal como ordem dos ensaios, níveis dos fatores controláveis e a manutenção dos fatores constantes.

Caso o planejamento não seja seguido, erros desconhecidos poderão ser incluídos no experimento. Para o exemplo em questão, após a execução dos experimentos foram obtidos os resultados apresentados na tabela 1.

Tabela 1. Matriz do planejamento dos experimentos com os resultados dos ensaios

Vol. digestão 10mL Vol. digestão 20mL Vol. digestão 1 0mL Vol. digestão 20mL

5mL 0,945 mg/L 0,911 mg/L 1,006 mg/L 1,027 mg/L

2mL 0,865 mg/L 0,870 mg/L 0,949 mg/L 0,941 mg/L

5mL 0,941 mg/L 0,975 mg/L 1,070 mg/L 1,073 mg/L

2mL 0,907 mg/L 0,863 mg/L 0,980 mg/L 0,989 mg/L

A

B

TécnicoVolume de

ácido utilizado

Temperatura da sala de 23ºC Temperatura da sala de 2 6ºC

Tendo os resultados dos experimentos executados, a etapa 5 consiste em realizar a análise dos dados gerados, visando avaliar a significância dos fatores controláveis. Essa análise é realizada através da ANOVA. Recomenda-se a leitura de [13] para detalhes sobre a ANOVA.

Para o exemplo em questão, a partir da tabela 1, elaboram-se as tabelas dos totais e das médias para os fatores controláveis analisados (tabelas 2, 3, 4 e 5).

Tabela 2. Somas e médias em cada nível do fator técnico laboratorista (TE); resultados em mg/L Nível Total Média

A 7,514 0,939

B 7,798 0,975

Geral do fator 15,312 0,957

Tabela 3. Somas e médias em cada nível do fator volume de ácido (VA); resultados em mg/L

Nível Total Média

5 mL 7,948 0,994

2 mL 7,364 0,921

Geral do fator 15,312 0,957

Tabela 4. Somas e médias em cada nível do fator temperatura (TP); resultados em mg/L

Nível Total Média

23 º C 7,277 0,910

26 º C 8,035 1,004

Geral do fator 15,312 0,957

Tabela 5. Somas e médias em cada nível do volume de digestão (VD); resultados em mg/L

Nível Total Média

10 mL 7,663 0,958

20 mL 7,649 0,956

Geral do fator 15,312 0,957

A partir dos totais e das médias, os dados são analisados através da ANOVA. Com o uso da ANOVA identifica se os fatores controláveis que apresentam diferenças significativas entre seus níveis, bem como eventuais interações entre eles. Para o exemplo, a tabela 6 apresenta os resultados da ANOVA.

Tabela 6. ANOVA para os resultados do estudo de robustez do método de ensaio

Fator SQs GDL MQ F F tab Resultado

TE 0,0050410 1 0,005041 13,21 6,61 Significativo

VA 0,0213160 1 0,021316 55,87 6,61 Significativo

TP 0,0359102 1 0,035910 94,13 6,61 Significativo

VD 0,0000122 1 0,000012 0,03 6,61 Não Significativo

TE, VA 0,0001960 1 0,000196 0,51 6,61 Não Significativo

TE, TP 0,0005523 1 0,000552 1,45 6,61 Não Significativo

TE, VD 0,0000203 1 0,000020 0,05 6,61 Não Significativo

VA, TP 0,0001563 1 0,000156 0,41 6,61 Não Significativo

VA, VD 0,0002403 1 0,000240 0,63 6,61 Não Significativo

TP, VD 0,0002560 1 0,000256 0,67 6,61 Não Significativo

ERRO 0,0019075 5 0,000381 - - -

TOTAL 0,0656080 15 - - - -

Pela análise da tabela 6, percebe-se que os fatores controláveis técnico laboratorista (TE), volume de ácido (VA) e temperatura do laboratório (TP) apresentaram diferenças significativas (Ftabelado < Fcalculado). No exemplo, não foram evidenciadas diferenças significativas para o fator volume de digestão (VD) e para as interações entre os fatores. As interações de terceira e quarta ordem foram utilizadas para calcular o termo de erro. O nível de confiança utilizado na análise estatística foi de 95%.

Na etapa 6 são definidas ações de otimização do método de ensaio. Para tanto, os fatores cujos efeitos não foram considerados significativos na etapa 5 podem ser definidos a níveis que reduzam custos internos e/ou apresentem ganhos de produtividade laboratorial.

Aqueles fatores cujos efeitos são significativos devem ser controlados com rigor. Precauções devem ser incluídas no procedimento do método de ensaio [7].

Analisando criticamente os resultados da tabela 6, percebe-se que é possível otimizar e melhorar as condições laboratoriais para a execução do método de ensaio.

Os fatores cujos efeitos foram significativos devem ser analisados com atenção. No caso do fator técnico laboratorista (TE), os dois técnicos apresentaram diferenças significativas entre seus resultados. Um estudo mais aprofundado pode revelar falta de treinamento de um dos técnicos. O treinamento deve ser realizado e o estudo repetido.

Com relação ao volume de ácido utilizado, são observadas diferenças entre os níveis 2mL e 5mL. Como a norma para realização do ensaio recomenda que o volume de ácido adicionado nas alíquotas de amostras analisadas seja de 5mL, o laboratório pode optar por trabalhar nesse nível. A eventual fixação ao nível de 2mL traria redução de custos, uma vez que seriam utilizados menos insumos. Contudo, isso implicaria em incorporar um erro ao resultado do ensaio, já que o efeito do fator é significativo.

Com relação à temperatura da sala, o método de ensaio prevê que as condições ambientais não ultrapassem 23ºC. Como diferenças significativas são observadas entre os níveis 23ºC e 26ºC, o laboratório deverá permanecer com o limite de temperatura ambiental de 23ºC. A eventual faixa de trabalho até 26ºC permitiria ao laboratório reduzir custos com a refrigeração por ar-condicionado da sala, mas implicaria em incorporar um erro ao resultado do ensaio, já que o efeito do fator é significativo.

Pela análise dos resultados, observa-se que o volume de digestão é um fator que não apresentou diferenças significativas entre os níveis 10mL e 20mL. A figura 5, referente ao exemplo, apresenta o gráfico com os resultados dos técnicos laboratoristas para cada nível de volume de digestão.

3,650

3,700

3,750

3,800

3,850

3,900

3,950

10 mL 20 mL

Volum e de digestão

Res

ulta

do e

m m

g/L

Técnico A

Técnico B

Figura 5. Resultados dos técnicos laboratoristas em cada volume de digestão

O gráfico da figura 5 ilustra as conclusões obtidas na tabela 6. As linhas dos técnicos A e B são praticamente horizontais entre os dois volumes de digestão, o que indica que não há diferenças significativas entre os níveis desse fator. Assim sendo, o laboratório pode optar por fixar o fator a 20mL, o que trará ganhos em termos de produtividade, uma vez que o tempo de realização das analises é menor com uma digestão de 20mL do que com uma digestão de 10mL. A figura 5 também reforça o que já foi concluído na tabela 6, a inexistência de interação significativa entre os fatores técnicos laboratoristas e os volumes de digestão.

Conclusões a respeito de interações entre fatores controláveis só podem ser obtidas utilizando-se análise estatística apropriada. Este é o grande diferencial entre a sistemática proposta, baseada em projetos de experimentos, e as sistemáticas do [3] e [7].

5. CONCLUSÕES

O artigo apresentou uma proposta de sistemática para avaliação da robustez de métodos de ensaio através da metodologia de projetos de experimentos. A proposta foi ilustrada com um exemplo de um laboratório de análises ambientais, para validação do método de análise de metais em água via ICP.

A sistemática proposta possui seis etapas quais sejam: 1) identificação e mapeamento do método a ser estudado; 2) definição da variável de resposta, dos fatores controláveis

e dos fatores constantes; 3) planejamento dos experimentos; 4) realização dos experimentos; 5) análise dos dados e; 6) otimização e controle do método de ensaio.

Através do uso da sistemática proposta pode-se concluir a respeito de interações entre fatores. A vantagem desta sistemática frente às demais sistemáticas apresentadas por [3] e [7] reside justamente neste fato.

Sugere-se nesse sentido que Inmetro e Anvisa revisem seus documentos orientativos a respeito da validação de métodos de ensaio, detalhando a forma de avaliação da robustez. Tais documentos são referências para os laboratórios de ensaio e, portanto, convém que estes abordem mais profundamente a questão.

REFERÊNCIAS

[1] ABNT NBR ISO/IEC 17025. Requisitos gerais para competência de laboratórios de calibração e ensaio. Edição 2, 2005.

[2] LEITE, F. Validação em Análise Química. Campinas. Ed. Átomo, 1998.

[3] INMETRO. DOQ-CGECRE-008 - Orientações sobre validação de métodos de ensaios químicos. Rev. 01, mar/2003.

[4] INMETRO. DOQ-DQUAL - Orientações para adoção da NBR ISO/IEC 17025 pelos laboratórios e credenciados e postulantes ao credenciamento. Rev. 06, abr/2001.

[5] PIZZOLATO, M. ; JORNADA, Daniel Homrich da ; CATEN, Carla S Ten ; MULLER, Antonio Filipe. Desenvolvimento e validação de métodos de ensaio. In: 3o Congresso Brasileiro de Engenharia de Fabricação, Joinville, 2005.

[6] GIRÃO, Pedro M. B. Acreditação de laboratórios de ensaio e calibração segundo a norma ISO/IEC 17025. In: II Congresso Brasileiro de Metrologia, 2003, São Paulo. CD rom. São Paulo: SBM, 2000.

[7] ANVISA. Resolução RE nº 899. Guia para validação de métodos analíticos e bioanalíticos. Diário Oficial da União; Poder Executivo, de 02 de junho de 2003.

[8] JUNQUEIRA, R. G; SOUZA, S. V. C; VARGAS, E. A; CASTO, L. Validação Intralaboratorial de Método para Determinação de Aflatoxina M1 em Leite por Cromatografia em Camada Delgada. In: III Congresso Brasileiro de Metrologia, 2003, Recife. CD rom. Pernambuco: SBM, 2003.

[9] CUELBAS, C. J; LUSSARI, J. F; SALGUEIRO, C. R. Determinações ambientais: alterações metdológicas para minimização de custos, validações e comparações com métodos normalizados. In: ENQUALAB 2006 – Congresso e Feira da Qualidade em Metrologia, São Paulo, 2005.

[10] MONTGOMERY, D; RUNGER, G. C. Applied Statistics and Probability for Engineers. 3a. Ed.: New York. John Wiley, 2003.

[11] RIBEIRO, J.L.D.; CATEN, C.T. Projeto de Experimentos. Série Monográfica Qualidade. Porto Alegre: PPGEP/UFRGS, 2003.

[12] MONTGOMERY, D. C. Introdução ao Controle Estatístico da Qualidade. 4a Ed.: Rio de Janeiro: Livros Técnicos e Científicos Editora S.A., 2004.

[13] MONTGOMERY, D. C. Design and Analysis of Experiments. 5a Ed.: New York. John Wiley, 1997.