(MINUTA DE) RESOLUO CFP N

Anexo 1 da Resoluo CFP N( 002/2003

Critrios de Avaliao da Qualidade de Testes PsicolgicosComisso Consultiva em Avaliao Psicolgica do Conselho Federal de Psicologia

Este instrumento, adaptado de Prieto e Muiz (2000), tem por objetivo operacionalizar os requisitos mnimos definidos na Resoluo CFP N 02/2003 editada pelo Conselho Federal de Psicologia. Ele permite apreciar um conjunto de propriedades bsicas que os instrumentos devem possuir, de acordo com os parmetros internacionalmente definidos para que sejam reconhecidos pela comunidade cientfica e profissional.

O formulrio est divido em trs partes:

A) Descrio geral do teste

B) Requisitos Tcnicos

C) Considerao e anlise dos requisitos mnimos.

Nas primeiras duas sees, voc analisar uma srie de propriedades dos instrumentos. Na terceira e ltima parte so apresentados os indicadores mnimos (forma do manual, preciso, validade e padronizao) que voc dever considerar para elaborar seu parecer final, informando se o instrumento atende ou no os requisitos mnimos.

No caso de o instrumento no atender s condies mnimas, solicitamos que o seu parecer final deixe claro quais as condies que no foram atendidas e as sugestes visando sua melhoria. Caso seja observada alguma limitao no instrumento, mesmo que ele atenda os requisitos mnimos, solicitamos que indique tambm sugestes de melhoria. Tais sugestes sero encaminhadas ao responsvel tcnico pelo teste.A - Descrio Geral do Teste(Considerar as informaes fornecidas pelo manual)A1. Nome do teste

A2. Nome do teste em sua verso original (se a verso brasileira for uma adaptao)

A3. Autor/es do teste original

A4. Autor/es da adaptao e/ou traduo

A5. Editor do teste na sua verso original

A6. Editor da verso brasileira

A7. Responsvel tcnico (psiclogo inscrito em CRP)

A8. Data da publicao original (que foi adaptada ao portugus)

A9. Data da publicao da adaptao brasileira

A10. Classificao da(s) varivel(eis) que o teste pretende medir

( ) Inteligncia

( ) Aptido

( ) Psicomotricidade

( ) Funes neuropsicolgicas

( ) Personalidade

( ) Motivao

( ) Atitudes

( ) Interesses

( ) Valores

( ) Outro (indique qual) ..................................................................................A11. Breve especificao da varivel ou variveis que o teste pretende medir

A12. rea(s) de aplicao

( ) Psicologia clnica

( ) Psicologia escolar e educacional

( ) Neuropsicologia

( ) Psicologia forense

( ) Psicologia do trabalho e das organizaes

( ) Psicologia do esporte

( ) Social/Comunitria

( ) Psicologia do Trnsito

( ) Psicologia Hospitalar

( ) Outra (indique qual) ....................................................................................

A13. Suporte(s) / Tipo(s) de aplicao

A 14.1) Tipos de Aplicao:

( ) Individual

( ) Coletivo

A 14.2) Formas de Aplicao:

( ) Administrao oral

( ) Administrao Manual

( ) Informatizado

( ) Outro (indique qual) ....................................................................................................A14. Procedimento(s) de correo

( ) Manual por meio de tabelas

( ) Leitura tica

( ) Informatizado

( ) Outro (indique qual) ....................................................................................................A15. Caractersticas gerais do manual

H um manual contendo informaes sobre:

Aspecto tcnico-cientfico:Fundamentao terica( ) sim ( ) no

EstrangeiraBrasileira

Estudos de preciso( ) sim ( ) no ( ) sim ( ) no

Estudos de validade( ) sim ( ) no ( ) sim ( ) no

Sistema de correo e interpretao dos escores

(normas ou outro procedimento)( ) sim ( ) no ( ) sim ( ) no

Aspecto prtico:

H informaes sobre a aplicao?( ) sim ( ) no

H informaes sobre a correo?( ) sim ( ) no

H informaes sobre como interpretar os resultados do teste?( ) sim ( ) no

H indicao da literatura cientfica relacionada ao instrumento ?( ) sim ( ) no

H indicao da populao alvo?( ) sim ( ) no

A16. Qualidade geral do manual

( ) Nvel A (Excelente a Bom): descrio muito clara e completa das caractersticas tcnicas fundamentadas em literatura cientfica.

( ) Nvel B (Suficiente): contm, pelo menos sumariamente, todos os itens de informao.

( ) Nvel C (Insuficiente): faltam itens de informao necessrios

Comentrios / Sugestes

B - Requisitos Tcnicos

B1. Qualidade geral do instrumento (objetos, material, impresso ou o software)

( ) Nvel A (Excelente a Bom)

( ) Nvel B (Suficiente).

( ) Nvel C (Insuficiente).

Comentrios / Sugestes

B2. Procedimento de adaptao, quando traduzido de outra lngua( ) sim ( ) no

(Nvel de excelncia: descrio precisa do procedimento de traduo e adaptao lngua portuguesa e cultura brasileira, dos estudos da equivalncia com a verso original e utilizao das diretrizes da International Test Comission - ITC).B3. Fundamentao terica

Deve contemplar: (a) definio do construto (constitutiva e operacional), (b) propsitos do instrumento e os contextos principais para os quais ele foi desenvolvido, que podem estar claramente descritos ou podem ser inferidos a partir da leitura do manual.

( ) Nvel A (Excelente a Bom): descrio muito clara e documentada do construto que se pretende medir, do procedimento de mensurao e das principais reas de aplicao.

( ) Nvel B (Suficiente): contm sumariamente essas informaes.

( ) Nvel C (Insuficiente): no contm essas informaes.

Comentrios / Sugestes

B4. Anlise dos itens (Testes no-projetivos)

H dados sobre a anlise dos itens? (considerar Sim se os dados estiverem relatados no manual ou se forem indicadas referncias de documentos que apresentam esta anlise).

EstrangeiroBrasileiro

( ) sim ( ) no( ) sim ( ) no

Em caso afirmativo, informar a data do ltimo estudo:

(Nvel de excelncia: Informao sobre diversos estudos sobre as caractersticas psicomtricas dos itens, tais como dificuldade ou variabilidade, discriminao, validade, anlise dos distratores, anlise de vis dos itens DIF).

B5. Validade

Existem estudos de validade para as principais interpretaes que o teste se prope a fazer?EstrangeiroBrasileiro

( ) sim ( ) no( ) sim ( ) no

Em caso afirmativo, informar a data do ltimo estudo:

Assinale em seguida quais os tipos de estudo que foram empregados:

B5.1) Validade de contedo

B5.1.1) Qualidade da representao do contedo ou domnio

(Nvel de excelncia: a documentao apresenta uma precisa definio do contedo. Os itens correspondem s amostras adequadas de todas as facetas do contedo).

EstrangeiroBrasileiro

( ) sim ( ) no( ) sim ( ) no

Em caso afirmativo, informar a data do ltimo estudo:

B5.1.2) Consultas de especialistas:

(Nvel de excelncia: foi consultado um amplo nmero de especialistas por meio de um procedimento sistematizado).

Brasileiro

( ) sim ( ) no

Em caso afirmativo, informar a data do ltimo estudo:

B5.1.3) Em tradues: algum mtodo para se avaliar a equivalncia (p. e. back translation)

Brasileiro

( ) sim ( ) no

Em caso afirmativo, informar a data do ltimo estudo:

B5.2)Validade de constructo:

Mtodo/delineamento empregado:

EstrangeiroData do ltimo estudoBrasileiroData do ltimo estudo

Correlao com outros testes ou validade convergente-discriminante( ) sim ( ) no ( ) sim ( ) no

Diferenas entre grupos( ) sim ( ) no ( ) sim ( ) no

Matriz multitrao-multimtodo( ) sim ( ) no ( ) sim ( ) no

Anlise fatorial (exploratria ou confirmatria) / consistncia interna( ) sim ( ) no ( ) sim ( ) no

Delineamentos experimentais( ) sim ( ) no ( ) sim ( ) no

Outro (indique qual)_____________________________________________( ) sim ( ) no ( ) sim ( ) no

B5.3) Validade com referncia ao critrioEstrangeiroData do ltimo estudoBrasileiroData do ltimo estudo

Concorrente( ) sim ( ) no ( ) sim ( ) no

Preditiva( ) sim ( ) no ( ) sim ( ) no

B5.4) Descreva e avalie as medidas externas usadas no estudo de validade. Avalie a qualidade das medidas usadas no estudo de validao que serviram tanto como medida de critrio nos estudos de validade com referncia ao critrio, quanto na validade de construto, caso tenha sido empregado o procedimento correlao com outros testes.

B5.5) Concluso dos estudos de validade

Os resultados brasileiros indicam evidncias positivas de validade?

( ) Nvel A (Excelente a Bom): tem pelo menos dois estudos de validade.

( ) Nvel B (Suficiente): tem pelo menos um estudo de validade.

( ) Nvel C (Insuficiente): no tem estudos de validade.

B6. Preciso ou Fidedignidade

B6.1) Delineamento utilizadoEstrangeiroData do ltimo estudoBrasileiroData do ltimo estudo

Equivalncia (Formas pararelas)( ) sim ( ) no ( ) sim ( ) no

Consistncia interna( ) sim ( ) no ( ) sim ( ) no

Estabilidade (teste-reteste)( ) sim ( ) no ( ) sim ( ) no

Preciso de avaliadores( ) sim ( ) no ( ) sim ( ) no

B6.2) O(s) coeficiente(s) (so) calculado(s) para diferentes grupos de sujeitos?

( ) sim ( ) no

B6.3) Concluso dos estudos de preciso

H evidncias de preciso em estudos brasileiros com coeficiente(s) no mnimo maior(es) que 0,60?

( ) Nvel A (Excelente a Bom): sim e em vrios grupos.

( ) Nvel B (Suficiente): sim, mas alguns esto abaixo de 0,60.

( ) Nvel C (Insuficiente): no h evidncias.

B7. Sistema de correo e interpretao dos escores obtidos no estudo brasileiro (padronizao)

Sistema referenciado norma

B7.1) Relata as caractersticas da amostra de padronizao de maneira clara e exaustiva? (gnero, escolaridade, regio, nvel scio-econmico)B7.2) Compara caractersticas sciodemogrficas relevantes da amostra com estimativas nacionais?

B7.3) O nmero de sujeitos do estudo de padronizao razovel? (Um nmero razovel de 300 pessoas. Contudo, em testes projetivos de aplicao individual com sistemas complexos de correo, pode-se considerar razovel um nmero menor de sujeitos).

Outro sistema

B7.4) Explica o embasamento terico do sistema?

B7.5) O sistema est sustentado em princpios lgicos derivados do embasamento terico e est apoiado nos estudos de validade ?

B7.6) Concluso sobre o sistema de correo e interpretao dos escores

( ) Nvel A (Excelente a Bom):

Referncia norma: seleo aleatria de sujeitos, diversas normas em funo da idade, sexo, escolaridade, nvel cultural e/ou outras caractersticas relevantes, N>= 1000.

Outro sistema: vrios estudos de validade sustentando as interpretaes.

( ) Nvel B (Suficiente).

Referncia norma: a amostra tem um nmero razovel de sujeitos e relata as caractersticas do grupo de referncia, permitindo uma apreciao da questo de representatividade.

Outro sistema: pelo menos um estudo de validade sustentando as interpretaes.

( ) Nvel C (Insuficiente): no h estudo, ou h, mas insuficiente.

C - Considerao e Anlise dos Requisitos MnimosNa tabela abaixo esto sistematizados os requisitos mnimos em relao aos Artigos 4 e 5 da presente Resoluo para facilitar a elaborao do parecer. Para julgar o atendimento dos requisitos mnimos, no que se refere preciso e validade, considerar os estudos brasileiros realizados a partir da dcada de 80. No que se refere padronizao, considerar os estudos brasileiros feitos a partir da dcada de 90.

Requisitos Mnimos

Informaes compiladas no manual

C1. Manual

( ) Sim

( ) NoNvel A ou B no item A16 (Qualidade geral do manual)

Requisitos Tcnicos - Questes de mltipla escolha e similares, tais como acerto e erro, inventrios e escalas (Artigo 4)

C2. Fundamentao terica

( ) Sim

( ) NoNvel A ou B no item B3 (fundamentao terica)

Teste estrangeiro com estudos suficientes de preciso, validade e padronizao no pas de origem nos ltimos 20 anosTeste estrangeiro com pouco ou nenhum estudo de preciso, validade e padronizao no pas de origem

ou

Teste criado no Brasil

C3. Validade

Nvel A ou B no item B5.5 (Concluso dos estudos de validade), entretanto preciso fazer uma avaliao global considerando as duas situaes indicadas ao lado para tomada de deciso neste requisito

( ) Sim

( ) NoAlgum estudo de validade no Brasil replicando as evidncias observadas no pas de origemEstudos de validade das principais interpretaes pretendidas

C4. Preciso/ Fidedignidade

( ) Sim

( ) No

Algum estudo no Brasil com evidncias positivas de preciso

Nvel A ou B no item B6.3 (Concluso dos estudos de Preciso)

C5. Anlise de itens

( ) Sim

( ) No

Algum estudo no Brasil sobre as propriedades psicomtricas dos itens. Ver item B4 (Anlise dos itens - Testes no-projetivos)

C6. Sistema de correo e interpretao dos resultados.

( ) Sim

( ) NoSe o teste usa o sistema de referncia norma, um estudo de padronizao no Brasil.

Caso empregue outro sistema, considerar se os estudos de validade apiam as interpretaes.

Nvel A ou B no item B7.6 (Concluso sobre o sistema de correo e interpretao dos escores)

Requisitos Tcnicos - Tcnicas Projetivas (Artigo 5)

C2. Fundamentao terica

( ) Sim

( ) NoNvel A ou B no item B3 (fundamentao terica)

Teste estrangeiro com estudos suficientes de preciso, validade e padronizao no pas de origem nos ltimos 20 anosTeste estrangeiro com pouco ou nenhum estudo de preciso, validade e padronizao no pas de origem

Ou

Teste criado no Brasil

C3. Validade

Nvel A ou B no item B5.5 (Concluso dos estudos de validade), entretanto preciso fazer uma avaliao global, considerando as duas situaes indicadas ao lado para tomada de deciso neste requisito

( ) Sim

( ) NoAlgum estudo de validade no Brasil replicando as evidncias de validade observadas no pas de origem

Estudos de validade no Brasil das principais interpretaes pretendidas

C4. Preciso /Fidedignidade

Nvel A ou B no item B6.3 (Concluso dos estudos de preciso), entretanto preciso fazer uma avaliao global considerando as duas situaes indicadas ao lado para tomada de deciso neste requisito

( ) Sim

( ) NoAlgum estudo no Brasil replicando evidncias positivas de preciso quando esta estabelecida pelos mtodos de estabilidade e/ou consistncia interna.

Ou

Evidncias positivas de preciso no pas de origem, quando esta estabelecida pelo mtodo de concordncia de avaliadores.

Estudo no Brasil com evidncias positivas de preciso

C5. Sistema de correo e interpretao dos resultados.

( ) Sim

( ) NoSe o teste usa o sistema de referncia norma, um estudo de padronizao no Brasil

ou

Caso empregue outro sistema, considerar se os estudos de validade apiam as interpretaes.

Nvel A ou B no item B7.6 (Concluso sobre o sistema de correo e interpretao dos escores)

O teste atende os requisitos mnimos? (Os testes projetivos devem atender todos os requisitos C1 a C5. Os testes no projetivos devem atender todos os requisitos C1 a C6).

( ) Sim ( ) No

Parecer / Sugestes

Nome e assinatura do parecerista: ______________________________________________________

Data: _________________

Prieto, G. & Muiz, J. (2000). Un modelo para evaluar la calidad de los tests utilizados en Espaa. HYPERLINK "http://www.cop.es/tests/modelo.htm" http://www.cop.es/tests/modelo.htm, 04/12/00.

115