Relatório Final de Avaliação dos Testes Psicológicos

62
Conselho Federal de Psicologia Conselhos Regionais de Psicologia EDIÇÃO ESPECIAL / NOVEMBRO 2004

Transcript of Relatório Final de Avaliação dos Testes Psicológicos

  • ConselhoFederal dePsicologia

    ConselhosRegionaisde Psicologia

    EDIO ESPECIAL / NOVEMBRO 2004

  • Diretoria

    Odair FurtadoPresidente

    Ana Luza de Souza CastroVice-Presidente

    Miguel Angel Cal GonzlezSecretrio

    Francisco Jos Machado VianaTesoureiro

    Conselheiros Efetivos

    Snia Cristina Arias BahiaSecretria da Regio Norte

    Aluzio Lopes de BritoSecretrio da Regio Nordeste e Secretrio de Orientao e tica

    Deusdet do Carmo MartinsSecretria da Regio Centro-oeste

    Ricardo Figueiredo MoretzsohnSecretrio da Regio Sudeste e Secretrio de Comunicao Social

    Analice de Lima PalombiniSecretria da Regio Sul

    Conselheiros Suplentes

    Eleun Antnio de Andrade Melo

    Francisco de Assis Nobre Souto

    Gislene Maia de Macedo

    Marcus Adams de Azevedo Pinheiro

    Margarete de Paiva Simes Ferreira

    Mariana M. Gomes Freire

    Rebeca Litvin

    Rosemeire Aparecida da Silva

    Sandra Maria Francisco de Amorim

    Psiclogos Convidados

    Adriana Marcondes Machado

    Diva Lcia Gautrio Conde

    Marilene Proena Rebello de Souza

    Paulo Roberto Martins Maldos

    O XII Plenrio

  • Crditos

    Coordenao

    Gislene Maia de Macedo

    Ricardo Figueiredo Moretzsohn

    Assessoria Tcnica

    Rodrigo Barroso Vasconcelos

    Apoio Tcnico

    Coordenadora Tcnica

    Cleide Maria de Sousa

    Assessores Tcnicos

    Ana Flvia Borges Moreira

    Juliana Oliveira Lima

    Juliana de Melo Borges

    Maurcio Miranda Sarmet

    Rodrigo Barroso Vasconcelos

    Assistente Administrativo

    Rafael Antnio Oliveira

    Estagiria de Psicologia

    Andreza Aretakis

    Pareceristas Ad hoc

    Alcia Maria Hernandez MunhozAna Paula Porto Noronhangela Vieira PinheiroAnna Elisa de Villemor AmaralBlanca WerlangCarlos Henrique Sancineto da Silva NunesCarmen Elvira Flores-MendonzaCeres Alves ArajoCcero Emidio VazCilio ZivianiCludio HutzDenise BandeiraEda Marconi CustdioEliana HerzbergEliane GerkElisa Medici Pizo YoshidaElizabeth do NascimentoEvely BoruchovitchFernando C. CapovillaGuenia BunchaftIra Cristina Boccato AlvesJos Maurcio Haas BuenoLatife Yazigi

  • Lvia de Oliveira BorgesMarcelo TavaresMaria Abigail de SouzaMaria Cecilia VilhenaMaria Cristina FerreiraMaria Cristina Petroucic RosenthalMarina de Bittencourt BandeiraMariza Tavares LimaSolange Muglia WechslerSnia Regina LoureiroSnia Regina PasianVera L. M. de FigueiredoWilma Maria Guimares Lopes

    Comisso Consultiva em Avaliao Psicolgica

    lvaro Jos Lel

    Audrey Setton de Souza

    Jose Carlos Tourinho e Silva

    Regina Sonia Gattas Fernandes do Nascimento

    Ricardo Primi

    Organizao

    Comisso Consultiva em Avaliao Psicolgica

    Gislene Maia de Macedo

    Ricardo Figueiredo Moretzsohn

    Rodrigo Barroso Vasconcelos

    Coordenao Editorial

    Gislene Maia de Macedo

    Rodrigo Barroso Vasconcelos

    Reviso de Texto

    Maria Inez Dora da Silva

    Diagramao

    Ad People Comunicao

    Crditos

  • Sumrio

    I. Apresentao........................................................................................................................................7

    II. Introduo ............................................................................................................................................9

    III. O Sistema de Avaliao .............................................................................................................. 17 Satepsi.................................................................................................................................................... 20

    IV. Critrios para Avaliao dos Testes Psicolgicos........................................................... 21 Avaliao Psicolgica........................................................................................................................ 21 Testes Psicolgicos ............................................................................................................................ 21 Validade................................................................................................................................................. 22 Validade das Tcnicas Projetivas .................................................................................................. 24 Preciso.................................................................................................................................................. 26 Preciso x Validade ............................................................................................................................ 26 Padronizao ....................................................................................................................................... 27 Requisitos Mnimos ........................................................................................................................... 27

    V. Resultados ......................................................................................................................................... 31 Descrio Geral dos Testes Psicolgicos.................................................................................... 31 Publicao dos Manuais no Brasil ................................................................................................ 33 Classifi cao das Variveis que os Testes Psicolgicos pretendem medir..................... 34 reas de Aplicao ............................................................................................................................ 35 Caractersticas Gerais do Manual ................................................................................................. 36 Requisitos Tcnicos ........................................................................................................................... 38 Fundamentao Terica .................................................................................................................. 38 Estudos de Validade e Preciso..................................................................................................... 39 Estudos de Padronizao ................................................................................................................ 44 Estudos de Validade, Preciso e Padronizao por Perodos.............................................. 48 Anlise de Consistncia Interna do Formulrio de Avaliao dos Testes....................... 50 Nota Global de Qualidade dos Testes Avaliados..................................................................... 54

    VI. Consideraes Finais................................................................................................................... 55

    VII. Referncias ..................................................................................................................................... 57

    VIII. Leituras Recomendadas ......................................................................................................... 58

    IX. Anexo.................................................................................................................................................. 59

  • Figuras

    Fluxograma 1: Processo de anlise dos Testes Psicolgicos .........................................................19Grfi co 1: Classifi cao das variveis que o teste pretende medir, de acordo com a avaliao fi nal do CFP.......................................................................................................................34

    Tabelas

    Tabela 1: Operacionalizao dos requisitos mnimos ......................................................................30Tabela 2: Quantidade dos testes favorveis e desfavorveis, de acordo com a natureza do teste............................................................................................................................................31Tabela 3: Distribuio dos 106 Testes Psicolgicos analisados, por requerente, neste relatrio .................................................................................................................................................32Tabela 4: Data da ltima publicao do manual no Brasil..............................................................33Tabela 5: Relao entre a avaliao fi nal dos Testes Psicolgicos e suas respectivas reas de aplicao ..................................................................................................................35Tabela 6: Caractersticas gerais do manual ..........................................................................................36Tabela 7: Apresentao da Qualidade da Fundamentao Terica, considerando a avaliao fi nal para testes projetivos e no-projetivos .................................................................38Tabela 8: Quantidade de estudos de preciso e validade relacionados com a avaliao fi nal e a natureza do Teste Psicolgico ............................................................................39Tabela 9: Qualidade dos estudos de validade.....................................................................................42Tabela 10: Qualidade dos estudos de preciso ..................................................................................43Tabela 11: Sistema de correo e interpretao dos escores obtidos nos estudos referenciados norma ou em outros sistemas...................................................................44Tabela 12: Nmero de sujeitos dos estudos de padronizao pela natureza do teste........47Tabela 13: Perodos de execuo dos estudos de validade por tipo de teste.........................49Tabela 14: Perodos de execuo dos estudos de preciso por tipo de teste .........................49Tabela 15: Perodos de execuo dos estudos de padronizao pela natureza do teste ..50Tabela 16: Indicadores do formulrio, selecionados para anlise de consistncia interna, e estatsticas descritivas para os 106 testes analisados....................................................51Tabela 17: Matriz de correlao entre os indicadores......................................................................52Tabela 18: Correlao item-total dos indicadores do instrumento.............................................53Tabela 19: Estatsticas descritivas da Nota Global de Qualidade dos testes............................54

    Anexos

    Anexo 1: Relao dos Testes Psicolgicos utilizadas na amostra .................................................59

    Lista de ilustraes

  • 7

    Discutir sobre as muitas questes que envolvem os Testes Psicolgicos no Brasil , de certa forma, discutir o eixo estrutural da Psicologia como cincia e profi sso. Ao longo dos anos, a Psicologia foi-se legitimando como cincia em funo da sua capacidade de descre-ver, prever e explicar comportamentos. A Psicologia no se resume a esse tipo de construc-to. Sua episteme muito mais complexa e diversifi cada. No entanto, no curso da histria do conhecimento, a criao de instrumentos para avaliar os aspectos psicolgicos de um sujeito veio corroborar essa viso de cincia comprobatria e abrir espao e credibilidade para a Psicologia em suas intervenes.

    A Avaliao Psicolgica para candidatos obteno da Carteira Nacional de Habilitao (CNH), a Avaliao Psicolgica em concursos pblicos e na rea jurdica so exemplos de como a sociedade vem requisitando da Psicologia servios dessa natureza. A utilizao de Testes Psicolgicos parte integrante dos processos de Avaliao Psicolgica, que tm, em sua defi nio, segundo a Resoluo 007/2003, o seguinte:

    A Avaliao Psicolgica entendida como o processo tcnico-cientfi co de coleta de dados, estudos e interpretao de informaes a respeito dos fenmenos psicolgicos, que so resul-tantes da relao do indivduo com a sociedade, utilizando-se, para tanto, de estratgias psico-lgicas mtodos, tcnicas e instrumentos. Os resultados das avaliaes devem considerar e analisar os condicionantes histricos e sociais e seus efeitos no psiquismo, com a fi nalidade de servirem como instrumentos para atuar no somente sobre o indivduo, mas na modifi cao desses condicionantes, que operam desde a formulao da demanda at a concluso do pro-cesso de Avaliao Psicolgica.

    Dada a abrangncia da defi nio de Avaliao Psicolgica e a amplitude da aplicao dos Testes Psicolgicos no desenvolvimento do ofcio da Psicologia, o CFP, historicamente, tem-se preocupado com isso e vem publicando resolues que procuram garantir a quali-dade dos servios prestados populao. Todas as aes empreendidas possuem, em seu bojo, a inteno de subsidiar e orientar o psiclogo e de fornecer sociedade referncias e maior credibilidade ao trabalho realizado pela categoria.

    Apesar de os Testes Psicolgicos estarem de acordo com o pressuposto de sustentao da Psicologia em seu lugar de cincia, no Brasil, esses instrumentos passaram a ser questio-nados em diversas instncias. O Poder Judicirio e a populao comearam a indagar sobre a validade dos resultados da aplicao dos Testes Psicolgicos. Candidatos a empregos na iniciativa privada e em concursos pblicos foram dando-se conta de que sua possvel in-sero no mercado de trabalho, por vezes, estava condicionada aos relatrios decorrentes da Avaliao Psicolgica. A Psicologia, no uso desses instrumentos, passou a ser criticada e apontada como desprovida de mtodos precisos de avaliao. Segundo esses crticos, seus resultados seriam imprecisos em funo da sua forte tnica subjetiva, sujeita a anlises

    I - Apresentao

    Gislene Maia de Macedo

  • 8

    diferenciadas, dependendo e variando em funo daquele que avalia, e no de uma funda-mentao terica e metodolgica estruturada.

    Era necessrio, ento, buscar formas de se legitimar a prtica psicolgica que se utiliza-va de mtodos psicomtricos para a realizao do seu trabalho. Era fundamental cuidar dos critrios que atestam a qualidade de aferio dos instrumentos, avaliar as condies mni-mas em que esses instrumentos se encontram e fornecer ao psiclogo uma referncia para a escolha dos procedimentos mais apropriados realizao de Avaliaes Psicolgicas.

    A Resoluo CFP n 002/2003 foi pensada para atender a essas expectativas e tambm necessidade de se iniciar um trabalho pioneiro no Brasil e no mundo: criar condies de avaliao dos Testes Psicolgicos em uso. Essa ao j havia sido indicada nos encaminha-mentos do I Frum Nacional de Avaliao Psicolgica (2000) e nas deliberaes do IV Con-gresso Nacional de Psicologia (2001). A prpria categoria j ansiava por aes que atestas-sem a validade dos Testes Psicolgicos. Apesar da existncia de pesquisas e da reconhecida competncia da comunidade cientfi ca, ainda faltava avaliar, reunir dados e sistematizar todo o processo de avaliao dos Testes Psicolgicos. O CFP, como rgo mximo de repre-sentao da categoria, reunia tambm condies legais e objetivas para a realizao desse trabalho. Restava, ento, fazer.

    Em 2002, iniciaram-se os trabalhos com o grupo, que, mais tarde, foi denominado Co-misso Consultiva em Avaliao Psicolgica. A Resoluo CFP n 002/2003 foi elaborada e publicada em 26 de maro de 2003, e o processo de avaliao dos Testes Psicolgicos foi defl agrado.

    Este relatrio discorre sobre todo o processo histrico e poltico que levou o CFP a tomar essa e outras medidas em relao aos Testes Psicolgicos e Avaliao Psicolgica, alm de detalhar sobre o sistema e os critrios de avaliao, os resultados e os impactos que essa medida teve para a Psicologia.

    No perodo de maro de 2003 a maio de 2004, foram avaliados 106 Testes Psicolgicos. Todo o processo de avaliao foi transformado num banco de dados que gerou a criao do Sistema de Avaliao dos Testes Psicolgicos Satepsi, permitindo que esses dados fos-sem convertidos para o Statistical Package for Social Science (SPSS) e refi nados numa anlise que culminou neste relatrio.

    I - Apresentao

  • 9

    A Avaliao Psicolgica realizada por meio de testes a atividade do psiclogo mais conhecida pela populao. Pode-se afi rmar que quase todos os sujeitos adultos, especial-mente das regies urbanas, tiveram a experincia de responder a Testes Psicolgicos para diversos propsitos. Para a maioria dessas pessoas, essa atividade se constitui na nica refe-rncia da profi sso. Esse fato, por si s, reveste os testes de importncia signifi cativa, consi-derando que os mritos e demritos dessa atividade afetam, na mesma direo, a imagem da profi sso junto a essa mesma populao.

    Fatos recentes, como a incluso da Avaliao Psicolgica obrigatria para o porte de armas, para a prtica de artes marciais, dentre outras atividades, indicam que a sociedade necessita desse servio e continua acreditando que o psiclogo tenha condies de aten-der adequadamente a essa demanda.

    Entre os psiclogos, por motivos diversos, a crena na importncia e na efi ccia dos testes oscilou ou sofreu alteraes desde o momento de institucionalizao da Psicologia no Brasil at os dias atuais. No incio, nas dcadas de 40 a 60, os testes foram muito valori-zados, ocorrendo muitas tradues e adaptaes. Nesse perodo, havia poucos psiclogos no Pas, e o controle de qualidade, nos diversos momentos necessrios a essa prtica, era tarefa fcil. Tradutores, autores brasileiros, editores, professores e muitos dos profi ssionais usurios mantinham relao prxima, o que facilitava ajustes e equilbrio entre os diversos segmentos envolvidos na atividade.

    O aumento signifi cativo do nmero de profi ssionais, aliado a mudanas provenientes da prpria dinmica social, produziu mudanas signifi cativas no fazer e na prpria identi-dade da profi sso, mudanas que repercutiram tambm na rea de Avaliao Psicolgica e nos testes. A diversifi cao das reas de atuao e de prticas profi ssionais, a organizao e a mobilizao poltica da categoria, o aprofundamento da anlise a respeito do papel social da profi sso e a proliferao de novos cursos de graduao, dentre outros fatos, modifi ca-ram o quadro inicial, ocorrendo o afastamento dos diversos segmentos, reduzindo a intera-o e o necessrio e espontneo controle que ocorria anteriormente.

    Com esse afastamento ou desarticulao, tanto os problemas quanto os avanos ocor-riam de forma setorizada, e, portanto, no eram compartilhados pelos demais segmentos. Dessa forma, as eventuais difi culdades dos editores na realizao de estudos para atualiza-o de seus testes no eram compartilhadas com os laboratrios ou estudantes de cursos de ps-graduao, que, por sua vez, dedicaram seu trabalho ao estudo ou elaborao de novas escalas que, freqentemente, fi cavam nos arquivos dos cursos, sem utilizao na pr-tica profi ssional. Com a proliferao de novos cursos, muitos professores foram contratados

    II - Introduo

    Jos Carlos Tourinho e Silva, Gislene Maia de Macedo, Ricardo Moretzsohn, Rodrigo Barroso Vasconcelos e Cleide Maria de Sousa

  • 10

    sem a qualifi cao adequada, o que resultaria na formao defi ciente de novos profi ssio-nais. Enquanto isso, grupos de pesquisa aprofundavam estudos e realizavam trabalhos de qualidade na rea, mas esses trabalhos no alimentavam ou no contribuam para qualifi -car ou minorar os problemas do ensino na maioria dos cursos, alm de muitos outros exem-plos de desarticulao que poderiam ser citados. Por outro lado, uma signifi cativa parcela da categoria passou a apresentar crticas e preocupaes com referncia a vrios aspectos dos testes.

    Uma das crticas, de natureza ideolgica e tica, refere-se ao seu aspecto tecnicista, atomista, por pretender, de um lado, mensurar caractersticas psicolgicas isoladas, de uma subjetividade cada vez mais compreendida como um processo integrado e global, e, de ou-tro, por desconsiderar os determinantes histricos e sociais dessa subjetividade. Outra cr-tica aponta para a insufi ciente fundamentao terica da maioria dos instrumentos, cons-truda principalmente a partir de procedimentos estatsticos, sem o necessrio e sufi ciente conhecimento a respeito dos constructos que pretende mensurar. Uma outra crtica ataca a prpria possibilidade de se medir a atividade psicolgica ou parte dela, considerando as diferenas entre a natureza dos nmeros e a natureza dos constructos psicolgicos. Em decorrncia dessas crticas, ocorreu um desinteresse progressivo pelos testes em parcela signifi cativa da categoria, que passou a desenvolver outros procedimentos de avaliao.

    Nesse contexto, vrios problemas assumiram propores incmodas, repercutindo negativamente tanto dentro da categoria quanto na sociedade. Dentre esses problemas, pode-se destacar a utilizao inadequada dos testes por profi ssionais mal preparados, a re-edio e a comercializao de testes, ao longo de dcadas, sem qualquer estudo de reviso de suas propriedades psicomtricas, a banalizao de diversos instrumentos, com a venda em estabelecimentos imprprios e para qualquer interessado, as denncias e fl agrantes de irregularidades, como a aplicao simplifi cada, realizada em auditrios lotados, e laudos com informaes estranhas s possibilidades dos testes.

    Esse quadro provocou a reao de diversos profi ssionais e de usurios, resultando em diversos processos ticos e nmero maior de denncias e contestaes judiciais de laudos psicolgicos. Diante disso, em 1980, os conselhos de Psicologia, alm de aes localizadas de fi scalizao e promoo de eventos, constituram uma comisso com a fi nalidade de sistematizar informaes a respeito do problema. Os resultados dos estudos confi rmaram a existncia dos problemas citados e indicaram a necessidade de aes para qualifi cao tcnica e tica da rea. Nos anos seguintes, continuaram as aes regionais de fi scalizao e promoo de eventos, que no produziram os efeitos necessrios.

    Entendendo que as propostas mais adequadas para a soluo dos problemas seriam construdas pelos prprios segmentos envolvidos, em 1997, o CFP props a criao de um frum que reunisse representantes desses segmentos, que, em conjunto, discutiriam os problemas e apresentariam propostas para serem implementadas. Como resultado dessas

    II - Introduo

  • 11

    discusses, um documento propositivo foi produzido e encaminhado para profi ssionais, entidades e outros, a fi m de compor a representao de editores, laboratrios de pesquisa, professores, profi ssionais usurios, entidades de classe, de pesquisa e de normatizao e fi scalizao. Esse frum, de adeso voluntria e sem relao de dependncia com as entida-des que o integravam, foi denominado Cmara Interinstitucional de Avaliao Psicolgica.

    Obtida a aceitao da proposta, o CFP colocou disposio a infra-estrutura fsica e o apoio de alguns funcionrios para a realizao das reunies e garantiu recursos fi nanceiros para viabilizar a participao de alguns segmentos, como o de professores. Dessa forma, a Cmara foi instalada no dia 09 de outubro de 1997, com a participao de 16 pessoas, representando sete segmentos. Nessa primeira reunio, foram explicitados a natureza e os objetivos da Cmara e realizado o planejamento estratgico de suas aes.

    A Cmara reuniu-se com freqncia semestral, mas no produziu os resultados signifi -cativos esperados. Durante esse perodo, elaborou-se um manual para a Avaliao Psicol-gica de candidatos CNH e condutores de veculos automotores, que foi editado pelo CFP (Resoluo CFP no 012/2000). No ano 2000, o CFP resolveu retirar-se da Cmara e realizar o I Frum Nacional de Avaliao Psicolgica, na forma como foi proposto e aprovado no II Congresso Nacional da Psicologia, realizado de 28 de agosto a 1 de setembro de 1996, na cidade de Belo Horizonte.

    O I Frum de Avaliao Psicolgica foi realizado em dezembro de 2000, e, dentre as propostas aprovadas, podem ser destacadas as seguintes:

    Que o Sistema Conselhos busque parceria com entidades para a elaborao de estudos tcnicos que embasem resolues e portarias para normatizar e orientar a prtica da Avaliao Psicolgica.

    Que o CFP e CRPs, junto s agncias formadoras, ABEP, ANPEPP e agncias fi nancia-doras, busquem incentivar e fomentar pesquisas que promovam a construo de novos instrumentos, e validao, normatizao e padronizao dos instrumentos j existentes no Brasil.

    Que os Conselhos Regionais e Federal divulguem pesquisas e estudos atualizados sobre a Avaliao Psicolgica junto categoria por meio de seus sites e outros veculos de comunicao, bem como os problemas inerentes utilizao dos testes cujos parmetros de validao e elaborao no sejam adequados.

    Que o CFP elabore a relao de instrumentos publicados no Brasil a partir de listas encaminhadas pelas editoras.

    II - Introduo

  • 12

    Que os CRPs estabeleam parceria com entidades ligadas s questes de Avaliao Psicolgica, visando elaborao de um manual que conceitue e divulgue os parmetros tcnicos do exame psicolgico do Brasil, voltados para as diversas reas (concurso pblico, seleo etc.) de aplicao da Avaliao Psicolgica.

    As empresas que editam e comercializam Testes Psicolgicos devem ser respons-veis pela atualizao dos mesmos, assim como pela sua validao e normatizao para a realidade brasileira, conforme critrios defi nidos e estabelecidos pelo CFP.

    O CFP deve recomendar s editoras a reviso peridica de seus instrumentos, man-tendo-os atualizados.

    Que o CFP constitua uma comisso de especialistas visando elaborao de um guia de orientao contendo as informaes necessrias para que os instrumentos pos-sam ser comercializados, tais como: fundamentao terica, processo de construo do teste, preciso/fi dedignidade, normas, amostras de padronizao, de validade (preditiva, concorrente, constructo/conceito) e outros elementos julgados necessrios, estabelecendo um prazo de quatro anos para que essas informaes estejam contempladas nos manuais dos testes pelas editoras e que, ultrapassando esse perodo de quatro anos, na falta desses dados, o CFP no recomendaria a utilizao desses testes pelos psiclogos.

    Resoluo do CFP normatizando a incluso das condies e dos critrios da realiza-o do processo de Avaliao Picolgica em concursos, na publicao dos editais.

    O CRP deve atuar, por intermdio da COF (Comisso de Orientao e Fiscalizao), na fi scalizao mais rigorosa e mais freqente, inclusive quanto aos aspectos relacionados Avaliao Psicolgica.

    O CFP e os CRPs devem estabelecer estratgias e normas que assegurem a fi scaliza-o da edio e comercializao dos Testes Psicolgicos visando ao aprimoramento tico nos servios.

    Os CRPs devem promover meio para conscientizao da categoria sobre as tcnicas de avaliao utilizadas, implementando refl exes acerca de suas conseqncias, contextua-lizao e modo correto de elaborao de relatrios, pareceres, laudos etc.

    Reformulao do Cdigo de tica para que seja includo captulo especfi co sobre Avaliao Psicolgica.

    A partir das propostas encaminhadas pelo Frum e de estudos realizados pela sua Secretaria de Orientao e tica, o CFP deu incio ao planejamento e execuo de vrias medidas para dar conta dos problemas j referidos. Com relao aos Testes Psicolgicos,

    II - Introduo

  • 13

    decidiu-se pela edio de uma Resoluo que estabelecesse normas para elaborao, publicao, comercializao e uso. Para isso, convidou especialistas que colaboraram na ela-borao da minuta, com a defi nio dos critrios e parmetros mnimos de qualidade para instrumentos dessa natureza. Em reunio com as editoras de testes, a minuta da Resoluo foi apresentada, seus objetivos e exigncias esclarecidos e suas eventuais inconsistncias, corrigidas.

    Aps todos esses procedimentos, foi editada a Resoluo CFP no 025/01, em novem-bro de 2001. Com isso, iniciou-se o processo de controle de qualidade dos testes no Brasil, estabelecendo-se as condies mnimas para elaborao, comercializao e uso desses instrumentos e instituindo-se um prazo de trs meses para que os responsveis pelos tes-tes remetessem exemplares dos Testes Psicolgicos para anlise. No mesmo perodo, foram editadas as resolues no 001/2002, que regulamenta a Avaliao Psicolgica em concursos pblicos, e a 17/2002, que institui o manual de elaborao de documentos escritos decor-rentes de Avaliao Psicolgica.

    A primeira Resoluo estabelece a necessidade de atendimento a direitos fundamen-tais dos candidatos inscritos em concursos, como o conhecimento dos critrios de ava-liao, a devolutiva dos resultados e a possibilidade da contra-prova, alm de estabelecer os procedimentos para esses e outros casos. Essa Resoluo foi elaborada considerando a premissa de que as liminares judiciais concedidas a candidatos reprovados em concursos se fundamentam no fato de os editais de concurso no informarem os critrios da avalia-o, o direito ao contraditrio e outros direitos constitucionais. A segunda Resoluo defi ne a natureza, os objetivos, o formato e o contedo dos documentos mais utilizados na prtica profi ssional, padronizando esses documentos com o propsito de minimizar o risco da emisso de documentos com contedos inadequados, o que era constatado em inmeros processos ticos.

    Essas resolues, junto CFP no 011/2000, que disciplina a oferta de produtos e servios ao pblico, e CFP no 012/2000, que institui o manual para Avaliao Psicolgica a candi-datos CNH, renem um conjunto que pretende dar conta das diversas fases do processo, regulamentando procedimentos referentes s questes mais freqentemente levantadas nos diversos fruns da profi sso a respeito da Avaliao Psicolgica.

    Por ocasio da publicao da Resoluo CFP n 025/2001, 111 testes foram encaminha-dos ao CFP para anlise. Mais adiante, foram convidados cinco psiclogos com reconhe-cida competncia na rea para constituir uma Comisso com o objetivo de organizar os trabalhos de avaliao dos testes, planejando os procedimentos e as etapas, detalhando os critrios defi nidos na Resoluo, dentre outros aspectos, e encaminhando suas suges-tes ao Plenrio do CFP. Aps algumas reunies, a Comisso apresentou um conjunto de propostas que inclua um formulrio para registro das caractersticas de cada instrumento, a participao de pareceristas ad hoc para a primeira anlise dos instrumentos, os prazos

    II - Introduo

  • 14

    para cada fase do processo, inclusive para recurso, e a caracterizao do procedimento como um processo contnuo, dentre outras.

    As propostas foram acatadas pelo Plenrio do CFP, que deliberou pela edio de nova Resoluo, reunindo as normas da 025/2001 e os novos itens propostos. Assim, em maro de 2003, foi editada a Resoluo CFP n 02/2003.

    O processo de construo e elaborao da Resoluo CFP n 02/2003 considerou cuida-dosamente todos os possveis impactos que tal normatizao pudesse ter sobre a atuao profi ssional dos psiclogos. Tal construo foi marcada por um processo de escuta junto aos Conselhos Regionais e aos profi ssionais da rea, caracterizando-se como um processo democrtico e transparente. Isso se evidenciou pelo longo processo de discusso dentro do Sistema Conselhos de Psicologia, envolvendo Conselho Federal e Regionais de Psicolo-gia, e dos CRPs com a categoria em geral. Esse processo passou pelas seguintes etapas:

    Inmeras reunies telefnicas e presenciais da Comisso Consultiva em Avaliao Psicolgica, encontros esses que defi niram o texto que deveria constar da nova Resoluo. As discusses da Comisso tiveram como principal parmetro as omisses da Resoluo CFP n 025/2001;

    Uma vez fechado o texto da nova Resoluo, este passou por exaustivas anlises e discusses pelo Plenrio do Conselho Federal;

    Quando o texto alcanou o consenso no Conselho Federal de Psicologia, foi subme-tido apreciao e deliberao da Assemblia das Polticas Administrativas e Financeiras APAF, uma das mais altas instncias da profi sso no Pas, caracterizando-se pela reunio de delegados do Conselho Federal e de todos os Conselhos Regionais de Psicologia;

    Por deliberao da APAF, o texto seguiu para cuidadosa apreciao de todos os Con-selhos Regionais de Psicologia e de suas comisses de Avaliao Psicolgica, que, no per-odo acordado, puderam opinar sobre todos os artigos propostos na minuta da Resoluo, bem como sobre seu anexo, o formulrio intitulado Critrios de Avaliao da Qualidade de Testes Psicolgicos;

    As sugestes apresentadas pelos Conselhos Regionais foram criteriosamente siste-matizadas e apreciadas pela Comisso Consultiva em Avaliao Psicolgica, constituindo uma nova minuta de Resoluo;

    A minuta, com as sugestes dos Conselhos Regionais incorporadas, foi objeto de anlise e deliberao de uma reunio de presidentes do Sistema Conselhos de Psicologia. Essa reunio de presidentes deliberou revogar a Resoluo CFP n 025/2001, passando o tema a ser regulamentado por uma norma somente, ou seja, a nova Resoluo;

    II - Introduo

  • 15

    Finalmente, a minuta foi submetida ao Plenrio do Conselho Federal para que este cumprisse o rito de aprovao e publicao da nova Resoluo, que foi editada sob o n-mero 02/2003.

    Faz-se notar que, durante todas essas etapas de construo da Resoluo, foi contnuo e permanente o acompanhamento jurdico das questes tratadas pela norma, sendo este mais um zelo para que o CFP no extrapolasse a sua competncia como regulador do exer-ccio profi ssional do psiclogo.

    Ressalta-se, ainda, que, no processo de elaborao da referida Resoluo, o CFP compar-tilhou as concluses dessa discusso com o Frum de Entidades Nacionais da Psicologia Brasileira FENPB, instncia que congrega 16 entidades representantes da Psicologia no Pas, nos mais diversos segmentos, dentre elas o Instituto Brasileiro de Avaliao Psicolgi-ca IBAP e a Sociedade Brasileira de Rorschach e Outros Mtodos Projetivos SBRo.

    Uma vez publicada a Resoluo CFP n 02/2003, iniciaram-se os esforos para execuo propriamente dita do processo de avaliao dos instrumentos encaminhados pelas edi-toras. Com o desenvolvimento dos trabalhos, foi identifi cada a necessidade de se desen-volver, em paralelo, uma atividade especialmente destinada preparao da comunidade de profi ssionais, divulgando ostensivamente o trabalho que estava se desenvolvendo, esforando-se o Sistema Conselhos, continuamente, no sentido de preparar os psiclogos para a ao e, conseqentemente, para a divulgao do primeiro edital sobre o processo de avaliao dos Testes Psicolgicos que tornou pblicas a lista e a condio dos Testes Psi-colgicos que, naquele momento, se encontravam sob a avaliao pelo CFP. Esse cuidado teve como objetivo minimizar os impactos que tal ao teria na atuao e no trabalho dos profi ssionais.

    Uma estratgia que evidencia a preocupao do CFP com a preparao dos profi ssio-nais pode ser ilustrada com a realizao, nos dias 25 e 26 de abril de 2003, em Braslia/DF, de uma reunio ampliada, com todos os Conselhos Regionais de Psicologia, destinada a unifi -car as estratgias para o lanamento do primeiro edital. Foi acordo dessa reunio ampliada que todos os Conselhos Regionais promoveriam ampla comunicao sobre a ao em suas bases e que promoveriam fruns de discusses, dirigidos categoria e comunidade, iden-tifi cando possveis difi culdades, favorecendo esclarecimentos e troca de informaes. Esse processo ainda tinha como objetivo favorecer a refl exo e a defi nio de novas e possveis estratgias para a implementao da ao desenvolvida pelo Sistema Conselhos de Psico-logia em mbito nacional.

    Alm disso, ainda foram desenvolvidas aes especfi cas de comunicao categoria, o que fi cou marcado pelas inseres do assunto em todas as edies do Jornal do Federal, dos jornais dos Conselhos Regionais e pela elaborao de um folder especialmente criado para distribuio no III Congresso Norte-Nordeste de Psicologia, realizado entre os dias 27

    II - Introduo

  • 16

    e 31 de maio de 2003, em Joo Pessoa PB, evento este que, naquele ano, constituiu-se em um dos maiores e mais importantes eventos da profi sso, tendo reunido, aproximadamen-te, cinco mil participantes.

    Em julho de 2003, o CFP divulgou o primeiro edital referente ao processo de avaliao dos Testes Psicolgicos, que relacionava a etapa de anlise de cada Teste Psicolgico enca-minhado para avaliao.

    A partir da publicao do segundo edital, no dia 6 de novembro de 2003, o site POL www.pol.org.br do Conselho Federal de Psicologia, passou a ocupar um lugar de referncia para a sociedade e para os profi ssionais, indicando os Testes Psicolgicos que estavam sob avaliao da entidade, bem como o resultado dessa avaliao, evidenciando quais Testes Psicolgicos possuam as condies tcnico-cientfi cas mnimas para serem utilizados profi ssionalmente. Nessa data, foi tambm institudo o Sistema de Avaliao dos Testes Psicolgicos Satepsi, hospedado no site POL, que facilitou e legitimou a comu-nicao com toda a categoria a respeito da condio dos Testes Psicolgicos utilizados e comercializados no Brasil.

    Aps o dia 6 de novembro de 2003, o CFP e os CRPs tinham como uma de suas priorida-des esclarecer todas as questes referentes ao. Para isso, novas matrias foram publica-das nos jornais do CFP e CRPs, boletins eletrnicos foram enviados, uma relao de pergun-tas e respostas foi divulgada no site POL e todos os convites para que o CFP apresentasse e debatesse essa ao em encontros e congressos foram aceitos.

    O ano de 2004 foi marcado pelo envio de novos Testes Psicolgicos para avaliao e encaminhamento de estudos, que passaram a incorporar os manuais dos testes. Nesse momento, podemos dizer que a primeira etapa dessa grande ao do Conselho Federal se concretizou. Este relatrio mais um dos passos para tornar pblico todo o esforo de construo dessa poltica, que teve como objetivo ltimo qualifi car o trabalho do psiclogo brasileiro e oferecer sociedade um trabalho respaldado do ponto de vista tico e cientfi co.

    II - Introduo

  • 17

    Ao planejar a avaliao dos Testes Psicolgicos, o CFP preocupou-se em desenvolver um processo que garantisse uma anlise neutra e qualifi cada dos instrumentos de Avaliao Psicolgica. A avaliao deveria ser realizada com tal clareza e preciso que permitisse a qualquer cidado compreender e conhecer as informaes das etapas de avaliao e seus resultados, assegurando, assim, transparncia das aes.

    Para garantir a cientifi cidade do processo de avaliao, foi elaborado um formulrio padronizado para anlise de Testes Psicolgicos, adaptado de Prieto e Muiz1 (2000), que tem por objetivo operacionalizar os requisitos mnimos defi nidos na Resoluo CFP n 02/2003, em seus artigos 3, 4, 5 e 6. A partir desse formulrio, possvel apreciar o conjunto de propriedades bsicas que os instrumentos devem possuir, de acordo com parmetros internacionalmente defi nidos, para que sejam reconhecidos pela comunidade cientfi ca e profi ssional.

    Dessa forma, foi possvel desenvolver um sistema de avaliao tecnicamente qualifi ca-do, dinmico, neutro e transparente, visto que:

    Todo Teste Psicolgico enviado ao CFP para anlise submetido, no mnimo, a duas avaliaes tcnicas realizadas por um parecerista ad hoc e pela Comisso Consultiva em Avaliao Psicolgica (CCAP). No caso de divergncia de parecer, o Teste Psicolgico enca-minhado a um outro parecerista ad hoc, sem que este conhea os resultados anteriores. A Comisso aprecia as avaliaes dos pareceristas ad hoc e emite um parecer fi nal.

    Aps a anlise da CCAP, o teste ainda submetido avaliao do Plenrio do CFP, que poder referendar ou no esse parecer.

    Os autores, editores, laboratrios ou responsveis tcnicos podem, a qualquer mo-mento, submeter um Teste Psicolgico avaliao do CFP.

    A avaliao dos Testes Psicolgicos permite que os responsveis pelo teste possam apresentar informaes complementares que, aps analisadas, possibilitem a aprovao do instrumento.

    No processo de anlise, quando os manuais contm informaes que necessitam de mais esclarecimentos (datas, citaes de pesquisas, caractersticas das amostras, dentre outros), o CFP solicita ao responsvel pelo envio do Teste Psicolgico que os encaminhe para anlise a fi m de poder concluir a avaliao.

    III - O Sistema de Avaliao

    lvaro Jos Lel, Audrey Setton de Souza, Rodrigo Barroso Vasconcelos e Gislene Maia de Macedo

  • 18

    Quando o manual de um Teste Psicolgico no contempla todas as informaes necessrias para sua aprovao, e caso estas j estejam publicadas em artigos cientfi cos, dissertaes e/ou outras publicaes no citadas no manual, elas podem ser acrescentadas, temporariamente, em um anexo ao manual, at que uma prxima edio seja publicada contendo as informaes necessrias para a correta utilizao do instrumento.

    Os pareceres favorveis ou desfavorveis so encaminhados para as editoras. Algu-mas vezes, mesmo um Teste Psicolgico com parecer favorvel pode receber recomenda-es tcnicas que indiquem melhoria na sua qualidade, mas que no invalidam sua utiliza-o.

    medida que os requerentes informam estarem desenvolvendo pesquisa sobre seus Testes Psicolgicos, o CFP divulga essas informaes na relao de testes do Satepsi - Sistema de Avaliao de Testes Psicolgicos.

    Todo o processo de avaliao constitudo por diversas etapas, segundo os arts. 9 e 12 da Resoluo CFP n 002/2003, detalhadas no Fluxograma 1 (pg. 19).

    III - O Sistema de Avaliao

    1 Prieto, G. & Muiz, J. Un Modelo Para Evaluar la Calidad de los Tests Utilizados en Espaa. http://www.cop.es/tests/modelo.htm, acessado em 04/12/00.

  • 19

    Fluxograma 1: Processo de anlise dos Testes Psicolgicos.

    RECEPOPrazo mx.:

    30 dias teis

    ANLISEPrazo mx.:

    60 dias teis

    ANLISEPrazo mx.:

    30 dias teis

    ANLISEPrazo mx.:

    40 dias teis

    ANLISEPrazo mx.:

    30 dias teisAVALIAO

    Sem especificao de prazo

    Recepo doteste pelo

    CFP e enviopara

    pareceristaad hoc

    Parecerista ad hocanalisa e emite

    parecer favorvelou desfavorvel

    Parecerfavorvel

    Parecerdesfavorvel

    LEGENDA:CCAP = Comisso Consultiva

    em Avaliao Psicolgica

    CCAP analisao teste e oparecer doparecerista

    ad hoc

    CCAP analisao teste e oparecer doparecerista

    ad hoc

    CCAP concorda como parecer favorvel eemite novo parecer

    CCAP discorda doparecer favorvel

    emitido peloparecerista ad hoc 2 parecerista

    ad hoc analisae emiteparecer

    favorvel oudesfavorvel

    CCAP analisae emiteparecer

    favorvel oudesfavorvel

    Plenrio CFPjulga parecerda Comisso

    CCAP discorda doparecer desfavorvel

    emitido peloparecerista

    ad hoc

    CCAP concorda como parecer

    desfavorvel e emitenovo parecer

    Parecerfavorvel

    Insero do testena lista de

    TestesPsicolgicos

    Perodo derecurso para o

    requerente.Prazo: 30 dias

    teis

    Parecerdesfavorvel

    III - O Sistema de Avaliao

    Processo de anlise dos Testes Psicolgicos

  • 20

    Satepsi Sistema de Avaliao de Testes Psicolgicos

    O Sistema de Avaliao de Testes Psicolgicos Satepsi, foi criado para sistematizar um banco de dados atualizado de todas as avaliaes de Testes Psicolgicos realizadas, histo-riando o processo desde o recebimento at a sua etapa fi nal, conforme o art. 9 da Resolu-o CFP n 002/2003. Alm disso, a possibilidade de seu acesso pela internet permite que qualquer usurio realize diversos tipos de consultas.

    O banco de dados rene informaes detalhadas dos Critrios de Avaliao da Qualida-de dos Testes Psicolgicos de forma organizada, facilitando a compreenso sobre os Testes Psicolgicos e possibilitando a emisso de relatrios de pesquisa referentes aos seus mais diversos tipos de contedo.

    O Satepsi confi gura-se como um aglutinador de todo o histrico, com informaes, edi-tais e atualizaes na lista mantida a partir do trabalho de avaliao dos Testes Psicolgicos. Dessa forma, o Satepsi caracteriza-se como uma ferramenta pela qual qualquer pessoa poder cadastrar seu Teste Psicolgico, constituindo uma relao de Testes Psicolgicos uti-lizados e/ou existentes no Brasil. Atravs dele, possvel ter acesso, por meio eletrnico, ao formulrio para anlise dos Testes Psicolgicos utilizado pelo CFP (Anexo 1 da Resoluo CFP n 002/2003), proporcionando ao parecerista ad hoc a possibilidade do preenchimento desse formulrio pela internet.

    O preenchimento do formulrio caracteriza a avaliao propriamente dita. o procedi-mento que analisa se o Teste Psicolgico possui as condies de uso atravs dos critrios mnimos estabelecidos pela Resoluo. Tais critrios sero detalhados a seguir.

    III - O Sistema de Avaliao

  • 21

    Para a realizao do processo de avaliao dos Testes Psicolgicos, foram utilizados os principais fundamentos psicomtricos, alm de uma srie de critrios mnimos descritos a seguir.

    Avaliao Psicolgica

    A Avaliao Psicolgica constitui-se na busca sistemtica de conhecimento a respeito do funcionamento psicolgico das pessoas, de forma a poder orientar aes e decises futuras.

    Esse conhecimento sempre gerado em situaes especfi cas, envolvendo questes e problemas tambm especfi cos. Na clnica, por exemplo, o profi ssional pode fazer uma Avaliao Psicolgica para entender melhor os problemas vivenciados por uma pessoa e pensar quais so as melhores formas de ajud-la a superar tais problemas, ou, na escola, pode procurar entender porque uma criana tem difi culdades para aprender ou como esti-mular seu desenvolvimento, ou, na rea forense, em que necessrio entender quais razes levaram uma pessoa a cometer um crime ou se ela pode ser considerada responsvel pelos seus atos, ou, ainda, no trabalho, em que o profi ssional procura identifi car qual pessoa po-deria ser selecionada para um determinado cargo. Est implcito na Avaliao Psicolgica que o objetivo ltimo, ainda que idealmente, sempre ser benefi ciar as pessoas envolvidas.

    Testes Psicolgicos

    Os Testes Psicolgicos so procedimentos sistemticos de coleta de informaes que municiam o processo amplo e complexo de Avaliao Psicolgica com dados teis e confi -veis. Existem vrias formas de se obter informaes, tais como a observao direta, as entre-vistas, a anlise de documentos e a aplicao de testes propriamente dita. Fica claro, ento, que os Testes Psicolgicos so uma das formas possveis de se obter informaes sobre as pessoas durante a Avaliao Psicolgica.

    Em geral, os Testes Psicolgicos propem tarefas especfi cas s pessoas como meio para observar a manifestao do comportamento e, por meio dessas manifestaes, inferir caractersticas psicolgicas. Partindo-se da maneira como as pessoas se comportam nessas tarefas, os profi ssionais inferem caractersticas psicolgicas associadas. As tarefas podem constituir-se em problemas de raciocnio, frases autodescritivas, tarefas de expresso, como desenhar, contar histrias, perceber fi guras em manchas de tinta e outros.

    Uma questo importante que se faz em relao aos testes refere-se legitimidade das inferncias feitas. A fundamentao slida, para elas, construda, gradativamente, por

    IV - Critrios para Avaliao dos Testes Psicolgicos

    Ricardo Primi, Regina Sonia Gattas F. do Nascimento e Audrey Setton de Souza

  • 22

    uma srie de estudos buscando evidncias de validade, preciso e informaes normativas, quando for o caso. A Resoluo do CFP n 002/2003 estabelece os requisitos mnimos ne-cessrios aos testes disponibilizados para uso profi ssional nos termos desses parmetros, amparada em documentos internacionais que defi nem, em detalhes, tais caractersticas. (International Test Commission, 2000; American Educational Research Association, American Psychological Association & National Council on Measurement in Education, 1999; Canadian Psychological Association, 1996)

    A seguir, sero defi nidas, sucintamente, cada uma dessas caractersticas e, ao fi nal, quais foram os critrios mnimos exigidos para que o teste recebesse um parecer favorvel em funo do tipo de teste em considerao.

    Validade

    O ponto crtico dos Testes Psicolgicos a validade das interpretaes feitas das res-postas dadas na testagem, e, por isso, a validade uma caracterstica fundamental dos instrumentos de avaliao. Refere-se legitimidade das interpretaes dadas a partir dos indicadores observados na aplicao de testes, analisados com base nos comportamentos caractersticos que a pessoa apresentou na realizao da tarefa proposta pelo teste. Uma questo fundamental que precisa ser respondida indaga sobre quais evidncias empricas justifi cam essas interpretaes, isto , quais dados existem indicando que essas interpreta-es sejam coerentes e legtimas, ou seja, resultante de pesquisas delineadas para testar os pressupostos de tais interpretaes. O estudo de validade traz o embasamento cientfi co aos instrumentos de avaliao. Os mtodos de validar um teste no diferem muito daque-les usados para validar teorias psicolgicas (Muniz, 2004); portanto, esto associados ao conjunto de evidncias empricas favorveis ao signifi cado que se est atribuindo aos in-dicadores. As pesquisas de validade sustentam cientifi camente e justifi cam as associaes propostas entre os indicadores e as caractersticas psicolgicas.

    Elaborando-se um pouco mais esse conceito, deve fi car claro que, como afi rmam Anas-tasi e Urbina (2000), [...] a validade de um teste no pode ser relatada em termos gerais. No podemos dizer que um teste tem alta ou baixa validade em termos abstratos. Sua validade precisa ser estabelecida com referncia ao uso especfi co para o qual o teste est sendo considerado (p.107). Nesse sentido, cada afi rmao sobre alguma caracterstica psicolgica diferente observada a partir de algum indicador no teste deve ser validada. A pesquisa de validade, portanto, composta de vrias sub-pesquisas, cada uma testando algum aspecto interpretativo do teste.

    Exner (1993), por exemplo, realizou centenas de estudos de validade das interpretaes das respostas ao teste Rorschach. Uma delas refere-se s respostas de refl exo, ocorrendo quando uma parte da mancha referida como sendo o refl exo da outra. Respostas desse tipo, em nmero elevado, indicam um foco de ateno voltado mais para si do que para os

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 23

    outros, uma tendncia a superestimar o prprio valor e assinala a presena de caracters-ticas narcsicas na personalidade. Essas respostas fazem parte do ndice de Egocentrismo. Um dos primeiros estudos de validade desse ndice envolveu 21 pessoas que passavam por um processo seletivo. Na entrevista, o examinando fi cava espera do entrevistador, que chegava sempre 10 minutos depois de o sujeito ter entrado na sala. Nesta, havia um espe-lho e uma cmera escondida atrs do espelho, fi lmando o sujeito. A partir das gravaes, os pesquisadores contaram o tempo que o sujeito passou olhando-se no espelho. Alm disso, contaram o nmero de vezes que o sujeito usou os pronomes pessoais eu e meu durante a entrevista. Essas variveis estavam associadas, signifi cativamente, ao nmero de respostas de refl exo, apoiando a interpretao de que respostas desse tipo indicam um funciona-mento mais egocntrico.

    Em outro estudo envolvendo 40 pessoas, Exner (1993) calculou a diferena entre auto- descries com adjetivos sobre como sou em contraposio a autodescries sobre como gostaria de ser. Os sujeitos com menor nmero de discrepncias entre as descries reais-ideais apresentavam maior nmero de respostas de refl exo, apoiando a interpretao de auto-estima mais infl ada associada s respostas de refl exo.

    Como evidenciado acima, o trabalho de validao de um teste muito complexo. Na verdade, ele dinmico e praticamente interminvel. Os vrios estudos podem ser vistos como pequenas provas que vo acumulando-se sobre o que e como se deve interpretar os indicadores obtidos em um teste. Existem vrias formas de se buscar evidenciar a valida-de das interpretaes do teste, dentre as quais aquelas baseadas na anlise do contedo dos itens do teste, nas relaes com outras variveis, no processo de resposta, na estrutura interna dos itens ou nas conseqncias da aplicao de testes (AERA, APA, NCME, 1999). To-das essas formas consistem em procedimentos diferentes de coleta de informaes sobre validade e respondem a questes diferentes, cada uma com maior pertinncia em razo dos propsitos e contextos em que se pretende utilizar o instrumento de avaliao.

    Dessa forma, a Resoluo CFP n. 002/2003 utiliza a terminologia proposta por Prie-to e Muniz (2000), que subdivide as pesquisas para validao de um Teste Psicolgico em trs maneiras: validade de contedo, validade de constructo e validade de critrio, que, por sua vez, so subdivididas da seguinte forma:

    Validade de contedo: qualidade da representao do contedo ou domnio; con-

    sulta a especialistas;

    Validade de constructo: correlao com outros testes ou validade convergente-dis-

    criminante, diferenas entre grupos, matriz multitrao-multimtodo, consistncia interna

    ou anlise fatorial (exploratria ou confi rmatria) e delineamentos experimentais;

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 24

    Validade de critrio: concorrente e preditiva.

    Mais informaes sobre esses mtodos podem ser obtidas a partir da literatura especia-lizada indicada no fi nal do relatrio.

    Validade das Tcnicas Projetivas

    As tcnicas projetivas so instrumentos utilizados predominantemente na clnica, den-tro de um processo mais amplo de Avaliao Psicolgica, sempre usando como fundamen-tao um referencial terico que promove a compreenso dinmica da personalidade.

    O fato de serem utilizados na clnica levava falsa premissa de que poderiam ser vali-dados na prpria clnica, prescindindo de estudos psicomtricos, e que esse tipo de estudo poderia levar a um empobrecimento e categorizao que contrariam os procedimentos de avaliao clnica. Esse risco de empobrecimento decorrente da categorizao neces-sria para a validao fez com que os psiclogos caminhassem para o outro extremo, que era a recusa dos critrios da Psicometria necessrios a avanos nas pesquisas da rea. Tal perspectiva criava uma situao dicotmica: por um lado, os que trabalhavam com essas tcnicas tinham plena confi ana nelas, sem se preocupar em divulgar seus conhecimentos, resultados de suas experincias, nem em transform-los em estudos mais sistemticos que permitissem alguma validao dos mtodos utilizados; enquanto os psiclogos de viso contrria criticavam os mtodos projetivos pelo fato de no possurem critrios sistem-ticos de avaliao. Podemos afi rmar que se trata de um equvoco, pois os instrumentos de Avaliao Psicolgica, mesmo que subjetivos, no prescindem de um rigor metodolgico e, no sentido inverso, esse rigor no invalida a interpretao clnica.

    Para compreender a dinmica individual de uma pessoa em uma Avaliao Psicolgica, devemos integrar os dados das entrevistas, das observaes, do vnculo estabelecido com a pessoa, com a considerao relativa situao para a qual estamos realizando aquela ava-liao. Se, a esses dados, o profi ssional tiver referncia de resultados de Testes Psicolgicos utilizados como um dos itens da avaliao, a margem de segurana ser maior, especial-mente se os instrumentos forem padronizados e evidenciarem bons resultados psicomtri-cos (validade, preciso).

    O problema que se discute atualmente como realizar estudos psicomtricos com instrumentos clnicos, pois estes, devido a sua complexidade caracterstica e natureza ambgua, aliadas ao carter idiossincrtico no modo de responder ao instrumento, mos-tram-se mais difceis de quantifi car e padronizar e, portanto, mais resistentes para satisfazer os critrios de mensurao do que os testes objetivos, que, por sua vez, trabalham com um nmero mais reduzido de variveis e com resultados mais objetivos, o que acarreta maior facilidade de quantifi cao.

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 25

    A difi culdade de validao dessas tcnicas, pelo fato de serem instrumentos que de-mandam mais habilidade e conhecimentos do psiclogo, um tempo maior de aplicao e uma difi culdade de constituir amostras signifi cativas para pesquisa, aliadas a conceituaes tericas que as criticavam, levaram a uma reduo na quantidade de investigaes na rea.

    Essa difi culdade refl ete-se no ensino e na utilizao das tcnicas menos objetivas por psiclogos iniciantes, que, antes de construrem um referencial mais seguro para a utiliza-o desses instrumentos, poderiam incorrer em erros devido falta de parmetros sistema-tizados para as suas interpretaes.

    Tais foram as razes que levaram a Comisso Consultiva em Avaliao Psicolgica a defender a necessidade de requisitos mnimos em Psicometria para a aprovao das tcni-cas projetivas. Os requisitos utilizados para a aprovao dessas tcnicas, no entanto, foram diferentes dos necessrios para as tcnicas objetivas referenciadas norma, apropriando os critrios a cada tipo de instrumento, visto que os testes projetivos e objetivos possuem caractersticas distintas, conforme artigos 4 e 5 da Resoluo CFP n 002/2003.

    Contudo, ressalta-se que a utilizao das tcnicas projetivas no se reduz aos estudos psicomtricos, na medida em que continua sendo preponderante a fi gura do psiclogo e seu raciocnio clnico, que insere os dados obtidos a partir do teste num quadro global e dinmico, dentro da Avaliao Psicolgica. Contudo, a incluso do julgamento do psiclogo deve sempre ser fundamentada em pressupostos tericos e metodolgicos, coerentes com a situao, que enriquecem e do sentido aos resultados dos instrumentos utilizados.

    Essa caracterstica especfi ca dos instrumentos projetivos leva, portanto, a um excelente resultado, que torna os mtodos projetivos de anlise da personalidade instrumentos fi de-dignos e consistentes, ao mesmo tempo que, com seu uso, podemos alcanar uma compre-enso bastante profunda das pessoas, o que confere aos instrumentos legitimidade, com ampla aceitao pela comunidade cientfi ca e usurios dos instrumentos.

    Vale lembrar que a Psicometria no foi desenvolvida para interpretar dados, mas para fornecer resultados mais confi veis, e, para isso, sempre haver a necessidade de um psic-logo bem preparado para interpretar e fazer do Teste Psicolgico um instrumento confi vel a partir de sua utilizao.

    Lembrando Kaufman (1982), o valor do teste instrumental e tudo depende da com-petncia de quem usa, e esse algum tem que ser melhor que os testes que usa.

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 26

    Preciso

    Outra caracterstica ligada aos fundamentos cientfi cos dos instrumentos a preciso. Como toda avaliao vulnervel ao erro, uma questo de ordem prtica saber o tama-nho do erro que geralmente ocorre nas avaliaes. Os estudos de preciso criam uma nova oportunidade de avaliao, procurando garantir que, na segunda oportunidade, o atributo avaliado no tenha mudado, buscando-se, com isso, verifi car as fl utuaes dos escores de um teste em condies nas quais deveriam permanecer constantes. So, portanto, manei-ras sistemticas de se estudar os erros de medida.

    A preciso, ou fi dedignidade, como s vezes chamada, refere-se ao quanto os escores de um teste so imunes s fl utuaes geradas por fatores indesejveis, isto , os fatores in-controlveis que inevitavelmente interferem nos escores, mas que no possuem nenhuma relevncia para o que avaliado. Esses fatores so chamados fontes de erro. Vrias fontes de erro podem interferir na avaliao, produzindo rudos ou erros nos escores dos testes, dentre elas a subjetividade no processo de correo, fl utuaes entre diferentes situaes de avaliao ou problemas no contedo das tarefas usadas na avaliao. As medidas psico-lgicas sempre estaro vulnerveis ao erro, sendo que a questo de ordem prtica colo-cada pelos estudos de preciso que a magnitude de erro tolervel antes que a medida se torne intil. Delineamentos de estudo da preciso dos instrumentos tentam estimar a magnitude das fl utuaes dos escores de um teste em condies nas quais deveriam permanecer constantes, separando, portanto, a variabilidade, que pode ser considerada real, isto , associada s caractersticas de interesse da variao de erro, ou seja, associada a fatores irrelevantes.

    Nesse sentido, a Resoluo CFP n 002/2003 considera como estudos de preciso a uti-lizao dos seguintes delineamentos: equivalncia (formas paralelas), consistncia interna, estabilidade (teste-reteste) e preciso de avaliadores. No obstante, tambm analisado se os coefi cientes decorrentes desses estudos so calculados para diferentes grupos de sujeitos.

    Preciso X Validade

    A preciso uma caracterstica necessria, mas no sufi ciente para a validade de um instrumento. Testes com baixa preciso sofrem muita infl uncia de fontes de erro, de tal forma que h incerteza se as variaes nos escores esto associadas s caractersticas de interesse ou aos fatores irrelevantes. Nessa situao, os escores so pouco confi veis e comprometem a validade das interpretaes que seriam feitas. Dessa forma, a baixa preci-so compromete a validade. Por outro lado, a alta preciso, ainda que indique pouca vul-nerabilidade s fontes de erro, no constitui evidncia sufi ciente de que as interpretaes associadas aos escores sejam legtimas. Alta preciso o primeiro passo e indica que algo consistente foi captado pelos escores do teste. Entretanto, estudos de validade so neces-

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 27

    srios para provar que esse algo captado realmente aquilo que o instrumento se propu-nha a avaliar. Portanto, a alta preciso no garante validade.

    Padronizao

    Outro aspecto importante dos instrumentos refere-se ao sistema de interpretao dos escores ou indicadores obtidos no teste. Muitos instrumentos utilizam expectativas normativas como referncias para interpretar os escores. A defi nio do que esperado e, inversamente, do que muito incomum ou diferente, feita comparando-se os resultados obtidos pelas pessoas com os resultados obtidos por grupos de referncia. O Inventrio de Depresso de Beck, por exemplo, avalia depresso por meio de afi rmaes ligadas aos sintomas da depresso, tais como Estou sempre triste e no consigo sair disso, No encon-tro um prazer real em mais nada etc. A defi nio do que normal feita pelo escore mdio obtido por pessoas funcionalmente normais que nunca se queixaram de depresso. Os resultados do grupo de referncia servem como base para que as respostas de uma pessoa possam ser comparadas e contextualizadas. Os estudos normativos procuram estabelecer as expectativas para os escores do teste de tal forma a possibilitar a comparao de casos individuais com essas tendncias grupais.

    De fato, muitas vezes, os indicadores do teste so comparados com grupos normativos e grupos especfi cos que foram usados em pesquisas de validade de critrio. No Inventrio de Depresso de Beck BDI, por exemplo, possvel comparar o escore das pessoas com grupos sem depresso (grupo normativo) e tambm com grupos que apresentam trans-torno depressivo (grupo critrio). A partir dessa informao, o profi ssional pode inferir com qual grupo as respostas da pessoa avaliada se assemelham.

    Uma das crticas mais comuns aos Testes Psicolgicos a ausncia de estudos norma-tivos no Brasil. Entretanto, a resoluo isolada desse problema no garante a qualidade de um instrumento, sendo necessrios, tambm, os estudos mais fundamentais de validade e preciso.

    Requisitos Mnimos

    As caractersticas descritas acima so importantes porque, se um instrumento no possui evidncias de validade, no h segurana de que as interpretaes sobre as caracte-rsticas psicolgicas das pessoas sugeridas pelas respostas sejam legtimas. No se sabe o que o instrumento avalia realmente. Se um instrumento no possui evidncias de preciso, no se tem idia da magnitude do erro cometido nas avaliaes, isto , no se pode estimar quanto os resultados mudariam se fossem dadas novas oportunidades de avaliao, tais como outro profi ssional avaliando o mesmo sujeito, empregando o mesmo mtodo, ou outro instrumento e/ou oportunidade com os mesmos objetivos. Ainda, a inexistncia de

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 28

    padronizao brasileira pode trazer difi culdades nas interpretaes dos resultados, j que as pessoas sero comparadas com expectativas inapropriadas a nossa realidade.

    Considerando esses parmetros, a Resoluo CFP n 002/2003 prope que, para serem considerados favorveis para uso profi ssional, os instrumentos devem possuir: (a) um ma-nual detalhando a fundamentao terica; (b) as evidncias empricas de validade e preci-so com amostras brasileiras; (c) o sistema de correo e interpretao dos escores; (d) os procedimentos de aplicao e correo, bem como as condies nas quais o teste deve ser aplicado; e (e) a literatura cientfi ca relacionada ao instrumento.

    Para evitar mal-entendidos, deve-se ressaltar que esses requisitos dizem respeito ao uso profi ssional, e no pesquisa. Dessa forma, o parecer desfavorvel impede que o Teste Psicolgico possa ser usado para prestar servios profi ssionais, mas no impede, em abso-luto, o uso do teste como objeto de estudo numa pesquisa. Ao contrrio, a inteno dessa medida estimular a pesquisa, especialmente com os testes considerados desfavorveis, para que um dia sua utilidade possa ser demonstrada e eles possam fi gurar entre os Testes Psicolgicos em condies de uso profi ssional.

    Evidentemente, as defi nies acima, contidas na Resoluo, no fornecem detalhes sufi cientes para que os pareceristas ad hoc e a Comisso Consultiva em Avaliao Psicolgi-ca possam fazer um julgamento preciso de tais requisitos. Diante disso, a Comisso discu-tiu e indicou, com a aprovao do CFP, quais seriam os critrios mnimos exigidos para se conceder um parecer favorvel. Cabe ressaltar que esses requisitos estabelecem o mnimo necessrio, e no o desejvel, e, portanto, no podem ser, necessariamente, considerados indicadores de excelncia.

    A Tabela1 apresenta o que se requereu em relao aos itens listados acima. Para isso, foram considerados dois atributos dos testes analisados: (a) se eles eram projetivos ou no- projetivos; e (b) se, por um lado, eram de origem estrangeira, com uma slida base de pesquisas no exterior, ou, por outro, eram testes estrangeiros com pouco ou nenhum estu-do de validade, preciso e padronizao, quando fosse o caso, ou teste nacional.

    Conforme descrito na Tabela 1, para os testes projetivos com uma slida base de pesquisas no exterior e com a preciso de avaliadores demonstrada, foi requerido, como requisito mnimo, somente um estudo de validade no Brasil. Por outro lado, para testes projetivos que no tivessem uma base consolidada, foram considerados estudos brasileiros de preciso e de validade para as principais interpretaes.

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 29

    Para os testes no-projetivos que contavam com uma base confi vel, foi requerido um estudo de preciso e um estudo de validade realizados no Brasil. Foram considerados, tam-bm, estudos ou referncias a estudos das propriedades psicomtricas dos itens. Se o teste no possua uma base slida de estudos, foram requeridos estudos brasileiros de preciso, anlise de itens e validade para as principais interpretaes.

    Para anlise desses requisitos, utilizou-se a adaptao de um questionrio elaborado por Prieto e Muniz (2000), criado para avaliar a qualidade dos Testes Psicolgicos espanhis. Esse questionrio detalha os requisitos psicomtricos, por exemplo, e os diferentes tipos de estudo de validade e preciso. Alm disso, caracteriza uma srie de informaes gerais do instrumento, como rea de aplicao, constructo medido, tamanho das amostras, dentre outras. O leitor interessado pode ver uma cpia desse questionrio de avaliao no Anexo 1 da Resoluo CFP n 002/2003.

    Para cada Teste Psicolgico, esse questionrio de avaliao foi preenchido de tal forma que se pde produzir um banco de dados com informaes detalhadas sobre os testes analisados. Adiante, nesse relatrio, apresentaremos uma anlise dos itens mais importan-tes desse formulrio, de tal forma que ser possvel caracterizar os instrumentos favorveis e desfavorveis em funo das caractersticas analisadas, especialmente quais caractersti-cas os testes desfavorveis no atenderam.

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 30

    Tabela 1: Operacionalizao dos requisitos mnimos

    C1. ManualManual contendo tcnicas e

    prticas

    Teste estrangeiro com estudos sufi cientes de preciso, valida-de e padronizao no pas de origem nos ltimos 20 anos.

    Teste estrangeiro com pouco ou nenhum estudo de preci-so, validade e padronizao no pas de origem, ou teste criado no Brasil.

    C3. Validade( preciso fazer uma avaliao global, considerando as duas situaes indi-cadas ao lado, para tomada de deciso neste requisito)

    Algum estudo de validade no Brasil, replicando as evidn-cias observadas no pas de origem.

    Estudos de validade das prin-cipais interpretaes preten-didas.

    C4. Preciso / Fide-dignidade

    No-projetivosAlgum estudo no Brasil, com evidncias positivas de preci-so.

    No-projetivosEstudo no Brasil, com evidn-cias positivas de preciso.

    ProjetivosAlgum estudo no Brasil, re-plicando evidncias positivas de preciso, quando esta estabelecida pelos mtodos de estabilidade e/ou consis-tncia interna ou evidncias positivas de preciso no pas de origem, quando esta estabelecida pelo mtodo de concordncia de avaliadores.

    ProjetivosEstudo no Brasil com evidn-cias positivas de preciso.

    C5. Anlise de itens (somente para tes-tes no-projetivos)

    Algum estudo no Brasil sobre as propriedades psicomtricas dos itens.

    Algum estudo no Brasil sobre as propriedades psicomtricas dos itens.

    C6. Sistema de cor-reo e interpreta-o dos resultados

    Se o teste usa o sistema de referncia norma, um estu-do de padronizao no Brasil. Caso empregue outro sistema, considerar se os estudos de validade apiam as interpre-taes.

    Se o teste usa o sistema de referncia norma, um estu-do de padronizao no Brasil. Caso empregue outro sistema, considerar se os estudos de validade apiam as interpreta-es.

    IV - Critrios para Avaliao dos Testes Psicolgicos

  • 31

    Os resultados que se seguem decorrem de anlises estatsticas de todos os dados oriundos do processo de avaliao dos Testes Psicolgicos. No total, foram recebidos 111 Testes Psicolgicos, enviados ao CFP em funo da Resoluo CFP n 025/2001, no perodo de janeiro de 2002 a maro de 2003. A partir de 26 de maro de 2003 at maio de 2004, atendendo Resoluo CFP n 002/2003, foram recebidos mais 23 testes. Durante esse tempo, 28 testes no foram contemplados nas anlises porque foram retirados do sistema de avaliao, pois no eram testes; a editora responsvel deixou de publicar; ou simples-mente porque o processo de avaliao ainda no havia sido concludo, no podendo ser inseridos nos dados reportados neste relatrio.

    Assim, este relatrio est fundamentado em uma amostra de 106 testes psicolgicos listados no anexo 1 - Relao dos testes psicolgicos utilizados na amostra.

    Foram realizadas as seguintes anlises estatsticas: descritivas, consistncia interna dos itens do formulrio de critrios mnimos e correlaes, todos embasados nas informaes preenchidas no formulrio de Avaliao da Qualidade de Testes Psicolgicos (Anexo 1 da Resoluo CFP n 002/2003). Os detalhes dos resultados so apresentados a seguir.

    Descrio Geral dos Testes Psicolgicos(Parte A do formulrio de Avaliao da Qualidade de Testes Psicolgicos)

    Tabela 2: Quantidade dos testes favorveis e desfavorveis, de acordo com a natureza do teste

    Natureza do Teste PsicolgicoTotal

    No-projetivo Projetivo

    Avaliao Final

    Desfavorvel

    Favorvel

    FreqnciaPercentual

    3936,8%

    1211,3%

    5148,1%

    FreqnciaPercentual

    5744,3%

    87,5%

    5551,9%

    TotalFreqnciaPercentual

    8681,1%

    2018,9%

    106100%

    V - Resultados

    lvaro Jos Lel, Audrey Setton de Souza, Gislene Maia de Macedo, Jos Carlos Tourinho e Silva, Maurcio Miranda Sarmet, Regina Snia Gattas Fernandes do

    Nascimento, Ricardo Primi e Rodrigo Barroso Vasconcelos

  • 32

    Tabela 3: Distribuio dos 106 Testes Psicolgicos analisados, por requerente, neste relatrio

    Requerente Freqncia Percentual

    CEPA 33 31,1

    Vetor 26 24,5

    Casa do Psiclogo 25 23,6

    LabPAM 6 5,7

    CETEPP 5 4,7

    Livro Pleno 3 2,8

    Cognio 3 2,8

    Terceira Margem 1 0,9

    EDITES 1 0,9

    LAMP/PUC Campinas 1 0,9

    Gohmes 1 0,9

    EDITORIAL PSY 1 0,9

    Total 106 100,0

    No total, foram analisados 106 testes, editados por nove editoras, dois laboratrios e um pelo prprio autor.

    Quanto s editoras, observamos que a grande maioria dos testes que chegaram para avaliao so da CEPA (31%), Vetor (24%) e Casa do Psiclogo (24%). As demais editoras apresentaram um nmero inferior a 6% relativo a cada.

    Ao fazer a correlao entre a aprovao do instrumento e a editora, encontramos os seguintes resultados:

    Entre os testes da editora CEPA, em um total de 33 testes, 31 (94%) foram avaliados como desfavorveis e 2 (6%), favorveis.

    Da Casa do Psiclogo, entre os 25 testes recebidos, 17 (68%) foram aprovados e os demais (32%) foram considerados desfavorveis.

    Da Vetor, entre os 26 testes recebidos, 16 (61%) receberam parecer favorvel e os demais (38%), desfavorvel.

    Das demais editoras, observou-se que, algumas vezes, a porcentagem era muito eleva-da, seja como favorvel ou como desfavorvel, mas essa porcentagem fi ca comprometida em funo do nmero restrito de testes relativo a cada uma delas.

    V - Resultados

  • 33

    Publicao dos Manuais no Brasil

    Tabela 4: Data da ltima publicao do manual no Brasil

    Data da ltima pu-blicao do manual no Brasil

    Freqncia Porcentagem Porcentagem vlida

    At 1980De 1981 a 1985De 1986 a 1990De 1991 a 1995De 1996 a 2000A partir de 2001

    751

    113937

    6,64,70,9

    10,436,834,9

    751

    113937

    Total 100 94,3 100

    Dados faltosos 6 5,7

    Total 106,00 100,00

    Na Tabela 4, possvel observar que seis manuais no apresentam data de publicao. Entre os restantes, percebemos que a maioria (36,8%) foi publicada entre os anos 1996 a 2000, seguida pelos ltimos anos, ou seja, a partir de 2001 (34,9%). Entre 1986 a 1990, temos somente a publicao de um teste. No geral, podemos dizer que a maioria dos testes tm uma publicao bastante recente e que, na dcada de 1980, temos o menor nmero de publicaes, talvez por ter sido uma dcada em que se deu pouca importncia aos Tes-tes Psicolgicos.

    V - Resultados

  • 34

    Classifi cao das Variveis que os Testes Psicolgicos pretendem medir

    Grfi co 1: Classifi cao das variveis que o teste pretende medir de acordo com a avaliao fi nal do CFP

    Inteligncia Habilidades especficas Psicomotricidade

    Classificao das variveis que o teste pretende medir

    Avaliao Final Desfavorvel Avaliao Final Desfavorvel Avaliao Final Favorvel Avaliao Final Favorvel Total Total %%%f f f

    Funes neuropsicolgicas Personalidade

    100

    75

    50

    25

    0

    19,6

    90,9

    25,5

    19,6

    25,5 22,6

    7,8

    03,8

    7,8

    14,511,3

    37,3

    30,934

    Os nmeros do Grfi co 1 indicam a porcentagem de avaliao favorvel, desfavorvel e totais por varivel.

    Grfi co 1: Classifi cao das variveis que o teste pretende medir de acordo com a avaliao fi nal do CFP (continuao)

    Motivao Atitudes Interesses Valores

    Avaliao Final Desfavorvel Avaliao Final Desfavorvel Avaliao Final Favorvel Avaliao Final Favorvel Total Total %%%f f f

    Outros Total

    100

    75

    50

    25

    0

    2 0 0,93,9

    1,8 2,8

    9,8

    1,85,7

    17,6

    0 0 0

    29,1

    23,6

    100 100 100

    V - Resultados

  • 35

    Quanto s variveis que o teste pretende medir (Grfi co 1), encontramos 34% dos instrumentos que se destinam avaliao da personalidade; 25,5%, medio da inteli-gncia; 22,6%, a habilidades; 11,3%, avaliao das funes neuropsicolgicas; e 3,8%, para psicomotricidade. Encontramos apenas um teste para avaliar motivao (que no est em condies de uso) e nenhum para medida de valores. Destacamos que, entre os 27 testes para avaliao de inteligncia, a maioria (62,9%) foi considerada favorvel, enquanto 37% dos testes foram avaliados como desfavorveis. Para a avaliao de habilidades especfi cas, temos 14, entre os 24 testes apresentados (58,3%), que esto apropriados para utilizao.

    Entre os testes para avaliao de funes psicomotoras, no encontramos nenhum apropriado para utilizao. Dos 12 testes destinados avaliao de funes neuropsico-lgicas, 8 (66,6%) esto apropriados para utilizao. J entre os testes (36) destinados avaliao da personalidade, 19 (52,7%) foram considerados inadequados para a utilizao, enquanto 17 (47,3%) esto em condies de uso. Finalmente, entre os 6 testes para avaliar interesses, apenas 1 (16,6%) foi considerado favorvel, enquanto os outros 5 (83,3%) no esto adequados para utilizao. Ressaltamos que essas classifi caes, como as do item anterior, foram realizadas exclusivamente pelas informaes contidas no manual.

    reas de Aplicao

    Tabela 5: Relao entre a avaliao fi nal dos Testes Psicolgicos e suas respectivas reas de aplicao

    Avaliao fi nal desfavorvel

    Avaliao fi nal favorvel

    Total

    F % F % F %

    rea de aplicao

    Psicologia Clnica 32 62,70 44 80,00 76 71,70

    Psicologia Escolar ou Educa-cional

    36 70,60 30 54,50 66 62,30

    Neuropsicologia 9 17,60 11 20,00 20 18,90

    Psicologia Forense 2 3,90 7 12,70 9 8,50

    Psicologia do Trabalho e das Organizaes

    28 54,90 29 52,70 57 53,80

    Psicologia do Esporte 0 0 0 0 0 0

    Social/Comunitria 2 3,90 2 3,60 4 3,80

    Psicologia do Trnsito 2 3,90 15 27,30 17 16,00

    Psicologia Hospitalar 6 11,80 7 12,70 13 12,30

    Outros 4 7,80 5 9,10 9 8,50

    N 51 100,00 55 100,00 106 100,00

    Total 51 100,00 55 100,00 106 100,00

    V - Resultados

  • 36

    A rea de aplicao de um instrumento foi classifi cada apenas pelas informaes conti-das no manual. Portanto, se algum utilizou um teste para outro propsito, mesmo que por informaes de outra literatura, estas no foram consideradas.

    A leitura da Tabela 5 indica-nos que, quanto rea de aplicao, a maioria dos testes so destinados s reas mais tradicionais da Psicologia, ou seja, rea clnica (71,7%), segui-da da rea escolar (62,3%) e da Psicologia do Trabalho (53,8%). As demais reas concentram menor nmero de instrumentos. Contudo, ainda que restrita, j apresenta uma quantidade signifi cativa de instrumentos destinados Neuropsicologia (18,9%), Psicologia do Trnsito (16,0%), Hospitalar (12,3%) e Forense (8,5%). Para a rea social, encontramos um nmero reduzido de provas (3,8%). Cabe salientar que, entre os testes recebidos, nenhum se dizia destinado Psicologia do Esporte.

    A distribuio relativa a ser desfavorvel ou favorvel, em geral, apresenta-se muito se-melhante, com pequenas excees, a saber, uma quantidade maior de testes favorveis em relao aos desfavorveis nas reas da Neuropsicologia e da Psicologia do Trnsito, possi-velmente por se tratar de instrumentos mais recentes.

    Caractersticas Gerais do Manual

    Tabela 6: Caractersticas gerais do manual

    Avaliao Final Caractersticas gerais do manual

    Natureza do TestePsicolgico

    TotalNo-

    projetivoProjetivo

    F % F % F %

    Desfavorvel

    Fundamentao terica 23 59,00 12 100,00 35 68,60

    Estudos de preciso brasileiros 14 35,90 1 8,30 15 29,40

    Estudos de validade brasileiros 14 35,90 1 8,30 15 29,40

    Sistema de correo e interpretao dos escores brasileiro

    30 76,90 8 66,70 38 74,50

    Informaes sobre a aplicao 38 97,40 12 100,00 50 98,00

    Informaes sobre a correo 38 97,40 11 91,70 49 96,10

    Informaes sobre como interpretar os resultados do teste

    30 76,90 12 100,00 42 82,40

    Indicao da literatura cientfi ca rela-cionada ao instrumento

    18 46,20 11 91,70 29 56,90

    Indicao da populao alvo 28 71,80 11 91,70 39 76,50

    N 39 100,00 12 100,00 51 100,00

    Total 39 100,00 12 100,00 51 100,00

    V - Resultados

  • 37

    Avaliao fi nal Caractersticas gerais do manual

    Natureza do TestePsicolgico

    TotalNo-

    projetivoProjetivo

    Favorvel

    Fundamentao terica 47 100,00 8 100,00 55 100,00

    Estudos de preciso brasileiros 46 97,90 7 87,50 53 96,40

    Estudos de validade brasileiros 47 100,00 8 100,00 55 100,00

    Sistema de correo e interpretao dos escores brasileiro

    47 100,00 8 100,00 55 100,00

    Informaes sobre a aplicao 47 100,00 8 100,00 55 100,00

    Informaes sobre a correo 47 100,00 8 100,00 55 100,00

    Informaes sobre como interpretar os resultados do teste

    44 93,60 8 100,00 52 94,50

    Indicao da literatura cientfi ca rela-cionada ao instrumento

    45 95,70 8 100,00 53 96,40

    Indicao da populao alvo 46 97,90 8 100,00 54 98,20

    N 47 100,00 8 100,00 55 100,00

    Total 47 100,00 8 100,00 55 100,00

    Como podemos observar na Tabela 6, os manuais dos testes que no foram conside-rados favorveis apresentam muitas lacunas de informao fundamental, enquanto os favorveis apresentam muito mais informaes. Observamos, por exemplo, que apenas um dos testes projetivos, entre os considerados desfavorveis, apresentam estudo de preci-so e um estudo de validade no Brasil, como tambm apenas 23 dos testes no-projetivos apresentaram fundamentao terica. Entre os testes favorveis, encontramos praticamen-te 100% em todas as informaes.

    Nota-se, tambm, que todos os testes projetivos, independentemente da avaliao fi nal, possuem informaes sobre a fundamentao terica, aplicao e interpretao dos resultados.

    V - Resultados

  • 38

    Requisitos Tcnicos(Parte B do formulrio de Avaliao da Qualidade de Testes Psicolgicos)

    Fundamentao Terica

    Tabela 7: Apresentao da Qualidade da Fundamentao Terica, considerando a avaliao fi nal para testes projetivos e no-projetivos

    Avaliao Final

    Qualidade da Fundamentao Terica

    No-projetivos

    Projetivos Total

    F % F % F %

    Desfavo-rvel

    Nvel C (insufi ciente) *Nvel B (sufi ciente) **Nvel A (excelente a bom) ***

    18192

    46,2048,705,10

    183

    8,3066,7025,00

    19275

    37,3052,909,80

    Total 39 100,00 12 100,00 51 100,00

    Favorvel

    Nvel B (sufi ciente) **Nvel A (excelente a bom) ***

    2621

    55,3044,70

    35

    37,5062,50

    2926

    52,7047,30

    Total 47 100,00 8 100,00 55 100,00

    *: As informaes so insufi cientes ou no contm as informaes sobre o constructo que se pretende medir, do procedimento de mensurao e das principais reas de aplicao.

    **: Contm sumariamente essas informaes.***: Descrio muito clara e documentada do constructo que se pretende medir, do procedimento de mensurao e

    das principais reas de aplicao.

    Quanto fundamentao terica apresentada nos manuais, encontramos a seguin-te distribuio: entre os 51 testes considerados desfavorveis, 19 (37,3%) apresentaram uma fundamentao terica considerada insufi ciente (nvel C), sendo 18 no-projetivos e apenas um projetivo; 27 (52,9%) apresentaram informaes sufi cientes (nvel B), sendo 19 no-projetivos e 8 projetivos; enquanto 5 (9,8%) testes obtiveram uma avaliao excelente nesse aspecto, dos quais 3 so projetivos e 2, no-projetivos.

    Entre os 55 considerados favorveis, encontramos: 52,7% avaliados com o nvel B, ou seja, apresentam informaes sufi cientes, dos quais 26 so no-projetivos e 3, projetivos; 47,3% obtiveram o nvel A (excelente a bom), dos quais 21 so no- projetivos e 5 so pro-jetivos.

    V - Resultados

  • 39

    Estudos de Validade e Preciso

    Tabela 8: Quantidade de estudos de preciso e validade relacionados com a avaliao fi nal e a natureza do Teste Psicolgico

    Avaliao fi nal

    Estudos de Preciso e Validade

    Teste No-

    Projetivo

    Teste Projetivo

    Total

    F % F % F %

    Desfavor-vel

    Preciso

    Equivalncia(formas paralelas)

    2 5,10 0 0 2 3,90

    Consistncia interna 9 23,10 0 0 9 17,60

    Estabilidade (teste-reteste)

    8 20,50 0 0 8 15,70

    Preciso de avaliadores 0 2 16,70 2 3,90

    Coefi cientes so calcu-lados para diferentes gru-pos de sujeitos

    2 5,10 0 0 2 3,90

    Total 39 100,00 12 100,00 51 100,00

    Validade

    Validade de contedo 8 20,50 0 0 8 15,70

    Correlao com outros testes ou validade con-vergente-discriminante

    9 23,10 1 8,30 10 19,60

    Diferenas entre grupos 5 12,80 0 0 5 9,80

    Matriz multitrao-multi-mtodo

    0 0 0 0 0

    Anlise fatorial (explora-tria ou confi rmatria) / consistncia interna

    2 5,10 0 0 2 3,90

    Delineamentos experimentais

    2 5,10 0 0 2 3,90

    Outros 0 0 0 0 0

    Concorrente 5 12,80 0 0 5 9,80

    Preditiva 3 7,70 0 0 3 5,90Total 39 100,00 12 100,00 51 100,00

    V - Resultados

  • 40

    Avaliao fi nal

    Estudos de Preciso e Validade

    Teste No-

    projetivo

    Teste Projetivo

    Total

    F % F % F %

    Favorvel

    Preciso

    Equivalncia (formas paralelas)

    7 14,90 1 12,50 8 14,50

    Consistncia interna 39 83,00 2 25,00 41 74,50

    Estabilidade (teste-reteste)

    20 42,60 3 37,50 23 41,80

    Preciso de avaliadores 10 21,30 6 75,00 16 29,10Coefi cientes so calcu-lados para diferentes grupos de sujeitos

    8 17,00 1 12,50 9 16,40

    Total 47 100,00 8 100,00 55 100,00

    Validade

    Validade de contedo 16 34,00 3 37,50 19 34,50

    Correlao com outros testes ou validade con-vergente-discriminante

    29 61,70 5 62,50 34 61,80

    Diferenas entre grupos 28 59,60 7 87,50 35 63,60

    Matriz multitrao-multi-mtodo

    1 2,10 0 0 1 1,80

    Anlise fatorial (explora-tria ou confi rmatria) / consistncia interna

    22 46,80 1 12,50 23 41,80

    Delineamentos experimentais

    4 8,50 2 25,00 6 10,90

    Outros 0 0 0 0 0 0 Concorrente 27 57,40 5 62,50 32 58,20Preditiva 2 4,30 0 0 2 3,60Total 47 100,00 8 100,00 55 100,00

    Quanto aos estudos de preciso e validade, encontramos os seguintes delineamentos de pesquisas realizadas no Brasil:

    Preciso: encontramos 23 estudos de preciso entre os testes desfavorveis. Destes, a maior parte de consistncia interna (nove referncias) e de estabilidade teste-reteste (oito referncias), sendo esses estudos, principalmente, relativos aos testes no-projetivos. Os nicos estudos de preciso dos testes projetivos considerados desfavorveis foram dois estudos de concordncia entre avaliadores.

    Validade: 35 estudos de validade foram encontrados para os testes que no foram aprovados. Entre os testes no-projetivos, 23,1% so estudos de correlao com outros tes-

    V - Resultados

  • 41

    tes; 20,5%, de estudos de validade de contedo; 12,8% so estudos para avaliar diferenas entre grupos; 5,1%, anlises fatoriais; e 5,1%, delineamentos experimentais. Para os testes projetivos no aprovados, encontramos apenas uma citao de estudo de validade (cor-relao). No que se refere validade preditiva ou concorrente, temos 12,8% pesquisas de validade concorrente e 7,7% de validade preditiva, todos atribudos a testes no-projetivos.

    De um modo geral, podemos dizer que foram poucos os estudos de validade e preciso para os 39 instrumentos desfavorveis no-projetivos, e ainda maior a carncia para os 12 projetivos considerados desfavorveis.

    J encontramos um quadro muito diferente para os 47 testes no-projetivos e oito pro-jetivos considerados favorveis.

    Preciso:

    Testes no-projetivos: dentre estes, os mais citados nos manuais so os estudos de

    consistncia interna, em 83% dos testes favorveis. Em seguida, encontramos 42,6% de

    estabilidade teste-reteste. Com quantidade menor de referncias, 21,3%, encontram-se os

    estudos de concordncia entre avaliadores e 14,9% de pesquisas de equivalncia (formas

    paralelas).

    Testes projetivos: 75% dos estudos de preciso de concordncia entre avaliadores, seguidos de estudos de estabilidade (37,5%), e depois de estudos de consistncia interna (25%).

    Validade:

    Testes no-projetivos: entre os 47 testes considerados favorveis, encontramos 61,7% dos estudos de diferenas entre grupos, 59,6% de estudos de correlao, 46,8% de anlises fatoriais, 8,5% de desenhos experimentais e 2,10% de estudos de matriz multitra-o-multimtodo. Alguns dos instrumentos apresentam mais de um estudo de validade.

    Entre os estudos, encontramos 57,4% referncias a estudos de validade concorrente e apenas 4,3% de validade preditiva.

    Testes projetivos: dos testes projetivos favorveis, 87,5% apresentam, para eviden-ciar sua validade, delineamentos de comparao entre grupos; 62,5%, estudos de correla-o com outros testes ou validade convergente-discriminante; 37,5%, estudos de validade de contedo; 25%, delineamentos experimentais; e 12,5%, estudo fatorial.

    V - Resultados

  • 42

    V - Resultados

    Qualidade dos Estudos de Validade

    Nvel D (insufi c