A Avaliação Psicológica Na Prática Dos Psicólogos - As Provas Psicológicas Usadas Em Portugal
-
Upload
termoplana -
Category
Documents
-
view
6.783 -
download
3
Transcript of A Avaliação Psicológica Na Prática Dos Psicólogos - As Provas Psicológicas Usadas Em Portugal
A avaliação psicológica na prática dos psicólogos: As provas psicológicas usadas em Portugal1
Leandro S. Almeida, António M. Diniz, Lúcia G. Pais & M. Adelina Guisande2
(Universidade do Minho, Instituto Superior de Psicologia Aplicada & Universidade de Santiago de Compostela)
Introdução
A avaliação psicológica acompanha a prática da psicologia nas suas várias
especialidades ou campos de aplicação, seja na psicologia clínica (Bénony, 2002;
Emmanuelli, 2004; Maarse, Mulder, Brand, & Akkerman, 2003), seja na
psicologia forense (Heilbrun, 2001; Pinard & Pagani, 2001; Rogers & Schuman,
2000), seja na psicologia da educação (Andrews, Saklosfski, & Janzen, 2001;
Leitão, 2004), ou na psicologia organizacional (Edenborough, 2005; Thomas,
2003), aceitando-se a sua generalização a todos os contextos da psicologia
aplicada (Fernández-Ballesteros, 1999; Suzuki, Ponterotto, & Meller, 2001). Quer
pelas provas usadas e diagnósticos produzidos, quer pelos fundamentos técnicos
ou pelos referenciais teóricos inerentes às provas e aos constructos avaliados,
importa não menosprezar esta componente identitária dos psicólogos (Simões,
2005).
Ao se assumir que a avaliação psicológica integra a definição do perfil
profissional dos psicólogos, vários compromissos e responsabilidades são
partilhados. Não se podendo reduzir a avaliação psicológica às provas e à sua
utilização, mesmo assim importa cuidar da objectividade, precisão e validade dos
resultados com elas obtidos. Por norma, muitas das críticas à avaliação
1 Estudo resultante do projecto Contextos profissionais, tarefas de avaliação psicológica e utilização de provas psicológicas numa amostra de psicólogos portugueses, financiado pelo Centro de Investigação e Intervenção (CII) do ISPA – Instituto Superior de Psicologia Aplicada, Lisboa, Portugal.2 Financiada pelo Ministerio de Educación y Ciencia (Espanha)
1
psicológica confundem-se com críticas ao método dos testes. São sobretudo
apontados os problemas de falta de equivalência transcultural nos constructos
avaliados através de provas importadas de outros países (Dana, 2005; Hambleton,
Merenda, & Spielberger, 2005; Poortinga, 1989, 1993; Poortinga & Van De
Vijver, 1987), a fraca inovação nas provas disponíveis (Sternberg & Kaufman,
1996) e, nomeadamente em Portugal, a falta de dados normativos ou de outros
referentes interpretativos devidamente actualizados para os resultados nas provas
(Almeida, Simões, & Gonçalves, 1995; Simões, 1993). Se o primeiro problema
exige mais cuidados na adaptação das provas psicológicas a novas populações, o
segundo apela a estudos cíclicos de normalização mais consistentes e
representativos, assim como a análises mais aturadas a propósito da rentabilização
informativa dos resultados nas provas para as diferentes decisões em que o seu
uso aparece sugerido.
Um outro problema na avaliação psicológica, e consequente área de
compromisso, passa pelos próprios psicólogos. Pela relevância das provas
psicológicas na prática dos psicólogos e na vida das pessoas e instituições –
enquanto seus clientes – importa um treino aturado por parte dos psicólogos no
seu manuseio (Almeida, 1994; Bartram, 2001; Eignor, 2001). Ninguém, pelo
simples facto de ser psicólogo, pode considerar-se automaticamente preparado
para usar e rentabilizar, de forma eficiente e eticamente responsável, os testes
psicológicos. Como qualquer instrumento, apela-se a “mãos preparadas” para a
sua utilização adequada. O psicólogo tem que ser melhor do que os testes que usa,
ou seja, tem que saber utilizar inteligentemente os instrumentos de que necessita
na sua prática.
Escolas e associações científicas e profissionais, a par das editoras e
distribuidoras das provas, têm particulares responsabilidades na qualificação da
avaliação psicológica. Vários organismos definiram, e mantêm actualizadas,
directrizes acerca da construção, validação e utilização de testes (American
Psychological Association, 1999; International Test Commission, 2001; Turner,
2
DeMers, Fox, & Reed, 2001). Registe-se a tradução e adaptação para língua
portuguesa das Directrizes Internacionais para a construção, validação e utilização
de testes psicológicos, da autoria da International Test Commission (2001), a
cargo de um grupo alargado de psicólogos portugueses (International Test
Commission, 2003). A avaliação psicológica, com efeito, remete para um
processo complexo de tomada de decisão, envolvendo tarefas de escolha, de
inferência e de formulação de juízos clínicos, e de integração dos resultados no
quadro de um conjunto alargado de informação de natureza e origem diversa
(Diniz, 2004; Krishnamurthy et al., 2004; Simões, 1993). Em nossa opinião, é
essa complexidade do processo de análise e decisão do psicólogo que permite que
os relatórios psicológicos ultrapassem as meras tabelas e as sínteses propostas por
programas informáticos de tratamento dos resultados associados à avaliação
assistida por computador.
Neste estudo e artigo, na sequência de investigações nacionais anteriores
(Almeida & Cruz, 1985, 1988; Cruz & Almeida, 1987; Muñiz, Prieto, Almeida, &
Bartram, 1999), analisamos alguns aspectos referentes à prática da avaliação
psicológica pelos psicólogos portugueses. No caso concreto deste artigo, o
enfoque são as provas psicológicas mais usadas em Portugal, e em que medida
essa utilização assenta em estudos de validação e normalização que suportem o
seu uso.
Método
Amostra
Participaram neste estudo 265 psicólogos portugueses, com idades
compreendidas entre os 25 e os 67 anos (M=39 anos) e na sua maioria do sexo
feminino (78,9%). Em termos de área de graduação ou de área de pré-
especialização da sua licenciatura, a maioria dos respondentes reporta-se à
psicologia clínica (64,3%), seguindo-se a psicologia educacional (22,1%), a
3
psicologia social/organizacional (11,2%) e a psicologia forense (2,3%). O valor
residual que esta última apresenta poderá dever-se à sua recente criação como
área de diferenciação da formação dos psicólogos, ao mesmo tempo que não se
encontra generalizada, como as outras três áreas, nos vários cursos de psicologia
disponíveis em Portugal. Por exigência do próprio estudo, todos os psicólogos
considerados tinham, pelo menos, três anos de prática profissional como
psicólogos.
Instrumento
Partindo de questionários similares (Almeida & Cruz, 1985; Muñiz et
al.,1999; Poortinga et al., 1982), o questionário usado neste estudo inclui questões
reportadas à formação e à prática profissional dos inquiridos, dando-se particular
destaque aos aspectos da sua prática na avaliação psicológica e uso de provas
psicológicas para esse efeito (neste artigo o enfoque são as provas psicológicas
mais utilizadas). Assim, inclui um primeiro grupo de questões descritivas dos
respondentes (e.g., percurso de formação). O segundo agrupamento de questões
versava aspectos relativos à actividade profissional propriamente dita (e.g.,
contexto de exercício). O terceiro agrupamento de questões versava aspectos
relativos à avaliação psicológica no contexto da actividade profissional (e.g.,
utilização de técnicas/instrumentos). Finalmente, o quarto agrupamento de
questões destinava-se às opiniões e necessidades dos respondentes relacionadas
com a utilização de provas psicológicas (e.g., marca distintiva/identitária da
prática psicológica). Como referimos atrás, este artigo reporta-se às provas
psicológicas mais utilizadas pelos respondentes.
Procedimento
Foram expedidos por carta (com envelope de porte pago para resposta)
1312 questionários, havendo pouco mais de 50 que não chegaram aos seus
destinatários, nomeadamente por problemas nos endereços. Responderam ao
4
inquérito e devolveram 289 psicólogos, o que corresponde a uma taxa de resposta
de 23%. Foram anulados 24 questionários porque respondidos por psicólogos com
menos de três anos de prática profissional. Os dados foram inseridos e tratados
estatisticamente através da versão 14.0 para windows do SPSS.
Resultados
Tomando as questões que nos permitem descrever os respondentes em
termos de formação e de práticas, verifica-se que o seu exercício da psicologia
oscila entre 3 e 34 anos de prática profissional (29,1% com seis anos ou menos e
33,1% com quinze anos ou mais). Por outro lado, a maioria considera como
adequada a sua formação académica na área da avaliação psicológica (61,3%),
registando-se 20,7% que a considera pouco ou nada adequada e 18% que a
considera muito adequada. De acrescentar que 65,6% dos sujeitos menciona ter
recebido supervisão no início da sua prática profissional. Entretanto, um quinto
(20,5%) dos respondentes fez um curso de especialização em termos de pós-
graduação, 23,6% realizou mestrado e 9,5% doutoramento (havendo ainda 16%
que mencionam estar a frequentar estudos pós-graduados).
Quanto aos contextos de actividade profissional, a maioria dos
respondentes trabalha em contexto escolar (22,3%) e hospitalar (19,1%). Registe-
se, ainda, 15,2% no Ensino Superior e 10,5% nas instituições da administração da
justiça. Um menor número de psicólogos encontra-se a trabalhar noutras
instituições, como empresas (5,9%) e instituições militares/policiais (7,8%). De
salientar, também, a reduzida percentagem de respondentes que centram a sua
principal actividade profissional na consulta privada (9,4%). Por último, um
número ainda mais escasso de respondentes trabalha em Instituições Particulares
de Solidariedade Social para crianças e jovens (3,1%), autarquias (2%),
instituições de ensino especial (2,3%), centros para toxicodependentes (1,2%),
centros de reabilitação profissional (0,8%) e lares idosos (0,4%).
5
Quanto à idade da população-alvo de intervenção dos respondentes, 43,8%
afirmaram trabalhar com adultos, 35% com crianças e adolescentes e 21,2% com
várias combinações destas faixas etárias. De referir, ainda, que 47,3% dos
respondentes desenvolvem a sua intervenção exclusivamente ao nível individual.
Por último, cerca de um terço dos respondentes (30,6%) afirmaram ter uma
segunda actividade profissional como psicólogos, complementar à actividade
principal assinalada, embora tomemos aqui apenas a informação relativa à
actividade principal.
Nos quadros 1 e 2 listamos as provas psicológicas mais mencionadas pelos
psicólogos quando lhes foi pedido para referir, por ordem decrescente, as cinco
que mais utilizavam. As provas que tiveram ocorrências residuais e que foram
listadas nas últimas posições (utilização relativa menos dominante) não constam
nas tabelas. No quadro 1 a listagem reporta-se às provas de inteligência, enquanto
no quadro 2 essa listagem considera as provas psicológicas da área da
personalidade. De referir que acrescentamos um asterisco sempre que a prova se
encontra devidamente aferida para a população portuguesa (dois asteriscos
quando essa aferição está em curso), alertando desde já para várias dificuldades e
para possíveis imperfeições nesta classificação.
Quadro 1 – Provas de inteligência mais utilizadas pelos psicólogos
Designação Ocorrências
WPPSI (6) + WPPSI-R* (3) 9
WISC* (59) + WISC-R (20) + WISC-III* (32) 111
WAIS (39) + WAIS-R (9) + WAIS-III** (3) 51
Matrizes de Raven: Standard (53) + Coloridas* (11) 64
Desenho da Figura Humana (Goodenough) 13
Bateria de Provas de Raciocínio/BPRD* (32) 32
DAT* (6) + PMA* (4) + GATB* (8) 18
Barragem de Atenção TP* 21
Figura Complexa de Rey** 42
Bender (16) + Benton (5) 24
Legenda: * = aferida; ** = aferição em curso; (n)
6
Observando o Quadro 1, destacam-se, como mais frequentemente
utilizadas, as provas de Wechsler, principalmente a WISC (listada em primeiro
lugar 35,7% das vezes e 23,2% em segundo). Ainda que com menor expressão, é
também assinalável a utilização da WAIS (listada quer em primeiro quer em
segundo lugar 28,2% das vezes), embora nenhuma das suas versões se encontre
aferida para Portugal. Também o testes das Matrizes Progressivas de Raven
(listado em primeiro lugar 11,5% das vezes e 23,1% em segundo), aparece
bastante utilizado, seja na sua versão standard seja na versão colorida (apenas
esta última versão está devidamente aferida em Portugal). De referir, ainda, a
Bateria de Provas de Raciocínio/Bateria de Provas de Raciocínio Diferencial
(listada em primeiro lugar 11,5% das vezes e 37,1% em segundo) e a Figura
Complexa de Rey (listada em primeiro lugar 4,8% das vezes e 14,3% em
segundo), cuja aferição se encontra em curso. Por último, aparecem menos usados
os testes de aptidões diferenciadas (DAT, PMA e GATB) e outras tantas provas
para avaliação de processos cognitivos básicos (TP, Bender e Benton).
Como podemos reconhecer, tendencialmente são mais usadas as provas
previamente aferidas para Portugal, muito embora não pode deixar de se apontar
um uso bastante substancial da escala de Wechsler para adultos (WAIS) quando
não se encontra devidamente aferida, por contraste com a baixa utilização da
escala pré-escolar deste mesmo autor (WPPSI-R) já aferida.
Quadro 2 – Provas de personalidade mais utilizadas pelos psicólogos
Designação Ocorrências
Rorschach 71
TAT (43) + CAT (45) 88
MMPI (26) + MMPI-II (3) + MMPI-R (1) + Mini-Mult (12) 42
MCMI (10) + MCMI-II (7) (Multiaxial de Millon) 17
CPI (California) 10
NEO-PI-R* (12) 12
Inventários de Depressão: Beck* (13) + IACLIDE* (3) + Hamilton (2) 18
Desenho da Família (20) + Livre (8) + HTP (3) + Árvore (2) 33
Legenda: * = aferida; ** = aferição em curso; (n)
7
As técnicas projectivas, nomeadamente o Rorschach (listado em primeiro
lugar 36,6% das vezes e 19,7% em segundo), aparecem amplamente usadas. O
seu uso suplanta claramente a utilização dos questionários de personalidade,
sendo certo que vários destes não se encontram aferidos para a população
portuguesa. Também o MMPI (listado em primeiro lugar 34,6% das vezes e
15,4% em segundo) aparece bastante usado entre os respondentes, mesmo que
ainda não aferido. Assiste-se, ainda, a uma certa utilização das técnicas de
desenho, em particular do Desenho da Família (listada em segundo e terceiro
lugar 29,4% das vezes). Como em relação a alguns contrastes feitos a propósito
das provas de inteligência aferidas e não aferidas, verifica-se uma menor
utilização do questionário NEO-PI-R face às versões do MMPI, quando estas
últimas – ao contrário do primeiro – não se encontram aferidas para Portugal.
Excluindo as provas passíveis de derivação teórica em termos de análise
dos resultados (Rorschach, TAT, CAT e Desenho da Família), é escassa a
percentagem de provas de personalidade devidamente validadas para a população
portuguesa utilizadas pelos respondentes. Esta situação, sem paralelo ao nível das
provas de inteligência, poderá significar uma utilização mais “liberal” destas
provas, por exemplo como guiões de entrevistas, ou então sérias dificuldades de
objectividade e validade dos relatórios produzidos através do recurso às provas
assinaladas. Com efeito, tomando os resultados obtidos neste inquérito, o recurso
em Portugal a provas psicológicas não validadas é especialmente evidente para os
inventários de personalidade (só o NEO-PI-R está validado).
A terminar, importa referir algumas outras provas psicológicas
mencionadas pelos respondentes. Em primeiro lugar, verifica-se uma certa
utilização da Escala de Desenvolvimento de Griffiths (23 ocorrências) que, muito
embora não aferida em termos nacionais, foi objecto de alguns estudos sectoriais
conhecidos e que provavelmente enquadram a sua utilização em situações
específicas (de referir tratar-se de uma escala que abarca diversas áreas do
desenvolvimento psicológico e desde idades bastantes precoces, o que poderá
8
justificar um número bem superior de ocorrências face à WPPSI-R, embora esta
última se encontre devidamente aferida para Portugal). Em segundo lugar,
verificaram-se 12 ocorrências para um conjunto de provas psicológicas de
avaliação dos interesses (Kuder, CDI, Holland), nenhuma delas devidamente
aferida a nível nacional, e 10 ocorrências para escalas de auto-conceito (Piers-
Harris, Susan-Harter, Rosenberg), apenas com alguns estudos de validação
associados.
Discussão
Tomando os elementos de caracterização dos respondentes, podemos
referir a juventude dos profissionais de psicologia em Portugal (menos que um
terço destes profissionais com mais de 15 anos de prática). O aparecimento tardio
dos cursos de Psicologia nas universidades portuguesas (final da década de 1970)
e o aumento exponencial dos cursos de psicologia oferecidos em instituições
privadas do Ensino Superior em Portugal, nos últimos anos, justificam esta
juventude (aliás não se consideraram psicólogos com menos de 3 anos de prática
profissional). Como seria expectável, a larga maioria dos psicólogos trabalha em
contextos de clínica/saúde e de educação.
Descrevendo as percepções e as práticas dos psicólogos portugueses no
que diz respeito à avaliação psicológica, a larga maioria considera a sua formação
académica na área como adequada (apenas cerca de 20% aponta fragilidades
nessa formação). Mesmo assim, assiste-se a uma taxa bastante elevada de
utilização de provas psicológicas não devidamente validadas e aferidas na
população portuguesa. Esta situação é mais frequente na área da personalidade do
que na área da inteligência, mesmo que aqui se verifique, nalguns casos, uma
certa utilização de provas não aferidas (certos serviços, mormente serviços
públicos, recorrem a tal utilização na base de estudos próprios de validação). No
entanto, como dizíamos, a situação é particularmente grave na área da avaliação
9
da personalidade seja ao nível das técnicas projectivas seja ao nível dos
questionários. Deverá ser objecto de maior preocupação a avaliação e
consequente relatório assente em provas apenas circunscritamente validadas na
área da personalidade.
Tudo isto torna clara a necessidade de sensibilizar os psicólogos
portugueses, nomeadamente os académicos, para a necessidade de mais estudos
de aferição para Portugal de provas psicológicas, especialmente na área da
personalidade. Os custos humanos e materiais envolvidos justificam que um
maior número de provas académicas, a nível de mestrado e de doutoramento,
possa ser dedicado a este tipo de estudos. Reclamando-se a avaliação psicológica
e seus relatórios para situações sociais bem específicas, acreditamos que só a
perícia do profissional não é suficiente para algumas das afirmações que,
certamente, integram os relatórios por si produzidos. A ausência de tais estudos
também acaba por condicionar, de forma negativa, a investigação e a prática da
psicologia no nosso País.
Referências
Almeida, L. S. (1994). Inteligência: Definição e medida. Aveiro: CIDInE.Almeida, L. S., & Cruz, O. M. R. (1985). Utilização dos testes psicológicos: Resultados de um
inquérito junto dos psicólogos portugueses. Jornal de Psicologia, 4(5), 11-18.Almeida, L. S., & Cruz, O. M. R. (1988). O uso dos testes como revelador dos modelos de prática
psicológica em Portugal. Psicologia: Teoria e pesquisa, 4(3), 207-224.Almeida, L. S., Simões, M. R., & Gonçalves, M. M. (1995). Provas psicológicas em Portugal:
Situação actual, limitações e desafios. In L. S. Almeida, M. M. Gonçalves, & M. R. Simões (Eds.), Provas psicológicas em Portugal (pp. I-IX). Braga: APPORT.
American Psychological Association (1999). Standards for educational and psychological tests. Washington, DC: APA.
Andrews, J. L., Saklofski, D., & Janzen, H. (Eds.) (2001). Handbook of psychoeducational assessment. New York, NY: Academic Press.
Bartram, D. (2001). Guidelines for test users: A review of national and international initiatives. European Journal of Psychological Assessment, 17(3), 173-186.
Bénony, H. (2002). L’ examen psychologique et clinique de l’adolescent. Paris: Nathan.Cruz, O. M. R., & Almeida, L. S. (1987). A utilização dos testes psicológicos em Portugal:
Análise segundo a formação e o domínio de prática profissional. Jornal de Psicologia, 6(1), 13-19.
Dana, R. H. (2005). Multicultural assessment: Principles, applications and examples. Mahwah, NJ: Erlbaum.
10
Diniz, A. M. (2004). Sobre essas coisas a que chamamos crenças. Lisboa: Climepsi. Edenborough, R. (2005). Assessment methods in recruitment, selection and performance: A
manager’s guide to psychometric testing, interviews and assessment centres. New York, NY: Kogan Page.
Eignor, D. (2001). Standards for the development and use of tests: The standards for educational and psychological testing. European Journal of Psychological Assessment, 17(3), 157-173.
Emmanuelli, M. (2004). L’examen psychologique en clinique. Paris: Dunod.Fernández-Ballesteros, R. (1999). Psychological assessment: Futures, challenges and progresses.
European Psychologist, 4, 248-262.Hambleton, R. K., Merenda, P. F., & Spielberger, C. D. (Eds.) (2005). Adapting educational and
psychological tests for cross-cultural assessment. Mahwah, NJ: Erlbaum.Heilbrun, K. (2001). Principles of forensic mental health assessment. New York, NY: Kluwer
Academic/Plenum.International Test Commission (2001). ITC guidelines on test use [On-line]. Retrieved August
2003 from http://www.intestcom.org/itc_projects.htmInternational Test Commission (ITC) (1999/2003). Adaptação portuguesa das Directrizes
Internacionais para a utilização de testes. Lisboa: Cegoc. [Comissão para a Adaptação Portuguesa: Abel Pires, António Menezes Rocha, Leandro Almeida, Maria João Afonso, Maria João Seabra Santos, Mário R. Simões & Rui Bártolo Ribeiro].
Krishnamurthy, R., VandeCreek, L., Kaslow, N. J., Tazeau, Y. N., Miville, M. L., Kernes, R., Stegman, R., Suzuki, L., & Benton, S.A. (2004). Achieving competency in psychological assessment: Directions for Education and training. Journal of Clinical Psychology, 60(7), 725-739.
Leitão, L. M. (Coord.) (2004). Avaliação psicológica em orientação escolar e profissional. Coimbra: Quarteto.
Maarse, F. J., Mulder, L. J. M., Brand, A. N., & Akkerman, A. E. (2003). Clinical assessment, computerized methods, and instrumentation. Sweets & Zeitlinger.
Muñiz, J., Prieto, G., Almeida, L. S., & Bartram, D. (1999). Tests use in Spain, Portugal and Latin American Countries. European Journal of Psychological Assessment, 15(2), 151-157.
Pinard, G. F., & Pagani, L. (Ed.) (2001). Clinical assessment of dangerousness: Empirical contributions. Cambridge: Cambridge University Press.
Poortinga, Y. H. (1989). Equivalence of Cross-Cultural Data: An Overview of Basic Issues. International Journal of Psychology, 24, 737-756.
Poortinga, Y. H. (1993). La psychologie interculturelle et la démythification de la «culture». In F. Tanon & G. Vermès (Eds.), L’individu et ses cultures (pp. 98-111). Paris: L’Harmattan.
Poortinga, Y., Coetsier, P, Meuris, G., Miller, K. M., Samsonowitz, V., & Seisdedos, N. (1982). A survey of attitude towards tests among psychologists in six European countries. International Review of Applied Psychology, 31, 7-34.
Poortinga, Y. H., & Van De Vijver, F. (1987). Explaining cross-cultural differences. Bias analysis and beyond. Journal of Cross-Cultural Psychology, 18, 259-282.
Rogers, R., & Shuman, D. W. (2000). Conducting insanity evaluations (2nd ed.). New York, NY: Guilford.
Simões, M. R. (1993). Heurísticas, enviesamentos e erros inferenciais na mecânica da avaliação psicológica. Análise Psicológica, XI (2), 253-266.
Simões, M. R. (2005). Potencialidades e limites do uso de instrumentos no processo de avaliação psicológica. Psicologia, Educação e Cultura, IX(2), 237-264.
Sternberg, R. J., & Kaufman, J.C. (1996). Innovation and intelligence testing: The curious case of the dog that did not bark. European Journal of Psychological Assessment, 12 (3), 175-182.
Suzuki, L. A., Ponterotto, J. G., & Meller, P. J. (2001). Handbook of multicultural assessment: Clinical, psychological and educational applications. New York, NY: Wiley.
Thomas, J. C. (Ed.) (2003). Comprehensive handbook of psychological assessment (Vol. 4: Industrial and organizational assessment). New York, NY: Wiley.
11
Turner, S. M., DeMers, S. T., Fox, H. R., & Reed, G. M. (2001). APA’s guidelines for test user qualifications. American Psychologist, 56, 1099-1113.
12