Aferição da qualidade das perguntas de escolha múltipla e...
Transcript of Aferição da qualidade das perguntas de escolha múltipla e...
![Page 1: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/1.jpg)
Aferição da qualidade das perguntas de escolha múltipla
Daniel Moura, professor de Farmacologia
e Toxicologia Médica Faculdade de Medicina da Universidade
do Porto
![Page 2: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/2.jpg)
Aferição da qualidade das perguntas de escolha múltipla: I. Avaliar tarefas de complexidade intelectual superiores às da memorização II. Avaliação da boa construção das perguntas III. Avaliação edumétrica
![Page 3: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/3.jpg)
Complexidade intelectual A. criar B. valorizar C. analisar D. aplicar E. compreender F. decorar
Classificação de Bloom (1956) modificada por Anderson e Krathwohl (2001)
![Page 4: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/4.jpg)
A que género pertence o “Poema da auto-estrada” de
António Gedeão? A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico
decorar
![Page 5: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/5.jpg)
Qual das seguintes definições se aplica melhor ao vilancete?
A. Poema de grande dimensão em torno de um assunto grandioso
B. Poema composto de um mote e de voltas que desenvolvem o mote
C. Poema de estrutura rígida com duas quadras e dois tercetos
D. Poema entusiasta em que se canta alguém ou alguma coisa
E. Poema em que se chora a morte de alguém ou se desabafa um sentimento
compreender
![Page 6: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/6.jpg)
De que género é o poema seguinte?
Voando vai para a praia Leonor na estrada preta. Vai na brasa, de lambreta
Leva calções de pirata,(.....)
blusinha de terileno, (.....). Fuge, fuge, Leonoreta. Vai na brasa, de lambreta (-----)
já nem percebe, Leonor, se (-----) são ecos de amor
perdidos se os rugidos do motor. Fuge, fuge, Leonoreta. Vai na brasa de lambreta
A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico
aplicar
![Page 7: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/7.jpg)
Um homem de 42 anos fez análises 1 mês depois de ter começado o tratamento da sua hipertensão arterial essencial moderada. A uricemia subiu de 4,5 g/100 ml antes do tratamento para 6,9 g/100 ml durante o tratamento anti-hipertensor. Qual dos seguintes medicamentos é a causa mais provável do aumento da concentração de ácido úrico? A. losartan B. captopril C. clorotalidona D. bisoprolol E. amilorida
aplicar
![Page 8: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/8.jpg)
GMAT Graduate Admissions Management
Council
Se y = - (4-5), então y = ? A.-2 B.-1 C. 0 D. 1 E. 2
aplicar
Adaptado de GMAT® Premier Program (2008) Kaplan Publishing
![Page 9: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/9.jpg)
(1) x2 - y2 = 0 (2) (x - y)2 =0 x = y? A.(1) é suficiente mas (2) é insuficiente. B.(2) é suficiente mas (1) é insuficiente. C.(1) e (2) juntos é suficiente, mas (1) é insuficiente e
(2) é insuficiente. D.(1) é suficiente e (2) é suficiente. E.(1) e (2) juntos é insuficiente.
GMAT Graduate Admissions Management
Council
Adaptado de GMAT® Premier Program (2008) Kaplan Publishing
aplicar ou analisar
![Page 10: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/10.jpg)
Que marca de focalização interna está presente neste fragmento? De olhos postos nele (Sr.
Castro), Madalena desfiou aos poucos o seu rosário de lágrimas e canseiras. As palavras enrolavam-se na tosse do peito, e as mãos no xaile desbotado. Assim nada conseguiria, reflectiu ela. Bem o notava no rosto parado do Sr. Castro. Ou talvez se enganasse ... Devia ser o fumo acolhedor na boca do ricaço.
• O narrador sabe menos do que a personagem
• O narrador sabe mais do que a personagem
• O narrador sabe o mesmo que a personagem
Analisar ou aplicar
![Page 11: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/11.jpg)
Qual dos seguintes seria o melhor título para o vosso texto?
A. A vida e obra do neurocirurgião Wilder Penfield B. Organização física da memória no cérebro
humano C. As funções cognitivas do lobo temporal do
cérebro D. História dos progressos para a cura da epilepsia E. Onde estão no cérebro as memórias da nossa
infância?
valorizar
Adaptado de GMAT® Premier Program
(2008) Kaplan Publishing
![Page 12: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/12.jpg)
Complexidade intelectual das perguntas de escolha múltipla
A. criar B. valorizar C. analisar D. aplicar E. compreender F. decorar
Classificação de Bloom (1956) modificada por Anderson e Krathwohl (2001)
![Page 13: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/13.jpg)
Alguns exemplos de boas normas de construção de
itens
![Page 14: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/14.jpg)
Os polissacarídeos
A. São constituídos por unidades menores chamadas monossacarídeos
B. Não se encontram na aloe vera C. Formam-se durante a fotossíntese D. Têm a fórmula química CHHOH E. São lipossolúveis
Deficiência: item sem pergunta bem definida (falta de foco)
![Page 15: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/15.jpg)
Qual dos seguintes é o local onde a síntese de polissacarídeos da parede celular das plantas é mais abundante? A. O retículo endoplasmático B. O citossol C. A membrana celular D. O complexo de Golgi E. Os amiloplastos
![Page 16: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/16.jpg)
Que género poético usou António Gedeão, pseudónimo de Rómulo de Carvalho, poeta do século XX que se formou na Faculdade de Ciências da Universidade do Porto, no “Poema da auto-estrada”?
A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico
Deficiência: proposições irrelevantes
![Page 17: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/17.jpg)
Que género poético usou António Gedeão no “Poema da auto-estrada”? A. Soneto B. Ode C. Vilancete D. Elegia E. Poema épico
![Page 18: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/18.jpg)
Qual das seguintes afirmações é verdade para a doença de Crohn? A. Nunca atinge o recto B. Acompanha-se sempre de velocidade de
sedimentação alta C. Pode tratar-se com corticosteróides e
messalazina D. Nunca responde ao etarnecept E. Provoca sempre rectorragias
Deficiências: uso de indícios de resposta através de palavras como nunca, sempre, pode ...; falta de foco
![Page 19: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/19.jpg)
Qual das seguintes é a localização mais frequente da doença de Crohn? A. Rectal B. Gástrica C. Duodenal D. Íleo-cólica E. Esofágica
![Page 20: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/20.jpg)
Qual das seguintes causas de anemias hemolíticas é genética? A. malária B. formação de crioaglutininas C. esferocitose hereditária D. hiperesplenismo
Deficiência: indício de resposta (genética – hereditária)
![Page 21: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/21.jpg)
Qual das seguintes causas de anemias hemolíticas é genética? A. malária B. formação de crioaglutininas C. síndroma de Minkowski–Chauffard D. hiperesplenismo
![Page 22: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/22.jpg)
Aproveitamento das possibilidades do Moodle
Análise mais simples do item pela teoria clássica dos testes
![Page 23: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/23.jpg)
Parâmetros da teoria clássica dos testes apresentados pelo Moodle 2
• Coeficiente de consistência interna do teste (coeficiente α de Cronbach)
• Facilidade de cada pergunta • Discriminação de cada pergunta
(correlação ponto-bisserial)
![Page 24: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/24.jpg)
... Análise geral do teste
![Page 25: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/25.jpg)
Alfa de Cronbach Consistência interna do
teste
α ≥ 0.9 Excelente
0.8 ≤ α < 0.9 Boa
0.7 ≤ α < 0.8 Aceitável
0.6 ≤ α < 0.7 Questionável
0.5 ≤ α < 0.6 Fraca
α < 0.5 Inaceitável
![Page 26: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/26.jpg)
Parâmetros da teoria clássica dos testes apresentados pelo Moodle 2
• Coeficiente de consistência interna do teste (coeficiente α de Cronbach)
• Facilidade de cada pergunta • Discriminação de cada pergunta
(correlação ponto-bisserial)
![Page 27: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/27.jpg)
27
![Page 28: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/28.jpg)
Parâmetros da teoria clássica dos testes apresentados pelo Moodle 2
• Coeficiente de consistência interna do teste (coeficiente α de Cronbach)
• Facilidade de cada pergunta • Discriminação de cada pergunta
(correlação ponto-bisserial)
![Page 29: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/29.jpg)
Valor do coeficiente de correlação ponto-bisserial Coerência da pergunta
α≥ 0.81 excelente
0.41 ≤ α < 0.80 boa
0.26 ≤ α < 0.40 aceitável
0.10 ≤ α < 0.25 fraca
0.00 ≤ α < 0.09 inaceitável
![Page 30: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/30.jpg)
A pergunta 41 é deficiente (discriminação nula)
![Page 31: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/31.jpg)
A pergunta 4 está errada (discriminação negativa) e a 55 é deficiente (descriminação nula)
![Page 32: Aferição da qualidade das perguntas de escolha múltipla e …paginas.fe.up.pt/~lea/__wp/wp-content/uploads/2014/06... · A vida e obra do neurocirurgião Wilder Penfield B. Organização](https://reader030.fdocumentos.com/reader030/viewer/2022032614/5bfd680009d3f2740f8c3c49/html5/thumbnails/32.jpg)
reconhecimento
• Margarida Amaral (GATIUP) • Milton Severo (CEM e ISP, FMUP) • Pedro Vieira (Serviço de Informática,
FMUP) • Hugo Ribeiro (GATIUP)