Geração Semiautomática de Itens a partir de Dados Abertos para avaliações educacionais com o...

Geração Semiautomática de Itens a partir de Dados Abertos para Avaliações Educacionais com o uso de

Testes Adaptativos Computadorizados

Paulo R P Manseira ([email protected])

Mehran Misaghi ([email protected])

Introdução

LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis 2

Instituições de Ensino

Busca e exploração de

dados

Perfilamento, evasão e

qualidade

Complexidade maior em EaD

Personalização do ensinoPostura ativa, ritmo de

aprendizagem e ênfase na formação

Testes diagnósticos e análise de proficiência

Maior esforço na elaboração, análise e feedback

Computerized AdaptiveTesting

Banco de ItensGeração Automática

de Itens

Objetivos

Apresentar uma forma para GAI a partir de uma base de dados LOD,

de forma que os itens gerados possam ser incorporados a um BI

Espera-se possibilitar a ampliação do número de oportunidades para o uso de TAC, com foco em avaliações de baixo risco

• Testes diagnósticos e testes formativos

• Não apresentam consequências diretas em relação à medidas e cálculos de resultados acadêmicos


Procedimentos Metodológicos

Pesquisa Bibliográfica

• TRI

• TAC

• GAI

• LOD

Estudo de caso

• Escopo do sistema

• Modelo de item com IMS-QTI

• EndpointSPARQL do DBpedia

Análise dos dados

• Qualidade dos dados retornados

• Combinação dos dados para geração de itens

4LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis

• Um conjunto de modelos estatísticos e probabilísticos que buscam medir um traço latente

• É um componente da Psicometria que empresta instrumentos de medição da Estatística e Probabilidade

• Sua unidade de análise é o Item

• Para o modelo unidimensional• Independência local (um item não

influencia a resposta a outro item)• Unidimensionalidade (os itens de um

teste medem o mesmo traço latente) TRI

Probabilidade

Estatística

Teoria do Traço Latente

5

Revisão da literatura – TRI

(COSTA, 2009; MOREIRA JUNIOR, 2011; PASQUALI, 2011) LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis

Revisão da literatura – TRI (ML3)


i indica um determinada questão do teste;

j indica um determinado indivíduo que realizou o teste;

Uij é uma variável que assume 1 ou 0, caso o indivíduo jacerte ou erre o item i;

θj é o traço latente estimado do indivíduo j;

ai é o parâmetro de discriminação do item i;

bi é o parâmetro de dificuldade do item i;

ci é o parâmetro de acerto casual do item i;

e é a constante matemática Número de Euler, base dos logaritmos naturais, cujo valor é 2,718281...;

P(Uij=1|θj) é a Função de Resposta do Item (FRI) e indica a probabilidade do indivíduo j com traço latente medido em θjresponder corretamente o item i, ou seja, é a proporção de respostas corretas para o item i entre os indivíduos com o traço latente medido em θj.

(MOREIRA JUNIOR, 2011; PASQUALI, 2011)

• Administrados através de um sistema informatizado • Apresenta questões • Coleta as respostas

• Escolhe em tempo real qual item será administrado

• Calcula em tempo real a habilidade do indivíduo

• Possibilita estimações mais precisas sobre o traço latente

• Precisa de menos itens que os testes convencionais

7

Revisão da literatura – TAC Início

Fim

Seleção e apresentação de um

item

Avaliação da resposta

Estimação da(s) habilidade(s)

Critério de parada foi atingido?

sim

não

LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis(VAN DER LINDEN; GLAS, 2010; FETZER et al., 2011; MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012)

Revisão da literatura – GAI

• Criação de itens a partir de um modelo

• Variáveis são preenchidas a partir de um conjunto de definição/restrição

• Modelos gerados a partir de itens calibrados são chamados de Modelos Isomorfos

• Propicia o aumento de tamanho do BI

• Propicia a diminuição da taxa de exposição dos itens

• O uso de itens isomorfos tende a aumentar o erro padrão na estimação

• Menor impacto quando se trata de avaliações diagnósticas ou formativas

LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis 8(REVUELTA, 2000; BEJAR et al., 2003; SOUZA, 2010; MOREIRA JUNIOR, 2011; GIERL; LAI, 2013; LUECHT, 2013; FOULONNEAU; RAS, 2013)

Revisão da literatura – LOD

• Dados abertos

• Triplas sujeito-predicado-objeto

• XML, RDF, RDFS, OWL, SPARQL etc.

LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis 9(HEBELER, 2009; HAUSENBLAS; KARNSTEDT, 2010; LINKING OPEN DATA, 2014)

Revisão da literatura – LOD

LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis 10(DATAHUB, 2014; LINKING OPEN DATA, 2014)

9.855 datasetslistados pela plataforma DataHub

Consultas SPARQL

Modelos de Itens

Dicionário de Dados

Dados Abertos TAC

Banco de

Itens

Resultados e discussão – Foco deste trabalho


Qual a capital do estado de <nome do estado>?

Entre os poetas listados abaixo qual pertence ao movimento artístico <nome do movimento>?


Resultados e discussão – Modelos no padrão IMS-QTI

<choiceInteraction responseIdentifier="RESPONSE" shuffle="false" maxChoices="1">

<prompt>Qual a capital do estado de/do {estado}?</prompt>

<simpleChoice identifier="{codigoResposta1}">{textoResposta1}</simpleChoice>




</choiceInteraction>


<prompt> Entre os poetas listados abaixo qual pertence ao movimento artístico

{nomeMovimento}?</prompt>







Resultados e discussão – Consulta SPARQL


<prompt>Qual a capital do estado de/do {estado}?</prompt>






PREFIX dbpedia-type: <http://dbpedia.org/class/yago/>

PREFIX dbpedia-prop: <http://dbpedia.org/property/>

PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>

SELECT DISTINCT ?estado ?capital

WHERE {

?itemEstado a dbpedia-type:StatesOfBrazil ;

rdfs:label ?estado ;

dbpedia-prop:seat ?itemCapital.

?itemCapital rdfs:label ?capital .

FILTER (

langMatches( lang(?estado), "PT" ) &&

langMatches( lang(?capital), "PT" )

)

}


Resultados e discussão – Consulta SPARQL


<prompt> Entre os poetas listados abaixo qual pertence ao movimento artístico

{nomeMovimento}?</prompt>






PREFIX dcterms: <http://purl.org/dc/terms/>

PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>

PREFIX dbo: <http://dbpedia.org/ontology/>

PREFIX cat: <http://dbpedia.org/resource/Category:>

SELECT ?nomePoeta ?nomeMovimento

WHERE {

?poeta dcterms:subject cat:Brazilian_poets;

rdfs:label ?nomePoeta ;

dbo:movement ?movimento .

?movimento rdfs:label ?nomeMovimento

FILTER (

LANG(?nomePoeta) = "pt" &&

LANG(?nomeMovimento) = "pt"

)

}

Resultados e discussão – Sobre os dados de Estados

• Foi retornado um conjunto com 24 estados: Acre, Alagoas, Amapá, Amazonas, Bahia, Ceará, Distrito Federal, Espírito Santo, Goiás, Maranhão, Mato Grosso, Mato Grosso do Sul, Pará, Paraíba, Paraná, Pernambuco, Piauí, Rio Grande do Norte, Rio Grande do Sul, Rondônia, Roraima, São Paulo, Sergipe e Tocantins

• Não foram retornados• Minas Gerais e Rio de Janeiro devido ao predicado <http://dbpedia.org/property/

seat> possuir um valor literal e não o endereço de outro sujeito no dataset,

• Santa Catarina devido a inexistência da ligação do predicado <http://dbpedia.org/ property/seat> definido


Resultados e discussão – Sobre os dados de Poetas

• Foi retornado um conjunto de 50 poetas brasileiros com os respectivos movimentos artísticos dos quais foram participantes• Foram identificados 4 resultados inválidos nos quais não se identificava corretamente

o nome do movimento artístico: “Poesia concreta”, “Poesia fonética”, “Novas mídias” e “Literatura do Brasil”.

• Outros resultados foram corretamente identificados em cada movimento artístico: • Barroco com 1 resultado, Parnasianismo com 11, Modernismo com 3, Romantismo com

20, Neoclassicismo com 7, Naturalismo com 1, Neorromantismo com 1 e Simbolismo com 2 resultados

• O uso de outros vocabulários trouxeram resultados corretos, mas com poetas diferentes• Ao se trocar o objeto cat:Brazilian_poets por <http://dbpedia.org/class/yago/

BrazilianPoets> o conjunto de itens retornados para Barroco continuou sendo 1, mas ao invés de Gregório de Matos da consulta original obteve-se Bento Teixeira com a nova consulta


Resultados e discussão – Sobre os dados de Poetas

• A criação dos itens a partir dos modelos propostos necessita de uma resposta correta e outras três incorretas• Escolheu-se aleatoriamente outros nomes de capitais ou poetas respectivamente

para as alternativas incorretas de acordo com o modelo de item.

• Através da leitura automatizada dos resultados retornados foi possível gerar os itens preenchendo as variáveis de seus respectivos modelos através de análise combinatória• Para o modelo de item sobre Estados brasileiros obteve-se a construção de 1.771

itens• Para o modelo de item sobre poetas brasileiros foi possível a construção de 49.423

itens diferentes em função da possibilidade de arranjos de subconjuntos de poetas• Desconsiderou-se para cada questão outros poetas do mesmo movimento artístico ou o

poeta cuja escolha seria a correta mas que participou de mais de um movimento


Considerações finais

• Primeira incursão no uso de LOD e GAI

• Percebe-se a possibilidade prática da GAI utilizando LOD

• Identificou-se duas situações sensíveis: • Os dados obtidos podem ser incorretos como os 4 itens identificados pela consulta de poetas• Os dados podem estar ausentes ou não ligados através da ontologia ou vocabulário utilizados na consulta

como é o caso dos poetas do movimento Barroco, Gregório de Matos e Bento Teixeira

• É necessário certo esforço na identificação dos datasets e suas respectivas ontologias e vocabulários, para que se possa realizar uma adequada extração de dados

• Para trabalhos futuros:• A identificação de padrões para a criação de itens mais complexos, como aqueles utilizados no ENEM e outros

exames de larga escala• Construção de uma ferramenta de autoria com foco em usuários especialistas em conteúdo, mas sem

conhecimento técnico das tecnologias envolvidas• Realizar a validação final sobre qualidade dos itens gerados através de um TAC baseado na TRI com o modelo

ML3


Referências

ALVES, D. T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso introdutório de eletromagnetismo. Revista Brasileira de Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1806-11172011000100014&lng= en&nrm=iso>. Acessoem 07 jul. 2013.

BEJAR, Isaac I. et al. A feasibility study of on-the-fly item generation in adaptive testing. The Journal of technology, learning and assessment, v. 2, n. 3, 2003.

BIRNBAUM, A. Some Latent Trait Models and Their Use in Infering an Examinee’s Ability. In: LORD, F. M.; NOVICK, M. R. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley, 1968.

COSTA, D. R. Métodos Estatísticos em Testes Adaptativos Informatizados. Dissertação. 2009. 120 f. Dissertação (Mestrado) – Departamento de Métodos Estatísticos, Instituto de Matemática, Universidade Federal do Rio de Janeiro, Rio de Janeiro.

DATAHUB. DataHub. Disponível em: <http://datahub.io/>. Acesso em: 13 set. 2014

FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.

FOULONNEAU, M.; RAS, E. Assessment Item Generation, the way forward. In: 2013 International Computer Assisted Assessment (CAA) Conference, 20., 2013, Southampton, UK. Proceedings… Southampton, 2013..

GARCIA-CASTRO, R.; FENSEL, D.; ANTONIOU, G. (Eds.). The Semantic Web: ESWC 2011 Workshops. Springer, 2012.

GIERL, M. J.; LAI, H. Using Weak and Strong Theory to Create Item Models for Automatic Item Generation. In: GIERL, M. J.; HALADYNA, T. M. (Eds.). Automatic item generation: Theory and practice. Routledge, 2012.

HAUSENBLAS, M.; KARNSTEDT, M. Understanding Linked Open Data as a Web-Scale Database. In: International Conference Nn Advances In Databases Knowledge And Data Applications (DBKDA), 2., 2010, Menuires. Proceedings... Menuires: IEEE, 2010.

HEBELER, J. et al. Semantic Web Programming. Indianapolis: Wiley Publishing, 2009.

IMS GLOBAL. IMS Global Learning Consortium. Disponível em: <http://www.imsglobal.org/>. Acesso em: 07 set. 2014.

JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.


Referências

LINKING OPEN DATA. The Linking Open Data Cloud. Disponível em: <http://lod-cloud.net/>. Acessado em: 13 set. 2014.

LORD, F. M. A theory of test scores (No. 7). Psychometric Monograph, 1952.

LUECHT, R. M. An Introduction to Assessment Engineering for Automatic Item Generation. In: GIERL, M.; HALADYNA, T. M. (Eds). Automatic Item Generation: theory and practice. Taylor & Francis, 2013.

MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011, 334 f. Tese (Doutorado) – Centro Tecnológico, UFSC, Florianópolis.

PASQUALI, L. Psicometria: Teoria dos testes na Psicologia e na Educação. 4ª ed. Petrópolis: Vozes, 2011.

PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais para avaliações educacionais. 2012, 153 f. Tese (Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.

RASCH, G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen: Danish Institute for Educational Research, 1960.

REVUELTA, J. Estimación de habilidad mediante ítems isomorfos. Efectos en la fiabilidad de las puntuaciones. Psicothema, v. 12, n. 2, p. 303-307, 2000.

SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing. Luxemburgo: European Communities, 2009.

SOUZA, S. Z. Avaliação: da pedagogia da repetência à pedagogia da concorrência? In: DALBEN, A. I. L. F. et al. (Org). Didática: convergências e tensões no campo da formação e do trabalho docente. Belo Horizonte: Autêntica, 2010.

THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research & Evaluation, 16(1), 2011. Disponível em: <http://pareonline.net/getvn.asp? v=16&n=1>. Acesso em 10 jul. 2013.

VAN DER LINDEN, W. J.; GLAS, C. A. W. Elements of Adaptive Testing. Statistical for Social and Behavioral Sciences. New York: Springer Science+Business Media, LLC, 2010.

WRIGHT, B. D. Sample-free test calibration and person measurement. Proceedings of the 1967 Invitational Conference on Testing Problems. Princeton, N. J.: ETS - Educational Testing Service, 1968.


Questionamentos

21LOD Brasil 2014 | 19 a 21 de novembro | Florianópolis

Realização

Apoio

Geração Semiautomática de Itens a partir de Dados Abertos para avaliações educacionais com o...

Education

Transcript of Geração Semiautomática de Itens a partir de Dados Abertos para avaliações educacionais com o...