Correo Automtica de Testes de Mltipla Escolha MCTest - Verso para Android

Francisco de Assis Zampirolli e

Rodrigo Teiske China (bolsa PIBIC/UFABC)

fzampirolli@ufabc.edu.br e rodrigo.china@aluno.ufabc.edu.br

Centro de Matemtica, Computao e Cognio Universidade Federal do ABC - Santo Andr, Brasil 09.210-170

RESUMO

Atualmente h muitos corretores automticos comerciais de testes de mltipla

escolha, usualmente compostos de um software e um scanner especializados. Mas a vasta

disseminao de laptops, tablets e smartphones com cmeras integradas oferece novas

possibilidades para realizar o mesmo servio sem a necessidade de qualquer hardware ou

software extras e com o benefcio da execuo remota de baixo custo. Este projeto visa

apresentar um aplicativo para smartphones, com Android, onde j constatou sucesso na

correo de 674 testes de mltipla escolha de um problema real e desenvolvido

originalmente em linguagem Matlab, para desktop ou notebook.

Vdeo Matlab: http://youtu.be/yRPbGS_YSmQ

Vdeo Android: http://youtu.be/wD3tpu00JOw (testes de 10 questes e 16 tipos)

http://youtu.be/50tknJWfbF4 (testes de 40 questes e 80 questes)

Santo Andr, 2014

INSTALAO

1) Configurao mnima testada: a. Smartphone, com Android 2.2; b. Cmara, 3Mpixel; c. Tamanho da Tela 2,8 QVGA, 262k (cores) e 320h x 240w; d. Touch Screen;

2) No app Play Store do seu smartphone, em Configuraes, Filtragem de contedo,

habilite a opo Todos, para permitir a instalao de todos os aplicativos;

3) Instalar o aplicativo MCTest: https://play.google.com/store/apps/details?id=com.corretordetestes

Ou http://vision.ufabc.edu.br/MCTest/MCTest.apk

CORREES DOS TESTES Vejam em http://vision.ufabc.edu.br/MCTest//TestsExamples vrios exemplos de formatos de testes para serem aplicados. Para smartphones antigos, com processamento lento, as correes podem demorar alguns segundos para cada teste. O nmero mximo de questes de um teste vai depender da resoluo da cmera de vdeo do smartphone, no ultrapassando 40 questes, segundo os nossos experimentos. Porm, possvel fazer vrios quadros de respostas em um mesmo teste, bastando que os quadros de respostas estejam a pelo menos 1 centmetro de distncia um do outro, e que o usurio some os resultados dos vrios quadros para se ter a pontuao final de cada teste. Um Projeto (subpasta salva na pasta MCTest do smartphone) suporta at 16 tipos diferentes de testes com 5 alternativas de respostas em cada questo. Assim, o professor pode aplicar em um Projeto (turma) at 16 testes diferentes. Em nossos testes foi utilizado 5 alternativas de respostas para cada questo, porm este nmero pode mudar, consequentemente, mudar tambm a quantidade de tipos diferentes de testes suportados para cada Projeto, seguindo uma escala binria (por exemplo, 5 alternativas de respostas implica 4 bits e 16 tipos; 4 alternativas implica 3 bits e 8 tipos de testes em cada Projeto). Cada questo pode ter um peso de 1,5 se a ltima linha da questo estiver marcada no gabarito, caso contrrio ter peso 1. No aplicativo MCTest, primeiro gerem os processamentos (correes) dos gabaritos, depois corrijam os testes. As prximas figuras foram capturas de um smartphone Samsung Galaxy Note 2, e ilustram este processo de correes de testes de mltipla escolha usando o MCTest.

Figura 1: Tela de apresentao, ao executar o aplicativo (verses em portugus e ingls).

Figura 2: Tela Inicial.

Figura 3: Tela de Novo Projeto (nesta figura a pasta test10 ser salva em MCTest).

Figura 4. Aps criar/salvar o Novo Projeto test10, escolha Novo Gabarito.

Figura 5. Posicione o quadro de respostas do teste entre as linhas verdes, os 4 extremos

deste quadro de respostas devem ficar na rea branca, fora da elipse vermelha (IMPORTANTE: deixar fundo branco entre estas linhas, alm do quadro de respostas) e

fotografar (boto verde).

Figura 6. Se os 4 extremos da imagem desta figura so tambm do quadro de respostas,

ento Enviar para Correo, seno Tentar Novamente.

Figura 7. Gabarito de um teste tipo 0 (numerao binria, com bit menos significativo na

segunda linha da ltima coluna do quadro de respostas). Voltando Figura 4 e aps o processamento do(s) gabarito(s se tiver vrios tipos diferentes de testes em uma Projeto), escolha Corrigir Teste, e fotografar (boto verde) um teste para realizar a correo automtica usando o MCTest, como ilustra a Figura 8.

Figura 8. Teste de um aluno para correo.

Figura 9. Aps fotografar, Enviar para Correo, se os 4 extremos da imagem desta

figura so tambm do quadro de respostas, como ocorrido na Figura 6.

Figura 10. Correo de um teste de um aluno.

Esta Figura 10, juntamente com a imagem do teste do aluno (Figura 8) so salvas no smartphone, se a opo Salvar Imagens dos Testes estiver marcada na Figura 3, veja

Figuras 11 e 12. Independente desta opo, teremos um arquivo CSV com os resultados de todas os testes corrigidos de um determinado Projeto, neste caso test10, veja Figura 14. Nesta Figura 10, tambm tem uma caixa de texto para que o usurio inclua uma identificao do estudante, que opcional.

Figura 11. Pasta test10 e arquivo test10.csv salvos no smartphone.

Figura 12. Imagens salvas na pasta test10, referentes aos 3 testes corrigidos.

Figura 13. Contedo do arquivo test10.csv, referente aos 5 testes corrigidos.

Voltando novamente Figura 4, aps o processamento do(s) gabarito(s) e aps Corrigir Teste para a correo de vrios testes, possvel visualizar a Estatstica das respostas, como apresentado da Figura 14. Nesta figura, escolha o tipo do teste, por exemplo, tipo 0 e escolha o boto OK, assim ser apresentada a estatstica geral, como mostra a Figura 15. possvel tambm escolher a estatstica especfica de uma questo, como apresentado na Figura 16 para a questo 9.

Figura 14. Na Figura 4, ao escolher o boto Estatstica.

Figura 15. Estatstica Geral de 5 testes, nesta ilustrao somente a questo 9 teve um acerto

e a questo 10 todos erraram. As demais questes todos acertaram.

Figura 16. Estatstica especfica para a questo 9, considerando 5 testes. Nesta ilustrao

ningum respondeu a opo A e as demais respostas foram um B, um C, um D, um E e um teve a questo invlida, opo O.

Dentro da pasta MCTest/test10 possui tambm a pasta Result, contendo um arquivo csv com a somatria de todas as respostas para o clculo das estatsticas apresentadas anteriormente, veja na Figura 17 o contedo deste arquivo.

Figura 16. Arquivo contendo o somatrio de todas os testes corrigidos, considerando cada

resposta de cada questo um valor unitrio e questes invlidas, somam-se a linha O deste arquivo.

Figura 18. Na Figura 2, ao escolher o boto Sobre.

SUGESTES Testar: Antes de aplicar um teste em uma turma (principalmente com muitos estudantes), sugerimos imprimir o gabarito e algumas folhas de teste e realizar alguns experimentos para ver se o aplicativo MCTest funciona corretamente em seu smartphone. Usar por exemplo, os modelos de testes disponveis em http://vision.ufabc.edu.br/MCTest/TestsExamples. Pintar corretamente: Os experimentos realizados indicam que as respostas dos estudantes que no pintaram corretamente os quadrados (fizeram algumas linhas caneta, deixando muito fundo branco) no foram consideradas pelo MCTest, dando uma pontuao inferior. Neste caso, o professor pode destacar mais a resposta do estudantes pintando com um lpis no quadrado pintado de forma incorreta. Quando ocorre uma resposta invlida (sem resposta ou com mais de uma resposta por questo) o aplicativo destaca em amarelo a coluna. Nos experimentos realizados com o MCTest, em 185 testes com 8 tipos diferentes de gabaritos, dois testes apresentaram este problema e foi resolvido facilmente rabiscando com um lpis o(s) quadrado(s) pintado(s) de forma incorreta. Assim, sugerimos fortemente que o estudante pinte por completo o quadrado da resposta de uma questo, de preferncia com caneta de cor preta. O MCTest faz filtros e considera pelo menos 50% do quadrado pintado. Fundo branco: IMPORTANTE - ao Fotografar, alm do quadro de respostas, deixar fundo branco entre as linhas verdes (veja um exemplo na Figura 5), seno o MCTest vai reconhecer rudos como extremos, contrrio ao que ocorre na Figura 6. Boa iluminao: Ao fotografar um quadro de respostas, a iluminao pode influenciar nas correes. Assim, escolha uma ambiente bem iluminado, sem sombras, sem reflexes de luz, e que em todo o quadro de respostas tenha a mesma intensidade de luz. Folha num plano: Tambm, o quadro de respostas deve estar em uma superfcie plana, ao ser fotografada, principalmente se for um teste com muitas questes, o que vai deixar os quadrados das respostas bem pequenos. Isso pode fazer com que uma resposta de uma questo fique cortada ao meio numa folha no plana, seguindo o modelo de soluo implementado no MCTest.