Psico pedagogia 2013

30
Celestino Magalhães José Alberto Lencastre Universidade do Minho

description

This study intends to present a comparison about evaluation of usability and accessibility, which required the creation of two multimedia prototypes named “Moodle” and “Job Search Techniques”, under the project (e-Pris) e-Learning in Prisons. We have built our multimedia prototypes using a conventional model of instructional design, ADDIA. This model demanded the planning of the multimedia prototype, the elaboration of the materials and of the usability tests, with the experts and with the users whose characteristics are similar to those in the target group, as well as the preparation of the accessibility tests. While assessing the usability of the multimedia prototypes, by replacement users with similar characteristics to the target public, we have verified that learning to use the prototype (Learnability), executing all tasks efficiently (Efficiency) and with satisfaction (Satisfaction) were easy. The prototypes have proved to be also somewhat prone to errors (Errors). Nevertheless, we have not properly assessed the memorizing skills’ parameter, related to the ease of remembering the prototype’s functionalities (Memorability). The evaluation of the accessibility has allowed us to make further improvements to the use of the prototype, not just for the users with special needs, but to all the users.

Transcript of Psico pedagogia 2013

Page 1: Psico pedagogia 2013

Celestino Magalhães José Alberto Lencastre

Universidade do Minho

Page 2: Psico pedagogia 2013

O Projeto

O Projeto e-Learning em Estabelecimentos

Prisionais ( e-Pris ) tem por objetivo avaliar a

viabilidade de formação via e-Learning em contexto

prisional, contribuindo para diminuir fatores de risco

e exclusão social e uma melhor (re)inserção social

da população, fomentando a igualdade de

oportunidades e de género.

I

Page 3: Psico pedagogia 2013

O Projeto

Problema

Inexistência de produtos no mercado certificados e

adaptados à formação "a distância” via e-Learning

adequados às características e necessidades das

potenciais formandas.

I

Page 4: Psico pedagogia 2013

O Projeto

Objetivos:

•  identificar as caraterísticas do público-alvo

•  desenhar e criar um protótipo multimédia educativo adequado à formação “a distância” via e-learning de adultos em contexto prisional

•  avaliar a usabilidade e a acessibilidade do protótipo

I

Page 5: Psico pedagogia 2013

Modelo ADDIA

•  O modelo ADDIA é um processo de design interativo

formativo, onde os resultados da avaliação formativa de

cada fase alimentam a fase seguinte mas podem levar

o designer de volta para qualquer fase anterior.

•  Objetivo centrado no utilizador e não na abordagem

tradicional do formador (centrada na instrução), para

que a aprendizagem seja eficaz.

II

Page 6: Psico pedagogia 2013

Modelo ADDIA

Modelo ADDIA (adaptado de Clark, 2000)

II

Page 7: Psico pedagogia 2013

Análise III

(adaptado de Clark, 2000)

Page 8: Psico pedagogia 2013

Desenho

Adaptado de Clark (2000)

IV

Desenho

Objetivos da Formação

Integração das TIC

Interface

Avaliação Fontes de Informação

Estratégias de Ensino

e Motivação

Currículo

Page 9: Psico pedagogia 2013

Desenho Layout do protótipo multimédia educativo

IV

Conteúdo Formativo

Pesquisa e duração do Pacote Formativo

Menu de Navegação

pelos vários

conteúdos

Forma de apresentação do

conteúdo: texto, imagens,

animações, vídeo, flipbook.

Título do Pacote Formativo

Formativo

Page 10: Psico pedagogia 2013

Desenho

Algumas preocupações na construção do protótipo:

a)  Estrutura

b)  Navegação

c) Interface e layout

d)  Rapidez de acesso

e)  Níveis de interatividade

f)  Informação

IV

Page 11: Psico pedagogia 2013

�  Fácil de aprender: a capacidade com que os utilizadores conseguem realizar tarefas básicas quando usam o protótipo pela primeira vez.

�  Eficiente para usar: após os utilizadores terem aprendido o funcionamento do protótipo, conseguem facilmente localizar a informação de que precisam.

�  Fácil de lembrar: depois de algum tempo sem utilizar o protót ipo, conseguem fac i lmente recordar o seu funcionamento.

�  Pouco sujeito a erros: os utilizadores cometem poucos erros durante a utilização do protótipo e, caso aconteça, estes possuem um grau de gravidade baixo e são de fácil correção.

�  Agradável de usar: os utilizadores sentem-se satisfeitos com a utilização do protótipo.

V Usabilidade

Page 12: Psico pedagogia 2013

Para avaliar a usabilidade do protótipo, foram utilizados dois métodos:

�  Avaliação heurística: realizada por peritos à versão alpha do protótipo na fase de desenho;

�  Teste de usabilidade: realizado por um grupo de utilizadores com características semelhantes às do público-alvo, realizado na fase de desenvolvimento.

V Usabilidade

Page 13: Psico pedagogia 2013

�  A avaliação heurística envolveu uma análise do protótipo por 3 peritos que não tiveram participação no projeto. Segundo Nielsen (1994) é o número suficiente de avaliadores que permite identificar a maior parte dos erros de usabilidade.

�  Cada perito avaliou individualmente, de acordo com as heurísticas definidas.

V Avaliação heurística

Page 14: Psico pedagogia 2013

Heurísticas (Nielsen,1994): 1.  Tornar o estado do sistema visível

2.  Falar a linguagem do utilizador

3.  Utilizador controla e exerce livre-arbítrio

4.  Consistência e Adesão a Normas

5.  Evitar erros

6.  Reconhecimento em vez de Memorização

7.  Flexibilidade e Eficiência

8.  Desenho de ecrã estético e minimalista

9.  Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros

10.  Dar Ajuda e Documentação

V Avaliação heurística

Page 15: Psico pedagogia 2013

Recolha dos dados através de um inquérito por questionário dividido em 3 partes:

Parte 1 – Questionário Pessoal

Parte 2 – Consulta e Navegação pelo protótipo

Parte 3 – Questionário composto por 13 questões de resposta fechada e uma de resposta aberta.

V Teste de usabilidade

Page 16: Psico pedagogia 2013

�  Em conformidade com o World Wide Web Consortium (W3C), acessibilidade significa que “pessoas com deficiências possam usar a Web”, isto é, “percebam, naveguem e interajam com a Web”.

�  A acessibilidade é definida por três níveis de prioridade:

i.  aspetos que os criadores de conteúdos Web têm que cumprir;

ii.  aspetos que os criadores de conteúdos Web devem cumprir

iii.  aspetos que os criadores de conteúdos Web podem cumprir.

VI Acessibilidade

Page 17: Psico pedagogia 2013

�  Os níveis de conformidade atribuídos dependem da verificação das prioridades assim:

�  nível de conformidade "A” , se foram satisfeitos todos os pontos de verificação de prioridade 1;

�  nível de conformidade "AA", se foram satisfeitos todos os pontos de verificação das prioridades 1 e 2 e

�  nível de conformidade "AAA", se foram satisfeitos todos os pontos de verificação das prioridades 1, 2 e 3.

�  Os testes de acessibilidade realizados foram baseados nas recomendações WCAG 2.0 da W3C.

VI Acessibilidade

Page 18: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  Avaliação heurística: durante a avaliação heurística foram recolhidos dados quantitativos – número de transgressões observadas em cada uma das heurísticas – e dados qualitativos, através dos comentários efetuados pelos avaliadores.

Sim Não Não Avaliado

1. Tornar o estado do sistema visível 100% 0% 0%

2. Falar a linguagem do utilizador 95% 0% 5%

3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%

4. Consistência e Adesão a Normas 100% 0% 0%

5. Evitar erros 83% 0% 17%

6. Reconhecimento em vez de Memorização 97% 0% 3%

7. Flexibilidade e Eficiência 92% 0% 8%

8. Desenho de ecrã estético e minimalista 94% 0% 6%

9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros

67% 0% 33%

10. Dar Ajuda e Documentação 80% 13% 7%

% de RespostasHeurísticas

VII

Page 19: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  Das 10 heurísticas, subdivididas em 62 sub-heurísticas, duas apresentaram problemas.

�  Os problemas foram classificadas de acordo com o grau de severidade.

�  Das 62 sub-heuríst icas, três (cerca de 5%) apresentaram problemas de usabilidade

�  59 (cerca de 95%) foram referenciadas como não apresentando qualquer tipo de problema.

VII

Page 20: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  Teste de usabilidade com utilizadores: para a recolha de dados foram utilizadas/os:

�  Inquérito por questionário, em papel e entregue às participantes no início da sessão;

�  Observação, os dados e informações foram registados em Grelhas de Observação (tempo gasto na realização das tarefas, tempo gasto para concluir o teste e registo das classificações obtidas pelas participantes).

VII

Page 21: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  A seleção dos utilizadores que realizaram os testes de avaliação da usabilidade foi feita tendo em conta dois critérios: �  características pessoais (idade, género, habilitações), e �  experiência tecnológica (utilização de computador,

utilização de documentos multimédia, utilização da Internet, conhecimentos dos conteúdos).

�  Devido ao facto do público-alvo se encontrar em reclusão prisional, não foi possível utilizar uma amostra proveniente do grupo. A solução encontrada foi escolher um grupo com o maior número de características semelhantes.

VII

Page 22: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  Relativamente aos testes de usabilidade dos protótipos e tendo em atenção as respostas apresentadas nos inquéritos por questionário, consideramos uma escala onde a resposta “Nunca” corresponde a 0 e a resposta “Sempre” corresponde a 2.

VII

Parâmetros Questões

Média Protótipo Multimédia

"Técnicas de Procura de Emprego"

Média Protótipo Multimédia "Moodle"

1. O ambiente gráfico do protótipo é agradável? 1,8 22. A informação no protótipo encontra-se bem organizada? 2 23. A linguagem utilizada é simples e clara? 1,8 1,6

4. Sentiu-se à-vontade a usar o protótipo? 1,8 1,6

5. O protótipo permite uma fácil navegação? 1,6 1,86. Foi fácil encontrar a informação que precisou? 2 1,87. O protótipo tem as funcionalidades e capacidades que esperava? 2 28. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8 29. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2 210. A informação fornecida pelo protótipo foi fácil de entender? 2 211. Conseguiu completar eficazmente o seu trabalho? 1,8 212. Na globalidade ficou satisfeito com o seu trabalho? 1,8 2

Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8 1,8

Design

Facilidades de utilização

Funcionalidades

Aprendizagem

Satisfação

Page 23: Psico pedagogia 2013

Apresentação e Análise dos Resultados VII

Page 24: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  Acessibilidade: Total Validator. �  O principal objetivo foi permitir que o protótipo passasse

os testes de acessibilidade para a prioridade 1 (nível de conformidade A).

�  Submetemos o protótipo multimédia educativo ao validador automático e obtivemos o seguinte resultado:

VII

Page 25: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  O único erro apresentado, refere-se a um erro de sintaxe no xhtml, nomeadamente atributos que foram utilizados unicamente para criar uma apresentação visual e está relacionado com a ferramenta utilizada para a criação do protótipo multimédia educativo.

VII

Page 26: Psico pedagogia 2013

Apresentação e Análise dos Resultados

�  Aplicamos também o validador da W3C não tendo obtido qualquer erro.

VII

Page 27: Psico pedagogia 2013

•  Respondendo aos objetivos do nosso estudo:

•  iniciamos com a caraterização do público-alvo, formandas do estabelecimento prisional, e definimos o contexto em que estão inseridas. Isto permitiu identificar as necessidades de aprendizagem, definir os objetivos de ensino e as restrições envolvidas.

•  desenhamos o protótipo no quadro de um referencial teórico e fizemos a avaliação com os peritos.

•  desenvolvemos o protótipo e avaliamos a usabilidade com utilizadores semelhantes ao público-alvo.

•  avaliamos a acessibilidade.

VIII Considerações finais

Page 28: Psico pedagogia 2013

•  Respondendo aos objetivos do nosso estudo:

•  É fácil de aprender

•  É eficiente para usar

•  É pouco sujeito a erros

•  É agradável de usar

VIII Considerações finais

Page 29: Psico pedagogia 2013

•  a avaliação de um protótipo multimédia educativo não

pode ser vista como algo fechado e exato, não existindo

nenhuma fórmula “mágica” que nos permita criar e

desenvolver um protótipo multimédia educativo cem por

cento eficaz. No entanto, a avaliação da sua usabilidade e

da sua acessibilidade permitirá que seja utilizado com

maior probabilidade de sucesso por parte dos utilizadores

finais.

VIII Considerações finais

Page 30: Psico pedagogia 2013

Obrigado pela vossa atenção!

[email protected]