Metodologia de Pesquisa em Sistemas Web e Multimídia ...€¦ · A First Course in Design and...

Projeto de Experimento

Aparecida M. Zem LopesSimone de Sousa Borges

Departamento de Sistemas de ComputaçãoUniversidade de São Paulo

São Carlos, SP, [email protected] [email protected]

Metodologia de Pesquisa em Sistemas Web e

Multimídia Interativos

Profª. Drª. Renata Pontin de Mattos Fortes

Setembro/2013

mailto:[email protected]




Material compilado a partir de:

Lazar, Jonathan; Feng, Jinjuan Heide; and Hochheiser, Harry. “Research Methods in Human-Computer Interaction”. Indianapolis, IN: Wiley, 2010.

Wohlin, Claes; Runeson, Claes; Höst, Martin; et al. “Experimentation in Software Engineering: An Introduction”. Norwell, MA, USA. Kluwer Academic Publishers, 2000.

Wazlawick, Raul Sidnei. “Metodologia de Pesquisa para Ciência da Computação”, Rio de Janeiro, Elsevier, 2009.

2

Agenda1.Introdução2.Tipos de Pesquisa3.Tipos de Estudos4.Formulação das Hipóteses5.Definição da Estrutura Básica 6.Validade do Experimento7.Procedimentos Experimentais8.Referências

3

1. Introdução

4

2. Tipos de Pesquisa

5

Não-Experimental

2. Tipos de Pesquisa

6

ExperimentalNão-Experimental

7

Dispositivo

8

Dispositivo Velocidade

9

Dispositivo

Variáveis independentes

Variáveis dependentes

Velocidade

10

Variáveis independentes

Variáveis dependentes

Influenciam

(Wazlawick, 2008)

3. Tipos de Estudos

11

True Experiment

Quasi-Experiment

Non-Experiment

Por onde começar?

12

4. Formulação das Hipóteses

13

Experimentos mais bem sucedidos começam com a definição clara das hipóteses

e com escopo razoável.

(Oehlert, 2000)


14

Q. Aonde foi parar minha outra meia?

16

Hipótese nula: O desaparecimento das meias não tem nada a ver com alienígenas.

Hipótese alternativa: As meias desaparecem pois são abduzidas por alienígenas.

(Adaptado de: Journal of Unlikely Science! Link).


http://www.null-hypothesis.co.uk/science//item/what_is_a_null_hypothesis

http://www.null-hypothesis.co.uk/science//item/what_is_a_null_hypothesis


17

Experimentos mais bem sucedidos começam com a definição clara das hipóteses

e com escopo razoável.

(Oehlert, 2000)

18

O que precisa ser considerado?

5. Determinação da Estrutura do Experimento

19

Lazar, J. Feng, J. and Hochheiser, H. Research Methods in Human-Computer Interaction. Indianapolis, IN: Wiley, 2010.


20

Planejamento do Estudo

Básico Fatorial

Número de variáveis independentes > 1?

não sim


H1: Não existe diferença na velocidade de digitação ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.

21



22


23


Básico


não sim

Fatorial


24


Básico


não sim

Fatorial


25


Básico


não sim

Fatorial

Determinar o número de condições



26



QWERTYOrdem

AlfabéticaDVORAK

27


28


Básico


não sim

Fatorial



29


Básico


não sim

Fatorial


Between-group Within-group

Between-group

30

•Os participantes são expostos a somente uma condição do experimento; •O número de grupos é diretamente relacionado com a quan t i dade de cond i ções do experimento

QWERTYOrdem

AlfabéticaDVORAK

Within-group

31

•Cada participante é exposto a múltiplas condições do experimento. •Somente um grupo de part icipantes é necessário para todo o experimento

QWERTYOrdem

AlfabéticaDVORAK

Algumas vantagens e desvantagens apresentadas pelas duas abordagens

32

BETWEEN-GROUP WITHIN-GROUPVantagens “Cleaner” Menor tamanho da

amostraVantagens

Evita o “efeito aprendizagem” Testes mais poderosos

Vantagens

Controle de frustração e fadiga (pouco tempo para completar experimento)

Evita ruídos por diferenças individuais

Desvantagens Grande número de participantes “Efeito aprendizagem” alto

Desvantagens

Ruído por diferenças individuais (comparar performance de grupos distintos)

Fadiga por conta das múltiplas condições do experimento


33


Básico


não sim

Fatorial




H1: Não existe diferença na velocidade de digitação entre uma composiçao e uma trascrição ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.

34



Dispositivo de Digitação

35



Dispositivo de Digitação Tarefa a ser Digitada

36


37


Básico


não sim

Fatorial




38


Básico


não sim

Fatorial




39

QWERTY Ordem AlfabéticaDVORAK

Composição Transcrição

Tarefas

Dispositivos de Digitação

40

Número de Condições = 3 x 2

41

Composição Transcrição

QWERTY Ordem AlfabéticaDVORAK QWERTY Ordem AlfabéticaDVORAK

42

Número de Condições = 3 x 2 = 6


43


Básico


não sim

Fatorial




Within-groupBetween-group Split-plot


44


Básico


não sim

Fatorial




Within-groupBetween-group Split-plot

Split-plot

45

• Uma ou mais variáveis independentes são investigadas com a abordagem between-group, enquanto as demais (uma ou mais) são investigadas com a abordagem within-group.

IdadeIdadeIdade

20 a 40 41 a 60 Acima de 60

Dirigindo sem GPS 1 2 3

Dirigindo com GPS 4 5 6

46

IdadeIdadeIdade

20 a 40 41 a 60 Acima de 60



47

Between-group

IdadeIdadeIdade

20 a 40 41 a 60 Acima de 60



48

Within-group

Split-plot

49

Ent re as poss íve is vantagens es tá a possibilidade de minimizar a influência dos efeitos denominados:

• Aprendizado;

• Fadiga.

Design Fatorial: Efeitos de Interação

Novos usuários Usuários Experientes

Núm

ero

de a

lvos

sel

ecio

nado

s po

r m

inut

o

Mouse

Touch screen

50

51

Qual abordagem mais apropriada?

6. Validade do Experimento

52

"Experimentos são confiáveis quando podem ser replicados por outros pesquisadores (ou grupo de pesquisa), em outros locais (localização) e produzir resultados consistentes, seguros e estáveis..."

(Lazar, Feng e Hochheirser, 2010)


53

• Erros randômicos;

• Erros sistemáticos.


54

Erros Randômicos


55

Erros Sistemáticos


56

Erros Sistemáticos podem ser causados por:

1. Instrumentos de medição;

2. Procedimentos experimentais;

3. Participantes;

4. Comportamento do pesquisador;

5. Fatores ambientais:

• Ambiente físico;

• Ambiente social.

7. Procedimento Experimentais

57

1. Identificar uma hipótese;

2. Especificar o planejamento do estudo;

3. Realizar um estudo piloto;

4. Recrutar participantes;

5. Realizar uma sessão de coleta de dados reais;

6. Análise dos dados;

7. Relatório dos resultados.

(Lazar, Feng e Hochheirser, 2010)

7. Procedimento Experimentais

58

1. Identificar uma hipótese;

2.Especificar o planejamento do estudo;

3. Realizar um estudo piloto;

4. Recrutar participantes;

5. Realizar uma sessão de coleta de dados reais;

6. Análise dos dados;

7. Relatório dos resultados.

59

Como assim?

Escrever o protocolo de pesquisa

60


O protocolo é um documento que define todo o planejamento do projeto.

Como assim?

61


Dia 1

Não esquecer de

alimentar o rato!

Dia 10

Tenho esquecido de

alimentar o rato

Dia 15

O rato roeu o

labirinto e fugiu.

Você precisa de subsídios para escrever o protocolo de pesquisa!

63

Você precisa de subsídios para escrever o protocolo de pesquisa!

7. Referências

64

Cairns, P. and Cox, A. L. 2008. Research Methods for Human-Computer Interaction (1st ed.). Cambridge University Press, New York, NY, USA.

Lazar, J. Feng, J. and Hochheiser, H. Research Methods in Human-Computer Interaction. Indianapolis, IN: Wiley, 2010.

Oehlert, G. A First Course in Design and Analysis of Experiments. New York: Freeman and Company, 2000.

Wazlawick, R. S. Metodologia de Pesquisa para Ciência da Computação, Rio de Janeiro, Elsevier, 2009.

Wohlin, C. et al. Experimentation in Software Engineering: An Introduction. Norwell, MA, USA. Kluwer Academic Publishers, 2000.

Perguntas

66

[email protected] [email protected]





Metodologia de Pesquisa em Sistemas Web e Multimídia ...€¦ · A First Course in Design and...

Documents

Transcript of Metodologia de Pesquisa em Sistemas Web e Multimídia ...€¦ · A First Course in Design and...