Post on 17-Jul-2020
Projeto de Experimento
Aparecida M. Zem LopesSimone de Sousa Borges
Departamento de Sistemas de ComputaçãoUniversidade de São Paulo
São Carlos, SP, Brasilcidazem@icmc.usp.br sborges@icmc.usp.br
Metodologia de Pesquisa em Sistemas Web e
Multimídia Interativos
Profª. Drª. Renata Pontin de Mattos Fortes
Setembro/2013
Material compilado a partir de:
Lazar, Jonathan; Feng, Jinjuan Heide; and Hochheiser, Harry. “Research Methods in Human-Computer Interaction”. Indianapolis, IN: Wiley, 2010.
Wohlin, Claes; Runeson, Claes; Höst, Martin; et al. “Experimentation in Software Engineering: An Introduction”. Norwell, MA, USA. Kluwer Academic Publishers, 2000.
Wazlawick, Raul Sidnei. “Metodologia de Pesquisa para Ciência da Computação”, Rio de Janeiro, Elsevier, 2009.
2
Agenda1.Introdução2.Tipos de Pesquisa3.Tipos de Estudos4.Formulação das Hipóteses5.Definição da Estrutura Básica 6.Validade do Experimento7.Procedimentos Experimentais8.Referências
3
1. Introdução
4
2. Tipos de Pesquisa
5
Não-Experimental
2. Tipos de Pesquisa
6
ExperimentalNão-Experimental
7
Dispositivo
8
Dispositivo Velocidade
9
Dispositivo
Variáveis independentes
Variáveis dependentes
Velocidade
10
Variáveis independentes
Variáveis dependentes
Influenciam
(Wazlawick, 2008)
3. Tipos de Estudos
11
True Experiment
Quasi-Experiment
Non-Experiment
Por onde começar?
12
4. Formulação das Hipóteses
13
Experimentos mais bem sucedidos começam com a definição clara das hipóteses
e com escopo razoável.
(Oehlert, 2000)
4. Formulação das Hipóteses
14
Q. Aonde foi parar minha outra meia?
15
16
Hipótese nula: O desaparecimento das meias não tem nada a ver com alienígenas.
Hipótese alternativa: As meias desaparecem pois são abduzidas por alienígenas.
(Adaptado de: Journal of Unlikely Science! Link).
4. Formulação das Hipóteses
4. Formulação das Hipóteses
17
Experimentos mais bem sucedidos começam com a definição clara das hipóteses
e com escopo razoável.
(Oehlert, 2000)
18
O que precisa ser considerado?
5. Determinação da Estrutura do Experimento
19
Lazar, J. Feng, J. and Hochheiser, H. Research Methods in Human-Computer Interaction. Indianapolis, IN: Wiley, 2010.
5. Determinação da Estrutura do Experimento
20
Planejamento do Estudo
Básico Fatorial
Número de variáveis independentes > 1?
não sim
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
21
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
22
5. Determinação da Estrutura do Experimento
23
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
5. Determinação da Estrutura do Experimento
24
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
5. Determinação da Estrutura do Experimento
25
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
26
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
QWERTYOrdem
AlfabéticaDVORAK
27
5. Determinação da Estrutura do Experimento
28
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
5. Determinação da Estrutura do Experimento
29
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
Between-group Within-group
Between-group
30
•Os participantes são expostos a somente uma condição do experimento; •O número de grupos é diretamente relacionado com a quan t i dade de cond i ções do experimento
QWERTYOrdem
AlfabéticaDVORAK
Within-group
31
•Cada participante é exposto a múltiplas condições do experimento. •Somente um grupo de part icipantes é necessário para todo o experimento
QWERTYOrdem
AlfabéticaDVORAK
Algumas vantagens e desvantagens apresentadas pelas duas abordagens
32
BETWEEN-GROUP WITHIN-GROUPVantagens “Cleaner” Menor tamanho da
amostraVantagens
Evita o “efeito aprendizagem” Testes mais poderosos
Vantagens
Controle de frustração e fadiga (pouco tempo para completar experimento)
Evita ruídos por diferenças individuais
Desvantagens Grande número de participantes “Efeito aprendizagem” alto
Desvantagens
Ruído por diferenças individuais (comparar performance de grupos distintos)
Fadiga por conta das múltiplas condições do experimento
5. Determinação da Estrutura do Experimento
33
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
Between-group Within-group
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação entre uma composiçao e uma trascrição ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
34
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação entre uma composiçao e uma trascrição ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
Dispositivo de Digitação
35
5. Determinação da Estrutura do Experimento
H1: Não existe diferença na velocidade de digitação entre uma composiçao e uma trascrição ao se utilizar um teclado do tipo QWERTY, ou do tipo DVORAK ou um ordenado alfabeticamente.
Dispositivo de Digitação Tarefa a ser Digitada
36
5. Determinação da Estrutura do Experimento
37
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
Between-group Within-group
5. Determinação da Estrutura do Experimento
38
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
Between-group Within-group
Determinar o número de condições
39
QWERTY Ordem AlfabéticaDVORAK
Composição Transcrição
Tarefas
Dispositivos de Digitação
40
Número de Condições = 3 x 2
41
Composição Transcrição
QWERTY Ordem AlfabéticaDVORAK QWERTY Ordem AlfabéticaDVORAK
42
Número de Condições = 3 x 2 = 6
5. Determinação da Estrutura do Experimento
43
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
Between-group Within-group
Determinar o número de condições
Within-groupBetween-group Split-plot
5. Determinação da Estrutura do Experimento
44
Planejamento do Estudo
Básico
Número de variáveis independentes > 1?
não sim
Fatorial
Determinar o número de condições
Between-group Within-group
Determinar o número de condições
Within-groupBetween-group Split-plot
Split-plot
45
• Uma ou mais variáveis independentes são investigadas com a abordagem between-group, enquanto as demais (uma ou mais) são investigadas com a abordagem within-group.
IdadeIdadeIdade
20 a 40 41 a 60 Acima de 60
Dirigindo sem GPS 1 2 3
Dirigindo com GPS 4 5 6
46
IdadeIdadeIdade
20 a 40 41 a 60 Acima de 60
Dirigindo sem GPS 1 2 3
Dirigindo com GPS 4 5 6
47
Between-group
IdadeIdadeIdade
20 a 40 41 a 60 Acima de 60
Dirigindo sem GPS 1 2 3
Dirigindo com GPS 4 5 6
48
Within-group
Split-plot
49
Ent re as poss íve is vantagens es tá a possibilidade de minimizar a influência dos efeitos denominados:
• Aprendizado;
• Fadiga.
Design Fatorial: Efeitos de Interação
Novos usuários Usuários Experientes
Núm
ero
de a
lvos
sel
ecio
nado
s po
r m
inut
o
Mouse
Touch screen
50
51
Qual abordagem mais apropriada?
6. Validade do Experimento
52
"Experimentos são confiáveis quando podem ser replicados por outros pesquisadores (ou grupo de pesquisa), em outros locais (localização) e produzir resultados consistentes, seguros e estáveis..."
(Lazar, Feng e Hochheirser, 2010)
6. Validade do Experimento
53
• Erros randômicos;
• Erros sistemáticos.
6. Validade do Experimento
54
Erros Randômicos
6. Validade do Experimento
55
Erros Sistemáticos
6. Validade do Experimento
56
Erros Sistemáticos podem ser causados por:
1. Instrumentos de medição;
2. Procedimentos experimentais;
3. Participantes;
4. Comportamento do pesquisador;
5. Fatores ambientais:
• Ambiente físico;
• Ambiente social.
7. Procedimento Experimentais
57
1. Identificar uma hipótese;
2. Especificar o planejamento do estudo;
3. Realizar um estudo piloto;
4. Recrutar participantes;
5. Realizar uma sessão de coleta de dados reais;
6. Análise dos dados;
7. Relatório dos resultados.
(Lazar, Feng e Hochheirser, 2010)
7. Procedimento Experimentais
58
1. Identificar uma hipótese;
2.Especificar o planejamento do estudo;
3. Realizar um estudo piloto;
4. Recrutar participantes;
5. Realizar uma sessão de coleta de dados reais;
6. Análise dos dados;
7. Relatório dos resultados.
59
Como assim?
Escrever o protocolo de pesquisa
60
Escrever o protocolo de pesquisa
O protocolo é um documento que define todo o planejamento do projeto.
Como assim?
61
Escrever o protocolo de pesquisa
Dia 1
Não esquecer de
alimentar o rato!
Dia 10
Tenho esquecido de
alimentar o rato
Dia 15
O rato roeu o
labirinto e fugiu.
Você precisa de subsídios para escrever o protocolo de pesquisa!
63
Você precisa de subsídios para escrever o protocolo de pesquisa!
7. Referências
64
Cairns, P. and Cox, A. L. 2008. Research Methods for Human-Computer Interaction (1st ed.). Cambridge University Press, New York, NY, USA.
Lazar, J. Feng, J. and Hochheiser, H. Research Methods in Human-Computer Interaction. Indianapolis, IN: Wiley, 2010.
Oehlert, G. A First Course in Design and Analysis of Experiments. New York: Freeman and Company, 2000.
Wazlawick, R. S. Metodologia de Pesquisa para Ciência da Computação, Rio de Janeiro, Elsevier, 2009.
Wohlin, C. et al. Experimentation in Software Engineering: An Introduction. Norwell, MA, USA. Kluwer Academic Publishers, 2000.
Perguntas
66
Obrigada!cidazem@icmc.usp.br sborges@icmc.usp.br