Análises via JMetrik

57
7/24/2019 Análises via JMetrik http://slidepdf.com/reader/full/analises-via-jmetrik 1/57 Análises Psicométricas Clássic e Contemporâneas usando o JMetrik Prof. Dr. Hudson Golino

Transcript of Análises via JMetrik

Page 1: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 1/57

Análises Psicométricas Clássic

e Contemporâneas usando oJMetrik

Prof. Dr. Hudson Golino

Page 2: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 2/57

O Que é o JMetrik?

JMetrik é um Software gratuito para implementar análisespsicométricas clássicas e contemporâneas de itens de instrude avaliação;

• Foi desenvolvido pelo Prof. J. Patrick Meyer da University of(EUA);

Page 3: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 3/57

Como Utilizar o JMetrik

Page 4: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 4/57

Criando um novo “Database”

• Abrir o software;

• Clicar em MANAGE:

Page 5: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 5/57

Criando um novo “Database”

• Abrir o software;

• Clicar em MANAGE;

• Clicar em

NEW DATABASE;

Page 6: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 6/57

Criando um novo “Database”

• Abrir o software;

• Clicar em MANAGE;

• Clicar em NEW DATABASE;

•Dar um nome para o seu projeto:

Page 7: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 7/57

Criando um novo “Database”

• Abrir o software;

• Clicar em MANAGE;

• Clicar em NEW DATABASE;

• Dar um nome para o seu projeto;

•Abrir o projeto, clicando em MANAGE e em seguida em OPENDATABASE:

Page 8: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 8/57

Page 9: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 9/57

Criando um novo “Database”

• Abrir o software;

• Clicar em MANAGE;

• Clicar em NEW DATABASE;

• Dar um nome para o seu projeto;

•Abrir o projeto, clicando em MANAGE e em seguida em OPENDATABASE;

• Selecionar o nome do seu projeto e clicar em OPEN.

Page 10: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 10/57

Importando o banco de dado

Page 11: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 11/57

Importando o banco de dados

• Depois de abrir oprojeto, clicar emMANAGE e emIMPORT DATA

Page 12: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 12/57

Dar um nome para o seu banco de dados. Por Exemplo: DADOS_LAV. Em seguida cl

l d d d ã

Page 13: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 13/57

Selecionar a pasta onde os dados estão.

Selecionar a pasta onde os dados estão selecionar o arquivo e depois clicar em SEMICOLON

Page 14: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 14/57

Selecionar a pasta onde os dados estão, selecionar o arquivo, e depois clicar em SEMICOLON

em BROWSE

Em seguida clicar em IMPORT:

Page 15: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 15/57

Em seguida, clicar em IMPORT:

Clicar duas vezes no nome do banco de dados:

Page 16: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 16/57

Clicar duas vezes no nome do banco de dados:

Clicar duas vezes no nome do banco de dados:

Page 17: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 17/57

Clicar duas vezes no nome do banco de dados:

Page 18: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 18/57

Preparando os Itens para a

Análise:

Clicar em TRANSFORM:

Page 19: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 19/57

Clicar em ADVANCED ITEM SCORING:

Page 20: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 20/57

Selecionar todos os itens, e depois clicar na seta para incluí-los ( > ) :

Page 21: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 21/57

Definir a chave de correção dos itens:

Page 22: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 22/57

Clicar em SUBMIT

Page 23: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 23/57

Clicar em OK

Page 24: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 24/57

Page 25: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 25/57

Realizando análises clássicas

Clicar em ANALYZE:

Page 26: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 26/57

Clicar em ITEM ANALYSIS:

Page 27: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 27/57

Selecionar os itens e depois clicar em >

Page 28: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 28/57

Page 29: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 29/57

Selecionar ITEM DELETED RELIABILITY e depois POLYSERIAL CORRELATION. Por último, clicar

Page 30: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 30/57

Page 31: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 31/57

Compreendendo os Resultad

das Análises Clássicas dos Ite

O primeiro resultado é uma análise deDificuldade e Discriminação dos itens

Page 32: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 32/57

Dificuldade e Discriminação dos itens

(abordagem clássica):

A dificuldade é o percentual de acertos que o

item teve;

A discriminação é a correlação item-total.

O segundo resultado é uma análise global doteste:

Page 33: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 33/57

teste:

Número de itens;

Número de avaliandos;

Pontuação mínima;

Pontuação máxima;

Pontuação média e mediana;

Desvio-padrão, intervalo inter-quartil;

KR-21 Confiabilidade do instrumento

(baseado em itens dicotômicos)

O terceiro resultado é uma análise deconfiabilidade do teste (com diferentes

Page 34: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 34/57

(

técnicas).

Por último, vem uma análise de alteração daconfiabilidade do teste caso algum item seja

Page 35: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 35/57

g j

deletado:

Page 36: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 36/57

Aplicando o Modelo Rasch padados dicotômicos

Clicar em ANALYZE, depoisSelecionar RASCH MODELS:

Page 37: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 37/57

Selecionar todos os itens, depois

clicar em >

Page 38: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 38/57

clicar em >

Ir na aba ITEM, selecionar SAVE ITEM

ESTIMATES e colocar um nome por

Page 39: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 39/57

ESTIMATES, e colocar um nome, por

exemplo itemPAR.

Ir na aba PERSON, selecionar SAVE

PERSON ESTIMATES e SAVE PERSON

Page 40: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 40/57

PERSON ESTIMATES e SAVE PERSON

FIT STATISTICS.

Depos clicar em RUN

Page 41: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 41/57

Interpretando os Resultados Modelo Rasch para dadosdicotômicos

A primeira parte do resultado informa

a Dificuldade Estimada dos Itens e o

Page 42: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 42/57

a Dificuldade Estimada dos Itens e o

ajuste dos mesmos.

O Ajuste, no caso, é verificado por

meio do WMS (também chamado de

INFIT em outros softwares).

Valores adequados de ajuste dos itens

são aqueles que estão entre 0,70 e

1,30.

Valores acima de 1,30 mas abaixo de

1,50 não apresentam deformação da

medida, apesar de não ser a faixa

ideal de ajuste. Itens com WMS ouINIFT superior à 1,50 devem ser

revistos, assim como aqueles com

valores inferiores à 0,50.

A segunda parte dos resultados

apresenta informações sobre a

Page 43: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 43/57

apresenta informações sobre a

qualidade do teste.

Importante verificar a

CONFIABILIDADE dos itens e das

pessoas: (Reliability).

Page 44: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 44/57

Gráficos

Gráfico de Distribuição das Habilidades

Page 45: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 45/57

Gráfico de Distribuição das Habilidades Dificuldades

Ir em GRAPH e clicar em ITEM MAP.

Gráfico de Distribuição das Habilidades

Page 46: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 46/57

Gráfico de Distribuição das Habilidades Dificuldades

Selecionar THETA e clicar em >,depois clicar em SELECT e selecionar a

tabela de parâmetros dos itens

(anteriormente estipulado como

ITEMPAR).

Em seguida, clicar em RUN.

Page 47: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 47/57

Gráfico de Distribuição das Habilidades

Page 48: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 48/57

Gráfico de Distribuição das Habilidades grupos

Ir em GRAPH e clicar em HISTOGRAM.

Gráfico de Distribuição das Habilidades

Page 49: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 49/57

Gráfico de Distribuição das Habilidades grupos

Selecionar a variável THETA e separar em grupospor sexo, depois clicar em RUN.

Gráfico de Distribuição das Habilidades

Page 50: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 50/57

Gráfico de Distribuição das Habilidades grupos

Selecionar a variável THETA e separar em grupospor sexo, depois clicar em RUN.

Page 51: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 51/57

Funcionamento Diferencial dItens

Funcionamento Diferencial de Itens

Page 52: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 52/57

Ir em ANALYZE e clicar em DIFMANTEL-HAENSZEL

Funcionamento Diferencial de Itens

Page 53: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 53/57

Selecionar os itens e clicar em >;

Colocar como MATCHING VARIABLE o

THETA;

Colocar como GROUP BY o sexo;

Definir como FOCAL o sexo Feminino;

Definir como REFERENCE o sexoMasculino.

Clicar em RUN

Funcionamento Diferencial de Itens

Page 54: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 54/57

Verificar, item a item, se o valor de p

é menor que 0,05.

Se for, o item apresenta

funcionamento diferente entre

homens e mulheres.

Os itens problemáticos estão com a

classe B-.

Page 55: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 55/57

EXERCÍCIOS

Exercícios Parte 1

Page 56: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 56/57

Exercícios – Parte 1.

1. Iniciar um novo DATABASE no JMetrik.

2. Importar os dados do WMT-2.

3. Estabelecer as pontuações (0 e 1, como no exemplo);

4. Fazer análises clássicas dos itens e responder:

1. Qual foi o item mais difícil (menor percentual de acertos);

2. Qual foi o item com maior discriminação (correlação item-total)

3. Qual a confiabilidade do teste (KR-21)?

4. Qual o índice de confiabilidade encontrado por todos os métododisponíveis na parte RELIABILITY ANALYSIS?

5. A confiabilidade do teste irá aumentar se excluirmos algum item

Exercícios Parte 2

Page 57: Análises via JMetrik

7/24/2019 Análises via JMetrik

http://slidepdf.com/reader/full/analises-via-jmetrik 57/57

Exercícios – Parte 2.

1. Utilize o Modelo de Rasch para dados dicotômicos.

2. Responda:

1. Qual o item com a estimativa de dificuldade mais baixa?

2. Qual o item com a estimativa de dificuldade mais alta?

3. Algum item está fora do intervalo 0,70-1,30 de ajuste? (verifiqu

4. Qual é a confiabilidade dos itens? E das pessoas?

5. Faça uma análise de funcionamento diferencial dos itens por seitem apresenta funcionamento diferencial? Se sim, qual?

6. Faça um gráfico histograma da habilidade das pessoas agrupadaQual dos dois sexos apresenta uma distribuição com maior (ligemaior) tendência central?