Tema-7 (66).pdf

7/30/2019 Tema-7 (66).pdf

1/66

jTEMA 7

VALIDEZ DE LAS INFERENCIAS (11)Mara Isabel Barbero Garca

7/30/2019 Tema-7 (66).pdf

2/66

suMARIO1. Orientaciones didcticas2. Validacin con varios predictores y un solo indicador del criterio2.1. El coeficiente de validez mltiple2.2 . El modelo de regresin lineal mltiple2.2.1. Ecuaciones de regresin2.2.2. La varianza residual o varianza error y el error tpico deestimacin mltiple2.2.3. Intervalos de confianza2.3. Interpretacin de la evidencia obtenida acerca de la capacidadpredictora del conjunto de variables utilizadas2.3.1. Coeficiente de determinacin mltiple2.3.2. Coeficiente de alienacin mltiple2.3.3. Coeficiente de valor predictivo mltiple2.3.4. Ejemplo2.4. Mtodos para seleccionar las variables predictoras ms adecuadas2.4.1. Mtodo Forward

2.4.2. Mtodo Backward2.4.3. Ejemplo3. Validez y utilidad de las decisiones3.1. ndices de validez3.2. Dnde situar el punto de corte?3.3 . Ejemplo3.4. Modelos de seleccin

3.5. Cmo estimar la eficacia de una seleccin? 4. Factores que influyen en el coeficiente de validez4.1. La variabilidad de la muestra4.2. La fiabilidad de las puntuaciones del test y del criterio4.2.1. Estimacin del coeficiente de validez en el supuesto de quetanto el test como el criterio tuvieran una fiabilidad perfecta4.2.2 . Estimacin del coeficiente de validez en el supuesto de que eltest tuviera una fiabilidad perfecta4.2.3. Estimacin del coeficiente de validez en el supuesto de que elcriterio tuviera una fiabilidad perfecta4.2.4. Estimacin del coeficiente de validez en el supuesto de que semejorara la fiabilidad del test y del criterio

7/30/2019 Tema-7 (66).pdf

3/66

4.2.5. Estimacin del coeficiente de validez en el supuesto de que semejorara la fiabilidad del test4.2.6. Estimacin del coeficiente de validez en el supuesto de que se

mejorara la fiabilidad del criterio.4.2 .7. Valor mximo del coeficiente de validez

4.3. Validez y longitud5. Generalizacin de la validez6. Ejercicios de autoevaluacin7. Soluciones a los ejercicios de autoevaluacin8. Bibliografa complementaria

7/30/2019 Tema-7 (66).pdf

4/66

1. ORIENTACIONES DIDCTICASEn el tema anterior se hizo una introduccin al concepto de validez y a su

evolucin histrica para, a continuacin , centrarnos en algunos de los procedi-mientos que se pueden utilizar para obtener la evidencia necesaria para hacerdistintos tipos de inferencias. Se explic de qu manera se poda llevar a caboun estudio de validacin de contenido y de constructo y, respecto a la forma derealizar un estudio de validacin relativa al criterio, slo se estudiaron los pro-cedimientos estadsticos utilizados cuando se cuenta con un nico predictor yun solo indicador del criterio. Esta situacin es bastante rara cuando se trata dehacer una seleccin para un puesto de trabajo, o en otros muchos contextos apli-cados; en estas situaciones lo normal es disponer de ms de una variable pre-dictora.

En este tema se estudiar la forma de llevar a cabo un estudio de validacincuando se utilizan varios predictores y tambin se expondr la forma de anali-zar la validez de las decisiones tomadas a partir de las puntuaciones obtenidaspor los sujetos en el test o en la batera de tests. Para finalizar el tema se expon-drn algunos de los factores que afectan al coeficiente de validez y la forma dellevar a cabo un estudio de generalizacin de la validez.

Es importante que nuestros alumnos tengan muy claros y sepan intu pretarlos siguientes conceptos: Correlacin mltiple.

Correlacin parcial y semiparcial. Error tpico de estimacin mltiple. Coeficientes de determinacin, alienacin y valor predictivo mltiples.

343

7/30/2019 Tema-7 (66).pdf

5/66

VALIDEZ DE LAS INFERENCIAS (11) 1

van a permitir obtener esta informacin y dar solucin a estos problemas son ,fundamentalmente, la correlacin mltiple y el modelo de regresin lineal ml-tiple.

Nota: En el tema anterior ya se coment que cuando las variables predictoras soncuantitativas y el criterio es discreto el procedimiento estadstico ms adecuado es elanlisis discriminante y si el criterio es dicotmico se podra utilizar la regresin logstica. No vamos a entrar en la exposicin de estos temas por exceder nuestros objetivos.~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ !El modelo de regresin lineal mltiple permite obtener una ecuacin de regresin, ponderando y combinando las variables predictoras seleccionadas, de

manera que los errores de pronstico que se cometan al estimar el criterio seanmnimos, y eliminando las variables que no aportan ninguna informacin relevante. Para poder hacer esto, es necesario introducir otros coeficientes de correlacin como son: la correlacin parcial y la correlacin semiparcial que expondremos a continuacin.

Vamos a hacer la introduccin al tema utilizando slo dos variables predictoras puesto que lo que nos interesa es que los alumnos comprendan la formade proceder. La introduccin de ms variables predictoras complica mucho losclculos y sera necesario utilizar notacin matricial para resolver el problemay, desde luego, utilizar el software que hay para ello.- Correlacin parcial

Permite interpretar el grado de correlacin entre la variable criterio (Y) y unade las variables predictoras, eliminando de antemano el efecto que sobre dichacorrelacin puedan estar ejerciendo el resto de las variables

[7.1]

345

7/30/2019 Tema-7 (66).pdf

6/66

1 PSICOMETRA

En la primera se calcula la correlacin entre la variable criterio Y y la varia-ble predictora X1 eliminando la influencia que, en esa correlacin, pueda estarejerciendo la variable X2 . En la segunda, al contrario, se calcula la correlacinentre la variable criterio y la variable predictora X2 eliminando el influjo que, enesa correlacin, pueda estar ejerciendo la variable predictora X1.

Si hubiera ms de dos variables predictoras sera, por ejemplo: Ryx,-x2x3x4 Esdecir, la correlacin entre la variable criterio y la predictora x 1 eliminando delvalor de esa correlacin el efecto que puedan estar ejerciendo el resto de las va-riables predictoras.- Correlacin semiparcial

Permite conocer el grado de correlacin entre la variable criterio (Y) y una delas variables predictoras, eliminando el efecto que sobre esta variable predictorapuedan estar ejerciendo el resto de las variables

[7.2]

La primera frmula expresa la correlacin entre la variable criterio (Y) y la va-riable predictora X1 cuando de esta variable se elimina la influencia que pueda es-tar ejerciendo la variable predictora X2 . La segunda frmula expresa la correla-cin entre la variable criterio (Y) y la variable predicton X2 cuando de esta variablese elimina la influencia que pueda estar ejerciendo la variable predictora (X 1).

Si hubiera ms variables predictoras la expresin sera, por ejemplo:RY(x ,-x2x3x4 . . . ) y representara la correlacin entre la variable criterio (Y) y la pre-dictora X1, despus de haber eliminado de esta variable la posible influencia delresto de las variables predictoras.Nota: No confundir la correlacin parcial con la semiparcial. En la primera se eliminala influencia que, una variable predictora, ejerce sobre la correlacin entre el crite-rio y la otra variable predictora. En la correlacin semiparcial se elimina la influen-cia que una variable predictora ejerce sobre la otra variable predictora, no sobre lacorrelacin.

346

7/30/2019 Tema-7 (66).pdf

7/66

VALIDEZ DE LAS INFERENCIAS (11) \

2.1. El coeficiente de validez mltipleViene dado por la correlacin mltiple entre las puntuaciones obtenidas por

la muestra de sujetos en la variable criterio y las obtenidas en el conjunto de variables predictoras.La correlacin mltiple, va a permitir analizar el grado de asociacin entre la

variable dependiente (el criterio) y el conjunto de variables predictoras, en nuestro caso X1 y X2.- Correlacin mltiple

[7.3]

En nuestro caso, la correlacin mltiple entre la variable criterio y el conjunto de las dos variables predictoras es igual a la raz cuadrada de la suma delos cuadrados de las correlaciones simples entre el criterio y cada una de las variables predictoras menos el duplo del producto de las intercorrelaciones entrelas tres variables, dividido por 1 menos la correlacin al cuadrado entre las dosvariables predictoras.

Otra forma de expresar la correlacin mltiple es en funcin de los coeficientes de regresin mltiple en puntuaciones tpicas, cuya frmula expondremos ms adelante y de las correlaciones de cada variable predictora con el criterio:

[7.4]donde:

Y = puntuaciones obtenidas por los sujetos de la muestra en el criterio.X1 y X2 = puntuaciones obtenidas por los sujetos de la muestra en las dos variables predictoras.bj y bi = coeficientes de regresin en puntuaciones tpicas.

347

7/30/2019 Tema-7 (66).pdf

8/66

1PSICOMETRA

2.2. El modelo de regresin lineal mltipleAunque la estructura de este modelo es igual que la del modelo de regresin

simple, las ecuaciones de regresin ya no son ecuaciones de una recta sino deun plano o hiperplano segn que las variables predictoras sean dos o ms.Si tenemos n variables predictoras, la ecuacin del hiperplano de regresin ser:

donde:Y' = puntuacin pronosticada en el criterio.a =ordenada en el origen.b1, b2, ... bn =coeficientes de regresin.x, , x2, ... xn = variables predictoras.Al igual que suceda en el modelo de regresin lineal simple, para la cons-

truccin de las ecuaciones de regresin es necesario calcular los coeficientes.Cuando el nmero de variables predictoras es mayor que dos el problema secomplica, por lo que se utilizan los programas de software adecuados.

Nota: Dado que el tema excede de los objetivos de nuestro curso no vamos a incluirla en este captulo. El lector interesado puede consu ltar los textos en caste llanode Martnez-Arias, 1995, Martnez- Arias y col. 2006 y Muiz, 1998, 2002.

Nosotros vamos a poner un ejemplo muy sencillo para el caso en el que slose utilicen dos variables predictoras, ya que lo que nos interesa es que nuestrosalumnos aprendan la lgica del procedimiento. Supongamos, por lo tanto, quese cuenta con las puntuaciones obtenidas por una muestra de sujetos en dos va-riables predictoras X1 y X2 y en un criterio Y. La ecuacin del modelo de regre-sin, en este caso, sera:

donde:a= ordenada en el origen del plano de regresin. Es el trmino independiente

y equivale al valor que toma la variable criterio cuando X1 = X2 =O.

7/30/2019 Tema-7 (66).pdf

9/66


b1 =indica lo que aumenta el criterio al aumentar en una unidad la variableX1 mientras permanece constante la variable X2.b2 = indica el aumento del criterio cuando la variable X2 aumenta en una

unidad y permanece constante la variable X1.Los valores que deben alcanzar a, b1 y b2 deben ser aquellos que hagan m-nimos los errores de pronstico. Para su clculo sera necesario resolver un sis-tema de ecuaciones o bien aplicar las frmulas siguientes.

2.2.1. Ecuaciones de regresin- Puntuaciones tpicas:

[7 .5]

r: -r : . rb* = YX2 YX1 X1X22 1 2- rx,x2

donde:ryx,, ryx2 = correlaciones entre la variable criterio (variable dependiente) ycada una de las variables predictoras (variables independientes).rx1x2 =correlacin entre las dos variables predictoras.a=OAl igual que ocurra en el modelo de regresin lineal simple, la ordenada en

el origen es igual a cero, por lo tanto, se trata de un plano de regresin que pasapor el origen de coordenadas.- Puntuaciones diferenciales

[7 .6]

b =b*1 1 Sx,349

7/30/2019 Tema-7 (66).pdf

10/66

1 PSICOMETRA

La ordenada en el origen de la ecuacin de regresin en puntuaciones dife-renciales es igual a cero.- Puntuaciones directas

[7.7]

Los coeficientes b de regresin son iguales en puntuaciones directas y dife-renciales.

Es importante remarcar dos cosas:las ecuaciones de los planos de regresin en puntuaciones directas y di-ferenciales corresponden a planos paraleloslas ecuaciones de los planos de regresin en puntuaciones diferencialesy tpicas pasan por el origen de coordenadas.

2.2.2. La varianza residual o varianza error y el error tpico deestimacin mltipleEl coeficiente de validez mltiple indica la eficacia de las variables predicto-ras para estimar el criterio . En la medida en que el coeficiente de validez sea

ms alto, la estimacin ser ms exacta y, en el lmite, cuando el coeficiente devalidez fuera la unidad, el valor estimado coincidira con la puntuacin querealmente obtuvieran los sujetos en el criterio. Sin embargo, a pesar de haber uti-lizado ms de una variable predictora, el coeficiente de validez no ser perfecto(igual a 1 en valor absoluto) y la estimacin vendr afectada por el denominadoerror de estimacin que equivale a la diferencia entre la puntuacin que ha ob-tenido un sujeto en el criterio y la que se le pronostica mediante la ecuacin deregresin (Y - Y } Con cada sujeto se comete un determinado error de estima -cin. A la varianza de todos los errores de estimacin cometidos con los sujetosde la muestra seleccionada se denomina Varianza residual, Varianza error o Errorcuadrtico medio y su frmula es:

350

7/30/2019 Tema-7 (66).pdf

11/66


[7 .8]

donde:Y= puntuacin obtenida por cada sujeto en el criterio.Y' = puntuacin pronosticada a cada sujeto mediante la ecuacin de regre-

sin mltiple.N = nmero de sujetos de la muestra.Esta varianza error representa la variabilidad media de las puntuaciones de lossujetos en el criterio respecto a la puntuacin que se les pronostica mediante la

recta de regresin. A la desviacin tpica de estos errores se denomina: Error t-pico de estimacin mltiple y su frmula es:

[7.9]

2.2.3. Intervalos de confianza

Al igual que ocurra cuando slo se utilizaba un predictor, ms que estima-ciones puntuales es conveniente hacerlas por intervalos debido a los errores deestimacin que se cometen al hacer los pronsticos; para ello, asumiendo quela distribucin de dichos errores se ajusta a una distribucin normal cuya des-viacin tpica viene dada por el error tpico de estimacin mltiple, se estableceun intervalo confidencial en torno a la puntuacin pronosticada. Los pasos a se-guir son los siguientes:

Determinar un nivel de confianza y buscar su puntuacin tpica asociada.Calcular el error tpico de estimacin mltiple .Calcular el error mximo.Aplicar la ecuacin de regresin correspondiente y obtener la puntuacinpronosticada.Establecer el intervalo de confianza.

351

7/30/2019 Tema-7 (66).pdf

12/66

1 PSICOMETRA

2.3. Interpretacin de la evidencia obtenida acerca de lacapacidad predictora del conjunto de variables utilizadasLa varianza total de las puntuaciones obtenidas por los sujetos en el criterio(varianza de la variable dependiente) se puede expresar como la suma de la va-

rianza de las puntuaciones pronosticadas a partir de las variables predictoras yla varianza de los residuos o varianza error. Dicho de otro modo, la variacin to-tal de los valores de Y es igual a la variacin explicada por el influjo conjuntode X1 y X2 (el conjunto de variables predictoras) ms la variacin debida .al azaro variacin residual.

[7.1 O]

A partir de esta ecuacin se puede averiguar la proporcin de la varianza delas puntuaciones de los sujetos en el criterio que se puede explicar a partir de lavarianza de las puntuaciones en las variables predictoras (varianza de las pun -tuaciones pronosticadas) y qu proporcin no se puede explicar y correspondea los residuos.

Si dividimos todos los trminos de la ecuacin (7.1 O) por la varianza de laspuntuaciones del criterio tendremos:

Ahora bien, la proporcin de varianza del criterio que se puede explicar apartir de la variacin debida al influjo conjunto de las dos variables predictorases igual al coeficiente de validez al cuadrado. Entonces la expresin anterior sepuede poner tambin como:

y, a partir de ah, deducir otra forma de expresin de la varianza error y del errortpico de estimacin mltiple:

352

7/30/2019 Tema-7 (66).pdf

13/66


[7 .11]

Cuando la escala que se utiliza es la de puntuaciones tpicas, dado que ladesviacin tpica es la unidad, la frmula del error tpico de estimacin es:

[7.12]

Vamos ahora a interpretar los resultados obtenidos en funcin de tres coeficientes:

2.3.1. Coeficiente de determinacin mltiple[7.13]

Equivale al coeficiente de validez mltiple al cuadrado y representa la proporcin (o el porcentaje si se multiplica por cien) de la varianza de las puntuaciones de los sujetos en el criterio (variable dependiente) que se puede pronosticar a partir del conjunto de variables predictoras. Tambin se define como lavarianza comn o asociada entre el criterio y las variables predictoras.

2.3.2. Coeficiente de alienacin mltiple

[7.14]

Aunque la frmula es equivalente a la del error tpico de estimacin en puntuaciones tpicas, de cara a la interpretacin de este coeficiente conviene saberque, en realidad, indica la proporcin que representa el error tpico de estimacinmltiple respecto a la desviacin tpica de las puntuaciones en el criterio. En lamedida en que el error tpico sea ms pequeo que la desviacin tpica del crite-

353

7/30/2019 Tema-7 (66).pdf

14/66

1 PSICOMETRA

rio, el coeficiente K ser menor. El valor del coeficiente K oscila entre Oy 1, sermximo cuando el coeficiente de validez sea O y ser mnimo cuando el coefi-ciente de validez valga 1. El coeficiente de alienacin al cuadrado es el comple-mentario del coeficiente de determinacin y representa, por lo tanto, la propor-cin (o el porcentaje si se mult iplica por cien) de la varianza de las puntuacionesde los sujetos en el criterio que no se puede predecir a partir del conjunto de va-riables predictoras, es la proporcin de varianza error que hay en la varianza delas puntuaciones de los sujetos en el criterio. El coeficiente de alienacin repre-senta la inseguridad, o el azar, que afecta a los pronsticos.

2.3.3. Coeficiente de valor predictivo mltiple[7.15]

Es el complementario del coeficiente de alienacin y es otra forma de expre-sar la capacidad de las variables predictoras para pronosticar el criterio. Se in-terpreta como la proporcin (o porcentaje) de seguridad con que se hacen lospronsticos.

2.3.4. EjemploSe quiere averiguar si la fluidez verbal y la extraversin son dos variables que

favorecen el nmero de ventas en un laboratorio farmacutico. Para compro-barlo, se ha seleccionado una muestra de seis vendedores a los que se les hanpasado dos pruebas, una de fluidez verbal (X 1) y otra de extraversin (X2); asi -mismo, este grupo ha sido evaluado pos sus jefes en un criterio de pericia comovendedor, utilizando como indicador el nmero de ventas (en miles de euros)que realiza cada uno de ellos en un mes (Y).

Los resultados aparecen recogidos en las tres primeras columnas de la tabla7.1:

354

7/30/2019 Tema-7 (66).pdf

15/66


8 6 5 64 36 25 48 40 306 5 6 36 25 36 30 36 306 7 6 36 49 36 42 36 425 4 7 25 16 49 20 35 287 8 8 49 64 64 56 56 64

Suma 36 32 36 226 194 226 204 219 202

A partir de esos datos se calculan en primer lugar las intercorrelaciones entrelas variables:

6 . 204 - 3 2 . 36 72(, = =-- =0 79YX, J[6194-32 2 ][6 226-36 2 ] 91 , 65 1

6219 - 3636 18ryx = =-=0,302 J[6 226-36 2 ] [6 226-36 2 ] 60

6202-32 36 60rxx = =-- =0 ,651 2 J[6 194-322 ][6 226-36 2 ] 91,65A continuacin calculamos:

- Correlacin mltiple2 2 2 2 2R2 = ryx1 + ryx2 - ryx/Yx/x,x2 = 0,79 + 0,30 -2 0,79 0,30 0,65y.x,x2 1- r2 1- O, 65 2x1x2

= 0,406 =0 700,578 1

Ry.x1x2 = .,}0,70 = 0,84

355

7/30/2019 Tema-7 (66).pdf

16/66

1 PSICOMETRA

- Correlaciones parciales

Este sera el valor de la correlacin entre la variable criterio y la fluidez ver-bal habiendo eliminado de esa correlacin el efecto de la variable extraversin.Antes de eliminar dicho efecto la correlacin entre estas variables era de 0,79.Vemos por lo tanto, que el valor aumenta, lo que indica que la extraversin estinfluyendo negativamente.

Si calculamos la correlacin entre la variable criterio y la extraversin elimi-nando de la correlacin obtenida el efecto de la fluidez verbal, el valor obte-nido ser :

La correlacin obtenida es negativa, a diferencia del valor encontrado an tesde eliminar la influencia de la fluidez verbal. Esto indica que la fluidez verbal es-taba influyendo positivamente en la correlacin.- Correlaciones semiparciales

= 0,79-0,30. 0,65 = o, 595 =o 78~ 1 - 0 , 6 5 0,759 1

= 0,30-0,79 0,65 = -0,214 =-0 28~ 1 - 0 , 6 5 0,759 1

Cuando se elimina el influjo que una variable predictora tiene sobre la otra ,la correlacin obtenida vara ostensiblemente. Hay que recordar que la correla-cin entre las dos variables predictoras es bastante alta (r = 0,65). En lo posible,hay que evitar que la correlacin entre las dos variables predictoras sea alta, deesta manera se podr explicar un mayor porcentaje de varianza del criterio . Msadelante explicaremos el problema.

356

7/30/2019 Tema-7 (66).pdf

17/66


- Ecuaciones de regresin en puntuaciones tpicas:

a=Ob* = 0,79-0,300,65 = 0,59 =1 021 1-0,652 0,58 1

b* = 0,30-0,790,65 = -0,21 =-0 362 1- o 65 2 o 58 11 1

- Ecuaciones de regresin en puntuaciones diferencialesb =b* J.y_1 1 S

Xa=O

s ~ J k f - [ I f - J ~ ~ ~ - e n ~ 1 , 3 0s,. ~ 1 - ( ~ J ~ ~ - e n ~ 1 . 9 8s,, ~ -[:,J ~ 2 ~ 6 -e66J 1,306=102 1' 30 =0661 1 1 98 11y'= 0,66 x1 -0,36 x2

b2 = -0 ,36 1'30 = -0,361 30

- Ecuacin de regresin en puntuaciones directas

a=O

357

7/30/2019 Tema-7 (66).pdf

18/66

1 PSICOMETRA

- :y 36Y=-=-=6N 6 x = :x1 = 32 = 5 331 N 6 'a = 6 - O, 66 5, 3 3 + O, 3 6 6 = 4, 64Y'= 4,64+0,66 X1 -0,36 X2

- Varianza error o varianza residualHemos visto que hay dos formas de calcularla, bien a partir de las diferencias

cuadrticas medias entre las puntuaciones obtenidas en el criterio y las pronos-ticadas mediante la ecuacin de regresin mltiple, o aplicando la frmula si-guiente:

52 = 226 -36=167y 6 '

Dado que se trata de un ejemplo vamos a hacerlo de las dos formas para com -probar que el resultado es el mismo. Por eso, en primer lugar, es necesario pro-nosticar las puntuaciones mediante la ecuacin de regresin construida, susti-tuyendo en la misma los valores que han obtenido los sujetos en las dos variablespredictoras. Por ejemplo, para el primer sujeto sera:

Y'= 4,64 + 0,66(2)- 0,36(4) = 4,52A continuacin se incluye la tabla 7.2 con los datos necesarios y, una vez

aplicada la frmula correspondiente, se puede observar que los resultados coin-ciden. Sealar tambin cmo la suma de las puntuaciones pronosticadas es igualque la de las puntuaciones empricas obtenidas y cmo la suma de los erroresde estimacin o de pronstico es cero.

358

7/30/2019 Tema-7 (66).pdf

19/66


.. 'y x1 x2 Y' (Y-Y') (Y-Y')4 2 4 4,52 -0,52 0,278 6 5 6,8 1,2 1,446 5 6 5.78 0 ,22 0,056 7 6 7,1 -1,1 1,215 4 7 4.76 0 ,24 0,067 8 8 7 ,04 -0,04 0,00

Suma 36 32 36 36 0 ,00 3 ,03

- Error tpico de estimacin mltiple

En la frmula del error tpico en puntuaciones tpicas la desviacin tpica delcriterio es la unidad, por lo tanto el valor de este error ser:

Sz z z =.Jl-0,70 =0,548""0,55y Xl X2

-Intervalos confidencialesUna vez construidas las ecuaciones de regresin, y conocido el error tpico

de estimacin, es posible utilizarlas para pronosticar la puntuacin que obtendrn en el criterio de pericia de ventas un grupo de sujetos pertenecientesa la misma poblacin de la que se extrajo la muestra que sirvi para su construccin, a partir de las puntuaciones que obtengan en las variables predictoras.

Con los datos que hemos ido obteniendo vamos a calcular la puntuacin quese le pronosticara en el criterio a una persona que hubiera obtenido en la pruebade fluidez verbal 9 puntos y en la de extraversin 6. Para establecer los intervalos confidenciales utilizaremos un nivel de confianza del 99%.

359

7/30/2019 Tema-7 (66).pdf

20/66

1 PSICOMETRA

Los pasos a seguir son:NC 99%:::::} Zc = 2,58Sy.x,x2 = 0,71 (En puntuaciones tpicas= 0,55)Error mximo= Zc Sy x,x2 = 2, 58 O, 71 = 1, 83 (En puntuaciones tpicas= 1, 42)

Aplicando las ecuaciones de regresin mltiple obtendremos la puntuacinpronosticada al sujeto:

Puntuacin tpica:

Zy . = 1,02 Zx -0,36 Zx = 1,02 - 0,36 -- = 1,89( 9-5,33) ( 6 - 6 )1 2 1,98 1,30Puntuacin diferencial:

y'= 0,66x,-0,36x2 = 0,66(9-5,33)-0,36 (6-6)=2,42

Puntuacin directa:Y'= 4,64+0,66 x, - 0,36 X2 = 4,64+0,669-0,366=8,42

Esta sera una estimacin puntual pero vamos a hacer una estimacin por intervalos, para ello a la puntuacin pronosticada le sumamos y restamos el errormximo:

En puntuaciones tpicas:1,89 1,42:::::} 0,47 ~ Z y ~ 3,31

En puntuaciones diferenciales:2,42 1,83 ~ 0,59 ~ y ~ 4,25

En puntuaciones directas:8,42 1,83 ~ 6,59 ~ y ~ 10,25

360

7/30/2019 Tema-7 (66).pdf

21/66


Estos intervalos marcan los lmites entre los que se encontrar la puntuacin enel criterio del sujeto seleccionado, con una probabilidad de acierto del 99% o, loque es lo mismo, con una probabilidad igual o menor de 0,01 de equivocarnos.- Interpretacin de los resultados obtenidos

El coeficiente de determinacin mltiple, viene dado por la correlacin mltiple al cuadrado y es igual a 0,70. Esto indica que, a partir de las puntuacionesobtenidas por los sujetos en las dos variables utilizadas como predictores sepuede explicar el 70% de la variacin de las puntuaciones de los sujetos en elcriterio, o lo que es lo mismo, que entre el criterio y el conjunto de variables predictoras hay un 70% de varianza comn o asociada

El coeficiente de alienacin mltiple, es igual a 0,548 lo que indica que todava hay aproximadamente un 55 %de inseguridad en los pronsticos; elevadoal cuadrado y multiplicado por 100 representa el porcentaje de varianza del criterio que no se puede explicar a partir del conjunto de variables predictoras, ennuestro caso un 30%.

El coeficiente de valor predictivo mltiple, es el complementario del coeficiente de alienacin, y multiplicado por 100 representa el porcentaje de seguri dad en los pronsticos, en nuestro caso un 45%.

2.4. Mtodos para seleccionar las variables predictoras msadecuadasAl hacer el anlisis del puesto de trabajo es posible que se disponga de dife

rentes predictores para pronosticar un criterio; no obstante, antes de utilizarlostodos conviene estar seguros de que, en realidad, contribuyen de manera significativa a la prediccin del criterio explicando una parte de la varianza que noes explicada por ninguno de los dems.

Para poder hacer esta seleccin hay varios mtodos estadsticos: Forward (hacia adelante), Backward (hacia atrs). Vamos a ir explicando de forma esquemtica la forma de proceder cuando se utiliza uno u otro.

2.4.1. Mtodos ForwardDentro de estos mtodos vamos a explicar el ms utilizado que es el stepwise

(paso a paso):361

7/30/2019 Tema-7 (66).pdf

22/66

1PSICOMETRA

Se calculan las intercorrelaciones entre las distintas variables.Se selecciona en primer lugar la variable predictora (independiente) cuyacorrelacin con el criterio sea ms alta y se construye la ecuacin de re-gresin.Se van aadiendo en la ecuacin de regresin, una a una, las dems va-riables predictoras pero siguiendo la siguiente pauta: la segunda variab lea incluir ser aquella cuya correlacin semiparcial con el criterio sea msalta; es decir, sea ms alta despus de haber eliminado de antemano elefecto que pueda estar ejerciendo dicha variable sobre la variable que sehaba seleccionado en primer lugar. A continuacin, la tercera variable aincluir sera la que tuviera con el criterio una correlacin ms alta despusde haber eliminado la influencia debida a la asociacin entre esa vari a-ble y las otras dos se leccionadas, y as sucesivamente.Cada vez que se incluye una variable predictora en la ecuacin de regre-sin se calcula el aumento que se produce en el porcentaje de varianzadel criterio que explican el conjunto de variables seleccionadas (aumentoen el coeficiente de determinacin mltiple) y se analiza si ese aumentoes estadsticamente significativo o no. El proceso se detiene cuando el au-mento no es significativo .

Los paquetes estadsticos que se utilizan habitualmente, SPSS por ejemplo,ofrecen estos mtodos.

2.4.2. Mtodos Backward

Es un mtodo inverso al anterior y menos utilizado. Al utilizar este mtodo seprocede de la siguiente manera:

362

Se calcula la correlacin mltiple al cuadrado (coeficiente de determina-cin) entre la variable criterio y todo el conjunto de predictores de que sedispone.Se van eliminando una a una las variables menos relevantes calculandoen cada proceso de eliminacin la reduccin que se produce en el coefi-ciente de determinacin.El proceso se detiene cuando la reduccin observada sea significativa.

7/30/2019 Tema-7 (66).pdf

23/66


2.4.3. EjemploSupongamos que para la prediccin del xito como piloto (Y) se cuenta con

tres posibles variables predictoras: Destreza manual (X1), Razonamiento espacial (X2) y Control emocional (X3), y se encarga a un psiclogo el estudio de validacin correspondiente a fin de encontrar la ecuacin de regresin que con-tribuya mejor a la prediccin del criterio . La muestra de validacin utilizadaestuvo formada por 300 pilotos.

En la tabla adjunta (7.3) se recogen las intercorrelaciones entre las 4 variables:Tabla 7.3 " 1

y

y

- Mtodo Forward: stepwise

0,801

0,750,601

0,860,700,651

A partir de la matriz de intercorrelaciones se selecciona en primer lugar lavariable predictora cuya correlacin con el criterio que se quiere predecir esms alta:

a continuacin se calculan las correlaciones semiparciales eliminando de las variables predictoras X1 y X2 la influencia que pueda estar ejerciendo su relacincon la variable X3 .

= 0,80-0,860,70 = 0,198 =0 28~ 1 - 0 , 7 0 0,714 '= 0,75-0,86 0,65 = 0,191 =0 25

~ 1 - 0 , 6 5 0,759 '

363

7/30/2019 Tema-7 (66).pdf

24/66

1 PSICOIVIETRA

Dado que la correlacin semiparcial ms alta es ry(x, x3, ser la variable X1 laque entre a formar parte de la ecuacin de regresin en segundo lugar.Hay que ver, sin embargo, si el aumento que experimenta la correlacin ml-

tiple al cuadrado al introducir esta segunda variable es significativo:R ~ = r y +r}(x2x3 ) =0,86 2 +0,28 2 =0,82Ry.x1x2 = ~ 0 , 82 =O,90

Como se puede observar al introducir la nueva variable, la correlacin ha pa-sado de 0,86 a 0,90.Para ver si el aumento ha sido significativo se utiliza el si-guiente estadstico de contraste:

F = (N-K - 1) [ ~ kx - R ~ J J ( 3 00 - 2 - 1)( 0, 82 - 0,74 ) = 13 2K - } 1- R2 2 - 1 1- O 82y . ~ 'donde:

N= nmero de sujetos de la muestraK= nmero de predictores finales incluidosj = nmero de predictores incluidos hasta el paso anteriorRhx =correlacin mltiple al cuadrado con K predictores

R ~ j x =correlacin mltiple al cuadrado con} predictoresEl estadstico de contraste tiene una distribucin F de Snedecor con (K-} ) y

(N - K- 1) grados de libertad.En nuestro ejemplo, si se acude a las tablas de F (Tabla 5, al final del libro) y

se busca a un determinado nivel de confianza, por ejemplo del 95%, el valor deF correspondiente a 1 y 297 grados de libertad se observa que el valor encontrado es significativo puesto que el valor obtenido en la tabla es ms pequeo.Se debera introducir la variable X1 en la ecuacin de regresin.

Ya slo queda probar si se debe introduci r la variable X2 para ello continua-'mos el proceso calculando las correlaciones semiparciales siguientes:

364

7/30/2019 Tema-7 (66).pdf

25/66


= 0,60-0,70 0,65 = 0,145 =0 203~ 1 - 0 7 0 0,714 '

La correlacin mltiple al cuadrado aumenta de 0,82 a 0,86 al introducir lavariable X2

comprobamos si este incremento es significativo:F= 300-3-1 (0 ,86- 0,82 )= 84,573 -2 1-0,86

Acudiendo a las tablas de Fcon 1 y 296 grados de libertad se comprueba, almismo nivel de confianza, que el aumento es significativo, puesto que el valorde Fencontrado es mayor que el de las tablas, por lo tanto se debe incluir staltima variable en la ecuacin de regresin al contribuir a mejorar el pronsticodel criterio significativamente.- Mtodo Backward

Se procede en sentido inverso. En primer lugar se obtiene la correlacin mltiple al cuadrado entre el criterio y el conjunto de variables predictoras que ennuestro ejemplo, tal y como hemos visto anteriormente, es:

Se van eliminando una a una las variables predictoras calculando en cadacaso la reduccin en el coeficiente de correlacin mltiple.

a) Eliminando la variable X2, la correlacin quedara as:

= 0,86 2 +0,80 2 -20,860,80 0,70 =0 821-o 70 2 ''

la reduccin sera de: 0,86- 0,82 = 0,04365

7/30/2019 Tema-7 (66).pdf

26/66

1 PSICOMETRA

b) Si se eliminara la variable X1, la correlacin sera:

la reduccin sera : 0,86- 0,80 = 0,06e) Si se eliminara la variable X3 la correlacin quedara:

R = 0,752 +0 ,00 2 -2 . 0,800,750,60 =O 75Y xlx2 1 - O 602 '1

la reduccin sera: 0,86- 0,75 = 0,11Para ver si este decremento es significativo o no, se calcula el estadstico de

contraste F como se ha ido aplicando anteriormente, los resultados son los si-guientes:

F= 296 0,04 = 296 0,04 = 84 571-0,86 0,14 1

F=296 0,06 =126 86o 14 11F=296 11 =232 57o 14 11

Se acude a las tablas de Fy se busca el valor crtico para 1 y 296 grados delibertad y un nivel de confianza del 95%. Los resultados muestran que la elimi-nacin de cualquier predictor producira una reduccin significativa en el valorde la correlacin mltiple; no obstante, es la variable X3 la que producira unareduccin ms alta puesto que es la que tiene una correlacin ms alta con elcriterio.

Nota: Aunque esta introduccin a los mtodos de seleccin de los predictores se hahecho de manera muy esquemtica, creemos que puede ayudar a nuestros alumnosa comprender el proceso.

366

7/30/2019 Tema-7 (66).pdf

27/66


3. VALIDEZ Y UTILIDAD DE LAS DECISIONESSe incluyen en este apartado una serie de procedimientos que van a permi-

tir analizar la validez de las decisiones tomadas a partir de las puntuaciones ob-tenidas por los sujetos en un test (o varios) en relacin a un criterio dicotmico.Pero, a diferencia de lo que ocurrira si las variables predictoras fueran variablescuantitativas y el criterio dicotmico, donde el procedimiento estadstico msadecuado para analizar la validez de las inferencias sera la regresin logstica,la situacin que se plantea ahora es que las puntuaciones obtenidas en el test sedicotomizan a partir de un punto de corte de manera que permitan asignar a lossujetos en dos categoras, por ejemplo, Admitidos-Rechazados en un puesto detrabajo, Aptos-No aptos en un examen, Enfermos-No enfermos, etc. En este tipode situaciones, no tendra demasiado sentido estudiar la capacidad predictivadel test mediante coeficientes de correlacin como los utilizados anteriormente,sino mediante unos ndices que reflejen la consistencia o acuerdo entre las de-cisiones basadas en el test y la medida del criterio. Estos procedimientos son losque se utilizan generalmente en los Tests Referidos al Criterio (TRC), tal y comose ha expuesto en el tema 5, y en muchas situaciones aplicadas.

3.1. ndices de validez y de seleccinPara una mejor comprensin de la lgica del proceso vamos a utilizar un

ejemplo.EJEMPLO:Supongamos que se quiere llevar a cabo la seleccin de los alumnos que van a

hacer el Doctorado en el Departamento de Metodologa de las Ciencias del Com-portamiento de la UNED el prximo curso y no sabemos si la prueba de admisincon la que contamos puede servir a nuestros propsitos. Para ello, vamos a llevara cabo un estudio de validacin. Se aplica la prueba a todos los que han presen-tado su solicitud para este ao, y dado que se exigen unos conocimientos mnimospara poder tener acceso a los cursos y que se desea seleccionar a los mejores, sefija un punto de corte (Xc), de manera que todos aquellos sujetos que obtenganpuntuaciones por encima del punto de corte sern considerados aptos (A) para ha-cer el doctorado y los que no lo alcancen sern considerados no aptos (R). En estecaso, la prueba utilizada como predictor para tomar decisiones acerca de la ade-cuacin o no de los aspirantes a realizar el doctorado en nuestro Departamento es

367

7/30/2019 Tema-7 (66).pdf

28/66

1PSICOMETRA

una variable dicotomizada (puntuaciones por encima o por debajo del punto decorte). Se admite a todos los aspirantes en los cursos de Doctorado, y al finalizarel ao se les evala de manera que la calificacin asignada permita diferenciar en-tre aquellos alumnos que han tenido un buen rendimiento en los cursos de Doc-torado (A) y los que no han tenido un buen rendimiento (R). Diremos que la pruebautilizada ser vlida para hacer la seleccin de los alumnos de doctorado, y por lotanto se podr utilizar en la seleccin del curso siguiente, cuando las decisiones to-madas a partir de las puntuaciones en el test se vean confirmadas con las decisio-nes tomadas en base a los criterios de rendimiento marcados por el Departamento.

Supongamos que los resultados del proceso de validacin son los que apare -cen recogidos en la tabla 7.4.

Tabla 7.4

368

CriterioA

A NAA (18)Test R NRA (3)

NAc (21)

RNAR (2)NRR (27)NRc (29)

NAT (20)NRT (30)N (50)

En la tabla anterior :NAA + NRR =(Aciertos).Nmero de alumnos que han sido calificados del mismo modo en laprueba de seleccin (test) y en el criterio. Los primeros han sido consi-derados aptos tanto en la prueba de admisin como en el criterio y lossegundos han sido rechazados en ambas calificaciones.

N RA = (Falsos negativos).Alumnos que superaron el criterio de rendimiento y sin embargo en laprueba de admisin no superaron el punto de corte. En un proceso deseleccin habran sido rechazados y, sin embargo, deberan haber sidoadmitidos.

NAR = (Falsos positivos).Alumnos que en la prueba de admisin superaron el punto de corte yluego no superaron el criterio de rendimiento. En un proceso de selec-cin no deberan haber sido seleccionados y, sin embargo, al superarel punto de corte en el predictor seran admitidos.

7/30/2019 Tema-7 (66).pdf

29/66


NAc =nmero de alumnos que han sido considerados aptos en el criterio.NRe= nmero de alumnos que han sido considerados no aptos en el criterio.NAT =nmero de alumnos que han sido considerados aptos en el test.NRT =nmero de alumnos que han sido considerados no aptos en el test.

3.1.1. ndices de validez- Coeficiente Kappa

A partir de los datos es necesario obtener algn indicador de la validez de laprueba de admisin para pronosticar el criterio, uno de los ms utilizados es elCoeficiente Kappa de Cohen (1960) que permite evaluar la consistencia oacuerdo entre las decisiones adoptadas a partir de las puntuaciones obtenidaspor los sujetos en el predictor (en nuestro ejemplo la prueba de admisin) y enel criterio (en nuestro ejemplo el rendimiento en el doctorado).

La frmula del coef iciente viene dada por:

[7.16]

donde:Fe= nmero de casos en los que hay coincidencia entre las puntuaciones del

predictor y las del criterio.Fa = nmero de casos en los que cabe esperar que las calificaciones del predictor y las del criterio coincidan por azar.N = nmero de personas de la muestra.Para calcular las frecuencias esperadas por azar, Fa, se multiplican las fre

cuencias marginales correspondientes y se dividen por el nmero total de sujetos.

En nuestro ejemplo:Fe= NAA + NRR = (18 + 27) = 45

Para calcular Fa se procede de la siguiente manera:

369

7/30/2019 Tema-7 (66).pdf

30/66

1 PSICOMETRA

Frecuencia esperada de la casilla AA= 21 x 20 =8,450

Frecuencia esperada de la casilla RR = 29 x 30 = 17,450

Fa= 8,4 + 17,4 = 25,8

K= 45-25,8 = 19,2 =O 7950-25,8 24, 2

1

Puesto que el valor mximo del coeficiente Kappa es 1, la validez de laprueba de admisin para pronosticar el criterio de rendimiento es alta. Ante estos resultados se podra utilizar la prueba en cursos posteriores para hacer laseleccin de los alumnos que quieren hacer el Doctorado en el Departamento.

Del anlisis de la tabla 7.4 se puede obtener ms informacin para valorar losresultados de la decisin adoptada.- Proporcin de clasificaciones correctas

P.C.C.= NAA +NRR = 18+27 =0,90N 50

- SensibilidadEs un ndice que equivale a la proporcin de aspirantes correctamente selec

cionados mediante la prueba de admisin respecto al total de los que tuvieronxito en el criterio, es decir, respecto al total de los sujetos que rindieron satisfactoriamente en los cursos de doctorado del Departamento. De los 21 aspirantes que tuvieron un rendimiento adecuado en los cursos de doctorado, 18 habansido detectados mediante la prueba de admisin.

S = NAA = ~ =o 86N AC 21 1

- EspecificidadProporcin de aspirantes que fueron correctamente rechazados mediante la

prueba de admisin respecto al total de los aspirantes que no alcanzaron un ren-370

7/30/2019 Tema-7 (66).pdf

31/66


di miento adecuado en los cursos del doctorado. De los 29 aspirantes que no tu-vieron un rendimiento satisfactorio en los cursos de doctorado, 27 haban sidodetectados mediante la prueba de admisin.

E= NRR = ~ = o 93NRC 29 '

Dado que el valor mximo de estos ndices es la unidad, se puede decir quela prueba de admisin tiene una buena capacidad predictiva.- Razn de Eficacia

Proporcin de aspirantes seleccionados mediante la prueba de admisin querindieron satisfactoriamente en el doctorado.

R.E.= N AA = ~ = 0 , 9 0NA T 20

3.1.2. ndices de seleccinAdems de los ndices de validez, en un proceso de seleccin se puede ob-

tener otros ndices que ofrecen informacin acerca del resultado del proceso:- Razn de Idoneidad

Cuando se lleva a cabo una seleccin, la razn de idoneidad equivale a laproporcin de aspirantes que rindieron satisfactoriamente en el criterio.

R./.= N AC = ..]_ =o 42N 50 '- Razn de Seleccin

En un proceso de seleccin, es la proporcin de aspirantes que han sido se-leccionados mediante el test.

R.S.= N AT = 20 =0 40N 50 '

371

7/30/2019 Tema-7 (66).pdf

32/66

l SICOMETRA3.2. Donde situar el punto de corte?

Si, como hemos comentado en el punto anterior, para seleccionar a los sujetos mediante una prueba de admisin (variable predictora), y clasificarlos en lasdos categoras de: Admitidos- Rechazados, era necesario dicotomizar las puntuaciones obtenidas estableciendo un punto de corte, es fcil darse cuenta de laimportancia que tiene el valor correspondiente a ese punto de corte sobre la validez de la prueba. Por otra parte, tambin es importante el punto de corte delcriterio ya que es el que nos va a permitir definir las dos categoras de rendimiento: Satisfactorio-No satisfactorio. La figura 7.1 ayudar a comprender todolo dicho hasta el momento:

Aceptados

Criterio

RechazadosRechazosVerdaderos Negativos

Rechazados

Falsos Positivos

Test Aceptados

Vamos a suponer que la elipse representa el diagrama de la distribucin conjuntade las puntuaciones obtenidas por los sujetos de la muestra (en nuestro ejemplo, porlos aspirantes al curso de doctorado) tanto en el test predictor cuya validez se quiereprobar (prueba de admisin) como en el criterio (rendimiento en el curso de doctorado). Las dos lneas que se cruzan, y que dividen a la elipse en 4 partes, corresponden a los puntos de corte establecidos tanto en el test como en el criterio.

A partir de la figura se puede comprender la importancia de situar los puntos decorte en el lugar adecuado. Si el punto de corte del test se moviera hacia la dere-372

7/30/2019 Tema-7 (66).pdf

33/66


cha, es decir, si se utilizara un criterio de seleccin ms estricto, se reducira la tasade falsos positivos (AR) y por lo tanto habra un menor nmero de aspirantes que ha-biendo sido seleccionados por el test no alcanzaran el rendimiento adecuado en elcriterio; ahora bien, habra tambin un aumento en la tasa de falsos negativos (RA),lo que implicara que se quedaran fuera un mayor nmero de aspirantes que, sihubieran sido seleccionados, podran haber rendido adecuadamente en el criterio.

Si es el criterio el que se hace ms estricto, disminuir el nmero de falsos negativos (RA) pero a costa de que aumente el nmero de falsos positivos (AR).

Entonces, dnde se debe situar el punto de corte? Dado que la validez de lasdecisiones que se tomen va a depender de donde se site el punto de corte, habr que buscar el valor de ste que maximice la capacidad predictiva de la variable predictora. En este sentido el punto de corte debera situarse, en principio,en el punto que hiciera mnimos los errores de clasificacin. Pero, por otra parte,hay que analizar las consecuencias de las decisiones tomadas ya que no siempre tiene la misma importancia cometer un tipo de error u otro (falsos positivoso falsos negativos), ello depender del tipo de decisin a tomar, por eso ste esotro factor a tener en cuenta a la hora de situar el punto de corte.

Si se hablara en trminos de la teora de la decisin estadstica diramos queel punto de corte habra que situarlo teniendo en cuenta la matriz de pagos, esdecir, la matriz que refleje las prdidas>> y ganancias derivadas de las decisiones adoptadas. Sin entrar en este tema ya que queda fuera de nuestros objetivos, sealar dos criterios que se suelen utilizar cuando se han de tomar decisiones en ambiente de incertidumbre, es decir, sin saber cul va a ser el resultadoexacto de la decisin, nos referimos al Criterio maximin y al Criterio minimax.

Cuando un decisor utiliza un criterio maximin, deber elegir aquella alternativa que entre los resultados ms desfavorables, le permita obtener la mximaganancia (mximo de los mnimos). Cuando utiliza el criterio mnimax, el decisor estudiara las alternativas que le van a proporcionar las mximas prdidasy dentro de esas alternativas elegira aquella que le proporcionara una prdidamenor (mnimo de los mximos).

3.3. EjemploSiguiendo con el ejemplo de la seleccin de alumnos al curso de doctorado

del Departamento, vamos a suponer que las calificaciones obtenidas en laprueba de admisin y en el criterio de rendimiento por un grupo de 1O aspirantes fueron las que figuran en la tabla 7.5. Si se considerara que para poder ser ad-

373

7/30/2019 Tema-7 (66).pdf

34/66

1 PSICOMETRA

mitido a los cursos de Doctorado los aspirantes deberan haber obtenido unacalificacin de 7 puntos o ms en la prueba de admisin Cul sera la validezde la prueba para predecir el rendimiento en los cursos de Doctorado?

Aspirantes Prueba CriterioA 5 NAB 7 NAe 6 AD 8 AE 6 NAF 7 AG 6 AH 9 A

4 NA6 NA

Si se considera que la prueba de admisin es una variable cuantitativa y el criterio es una variable dicotmica (NA= No apto, y A= Apto), para estimar la va-lidez de la prueba en relacin al criterio se podra calcular la correlacin bise-rial puntual entre las puntuaciones obtenidas en ambas variables y obtener asel coeficiente de validez. Si se estableciera la dicotoma de la variable predictoramediante el punto de corte (X :2: 7), se tendra una variable dicotomizada y unavariable dicotmica, en este caso el coeficiente ms adecuado sera la correlacin fi-biserial. Cualquiera de estas opciones sera correcta, pero la informacin que ofrecieran sera muy general ya que no se podra saber nada acerca delos errores cometidos al hacer la seleccin que, a nuestro juicio, son importantes. Es preferible proceder de la siguiente manera:

Se elabora una tabla de contingencia de 2 x 2 (tabla 7.6) en la que se reflejen las decisiones conjuntas tomadas a partir de la prueba de admisin y del ren-dimiento en el criterio:

Tabla 7.6 1 Prueba de admisin

Aceptado;:: 7 Rechazado < 7Apto 3 (Aciertos) 2 (Falso negativo) 5Criterio No Apto 1 (Falso positivo) 4 (Aciertos) 5

4 6 10

374

7/30/2019 Tema-7 (66).pdf

35/66


De la distribucin de los aspirantes en la tabla se puede sacar la siguiente in-formacin:

Hay 3 aspirantes (D, F y H) que han superado el punto de corte en laprueba de admisin y, adems, han tenido un buen rendimiento en elDoctorado (ACIERTOS).Hay 4 aspirantes (A, E, 1 y J) que han sido tambin correctamente clasificados ya que no superaron la prueba de admisin y, a su vez, tuvieron unmal rendimiento en el Doctorado (ACIERTOS).Hay una persona que alcanz en la prueba de admisin la puntuacinnecesaria para ser admitido y, sin embargo, luego tuvo un mal rendimientoen el Doctorado (B) (FALSO POSITIVO).Hay 2 personas (C y G) que no habiendo alcanzado la puntuacin mnima necesaria en la prueba de admisin, s que rindieron bien en el Doctorado (FALSOS NEGATIVOS).

Con estos datos se pueden obtener los ndices de validez y de seleccin quese han explicado anteriormente:- ndice Kappa

K = Fe - Fa = 7 - 5 = O 40N -F 10-5 'a

F (AA)= 4 X 5 =2a 1 O

F (RR) = 6 X 5 = 3a 1 O

- Proporcin de clasificaciones correctasPCC = AA+ RR = 3 + 4 = O 70N 10 '

- SensibilidadS= AA =i =0 60AC 5 '

375

7/30/2019 Tema-7 (66).pdf

36/66

1 PSICOMETRA

- Especificidad

E = RR = _ = O 80RC 5 '- Ra zn de idoneidad

Rl = AC = 2_ =O 50N 10 '- Ra zn de eficacia

RE=AA=i=075AT 4 '

Teniendo en cuenta que el valor mximo que se puede obtener en cada unode los ndices es la unidad, los valores obtenidos son bastante aceptables.

3.4. Modelos de Seleccin

Ya se coment anteriormente que a la hora de tomar decisiones acerca de lacompetencia o no de una muestra de sujetos para desarrollar un trabajo, del ren-dimiento de los alumnos en determinados programas, de la adscripcin de ungrupo de pacientes a un determinado tipo de terapia, etc., es necesario obtenerel mximo de informacin para evitar cometer errores que, de otra manera, sehubieran podido evitar. En general, esta informacin se obtiene a partir del cu-rrculum vitae, de las puntuaciones obtenidas en ciertos tests, mediante entre-vistas, dinmicas de grupo, etc., pero el problema que surge es cmo combinartoda esa informacin a la hora de tomar una decisin.

Hay tres modelos bsicos a los que se pueden aadir dos de tipo mixto (losdos ltimos):

376

CompensatorioConjuntivoDisyuntivoConjuntivo-compensatorioDisyuntivo-compensatorio

7/30/2019 Tema-7 (66).pdf

37/66


- Modelo compensatorioSe trata de un modelo aditivo en el que a cada sujeto se le asigna una nica

puntuacin global. El nombre alude a que los sujetos pueden compensar unabaja puntuacin en una de las pruebas con una puntuacin alta en otras de manera que el resultado final sea una nica puntuacin (por ejemplo el examen deselectividad) . Este tipo de modelo no siempre tiene sentido ya que hay veces quela ausencia de alguna destreza o capacidad no puede ser compensada por un exceso en otra. Si un requisito imprescindible para un puesto de trabajo es el conocimiento de la lengua inglesa, difcilmente se podr compensar una falta deconocimiento de este idioma con una buena puntuacin en una prueba de conocimientos informticos.

Una forma adecuada de obtener la puntuacin global, a partir de la combinacin aditiva de todas las puntuaciones obtenidas en las distintas pruebas utilizadas,es mediante el modelo de regresin lineal mltiple, que ya expusimos anteriormente. Este modelo permite asignar a cada sujeto una nica puntuacin (la puntuacin pronosticada), a partir de una combinacin aditiva de los resultados obtenidos en los diferentes predictores, asignando a cada predictor un determinadopeso que vendr determinado por el coeficiente de regresin correspondiente.- Modelo conjuntivo

En este modelo se fijan de antemano unos mnimos en cada una de las pruebas utilizadas para la seleccin, de manera que slo se seleccionarn aquellaspersonas que hayan superado esos mnimos en todas y cada una de las pruebas.- Modelo disyuntivo

En este modelo slo se exige superar determinado nivel de competencia enal menos alguno de los predictores o bloque de predictores .- Modelo conjuntivo-compensatorio

Se aplica, en un primer momento, el modelo conjuntivo y se seleccionanaquellos sujetos que superan los mnimos establecidos en cada uno de los predictores. A continuacin, a los sujetos seleccionados se les aplica el modelocompensatorio de manera que queden ordenados en funcin de la puntuacinglobal obtenida. Una vez ordenados los sujetos, dependiendo de cmo se hayaplanteado el proceso de seleccin, se puede elegir a un determinado nmerode entre los mejores, o bien establecer un punto de corte de manera que seanseleccionados aquellos cuya puntuacin global supere el punto establecido.

377

7/30/2019 Tema-7 (66).pdf

38/66

1PSICOMETRA

- Modelo disyuntivo-compensatorioSe hace una primera seleccin aplicando el modelo disyuntivo y a los suje-

tos seleccionados se les aplica el modelo compensatorio.

3.5. Cmo estimar la eficacia de una seleccin?Entre los ndices que hemos expuesto anteriormente uno de ellos es la razn

de eficacia que representa la proporcin de personas seleccionadas que tienenxito en el criterio.

Otra forma de estimar la eficacia de la seleccin es utilizando el modelo deregresin, siempre que se verifiquen los supuestos que implica, pues permite es-timar la probabilidad de que los seleccionados tengan xito en el criterio.

Se pueden presentar varias situaciones, pero vamos a estudiar slo dos. Una,aquella en la que no hay un nmero limitado de plazas y se seleccionan todasaquellas personas que superan una determinada puntuacin en el predictor (opredictores) y la otra situacin es aquella en la que s hay un nmero de plazaslimitadas y se quiere seleccionar a los que hayan obtenido mejores resultados enel predictor (o predictores).

EJEMPLO:Supongamos que la ecuacin de regresin obtenida a partir de un test (X)

para predecir un criterio (Y) ha sido: Y/= 0,5 + 2X, que la desviacin tpica delcriterio es Sy = 5, que el coeficiente de validez es rxy =0,80 y que para considerarque se ha tenido xito en el criterio es necesario obtener en el mismo una pun-tuacin igual o mayor de 8 puntos. Con estos datos, y suponiendo que no hayun nmero limitado de plazas, qu probabilidad de xito tendrn los sujetosque en el test hayan obtenido una puntuacin de 6 puntos?

378

En primer lugar se estima la puntuacin pronosticada en el criterio de lossujetos que en el test obtuvieron una puntuacin de 6 puntos. Esta pun-tuacin es la media de la distribucin de todas las puntuaciones que hanpodido obtener en el criterio los sujetos que en el test obtuvieron 6 pun-tos. La desviacin tpica de esa distribucin es el error tpico de estima-cin:

y/= 0,5 + 2(6) = 12,5

7/30/2019 Tema-7 (66).pdf

39/66


Se asume que las distribuciones de los errores de estimacin condiciona-dos a una determinada puntuacin en el test se ajustan a la distribucinnormal de probabilidad, con una media que vendr dada por la puntua-cin pronosticada en el criterio y con la desviacin tpica que vendr dadapor el error tpico de estimacin. As pues es necesario calcular el error t-pico de estimacin:

La puntuacin tpica correspondiente al punto crtico del criterio Zc es la queva a marcar la separacin entre la probabilidad de xito y la de fracaso y, por lotanto, la que nos va a permitir analizar la eficacia de la seleccin. Su clculo sehace as:

Y' = 12,5 - - - - - -

X=6

Zc = Y - y' = 8 - 1 2, 5 = -1, 5Syx 3

Se acude a las tablas de curva normal (al final del libro) y se busca el rea dela curva que queda por encima de una puntuacin tpica de -1,5 . Obtenemos unaprobabilidad de 0,9332; luego un sujeto que obtuviera en el test 6 puntos y hayasido seleccionado al pronosticrsele en el criterio una puntuacin de 12,5 queest por encima del punto crtico, tiene una probabilidad de 0,9332 de tener xito.La probabilidad de fracaso sera 1 -0,9332 = 0,0668 (zona oscura de la figura).

379

7/30/2019 Tema-7 (66).pdf

40/66

1 PSICOMETRA

Siguiendo con los datos del ejemplo anterior, vamos a hacer un planteamientodistinto. Supongamos que hay 100 aspirantes al puesto de trabajo y que slo hay1O plazas a cubrir. En este caso se supone que debern seleccionarse a los 1Oas -pirantes que hayan obtenido mejores puntuaciones en el test. Cul sera la pro-babilidad de xito de estas personas?

En primer lugar hemos de averiguar cul es la puntuacin mnima que hanobtenido las 1 O personas seleccionadas por el test. Como sabemos que esaspersonas representan el 10% de todos los aspirantes, deberemos buscar la pun -tuacin que deja por debajo el 90% de la muestra de aspirantes. Si asumimosque las puntuaciones en el test se distribuyen segn la curva normal de proba-bilidad, la puntuacin tpica que deja por debajo el 90% de los casos esZx = 1,28 aproximadamente. Si la media del test fuera de 7 puntos y la desvia-cin tpica de 2 puntos, la puntuacin directa mnima de las 1 O personas se-leccionadas sera:

X - X X-71,28 = - -= - - =>X= 7 + 1,28(2) = 9,56Sx 2Una vez obtenida esta puntuacin procedemos de la misma manera que en

el ejemplo anterior, se aplica la ecuacin de regresin y se calcula la puntuac inque se les pronosticara a estos sujetos en el criterio.

Y' = 0,5 + 2 (9,56) = 19,62Conocida la puntuacin pronosticada se calcula la Zc a partir de la cu al seaverigua la probabilidad de xito de estos sujetos.

Zc = 8-19,62 =-3 873 'No es necesario acudir a las tablas de curva normal para darnos cuenta de que

la probabi l idad de que todos los seleccionados tengan xito es prcticamente el100%.

380

7/30/2019 Tema-7 (66).pdf

41/66


4. FACTORES DE INFLUYEN EN El COEFICIENTE DEVALIDEZ

Son varios los factores que influyen en el valor del coeficiente de validez, perovamos a sealar tres que a nuestro juicio son decisivos: a) la variabilidad de la mues-tra, b) la fiabilidad de las puntuaciones del test y del criterio y e) la longitud del test.

4.1. la variabilidad de la muestra

El coeficiente de validez se ha definido como la correlacin entre las pun-tuaciones obtenidas por los sujetos en el predictor (o predictores) y las obteni-das en el criterio, y como tal correlacin tiende a aumentar a medida que la va-riabilidad de la muestra utilizada es mayor y, por el contrario, tiende a disminuira medida que la muestra es ms homognea. Por lo tanto, el conocimiento dela variabilidad de la muestra es fundamental a la hora de poder interpretar elcoeficiente de validez, ya que para un mismo predictor y una misma medida delcriterio el coeficiente puede variar de muestra a muestra.

Dado que lo que nos interesa es que nuestros alumnos comprendan de qumanera influye la variabilidad de la muestra en el coeficiente de validez vamosa exponer con un ejemplo el caso ms sencillo, aqul en el que slo hay dos va-riables implicadas, una la variable predictora y otra la variable criterio.

EJEMPLO:Supongamos que una Universidad privada utiliza, adems de otras tcnicas,

una batera de tests para hacer la seleccin de sus alumnos. Si se quiere cono-cer la validez de esa batera para pronosticar el rendimiento de los alumnos ensus estudios, ser necesario buscar algn indicador que permita obtener una me-dida de ese rendimiento; un indicador puede ser las notas obtenidas al finalizarel primer ao de licenciatura. Para averiguar la validez predictora de la baterautilizada se calcular la correlacin entre las puntuaciones obtenidas por los su-jetos en la batera y la medida del criterio.

El valor obtenido ser el coeficiente de validez de la batera, pero se ha ob-tenido en una muestra previamente seleccionada puesto que las calificacionesen el criterio slo se conocen en la muestra de admitidos. Esta muestra ser mu-cho ms homognea que la formada por todos los aspirantes y, por lo tanto, elvalor de la correlacin obtenida ser ms bajo.

381

7/30/2019 Tema-7 (66).pdf

42/66

1PSICOMETRA

Dado que lo que en realidad interesa es conocer la capacidad predictora dela batera antes de hacer la seleccin, es decir en el grupo de aspirantes, ya queno tendra sentido seleccionar a un grupo de sujetos y que luego se pusiera demanifiesto que la batera no serva para predecir el criterio elegido, hay dos for-mas de proceder:

a) Aplicar la batera a todos los aspirantes, admitirlos a todos, y al finalizarel primer ao de su carrera evaluarles en el criterio de rendimiento aca-dmico a partir de las notas que hubieran obtenido. La correlacin entrelas puntuaciones obtenidas en la batera de tests y las notas obtenidas se-ra el coeficiente de validez de la batera. Creo que si este fuera el mtodonecesario para llevar a cabo el proceso de validacin de la batera, se uti-lizaran otras tcnicas para hacer la seleccin .

b) Una forma alternativa de llevar a cabo el proceso de validacin es, tal ycomo se ha comentado anteriormente, calcular la correlacin entre laspuntuaciones obtenidas en la batera por el grupo de alumnos seleccio-nados y sus puntuaciones en el criterio y, posteriormente, basndose enuna serie de supuestos hacer una estimacin del coeficiente de validezque se habra obtenido en el grupo de aspirantes.

-SupuestosLa pendiente de la ecuacin de regresin que permitir pronosticar elcriterio a partir de la variable predictora es la misma en el grupo de aspi-rantes y en el de seleccionados .El error tpico de estimacin es igual en ambos grupos

Si denotamos con letras maysculas los datos referidos al grupo de aspiran-tes y con minsculas los del grupo de admitidos, la expresin formal de estos su-puestos ser:

SB = b ~ R _r_XY SX [7.17]

Si lo que se desea es conocer el coeficiente de validez de la batera en elgrupo de aspirantes, basta despejarlo de las dos ecuaciones anteriores

382

7/30/2019 Tema-7 (66).pdf

43/66


[7.18]

Si se quiere estimar cul sera la variabilidad de la muestra de aspirantes enel criterio, bastara con despejar Sy de las ecuaciones anteriores:

[7.19]

Vamos a suponer que el nmero de aspirantes era 300 y obtuvieron una des-viacin tpica en la batera de 12 puntos. De entre todos ellos se seleccionarona 40, cuya desviacin tpica en la batera fue de 6 puntos. Al cabo del ao losadmitidos fueron calificados en el criterio, siendo la correlacin entre las pun-tuaciones que haban obtenido en la batera y las del criterio 0,30.

Cul sera el coeficiente de validez estimado si se hubiese calcu lado en lamuestra total de aspirantes?

R = (12)(0,30) = ~ = O 53XY ~ ( 1 2 ) ( 0 , 3 0 ) + 6 - 6 ( 0 , 3 0 ) 6J6 1

Se puede apreciar que el cambio es bastante grande y, sin embargo, la des-viacin tpica slo ha pasado de 12 a 6 puntos. Si hubiera habido ms diferen-cia entre las dos desviaciones tpicas el cambio hubiera sido an mayor.

4.2. la fiabilidad de las puntuaciones del test y del criterioCuando se calcula el coeficiente de validez como la correlacin entre las pun-

tuaciones empricas obtenidas por los sujetos en el test y en el criterio hay que te-ner en cuenta que esas puntuaciones empricas estn afectadas por errores de me-dida y que esos errores de medida estn influyendo en el coeficiente de validezproduciendo una serie de sesgos que es necesario eliminar o, al menos, controlar.Spearman (1904) propuso una frmula a la que denomin frmula de atenuacinporque permite corregir la atenuacin, disminucin o reduccin del coeficiente devalidez debida a la presencia de los errores de medida. De esta frmula se pue-den derivar varios casos particulares que van a ser analizados con un ejemplo.

383

7/30/2019 Tema-7 (66).pdf

44/66

1 PSICOMETRA

EJEMPLO:Aplicado un test de razonamiento abstracto a una muestra de sujetos se ob -

tuvo un coeficiente de fiabilidad igual a 0,64, la fiabilidad del criterio result se r0,60 y el coeficiente de validez 0,56.4.2.1. Estimacin del coeficiente de validez en el supuesto de quetanto el test como el criterio tuvieran una fiabilidad perfecta

La frmula viene expresada por:

[7.20]

donde:Rvxvv = coeficiente de validez terico que se obtendra si las puntuaciones

del test y del criterio estuvieran 1bres de errores de medida. En estecaso la correlacin se calculara entre las puntuaciones verdaderasdel test y del criterio.

rxy =coeficiente de validez emprico.rxx =coeficiente de fiabilidad emprico del test.ryy =coeficiente de fiabilidad emprico del criterio.De dnde surge esta frmula?La correlacin entre las puntuaciones verdaderas en el test y las verdaderas

en el criterio sera igual a la covarianza entre ambas dividida por el producto delas desviaciones tpicas de las puntuaciones verdaderas de ambos:

Una de las deducciones del modelo de Spearman es que la covarianza entrelas puntuaciones verdaderas es igual a la de las empricas, por eso se sustituyeen la frmula; pero, adems, teniendo en cuenta que la covarianza es igual a lacorrelacin de Pearson entre las dos series de puntuaciones multiplicada por lasdos desviaciones tpicas, que el cociente entre la desviacin tpica de las pun-384

7/30/2019 Tema-7 (66).pdf

45/66


tuac iones verdaderas y la de las empricas es el ndice de fiabilidad y que stees la raz cuadrada del coeficiente de fiabilidad, se obtiene la frmula propuesta.

Cul sera el coeficiente de validez estimado en el caso de que tanto las pun-tu ac iones del test como las del criterio estuvieran libres de errores de medida?

R = 0,56 = 0,56 = 091vxvv .Jo,64.J0,60 0,80 0,77 '

Como se puede observar si se pudieran eliminar todos los errores de medidaque afectan a las puntuaciones del test y del criterio habra un aumento consi-derable del coeficiente de validez, pasara de 0,56 a 0,91 .

4.2.2. Estimacin del coeficiente de validez en el supuesto de que eltest tuviera una fiabilidad perfectaPartiendo de la frmula anterior, supongamos que ahora slo el test tiene fia-

bilidad perfecta. En este caso la estimacin del coeficiente de validez se haracalculando la correlacin entre las puntuaciones verdaderas del test y las emp-ricas del criterio.

[7 .21]

Para la deduccin de la frmula se sigue el mismo razonamiento:

Si tomamos otra vez el ejemplo, la estimacin del coeficiente de validez sera:R = 0,56 = 0,56 =O 70vxY .Jo,64 0,80 '

El valor del coeficiente de validez aumenta con respecto al valor inicial, peroeste aumento, aunque grande, es ms moderado que en el caso anterior ya que

385

7/30/2019 Tema-7 (66).pdf

46/66

1 PSICOMETRA

slo se han eliminado los errores de medida de una de las variables (el test) perono del criterio, cuyas puntuaciones continan afectadas por los errores.

4.2.3. Estimacin del coeficiente de validez en el supuesto de que elcriterio tuviera una fiabilidad perfecta

[7.22]

Es el mismo procedimiento que en el caso anterior pero ahora es el criterioel que est libre de errores de medida.

Aplicando la frmula a los datos del ejemplo tendramos:R = O,S6 =O 73XVy .Jo, 60 1

Vemos tambin que el coeficiente de validez aumentara considerablementea pesar de que todava el test est afectado de errores de medida.

Estos tres casos son hipotticos ya que, en la prctica, nunca se va a conse-guir eliminar por completo los errores de medida del test, del criterio o de am-bos. No obstante, sin llegar a eliminarlos del todo, s que es posible tratar de re-ducirlos de alguna manera y conocer cul sera el cambio experimentado por elcoeficiente de validez en cada caso. Los tres casos que se presentan a conti-nuacin nos explican cmo hacerlo.

4.2.4. Estimacin del coeficiente de validez del test en el supuesto deque se mejorara la fiabilidad tanto del test como del criterioEn la frmula las letras maysculas corresponden a los coeficientes de fiabi-

lidad mejorados.

[7.23]

386

7/30/2019 Tema-7 (66).pdf

47/66


Para derivar esta frmula se parte del siguiente razonamiento: Aunque se lo-grase mejorar la fiabilidad del test y del criterio, eliminando en parte los erroresde medida, lo que se mantendra constante sera la correlacin entre las pun-tuaciones verdaderas del test y del criterio ya que estas puntuaciones estn 1ibresde errores. Una vez hecho esto se igualan las dos frmulas y se opera.

Continuando con el ejemplo anterior, cul seria el coeficiente de validez sise consiguiera un coeficiente de fiabilidad en el test de 0,75 y en el criterio de0,64?

Rxy = 0,56 =0,56= 063{0,64 0 , 6 0 0,89 1~ 0 , 7 5 0,64

Se observa que ha habido un aumento del coeficiente de validez, ha pasadode 0,56 a 0,63. El aumento no es tan grande como cuando se consiguen elimi-nar por completo los errores de medida en el test y en el criterio, pero es bastanteconsiderable.

4.2.5. Estimacin del coeficiente de validez del test en el supuesto deque se mejorara la fiabilidad del testSi se mejora la fiabilidad del test pero se mantiene constante la del criterio,

la frmula a utilizar sera:

[7.24)

387

7/30/2019 Tema-7 (66).pdf

48/66

1 PSICOMETRA

El segundo radical del denominador desaparece ya que al permanecer cons-tante el coeficiente de fiabilidad del criterio el numerador y el denominador soniguales.Cul sera el coeficiente de validez si el coeficiente de fiabilidad del criteriose pudiera aumentar hasta 0,75 y se mantuviera constante el del criterio?

R = 0,56 =0 ,56= 061XY J , 64 0, 9 2 '0,75

4.2.6. Estimacin del coeficiente de validez del test en el supuesto deque se mejorara la fiabilidad del criterioSiguiendo el mismo razonamiento anterior, la frmula a utilizar sera:

[7.25]

Si se mantiene invariante el coeficiente de fiabil idad del test, y por algn pro-cedimiento se consigue que la fiabilidad del criterio aumente hasta 0,64 culsera el coeficiente de validez estimado?R = O, 56 = O, 56 =O 58XY ~ 0 , 6 0 O, 97 '

0,64Aunque hay un aumento ste es bastante ms pequeo.

4.2.7. Valor mximo del coeficiente de validezSe obtiene a partir de la frmula:

388

7/30/2019 Tema-7 (66).pdf

49/66


que es la que permite estimar el coeficiente de validez cuando se han eliminadopor completo los errores de medida del test y del criterio. Como toda correlacin,es igual o menor que la unidad. Suponiendo que fuera igual a la unidad que se-ra el valor mximo, se deduce que:

y partiendo de la base de que el valor mximo del coeficiente de fiabilidad delcriterio es la unidad, la frmula anterior se podra expresar como:

teniendo en cuenta que la raz cuadrada del coeficiente de fiabilidad es el n-dice de fiabilidad, la frmula anterior se puede expresar como:

[7.26]que indica que el valor mximo que puede alcanzar el coeficiente de validez esel del ndice de fiabilidad.

En nuestro ejemplo, el valor mximo que podra alcanzar el coeficiente de va-lidez emprico sera igual a 0,80.

4.3. Validez y longitudCuando se estudi el tema relativo a la fiabilidad de las puntuaciones se ex-

plic que una de las formas de aumentar el coeficiente de fiabilidad era au-mentando la longitud del test a base de aadirle elementos paralelos a los queya tena. Esta mejora del coeficiente de fiabilidad repercute, directamente, enuna mejora del coeficiente de validez tal y como hemos expuesto en el apartadoanterior; la relacin entre el coeficiente de validez con la fiabilidad y la longi-tud del test viene dada por la siguiente expresin:

R = rxy J-;:;xr ~ 1 + (n -l)rxx [7.27]

389

7/30/2019 Tema-7 (66).pdf

50/66

1 PSICOMETRA

donde:Rxy =coeficiente de validez estimado al modificar la longitud del testrXY =coeficiente de validez inicial del test, antes de la modificacin de su lon-

gitudn = nmero de veces que se aumenta o disminuye la longitud del testrxx =coeficiente de fiabilidad inicial del testPara la deduccin de la frmula basta aplicar la ecuacin general de Sperman

Brown que relaciona la fiabilidad y longitud:R - nrxxxx - 1+ (n - 1) rxx

y sustituirla en la frmula que relaciona la validez y la fiabilidad cuando se mejora el coeficiente de fiabilidad del test:

[7.28]

Hay ocasiones que lo que se pretende es averiguar el nmero de veces quehay que aumentar o disminuir la longitud del test para conseguir un determinado valor del coeficiente de fiabilidad. En este caso, basta despejar el valor den en la frmula:

[7 .29]

Nota: Hay que tener en cuenta que n no es el nmero de tems o elementos del testque hay que aumentar o eliminar para obtener un determinado coeficiente de fiabilidad o validez, n es el nmero de veces que hay que aumentar o disminuir la longitud del test y equivale, por lo tanto, al cociente entre el nmero de elementosfinales y el nmero de elementos iniciales del test.

390

7/30/2019 Tema-7 (66).pdf

51/66


EJEMPLO:Supongamos un test de 30 elementos que tiene un coeficiente de validez de

0,60 y un coeficiente de fiabilidad de 0,64. Cuntos elementos habra que aadirle para obtener un coeficiente de validez de 0,70?

0,702 (1- 0,64) o, 1764n = = = 3 800,60 2 -0,70 20,64 0,0464 '

Este valor encontrado no indica que haya que aadir 3,8 tems al test, lo queindica es que hay que aumentar la longitud del test en 3,8 veces; hay que hacerle3,8 veces ms largo. Para saber cuantos tems representa ese aumento deberemos aplicar la siguiente frmula:

EFn= - => EF = n El= (3, 8)(25) = 95ElEl test deber tener 95 tems para alcanzar un coeficiente de validez de 0,70.

Habr que aadirle, por lo tanto: 95 - 25 = 70 tems.Hay veces que el aumento en el coeficiente de validez no compensa el es-fuerzo de aadir tantos elementos paralelos a un test; por otra parte, cuando untest se hace excesivamente largo se pueden introducir una serie de factores,como pueden ser el cansancio y la falta de motivacin de los sujetos, que pueden aumentar los errores de medida.

5. GENERALIZACIN DE LA VALIDEZYa hemos visto cmo la evolucin del concepto de validez ha ido cambiando

el nfasis de los aspectos externos de la misma a los internos. En la actualidad,uno de los enfoques ms importantes es la tendencia a la modelizacin de losprocesos subyacentes a las respuestas a los tems (Lachman, Lachman y Butterfield, 1979; Snow, Federico y Montague, 1980). Este cambio de enfoque en el es-tudio de la validez se refleja, como sealan Jones y Appelbaum (1989), en laconferencia sobre Test Validity for the 7900's and Beyond organizada en 1986por The Air Force Human resources and the Educational Testing Service cuyas ponencias fueron posteriormente publicadas en un libro (Wainer y Braun, 1988).Tres captulos del libro (Cronbach, 1988; Angoff, 1988 y Messick, 1988) hacenreferencia a la teora clsica de la validez, cada uno de ellos desde una pers-

391

7/30/2019 Tema-7 (66).pdf

52/66

1 PSICOMETRA

pectiva diferente, pero todos ellos subrayan la importancia de la validez de cons-tructo sobre las dems.

Otra cuestin importante en los estudios de validez, que ha suscitado un graninters en los ltimos aos, es el nivel de generalizacin de la misma. Mientrasque este tema slo era abordado de una manera superficial en la primera edicinde Standards for Educational and Psychological tests (APA, AERA, NCME 1974)en la edicin de 1985 se le dedica una atencin especial y en 1986 el trata-miento haba recibido tanta atencin que se incluy como una seccin especialen el Annual Review.

El problema hace referencia a la posibilidad de utilizar y aplicar la evidenciaobtenida en una situacin a otras similares. Este problema reviste una enorme im-portancia, sobre todo en estudios de evaluacin a gran escala, teniendo en cuentaque los estudios de validez suelen basarse en muestras de pequeo tamao.

Desde 1986 se han hecho muchos estudios en este campo, las estrategias utilizadas son variaciones de los mtodos tradicionales del meta-anlisis (Giass,McGaw y Schmidt, 1981 ), lo que supone la reduccin de los diversos resultados(codificados en funcin de sus caractersticas sustantivas y metodolgicas) a unamtrica comn que haga factible su comparacin y/o combinacin. Las dos me-didas que se suelen utilizar en el meta-anlisis para transformar los resultados auna mtrica comn son los niveles de significacin y el tamao del efe cto(coeficiente de correlacin). Algunas modificaciones de este tipo de anlisis hansido propuestas por Hunter, Schmidt y Coggin (1986).

Para una descripcin clara de los procedimientos del meta-anlisis vaseGmez-Benito (1987).

Otra aproximacin al estudio de la posibilidad de generalizacin de la validez es la descrita por Hedhes (1988), que est basada en un mtodo bayesianode meta-anlisis.

392

7/30/2019 Tema-7 (66).pdf

53/66


6. EJERCICIOS DE AUTOEVALUACIN1. Un grupo normativo de 100 sujetos alcanz una puntuacin media de 15

puntos y una desviacin tpica de 5 en un test cuya fiabilidad era 0,91.Las calificaciones asignadas en un criterio arrojaron una media y una desviacin tpica de 1 O y 4 puntos respectivamente. La fiabilidad del criteriofue 0,75 y la correlacin entre las puntuaciones del test y las del criterio0,80. Utilizando un N.C. del 95%, averiguar:1.1. El tanto por ciento de la varianza del criterio que se debe al error.1.2. El coeficiente de validez que se obtendra si se pudieran eliminar loserrores de medida del test.1 .3. Entre qu valores se encontrar la puntuacin en el criterio de un sujeto que en el test obtuvo 18 puntos.

2. Si el 19% de la varianza de las puntuaciones obtenidas en un test es varianza errnea y la correlacin entre las puntuaciones verdaderas del testy las puntuaciones empricas obtenidas en un criterio fuera de 0,85. Culsera el coeficiente de validez emprico?

3. Si la incertidumbre con la que se puede pronosticar un criterio a partir deun test es del 60%. Cul es el coeficiente de validez del test?

4. Cierta Escuela de Enseanza Superior desea cubrir las plazas de alumnosque quedan libres en el primer curso seleccionando los mejores de entretodos los aspirantes. Para llevar a cabo la seleccin se dispone de un testcuya correlacin con el criterio de eficacia y xito en la Escuela es de 0,75.El punto crtico en el criterio de xito se ha situado en la media. Para seradmitido, la Escuela pide que se le garantice que el 90% de los elegidosva a tener un rendimiento aceptable. La media y la desviacin tpica deltest utilizado fueron 16 y 5 y la del criterio 1O y 2 puntos respectivamente.La distribucin de las puntuaciones en el test se ajusta a una distribucinnormal.4.1. Cul sera la nota mnima que un sujeto debe obtener en el test para

poder ser admitido? Expresar el resultado en puntuaciones directas.4.2 . Si un sujeto obtiene en el test una puntuacin directa de 9 puntos,

cul es la probabilidad de que fracase posteriormente en la Escuela?5. A una oferta de trabajo publicada en un peridico (19-5-2002) se han pre

sentado 400 licenciados universitarios de los que fueron admitidos los 20que tuvieron mejores puntuaciones en un test utilizado para la seleccin .

393

7/30/2019 Tema-7 (66).pdf

54/66

1 PSICOMETRA

394

Las puntuaciones de los aspirantes en el test se distribuyeron segn la curvanormal de probabilidad con una media de 60 y una desviacin tpica de4.

5.1. Cul fue la razn de seleccin?5.2. Cul es la puntuacin directa que como mnimo deben haber obte-nido en el test los seleccionados?

6. Las puntuaciones directas obtenidas por un grupo de 100 sujetos en untest de rendimiento tienen una media de 11, una desviacin tpica de 1,20y una fiabilidad de 0,91.Examinados por un tribunal, la media de las calificaciones asignadas a lossujetos fue de 53 puntos y la desviacin tpica de 6. La fiabilidad del cri-terio era de 0,64 y la correlacin entre las puntuaciones obtenidas en el testy las calificaciones asignadas por el tribunal 0,60.Utilizando un N.C. del 95%, averiguar:6.1. El error mximo de medida del test que se puede admitir a ese nivel

de confianza.6.2. Cul sera la verdadera correlacin entre el test y el criterio si se el i-minaran de ste todos los errores de medida que perturban su preci-

sin?6.3. Un sujeto obtuvo en el test una puntuacin directa de 13,4 puntos.

Cul es el intervalo confidencial en el cual podemos afirmar que es-tar comprendida su puntuacin directa en el criterio?

6.4. Suponiendo que adems del test de rendimiento se les hubiera apli-cado a los sujetos un test de actitudes cuya correlacin con el test derendimiento fuera 0,49 y con el criterio de 0,54.6.4.1. Qu puntuacin tpica le pronosticaramos en el criterio a un

sujeto que obtuvo en el test de rendimiento una puntuacin di-recta de 14 puntos y en el test de actitudes estuvo a una desvia-cin tpica por encima de la media?

6.4.2 .Entre qu valores estar la puntuacin tpica en el criterio de unsujeto que en el test de rendimiento estuvo a una desviacin t-pica por debajo de la media y en el de actitudes se encontr enla media?

6.4 .3.Qu porcentaje de la varianza de las puntuaciones de los su-jetos en el criterio se puede explicar a partir de los dos tests pre-dictores?

7/30/2019 Tema-7 (66).pdf

55/66


6.4.4.Calcu lar el coeficiente de alienacin y de valor predictivo ml-tiple y exp licar los resultados obtenidos.

7. En una residencia de ancianos se est probando la validez de una escalade observacin para detectar la dependencia funcional de los residentes yasignarles a un grupo de rehabilitacin. A continuacin se ofrecen las pun-tuaciones obtenidas por 11 residentes en la escala de observacin y eldiagnstico emitido por los especialistas de la residencia en cuanto a sunecesidad o no de rehabilitacin.

8.

Si se considerara que todos aquellos residentes que hubieran obtenido 20puntos o ms en la escala necesitaran rehabilitacin:7.1. Cul sera la validez predictiva de la escala?7.2. Qu punto de corte maximizara las clasificaciones correctas?, asumiendo

que en este caso la rehabilitacin no perjudicara a los residentes.

Sujetos Escala Diagnstico1 26 NR2 11 NR3 10 NR4 6 NR5 21 NR6 25 R7 18 R8 15 NR9 12 NR

10 30 R11 32 R

Ejercicios conceptualesAnte cada una de las afirmaciones que se muestran a continuacin, el lec-tor deber responder si el concepto que contiene es verdadero o falso yjustificar su respuesta.1. La correlacin mltiple es la correlacin entre las puntuaciones obte-

nidas por los sujetos en una variable criterio y una variable predictorade la que se ha eliminado el efecto que pueda estar ejerciendo un con-junto de variables.

2. La correlacin semiparcial es la correlacin entre el criterio y una de lasvariables predictoras eliminando el efecto que sobre una de ellas pue-dan estar ejerciendo el resto de las variables.

395

7/30/2019 Tema-7 (66).pdf

56/66

1PSICOMETRA

396

3. La correlacin parcial es la correlacin entre el criterio y una de las va-riables predictoras cuando de dicha correlacin se elimina el efectoque puedan estar ejerciendo el resto de las variables.

4. La correlacin mltiple al cuadrado, multiplicada por ciento, representael porcentaje de varianza errnea que hay en la varianza de las pun-tuaciones de los sujetos en el criterio.

5. La desviacin tpica de los errores de estimacin es el error tpico de es-timacin.

6. En el mtodo fordward, que se uti liza para la seleccin de predictores,se calcula la correlacin mltiple entre el criterio y el conjunto de va-riables predictoras de las que se dispone y, una a una, se van elimi-nando las variables que menos contribuyen a la medida del criterio.

7. El coeficiente Kappa permite evaluar la consistencia o acuerdo entrelos decisores respecto a las decisiones adoptadas.

8. La sensibilidad es un ndice de validez de las decisiones que equivalea la proporcin de aspirantes que fueron correctamente rechazados enuna seleccin.

9. A medida que aumenta la variabilidad de la muestra disminuye elcoeficiente de validez.

1O. El coeficiente de validez de un test puede aumentar si se le aaden ele-mentos paralelos a los que ya tena.

7/30/2019 Tema-7 (66).pdf

57/66


7. SOLUCIONES A LOS EJERCICIOSDE AUTOEVALUACIN

1. N= 100 SujetosX = 15-y =10

fxx=0,91fyy = 0,75 rxy = 0,80

1.1. r}y = 0,80 2 = 0,64

1.2.

1.3.

El 64% de la varianza de las puntuaciones en el criterio se puede ex-plicar a partir de la variable predictora, el complemento hasta el100%, es decir un 36% es el porcentaje que queda sin explicar y, porlo tanto es el porcentaje correspondiente a la varianza residual o va-rianza error.

En el caso hipottico de que se pudieran eliminar todos los errores demedida del test, el coeficiente de validez aumentara de 0,80 a 0,84.

N.C. 95% ~ Zc =1, 96Syx = 5 y ~ 1 - r}y = 4 ~ 1 - 0,80 2 = 4(0,6) = 2,4fmx = 2, 4(1, 96) = 4, 70Y' = rxy ~ (X - X)+ Y=O, 8 0 ~ (18 -15) + 1O= 11,92Sx 5Y' fmx =11,92 4,707,22 ::::; y::::; 16,62Se estima que la puntuacin en el criterio de un sujeto que en el testhaya obtenido una puntuacin igual a 18 estar comprendida entre7,22 y 16,62 con un nivel de confianza del 95%, o lo que es lo mismocon una probabilidad igual o menor de 0,05 de error.

397

7/30/2019 Tema-7 (66).pdf

58/66

1 PSICOMETRA

398

2.S ~ =O 1952 1 rxx =1-0,19=0,81X

r rO, 85 = ~ = ~ ='Hxy =O, 85 (0, 90) = 0,765:::: 0,77'-lrxx '-)0,81El coeficiente de validez emprico es el real, el que se obtiene a partir deunos datos. Dado que no se pueden eliminar por completo los errores demedida ni del test ni del criterio, los coeficientes de validez obtenidoscomo correlacin entre puntuaciones verdaderas y empricas o entre dosseries de puntuaciones verdaderas son coeficientes de validez tericos. Elvalor del coeficiente de validez es 0,765.

3. La incertidumbre o inseguridad con la que se puede pronosticar un crite-rio a partir de un test viene dada por el coeficiente de alineacin.

4.

K = 0 , 6 0 = ~ 1 - r } y ==?0,36=1-r}y ==?r}y =1-0,36=0,64rxy = 0,80

rxy = 0,75 X =16y= 104.1. Al punto de corte en el criterio, le corresponde una puntuacin tpica

Zc = -1,28 que es la que garantiza que hay una probabilidad de xitodel 90% de los elegidos mediante el test y cuya puntuacin mnimadebemos calcular.

7/30/2019 Tema-7 (66).pdf

59/66


Criterio

Test X

La puntuacin tpica correspondiente al 90% de xito es igual a -1,28;es decir, es una puntuacin tpica que deja por debajo el 10% de ladistribucin de los errores de estimacin.

Y -Y ' 10-Y'Z = e = =-128::::>Y'=(128)(132)+10=1169e S 1 32 ' , , ,YX 1S - - 2Y' = rxy ---.r_(X- X)+ Y=> 11 , 69 = 0,75-(X -16) + 1O= 0,3X + 5,2Sx 5

DespeJando X=:>X = 11 ' 69 - 5' 2 =2163o 3 11Esta sera la puntuacin mnima que tendran que obtener los sujetosen el test para que puedan ser admitidos con las garantas exigidas porla Escuela.

4.2. En primer lugar hay que conocer su puntuacin pronosticada en elcriterio:

Y' =0,753_(9-16)+10=7,95Despus se calcula la puntuacin tpica que le corresponde en la dis-tribucin de los errores:

399

7/30/2019 Tema-7 (66).pdf

60/66

1PSICOMETRA

5.

6.

400

Z= 10-7,9 =1591 32 ''Se acude a las tablas de cur

Tema-7 (66).pdf

Documents

Transcript of Tema-7 (66).pdf