Un experimento Monte Carlo sobre el efecto de la distancia entre las medias aritméticas de los parámetros de habilidad de dos grupos poblacionales en la confiabilidad

Abstract

The aim of this study is to compare the reliability estimated through the application of a single test targeted on a whole population and two tests targeted on two specific groups that compose the population, in situations that vary according to the difference between the ability parameters means from each group. A Monte Carlo experiment was carried out considering the target of the assessment (targeting the population and targeting two specific groups) and the difference between ability parameters arithmetic means (0.5, 1.0, 1.5 and 2.0 standard deviations) as independent variables. Reliability was set as the dependent variable, estimated through the person separation reliability index. The data was generated according to the dichotomous Rasch model. A sample of 5000 subjects were simulated and their true ability parameters where sampled from a standard normal distribution. A test length of 40 items was set for every scenario and their difficulty parameters were simulated as an equidistant sequence from -2.5 to 2.5 standard deviations around the ability parameters arithmetic means. 1000 replicas were executed for each of the 8 experiment conditions established by the intersection between independent variables. Results were analyzed using a robust version of the factorial analysis of variance and multiple comparisons tests designed specifically for situations where the homogeneity of variance assumption is not met. Findings show that there is a statistically significant difference between the reliability of the measures estimated through a population targeted test and through group targeted tests, in every scenario of distance between ability parameters means. Nevertheless, the effect size shows that this difference is not relevant on practice.

El objetivo de esta investigación es comparar la confiabilidad obtenida a partir de la aplicación de un test on target para toda una población con aquella obtenida al utilizar tests on target para dos grupos específicos que componen dicha población, en situaciones que varían de acuerdo a la distancia entre las medias aritméticas de los parámetros de habilidad de ambos grupos. A través de simulaciones Monte Carlo, se diseñó un estudio experimental en donde las variables independientes fueron el target de la evaluación (un solo test enfocado en la población y dos tests enfocados en los grupos que la componen), y la distancia entre medias aritméticas de parámetros de habilidad (0.5, 1.0, 1.5 y 2.0 desviaciones estándar). La variable dependiente fue la confiabilidad, estimada a partir del índice de confiabilidad de separación de personas. Los datos fueron simulados sobre la base del modelo Rasch, considerando 5000 casos para cada escenario, con niveles de habilidad muestreados partir de una distribución normal estándar; e instrumentos de 40 ítems con parámetros de dificultad equidistantes, en el rango de -2.5 a 2.5 desviaciones estándar alrededor de la media aritmética de la distribución de habilidad. 1000 réplicas fueron establecidas para cada uno de los 8 escenarios formados por la intersección entre las variables independientes. Los resultados fueron contrastados a través de un análisis de varianza factorial y una prueba de comparaciones múltiples diseñada para los casos en donde no se cumple el supuesto de homoscedasticidad. Los hallazgos indican que existen diferencias estadísticamente significativas entre la confiabilidad obtenida a partir de tests enfocados en la población y en los grupos específicos, en cada uno de los escenarios simulados de distancia entre medias aritméticas; sin embargo, el tamaño del efecto denota que dicha diferencia es ínfima e irrelevante en la práctica.