Designing a high school computational thinking test using evidence-centered design

Abstract

The development of computational thinking as a cognitive skill is essential in this digital age; however, there is still no standard on how to define computational thinking or how to measure it. Therefore, the aim of the research is to develop an instrument that allows the estimation of the level of computational thinking using an evidence-centered design approach. The proposed approach combines cognitive theory, educational research and psychometric modelling to design a comprehensive and reliable assessment framework. The test includes two scenarios with a total of 59 items divided into 6 questions. It was validated by academics related to the scientific field, obtaining a final score of 0.76 as a content validity index. The test was administered to a sample of 100 students from 3 secondary schools in Lima, Peru, and analyzed using Bayesian confirmatory factor analysis and parametric tests. The results showed that the model is suitable for assessing understanding of the dimensions of algorithmic and critical thinking and problem solving, regardless of prior experience with programming languages, while the assessment of creativity requires further adaptation and improvement. This research has implications for the development of evidence-based educational policy and practice in secondary education

En la sociedad actual, las tecnologías digitales emergentes están presentes tanto en la vida cotidiana como en las relaciones humanas y profesionales. En este contexto, los procesos de educación requieren de transformaciones, que apunten a una mejor preparación y contextualización del mundo en que vivimos. El desarrollo del Pensamiento Computacional como habilidad cognitiva es esencial en esta era digital; sin embargo, aún no existe un estándar sobre la definición de Pensamiento Computacional ni cómo medirlo. Por lo que, el objetivo de la investigación es desarrollar un instrumento que permita estimar el nivel de pensamiento computacional utilizando un enfoque de diseño centrado en la evidencia. El enfoque propuesto combina la teoría cognitiva, la investigación educativa y el modelado psicométrico para diseñar un marco de evaluación integral y confiable. El test incluye dos escenarios con un total de 59 ítems distribuidos en 6 preguntas. Fue validado por académicos afines al campo científico, obteniéndose una valoración final del instrumento de 0.76 como índice de validez de contenido. Se trabajó con una muestra de 100 estudiantes (15 - 17 años) de 3 escuelas secundarias en Lima, Perú; analizados mediante análisis factorial confirmatorio bayesiano y pruebas paramétricas. Los resultados mostraron que el modelo era adecuado para evaluar la comprensión de las dimensiones de los pensamientos algorítmico y crítico, y resolución de problemas, independientemente de la experiencia previa con lenguajes de programación; mientras que la evaluación de la creatividad requiere un mayor nivel de ajuste y mejora. Esta investigación contribuye al creciente cuerpo de literatura sobre la evaluación del pensamiento computacional y tiene implicaciones para el desarrollo de políticas y prácticas educativas basadas en la evidencia en la educación secundaria.