Evaluación de la efectividad de las técnicas de aumento de datos para la detección y clasificación de trabajadores en obras de construcción

Abstract

Las aplicaciones de la Inteligencia Artificial dentro de la industria de la construcción para la detección de trabajadores, equipos y herramientas requieren de una gran cantidad de datos variados para lograr un alto nivel de precisión (mean Average Precision-, mAP) y nivel de confianza en las detecciones y clasificaciones, y evitar los problemas de sobreentrenamientos, los cuales podrían perjudicar a los modelos de aprendizaje profundo. Sin embargo, los conjuntos de datos publicados en línea carecen de una variedad de imágenes que capturen los diferentes escenarios en una construcción, tales como las diversas actividades en obras, los cambios de estación, la variación en la iluminación en el transcurso del día, entre otros. Además, la creación de estos suele conllevar un proceso largo y monótono. Con el fin de abordar este problema, la presente investigación plantea el uso de 3 técnicas de Aumento de Datos aplicadas en imágenes de construcción reales a fin de generar datos variados y, seguidamente, medir la variación de mAP y nivel de confianza en la detección y clasificación de trabajadores en obras de construcción, y con ello mejorar el desempeño de los modelos de aprendizaje profundo. En ese sentido, las técnicas de Aumento de Datos utilizadas fueron Brillo-Contraste, Difuminación y Lluvia de la galería Albumentations. Para ello, se recolectaron 1212 imágenes provenientes de 4 cámaras ubicadas estratégicamente en diferentes puntos del edificio del Centro de Bienestar Universitario (CEBUL) de la Universidad de Lima en Lima, Perú. Los resultados de la investigación mostraron que las técnicas de Aumento de Datos propuestas mejoraron el mAP de entrenamiento hasta en un 4%. Además, el uso de todas las técnicas en conjunto mejoró los niveles de confianza hasta en un 9% durante la validación de resultados en una imagen de una obra de construcción distinta. Esta investigación experimental ha demostrado la importancia de considerar las técnicas de Aumento de Datos para detectar y clasificar correctamente trabajadores en la industria de la construcción, lo cual es el primer paso para automatizar de manera certera el monitoreo de trabajadores y diversas aplicaciones futuras.

The applications of Artificial Intelligence within the construction industry for the detection of workers, equipment and tools require a large amount of varied data to achieve a high mean Average Precision (mAP) and confidence level in detections and avoid overfitting, which could harm the deep learning models. Unfortunately, publicly existing data sets lack a variety of images that capture the different scenarios in a building, such as the various activities in construction, the changes of season, the variation in lighting over the course of the day, among others. In addition, the creation of these usually entails a long and monotonous process. Therefore, to address this problem, this investigation proposes the use of 3 Data Augmentation techniques applied on real construction images to generate varied data and, subsequently, measure the variation of mAP and confidence level in detections and classification of workers in construction sites in order to achieve the best performance from deep learning models. In that sense, the Data Augmentation techniques used were “Brightness-Contrast”, “Blur” and “Rain” from the Albumentations gallery. For this study 1212 images were collected from 4 cameras strategically located at different points in the building of the Centro de Bienestar Universitario (CEBUL) of the University of Lima in Lima, Peru. The research results showed that the proposed Data Augmentation techniques improved training mAP by up to 4%. In addition, the use of all the techniques together obtained better levels of confidence by up to 9% during the validation of results in an image of a different construction site. This experimental research has shown the importance of considering Data Augmentation techniques to correctly detect and classify workers in the construction industry, which is the first step to accurately automate worker monitoring and various future applications.