SumajGAN: transferencia supervisada de maquillaje facial con redes generativas adversarias profundas

Abstract

El reto de la transferencia de maquillaje de una imagen a otra ya está resuelto por los modelos BeautyGAN, PairedCycleGAN y BeautyGlow. Estos modelos lograron solucionar el reto mencionado mediante un enfoque de aprendizaje semisupervisado; lo cual resuelve el problema de obtener un dataset alineado de maquillaje, pero a costa de un alto poder de cómputo. Por este motivo, en esta investigación se creó un dataset de imágenes alineadas y adicionalmente se propuso un modelo de transferencia de maquillaje mediante un enfoque supervisado. El dataset está compuesto por 5400 grupos de imágenes, cada grupo de imágenes se encuentra conformado por una imagen sin maquillaje, una imagen con maquillaje de referen cia y otra imagen con el maquillaje de la referencia y la identidad de la persona sin maquillaje. El modelo propuesto en esta investigación es llamado SumajGAN, el modelo se encuentra conformado por un discriminador de tipo PatchGAN y un generador de dos entradas inspiradas en un autoencoder. Se realizaron varios experimentos y el mejor resultado obtenido fue de 0,021658644 de error absoluto medio y alta resolución con una correcta transferencia de maquillaje. El modelo SumajGAN ha logrado realizar el objetivo planteado disminuyendo el tiempo de entrenamiento de modelos como BeautyGAN, PairedCycleGAN y BeautyGlow.

The challenge of transferring makeup from one image to another is already solved by BeautyGAN, PairedCycleGAN and Beauty Glow. These models managed to meet the aforementioned challenge using a semi-supervised learning approach which solves the problem of obtaining an aligned makeup dataset but at the expense of a high computing power. Therefore, in this research, an aligned image dataset was developed and, additionally, a makeup transfer model was proposed using a supervised approach. The dataset consisted of 5,400 groups of images: each group of images was composed of a person’s no-makeup face image, a reference makeup face image, and a reference makeup face image transferred into the person’s no-makeup face image. The model proposed in this research is called SumajGAN. It is made of a PatchGAN-type discriminator and a two-input generator based on an autoenco der. Several experiments were conducted, and the best result achieved a mean absolute error of 0.021658644 and a high-resolution makeup transfer. The SumajGAN model has mana ged to achieve the objective by reducing the training time of models such as BeautyGAN, PairedCycleGAN and Beauty Glow.