Evaluación del impacto de la segmentación de aleta caudal sobre la foto-identificación de ballenas jorobadas

Abstract

La foto-identificación consiste en el análisis de fotografías con el propósito de identificar individuos cetáceos en base a características únicas que cada espécimen de una misma especie exhibe. El uso de esta herramienta permite realizar estudios acerca del tamaño de su población y rutas migratorias mediante la comparación de catálogos. Sin embargo, la cantidad de imágenes que componen estos catálogos es grande, por lo que la ejecución manual de la foto-identificación demanda un tiempo considerable. Por otro lado, muchos de los métodos propuestos para la automatización de esta tarea coinciden en proponer una fase de segmentación para así asegurar que el algoritmo de identificación tome en cuenta únicamente las características del cetáceo y no del fondo. Con el objetivo de determinar si la segmentación mejora los resultados de la identificación de ballenas jorobadas, se construye un método compuesto por una fase de segmentación basado en las redes FCN y PSPNet y una fase de identificación basado en Pérdida de tripletes; se puso a prueba este algoritmo de identificación usando las imágenes sin segmentar y segmentadas. Los resultados indican que la segmentación favorece a la identificación de ballenas jorobadas llegando a un mAP@1 de 0.66 y teniendo el 0.8 de probabilidad de encontrar la identidad correcta cuando los 10 individuos más parecidos son retornados. El método es capaz de clasificar enfocándose en las características del individuo, favoreciendo la identificación especialmente cuando la aleta ocupa una pequeña porción de la imagen original.

Photo-identification consists of the analysis of photographs with the purpose of identifying individual cetaceans based on unique characteristics that each specimen of the same species exhibits. The use of this tool allows studies of population size and migratory routes by comparing catalogs. However, the number of images that make up these catalogs is large, so the manual execution of photo-identification requires considerable time. Many of the methods proposed for the automation of this task coincide in proposing a segmentation phase to ensure that the identification algorithm considers only the characteristics of the cetacean and not the background. To determine whether segmentation improves humpback whale's identification results, we constructed a method composed of a segmentation phase based on FCN and PSPNet networks and an identification phase based on Triplet Loss; we tested this identification algorithm using unsegmented and segmented images. The results indicate that segmentation favors the identification of humpback whales reaching a mAP@1 of 0.66 and having 0.8 probability of finding the correct identity when the 10 most similar individuals are returned. The method is available to classify by focusing on the characteristics of the individual, favoring identification especially when the whale's fluke occupies a small portion of the original image.