Labeling and evaluation of a new dataset for human action recognition in large vessels

Abstract

El objetivo de este Trabajo de fin de Grado (TFG) es la generación, etiqueta y evaluación de un nuevo dataset denominado Human Action Recognition on Ships (HARS) para el posterior entrenamiento y evaluación de un sistema para la evacuación de personas en grandes embarcaciones, en el marco del proyecto PALAEMON: A holistic passenger ship evacuation and rescue ecosystem (H2020-PALAEMON- 814962). Las secuencias a etiquetar incluyen diferentes personas realizando distintas actividades y han sido grabadas en un barco disponible en Astilleros de Santander S.A.U. (ASTANDER). Para el etiquetado se ha partido de una herramienta proporcionada por el grupo de investigacion GEINTRA, que ha sido modificada para su adaptación a las necesidades de etiquetado del dataset, incluyendo no solo acciones individuales, sino también grupales. Además, se han definido criterios para realizar el etiquetado de las personas y acciones. La evaluación del dataset se ha llevado a cabo utilizando la red neuronal YOLOv3 y realizando una evaluación de los resultados obtenidos en la detección de personas con dicha red a partir de la información etiquetada. La implementación y ejecucion de YOLOv3 se ha realizado en Google Colab y los resultados se han comparado con los etiquetados empleando MABLAB. El trabajo desarrollado y los resultados obtenidos han permitido validar el etiquetado del dataset y el cumplimientod de los objetivos del TFG.

The aim of this Final Degree Thesis (TFG) is the generation, labeling and evaluation of a new dataset named Human Action Recognition on Ships (HARS) for the later trainning and evaluation of a system in charge of person evacuation in large cruise ships within the framework of PALAEMON: A holistic passenger ship evacuation and rescue ecosystem project (H2020-PALAEMON-814962). The different sequences to be labeled inside the dataset include different persons performing distinct activities and have been recorded in a ship available at Astilleros de Santander S.A.U. (ASTANDER). The labeling has been based on a tool provided by the GEINTRA research group and has been modified and adapted to the labeling needs of the dataset including just not individual actions but also group actions. In addition, criteria to perform the labeling process of persons an actions has been defined. The evaluation of the dataset has been carried out using the neural network YOLOv3 and performing an evaluation of the results obtained in person detection with this network from the labeled information. The implementation and execution of YOLOv3 has been carried out in Google Colab and the results have been compared with the labeled ones using MATLAB. The developed work and the obtained results have allowed to validate the labeling of the dataset and the compliance of the objectives of the TFG.