Predictive Techniques for Scene Understanding by using Deep Learning

Abstract

El presente trabajo propone una arquitectura software precisa y en tiempo real para el seguimiento de múltiples objetos basada en aprendizaje profundo (Deep Learning) en el contexto de la navegación autónoma. Se ha llevado a cabo una fusión sensorial entre el seguimiento visual 2D basado en los algoritmos CenterNet y Deep SORT [2] [49] usando una cámara y el clusterizado de la nube de puntos 3D procedent del LiDAR [11] sobre la plataforma de desarrollo robótico ROS y contenedores Docker. Se ha llevado a cabo una comparación entre el enfoque tradicional Precision-Tracking [46], tracking visual basado en Deep Learning y fusión sensorial con LiDAR comparando las posiciones estimadas para cada uno de ellos. Las propuestas han sido validadas en el benchmark de KITTI para seguimiento de vehículos [69], en el simulador de CARLA [31] para el seguimiento de peatones y en el campus de la Universidad de Alcalá sobre nuestro vehículo autónomo desarrollado en el proyecto SmartElderlyCar.

The present work proposes an accurate and real-time Deep Learning based Multi-Object Tracking architecture in the context of self-driving applications. A sensor fusion is performed merging 2D visual tracking based on CenterNet and Deep SORT algorithms [2] [49] using a camera, and 3D proposals using LiDAR point cloud [11] over the ROS framework and Docker containers. A comparison between the traditional Precision-Tracking [46] strategy, Visual Object Tracking based on deep learning and sensor fusion approach with LiDAR is carried out comparing the obtained pose estimations for each of them. The proposals have been validated on KITTI benchmark dataset for vehicle tracking [69], on CARLA simulator [31] for pedestrian tracking and on the Campus of the University of Alcalá using our autonomous vehicle developed for the SmartElderlyCar project.