Semantic 3D scene understanding for autonomous vehicles using deep learning

Abstract

Los vehículos autónomos son uno de los retos más importantes de nuestra era. Sin embargo, para tenerlos funcionando en nuestras calles, necesitan conducir al menos de forma tan segura y precisa como los humanos. Desarrollar buenas capacidades de percepción para entender el entorno de conducción es esencial para lograrlo. Esta tesis busca aprovechar los avances recientes en visión computacional y técnicas de aprendizaje profundo para proveer a un coche de un entendimiento completo de la escena de conducción a partir de imágenes. Desarrollada en el contexto de un proyecto para construir un coche eléctrico autónomo en el campus, la eficiencia, precisión y robustez se han tenido en mente para proveer una solución realista. Proponemos unificar las tareas de percepción con una red convolucional de fin-a-fin (``end-to-end'') que obtiene segmentación semántica (i.e. clasificación de clases pixel a pixel) en imágenes de gran tama\~no de forma tanto eficiente como precisa. Además de testear en datasets existentes, analizamos concienzudamente y mejoramos la robustez de nuestro método en imágenes del mundo real que no fueron vistas durante el entrenamiento, de forma que pueda funcionar correctamente en un entorno real. Adicionalmente, nuestra red convolucional propuesta, ERFNet, se ha usado exitosamente en otros trabajos colaborativos tales como la asistencia a los discapacitados visuales usando gafas inteligentes. Todo el código es open-source y el trabajo derivado de esta tesis ha sido publicado en diversas conferencias y revistas de reconocido prestigio.