Navegación autónoma end-to-end mediante Deep Reinforcement Learning y vista de pájaro

Abstract

En este proyecto se aborda la aplicación de técnicas de Reinforcement Learning con el objetivo de obtener un modelo capaz de llevar a cabo labores de conducción autónoma en entornos urbanos complejos permitiendo que un vehículo se desplace de un punto inicial a uno final. El algoritmo empleado para la consecución de esta tarea se corresponde con el Deep Deterministic policy Gradient (DDPG). Dicho algoritmo es de tipo continuo y pertenece al aprendizaje por refuerzo, tiene la finalidad de resolver problemas de decisión, percepción y control de manera conjunta, pudiendo ser escalable y adaptable a nuevos escenarios. El modelo planteado incluye una memoria a corto plazo (LSTM) con la que se pretende obtener un mejor resultado puesto que este tipo de red neuronal presenta conexiones de feedback. Se analiza los resultados obtenidos para de forma cuantitativa demostrar su rendimiento en escenarios urbanos complejos donde debido a la gran cantidad de elementos y topologías que encontramos la conducción autónoma se convierte en una tarea de gran dificultad. El proyecto se ha realizado dentro del proyecto Teach4AgeCar perteneciente al grupo de investigación Robesafe de la Universidad de Alcalá.

This project deals with the application of Reinforcement Learning techniques with the aim of obtaining a model capable of carrying out autonomous driving tasks in complex urban environments by allowing a vehicle move from an initial point to an end point. The algorithm used to achieve this task corresponds to the Deep Deterministic policy Gradient (DDPG). This algorithm is continuous type and belongs to reinforcement learning, its purpose is to solve decision, perception and control problems jointly, and it can be scalable and adaptable to new scenarios. The proposed model includes a short-term memory (LSTM) with the aim of obtain a better result since this type of neural network presents feedback connections. The results obtained are analysed quantitatively to demonstrate its performance in complex urban scenarios where, due to the large number of elements and topologies, autonomous driving becomes a very difficult task. The project has been carried out within the Teach4AgeCar project belonging to the Robesafe research group of the University of Alcalá.