%0 Journal Article 
%A Oliveros Fernández, Jesús Ángel
%T Controlador MPC adaptativo por DQN orientado a la conducción autónoma
%D 2021
%U http://hdl.handle.net/10017/49368
%X El empleo de técnicas de aprendizaje por refuerzo para optimizar sistemas de conducción autónoma está
en constante crecimiento en la actualidad. Los objetivos de este proyecto están basados en mejorar el
comportamiento de un controlador MPC de trayectorias de un vehículo autónomo mediante el uso de
técnicas de aprendizaje por refuerzo para estimar el valor óptimo de los pesos de la función de costes del
MPC asociados al error de distancia lateral y de yaw.
El proyecto se inicia desde una versión del controlador MPC en la que los pesos de error de distancia
lateral y de yaw (wd y wy respectivamente) tomaban ambos un valor de 10000. Estos valores obtenidos
experimentalmente no presentaban errores altos, aunque aun así se propuso encontrar los valores de pesos
óptimos que consiguiesen mejorar el comportamiento del vehículo reduciendo en mayor parte ambos
errores a lo largo de la trayectoria.
Tras un estudio teórico de las técnicas de aprendizaje por refuerzo, se escogió el algoritmo Actor -
Critic por sus similitudes de funcionamiento con las características del problema a resolver. Inicialmente se
realizaron una serie de ensayos sobre el entorno de simulación CartPole para entender su funcionamiento
y posteriormente implementarlo sobre el sistema del controlador MPC y analizar su comportamiento en
el entorno de simulación de vehículos CARLA.
El peso asociado al error de distancia lateral fue el primero en ser optimizado buscando así unos
valores de este peso que consiguieran reducir lo máximo posible dicho error. Después, fue modificada la
arquitectura del MPC y hubo que adaptar el algoritmo Actor - Critic a esta nueva versión para estimar
unos nuevos valores de pesos óptimos de error de distancia lateral.
Por último, de forma similar, en la versión final del controlador MPC se procedió a optimizar el error
de yaw del vehículo de nuevo con el algoritmo Actor - Critic obteniendo un rango de valores de peso de
error de yaw que consiguiesen reducir su error respecto a la versión original del MPC.
En ambos casos se obtienen unos resultados bastante favorables que consiguen reducir significativamente
los errores originales de distancia lateral y de yaw del MPC respecto a su versión original, además
de ofrecer una respuesta mucho más suave del sistema, resultado así de una conducción más agradable y
segura para los integrantes del vehículo.

%K Controlador
%K Optimización
%K Error
%K Lateral
%K Controller
%K Optimization
%K Yaw
%K Electrónica
%K Ingeniería industrial
%K Electronics
%K Industrial engineering
%~ Biblioteca Universidad de Alcala