Técnicas de aprendizaje por refuerzo para la delegación de tareas (Computation Offloading) en aplicaciones de vehículo conectado

Abstract

Una de las tecnologías esenciales para ofrecer servicios relacionados con el vehículo conectado es MEC (Multi-Access Edge Computing). En ella, parte de los recursos de computación en la nube (cloud) se deslocalizan de los grandes centros de datos (datacenters) para situarse en una jerarquía que se extiende hasta el borde de la red de acceso radio (edge). Esto permite aumentar la capacidad de procesamiento del sistema en su conjunto y reducir la latencia de los servicios. Este Trabajo Fin de Máster se enmarca en la exploración del uso de MEC en aplicaciones de vehículo conectado en entornos metropolitanos centrándose en mecanismos de delegación de tareas de computación (computation offloading). Se trata de decidir si las tareas relacionadas con una cierta aplicación se realizarán de forma local en el equipo de usuario (embarcado en el vehículo) o si se delegará su realización, ya sea parcial o totalmente (y siempre que la aplicación lo permita), a la nube, un servidor MEC o un punto de acceso RSU (Roadside Unit). A la hora de delegar las tareas se busca la optimización de alguna métrica, como por ejemplo maximizar la tasa de éxito para procesar las aplicaciones, pero haciendo al mismo tiempo un uso eficiente de los recursos de cómputo y de los enlaces de comunicación. Concretamente, en el TFM se han propuesto e implementado distintos mecanismos de delegación de tareas basados en técnicas de aprendizaje por refuerzo (reinforcement learning), y se han comparado entre sí y con diversas heurísticas en un entorno de simulación. Especialmente se analiza el impacto que tiene la incertidumbre provocada por la variación de los tiempos de procesamiento en el rendimiento de distintos algoritmos.

An essential technology for providing services related to connected vehicles is MEC (Multi-Access Edge Computing). This technology delocalizes a portion of the resources for cloud computation from big datacenters to establish a hierarchy which extends to the edge of the radio access network. This enables the increase in processing capacity of the system as a whole and reduces the latency of its services. This Master’s Thesis explores the use of MEC for applications of connected vehicles in metropolitan environments, focusing on computational offloading mechanisms. The idea is to decide if the tasks related to a specific application are to be processed locally in the user’s equipment (embarked in the vehicle) or if their processing is to be delegated, partially or fully (as long as the application allows it), to the cloud, a MEC server or an RSU (Roadside Unit) access point. For the delegation of tasks, we search for the optimization of some metric, like the maximization of the success rate for processing the applications, while making an efficient use of the network’s computational resources and communication links. Specifically, in this Master’s Thesis different computation offloading mechanisms based on reinforcement learning techniques have been proposed and implemented, and compared with each other and with different heuristics in a simulation environment. Especially, the impact of uncertainty due to the variation of processing times on performance is analyzed.