Técnicas de aprendizaje por refuerzo profundo (DRL, Deep Reinforcement Learning) para la gestión de recursos en redes de acceso ópticas

Abstract

En este Trabajo Fin de Grado (TFG), se ha llevado a cabo un estudio de investigación centrado en la optimización de un modelo de Deep Reinfocement Learning destinado a la asignación de ancho de banda en redes 10G-EPON (Ethernet Passive Optical Networks). Para ello, se ha llevado a cabo un estudio teórico del funcionamiento de los modelos DRL (Deep Reinforcement Learning) y de las redes 10G-EPON. Una vez comprendido el comportamiento de estas tecnologías se procedieron a realizar las modificaciones necesarias al simulador previamente desarrollado por un Trabajo Fin de Grado anterior. El primer paso fue la integración en el entorno de DRL de una fuente de Pareto realista, en sustitución a la previamente desarrollada, que era demasiado simple, este proceso permitió obtener resultados más cercanos a la realidad en las simulaciones. Posteriormente se procedió a modificar los distintos escenarios que componían este simulador para que se adaptasen al nuevo modelo de entorno. Estos modelos representan situaciones de tráfico simétrico, asimétrico y dinámico. Además, se diseñó un escenario más realista que combina usuarios en la red PON (ONTs, Optical Network Units) de operadores tradicionales, con configuraciones garantizadas, y ONTs de operadores virtuales, con opciones más flexibles. Finalmente, el aprendizaje del agente DRL se optimizó en todos los escenarios planteados utilizando la herramienta Optuna, la cual permite identificar la combinación de hiperparámetros más adecuada para maximizar su rendimiento.

In this Final Degree Project, a research study was done focusing on the optimization of a Deep Reinforcement Learning (DRL) model aimed at bandwidth allocation in 10G-EPON (Ethernet Passive Optical Networks). To achieve this, a theoretical study was conducted on the operation of Deep Reinforcement Learning models and 10G-EPON networks. Once the behavior of these technologies was understood, the necessary modifications were made to the simulator previously developed in a prior Final Degree Project. The first step was the integration, into the DRL environment, of a realistic Pareto source to replace the previously developed one, which was too simple. This process allowed for obtaining simulation results closer to real-world conditions. Later, the different scenarios comprising this simulator were modified so that they would adapt to the new environment model. These models represent symmetric, asymmetric, and dynamic traffic. In addition, a more realistic scenario was designed, combining users (ONTs, Optical Network Units) from traditional operators, with guaranteed configurations, and ONTs from virtual operators, offering more flexible options. Finally, the learning of the DRL agent was optimized across all proposed scenarios using the Optuna tool, which makes it possible to identify the most suitable combination of hyperparameters to maximize its performance.