Toma de decisiones de estrategia durante las carreras de Fórmula 1 utilizando Deep Reinforcement Learning

Abstract

La estrategia de carrera en Fórmula 1 es uno de los elementos críticos que pueden cambiar el resultado de un piloto en una carrera. En este trabajo se ha construido un sistema basado en aprendizaje por refuerzo en el que un agente aprende a tomar las decisiones estratégicas óptimas en cada vuelta (parar o no parar, y si se para, qué neumático poner). Se ha desarrollado un simulador de carreras de Fórmula 1 que se ha utilizado como entorno para que el agente interactúe con él y pueda aprender cuáles son las acciones a tomar en cada momento que maximicen la posición final en carrera. Se utilizan varios algoritmos (DQN, QR-DQN y A2C) y varias funciones de recompensa con los que se entrenará a varios agentes. Finalmente, se evalúan los agentes entrenados y se selecciona el mejor.

Race strategy in Formula One is one of the most critic elements that can change the final position of a driver in a race. In this work a full reinforcement learning system is built, in which the agent learns to take the optimal strategy decisions every lap (to pit or not to pit, and if pit what tyre to fit). A Formula 1 races simulator has been developed, and it is used as the environment that the agent interacts with in order to learn what actions to take given the race state in order to maximize the final position in the race. Various algorithms (DQN, QR-DQN and A2C) and reward functions are used, with which agents will be trained. Finally, trained agents are evaluated and the best one is selected.