Gradient boosting (Potenciación del gradiente) en aprendizaje estadístico

Abstract

Este trabajo se centra en el estudio del boosting, un método de ensamble diseñado para combinar clasificadores débiles y formar un buen clasificador. En primer lugar se realiza una breve introducción a los problemas de aprendizaje estadístico y al método boosting. También se presenta AdaBoost, uno de los algoritmos de boosting más estudiados hasta el momento, y se prueban resultados teóricos que permiten acotar su error de generalización. Se utiliza el concepto de margen para explicar el comportamiento del error de generalización de AdaBoost, y justificar la falta de sobreajuste en ciertas ocasiones. Posteriormente se demuestra que AdaBoost es un algoritmo que optimiza una determinada función de coste mediante la búsqueda de su gradiente descendente. Por último se introducen los árboles de decisión como candidatos a ser combinados mediante algún algoritmo de boosting. La motivación de este trabajo es doble. Por un lado se pretende entender cómo funciona el boosting y a qué se deben sus cualidades, ya que es un método de ensamble que se encuentra en auge. Y por otro lado, poder realizar un estudio de caso donde se pretende predecir la configuración de pistas de un aeropuerto mediante árboles potenciados. Este estudio de caso se ha llevado a cabo en RStudio con la ayuda del paquete xgboost. En este trabajo se muestran las principales herramientas de este paquete y se realiza una búsqueda de parámetros óptimos para el entrenamiento de modelos combinados con xgboost.