Aplicaciones de la teoría de la información en el aprendizaje automático

Abstract

Paralelo al desarrollo del aprendizaje automático, aparece un concepto llamado overfitting. Esta idea hace referencia a aquellos modelos que se ajustan demasiado bien a los datos de entrenamiento pero no dan buenos resultados de cara a predicciones posteriores y siempre ha supuesto un reto complicado de evitar. Además, con la aparición de las redes neuronales, los avances que se habían hecho en relación a este problema parecen llevar a contradicciones. Surge así el Cuello de Botella de la Información, un intento de dar solución a estos nuevos descubrimientos. Este nuevo modelo, que busca eliminar la información irrelevante de los datos de entrenamiento, se basa en la matemática que la teoría de la información de Shannon proporciona. A su vez, esta nos permite desarrollar analíticamente casos mas concretos como es el caso Gaussiano y finalmente aplicar estos nuevos avances de forma numérica y computacional para entender más todos estos fenómenos mencionados.

Parallel to the development of machine learning, a concept called overfitting emerges. This idea, which refers to those models that fit prefectly the training data but do not yield good results for future predictions, have always been a challenging issue to avoid. Moreover, with the advent of neural networks, the advances made concerning this problem seem to lead to contradictions. Thus, the IB arises, an attempt to address these new discoveries. This new model, which aims to eliminate irrelevant information from the training data, is based on the mathematics provided by Shannon’s information theory. In turn, this theory allows us to analytically develop more specific cases such as the Gaussian case and ultimately apply these new advances numerically and computationally to better understand all these mentioned phenomena.