Métodos de optimización convexa en aprendizaje automático

Abstract

Muchos métodos clásicos de aprendizaje supervisado, en contextos de regresión o de clasificación, presentan comportamientos problemáticos en el análisis de datos de alta dimensión, cada vez más frecuentes en las aplicaciones. Desde la introducción de los métodos SVM (Cortés y Vapnik, 1995) y lasso (Tibshirani, 1996) muchos métodos de aprendizaje se han adaptado al contexto de alta dimensión mediante la penalización de las funciones criterio clásicas con términos adicionales orientados a conseguir mejores propiedades estadísticas de los estimadores resultantes (mayor estabilidad, dispersión, adaptación, etc). Desde un punto de vista computacional, el cálculo de las reglas de aprendizaje anteriores se reduce a un problema de optimización convexa. Los métodos clásicos de solución numérica (de descenso por gradiente o de tipo Newton) pueden ser adaptados para aprovechar la estructura especial de algunos de estos problemas, lo que posibilita el tratamiento eficiente de grandes conjuntos de datos. En este trabajo se explorarán algunas de las técnicas recientes desarrolladas en este campo para la resolución numérica de problemas de aprendizaje automático, con atención especial a las capaces de tratar con funciones criterio no suaves (tal como la correspondiente al lasso), capaces de aprovechar representaciones estocásticas de la función objetivo.