Desarrollo de un Data Lake para la gestión de datos de estadísticos de la competición NBA (National Basketball Association)

Abstract

El término "Big Data" se utiliza para describir los grandes volúmenes de datos que se generan actualmente. Sin embargo, la dificultad para tratar de estos conjuntos de datos mediante tecnologías tradicionales, ha fomentado el desarrollo de nuevas herramientas y arquitecturas de sistemas altamente escalables. Este trabajo se centra en el desarrollo de un repositorio capaz de recolectar, almacenar y enriquecer datos de baloncesto. Para la recolección de los datos, se ha desarrollado un sistema capaz de obtener las estadísticas de páginas web de manera automática. Uno de los objetivos del trabajo era analizar la opción de usar un Data Lake para almacenar los datos, tanto adquiridos como generados. Por ese motivo los datos se transfieren a un Data Lake, donde son almacenados y transformados. Por último, se ha desarrollado una interfaz para la visualización de los datos enriquecidos.

The term "Big Data" is used to describe the large volume of data currently generated. However, the difficulty of handling these datasets by traditional means, has motivated the develompent of new highly scalable tools and system architectures. This project focuses on the development of a central repository capable of collecting, storing and enriching basketball related data. In order to collect the data, a system capable of automatically scrape websites has been developed. One of the objectives of this proyect was to consider the usage of a Data Lake to store the data, both scraped and generated. For this reason, the data is then delivered to a Data Lake, responsible for the storage and enrichment of the dataset. In addition, an interface to visualize the enriched data has been implemented.