Desarrollo de un data lake para la gestión de datos sobre navegación marítima

Abstract

En la actualidad la posibilidad de acceder a grandes conjuntos de datos está cambiando nuestra forma de ver el mundo, afectando a un gran número de aspectos de la vida cotidiana como la economía y ayudando al crecimiento de nuevas tecnologías que nos permitan gestionarlos y utilizarlos. En nuestro proyecto perseguimos el almacenamiento, tratamiento y gestión de datos sobre la navegación marítima mundial. En el ámbito de nuestro proyecto se gestionarán datos AIS (Automatic Identification System). El sistema AIS es un estándar aprobado por la IMO (International Maritime Organitation) mediante el cual los navíos pueden emitir información sobre su posición, rumbo, velocidad o destino, entre otros datos, de forma que otros navíos, estaciones y puertos los conozcan. El tratamiento de estos datos puede ayudarnos entre otras cosas a evitar colisiones, mejorar rutas de navegación con el fin de ahorrar combustible e incluso a predecir tendencias en el mercado de los productos transportados por el mar. Para gestionar esta información se ha decidido que a lo largo de este proyecto se diseñará e implementará un Data Lake. Los Data Lakes surgen debido al aumento de la necesidad de almacenar y gestionar grandes volúmenes de datos por parte de las organizaciones. El uso de esos datos podría ayudar a mejorar la distribución de los navíos existentes, con el fin de minimizar gastos de combustible y horas de viaje.