Análisis Real Time del mercado de valores con tecnologías Big Data

Abstract

El paradigma de la información ha cambiado por completo en la última década. El poder almacenar grandes cantidades de información con el fin de explotarlo para obtener un beneficio a presente o futuro es la realidad del sector empresarial. Esta situación está cambiando para todos la forma de ver el mundo, afectando a un gran número de aspectos de la vida tanto cotidiana como especificamente la economía. Todo este escenario es el caldo de cultivo para el crecimiento de las nuevas tecnologías que nos permitan gestionar y utilizar toda esa cantidad de datos. En este proyecto se va a incidir en el almacenamiento, tratamiento y gestión de datos sobre el mercado de valores. El fin de este proyecto es dar a ver cómo un alumno recién salido del grado en ingeniería informática se adapta a una de las especialidades con mayor mercado en el sector (el desarrollador Big Data fue el perfil más demandado en 2018) así como de las mejor remuneradas en la actualidad y de en vistas al futuro (21.000 euros anuales, ascendiendo hasta los 60.000 en posiciones más senior). En el ámbito de este proyecto se van a manejar datos relativos a la segunda bolsa de valores automatizada y electrónica más grande de los Estados Unidos, el NASDAQ, donde se emite en tiempo real el valor de cada empresa que lo forma. Vamos a recoger esta cotización en tiempo real lo que en un caso real es de suma importancia tanto para las propias empresas como para la competencia, inversores y posibles terceros implicados, con el fin de mejorar resultados, inversiones, ganancias o incluso predecir tendencias en el mercado. Las empresas que apuesten por el Big Data podrán aumentar su producción en un 8 %, según un informe de la consultora Indra. Para gestionar esta información se ha decidido que a lo largo de este proyecto se diseñaría e implementaría un Data Lake. Los Data Lakes surgen debido al aumento de la necesidad de almacenar y gestionar grandes volúmenes de datos de diversos tipos por parte de las organizaciones. El uso de esos datos podría ayudar a mejorar la toma de decisiones de los implicados anteriormente citados, con el fin de llegar antes al mercado o de mejor manera.