Ingesta de datos automatizada para un proyecto de Big Data

Abstract

El objetivo de este proyecto es diseñar e implantar un proceso de ingesta de datos que se ejecute periódicamente de forma automática para maximizar la utilidad y facilidad de uso de los mismos. Hoy en día se crean cantidades de datos tan grandes que resultaría inviable que los tratase una persona. Para arreglar esto, se puede programar una malla por la que se pasarán de forma automática esos datos cada vez que se reciban. Esta malla estará compuesta por una cadena de jobs que se ejecutarán en orden y se encargarán de procesar los datos y pasarlos a un formato más limpio, ordenado y normalizado. Además, asegurará que los datos cumplan con un estándar de calidad fijado previamente. Este proyecto será desarrollado para una entidad bancaria cliente, que enviará los datos mensualmente. Por este motivo todo el desarrollo se llevará a cabo en el entorno del banco, con las condiciones y requisitos que ellos impongan. Por lo tanto, este proceso consistirá en una malla que hará la explotación y el uso de los datos más fácil y menos engorroso para el personal del banco, además de agilizar sus procesos y abaratar costes.

The goal of this project is to design and implement a data ingestion process that runs automatically on a monthly basis to maximize the ease of use and usefulness of the processed data. Nowadays, such large amounts of data are created that it would be unfeasible for a person to process them. To fix this, a mesh can be programmed to automatically pass the data through each time these data are received. This mesh will be composed by a chain of jobs that will run in order and will be responsible for processing the data and transforming it into a cleaner, more orderly and normalized format. In addition, it will ensure that the data meets a previously set quality standard. This project will be developed for a client bank, which will send data on a monthly basis. For this reason, all the development will be carried out within the bank’s environment, with the conditions and requirements that they impose. Therefore, this process will consist of a mesh that will make the exploitation and use of the data easier and less cumbersome for the bank’s staff, in addition to streamline their processes and reduce costs.