Por favor, use este identificador para citar o enlazar este ítem:https://uvadoc.uva.es/handle/10324/62909
Título
Ingesta de datos automatizada para un proyecto de Big Data
Director o Tutor
Año del Documento
2023
Titulación
Grado en Ingeniería Informática
Resumen
El objetivo de este proyecto es diseñar e implantar un proceso de ingesta de datos que se
ejecute periódicamente de forma automática para maximizar la utilidad y facilidad de uso
de los mismos.
Hoy en día se crean cantidades de datos tan grandes que resultaría inviable que los tratase
una persona. Para arreglar esto, se puede programar una malla por la que se pasarán de
forma automática esos datos cada vez que se reciban.
Esta malla estará compuesta por una cadena de jobs que se ejecutarán en orden y se
encargarán de procesar los datos y pasarlos a un formato más limpio, ordenado y
normalizado. Además, asegurará que los datos cumplan con un estándar de calidad fijado
previamente.
Este proyecto será desarrollado para una entidad bancaria cliente, que enviará los datos
mensualmente. Por este motivo todo el desarrollo se llevará a cabo en el entorno del banco,
con las condiciones y requisitos que ellos impongan.
Por lo tanto, este proceso consistirá en una malla que hará la explotación y el uso de los
datos más fácil y menos engorroso para el personal del banco, además de agilizar sus
procesos y abaratar costes. The goal of this project is to design and implement a data ingestion process that runs
automatically on a monthly basis to maximize the ease of use and usefulness of the
processed data.
Nowadays, such large amounts of data are created that it would be unfeasible for a person
to process them. To fix this, a mesh can be programmed to automatically pass the data
through each time these data are received.
This mesh will be composed by a chain of jobs that will run in order and will be responsible
for processing the data and transforming it into a cleaner, more orderly and normalized
format. In addition, it will ensure that the data meets a previously set quality standard.
This project will be developed for a client bank, which will send data on a monthly basis.
For this reason, all the development will be carried out within the bank’s environment, with
the conditions and requirements that they impose.
Therefore, this process will consist of a mesh that will make the exploitation and use of the
data easier and less cumbersome for the bank’s staff, in addition to streamline their
processes and reduce costs.
Palabras Clave
Datos
Big Data
Cloud
Departamento
Departamento de Informática (Arquitectura y Tecnología de Computadores, Ciencias de la Computación e Inteligencia Artificial, Lenguajes y Sistemas Informáticos)
Idioma
spa
Derechos
openAccess
Aparece en las colecciones
- Trabajos Fin de Grado UVa [28700]
Ficheros en el ítem
![Attribution-NonCommercial-NoDerivatives 4.0 Internacional](/themes/Mirage2//images/creativecommons/cc-by-nc-nd.png)