Validación, almacenamiento y verificación de integridad de datos IoT con tecnologías Big Data y Blockchain

Abstract

El presente Trabajo Fin de Máster propone una arquitectura distribuida para la gestión segura de datos generados por dispositivos IoT. El sistema permite recibir datos mediante el protocolo MQTT, validarlos estructuralmente con esquemas JSON, almacenarlos de forma escalable y eficiente mediante Delta Lake, y registrar huellas digitales en una red blockchain para garantizar su integridad y trazabilidad. La solución ha sido diseñada e implementada utilizando tecnologías como PySpark, AWS S3 y Smart Contracts, y permite analizar el ciclo completo de vida de los datos en entornos distribuidos. Este trabajo surge a partir de una contribución previa presentada en las jornadas SARTECO 2025, y representa una evolución del mismo hacia una arquitectura funcional y evaluable en escenarios reales.

This Master’s Final Project proposes a distributed architecture for the secure management of data generated by IoT devices. The system is capable of receiving data via the MQTT protocol, validating its structure using JSON Schemas, storing it efficiently and scalably through Delta Lake, and recording digital fingerprints on a blockchain to ensure data integrity and traceability. The solution was designed and implemented using technologies such as PySpark, AWS S3, and Smart Contracts, and it enables the analysis of the complete data lifecycle in distributed environments. This work builds upon a previous contribution presented at the SARTECO 2025 conference and extends it into a functional architecture suitable for real-world scenarios.