Despliegue de un clúster Hadoop con Cloudera en un sistema de virtualización basado en Proxmox

Abstract

Este trabajo consiste en diseñar una metodología semi-automática para desplegar máquinas virtuales en un clúster basado en Proxmox, para integrarlas en el clúster de Cloudera Manager. Se analizan las tecnologías basadas en Hadoop existentes en comparación con CDH de Cloudera. La tecnología de virtualización y sus ventajas para desplegar clústeres, es otro de los temas que analizamos en este trabajo. Se desarrolla con Ansible la técnica de despliegue de máquinas virtuales. Una vez creado el sistema de despliegue, se crea un clúster de Cloudera con las máquinas virtuales, configurado el sistema para posteriormente realizar una serie de pruebas de tecnologías como Flume, Yarn, HDFS, Hive y Oozie. Finalmente, se realizará con un conjunto de datos obtenido de Opensky, con datos de tráfico aéreo, el cálculo de trayectorias de vuelo de los aviones.