Paralelización de la aplicación VEF Mixer dentro del framework de trazas VEF

Abstract

VEF Traces es un framework open-source que modela tráfico MPI en simuladores de redes de interconexión HPC (High Performance Computing). El framework está formado por las herramientas VEF-TraceLib y VEF-Prospector, que contienen diferentes scripts y bibliotecas que proporcionan distintas utilidades. VEF-Prospector se encarga de la generación de las trazas VEF, mientras que VEF-TraceLIB interpreta estas trazas para generar la carga de trabajo de la red en cualquier simulador de red que utilice esta biblioteca. Estas aplicaciones se utilizan en varios proyectos de investigación financiados por España y por la Unión Europea. Por señalar los más importantes, podemos destacar los proyectos europeos RED-SEA y DEEP-SEA. Para la creación de las trazas VEF, se utiliza en primer lugar la aplicación vmpirun. ´Esta pone en marcha el comando mpirun, el cual efectúa la ejecución del programa MPI y además carga las bibliotecas de instrumentación. El siguiente paso es usar la aplicación VEF Mixer, que mezcla los archivos temporales generados por la biblioteca de instrumentación para obtener las trazas VEF. El problema que se presenta en este trabajo recae en la generación final de las trazas en formato VEF. La aplicación VEF Mixer no está paralelizada, y por tanto, su finalización requiere un amplio espacio de tiempo, que se torna cada vez más grande cuantas más tareas conforman el programa MPI. Este proyecto aporta una solución al problema existente, paralelizando la aplicación utilizando OpenMP y consiguiendo una importante mejora en el rendimiento respecto a la aplicación secuencial.

VEF-Traces is a open-source framework for modeling MPI traffic in interconnection network simulators. The framework comprises two main tools, VEF-TraceLib and VEF-Prospector, which contain different scripts and libraries that provide different utilities. VEF-Prospector handles the generation of VEF traces, and VEF-TraceLib interprets these traces to generate the network workload in any network simulator using this library. The VEF-traces framework is used in several research projects funded by the Spanish Government and the European Union, such as the RED-SEA and the DEEP-SEA projects. In order to create the VEF traces, the vmpirun script is used in the first place. This script starts the mpirun command, which performs the execution of the MPI program and also loads the instrumentation libraries. The next step is to use the VEF Mixer application, which mixes the temporary files generated by the instrumentation library to obtain the VEF traces. However, the VEF Mixer application is not parallelized, and therefore, its completion requires a large amount of time, which becomes larger and larger the more tasks that make up the MPI program. This work provides a solution to the existing problem, using OpenMP to paralelize the application, and achieving a significant improvement in the VEF Mixer application performance.