Comunicación distribuida de procesos en R mediante un modelo basado en actores

Abstract

El aumento de las necesidades de cómputo de la comunidad científica y comercial tienen su solución natural en la utilización de plataformas de cómputo distribuido. Uno de los desafíos principales en este tipo de sistemas es garantizar la tolerancia frente a fallos y el relanzamiento de sus componentes frente a caídas. En este trabajo, se pretende reflejar el análisis, diseño y construcción de una plataforma práctica de este tipo, donde el programador-usuario podrá dividir su tarea en partes donde cada una de estas partes se asigna a un nodo de cómputo por el sistema. De esta manera se puede obtener el grado de paralelismo deseado por el usuario. En concreto se ha creado un sistema distribuido de cómputo que permite que el usuario paralelice y ejecute código escrito en el lenguaje R. El sistema ofrece una asignación transparente y flexible sobre un pool de cómputo. Para este sistema se han realizado pruebas sobre una plataforma física frente a varios tipos de cargas de trabajo. Se ha comprobado la tolerancia y robustez del sistema frente a diversas situaciones de rotura-caída y la mejora consistente en el rendimiento con un modelo de varios nodos de cómputo.

The increasing computing needs of the scientific and commercial community have their natural solution in the use of distributed computing platforms. One of the main challenges in this type of systems is to guarantee the tolerance to failures and the restart of its components in case of crashes. In this work, we intend to reflect the analysis, design and construction of a practical platform of this type, where the user-programmer could divide his task into parts where each of these parts is assigned to a compute node by the system. In this way, the degree of parallelism desired by the user can be obtained. Specifically, a distributed computation system has been created that allows the user to parallelize and execute code written in the R language. The system provides a transparent and flexible allocation over a computation pool. For this system, tests have been performed on a physical platform against various types of workloads. The system has been tested for tolerance and robustness to various break-crash situations and for consistent performance improvement with a multi-node compute model.