Comparación entre algoritmos evolutivos y aprendizaje por refuerzo para autoescalado de workflows en Cloud

• Autores: Robino, Luciano I.; Garí, Yisel; Pacini, Elina; Mateo, Cristian; Yannibelli, Virginia; Monge, David A.
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; Aprendizaje por refuerzo; Algoritmo evolutivo; Cloud computing; Workflow científico; Reinforcement Learning; Evolutionary Algorithm
• Institución: Universidad Nacional de La Plata

En los últimos años, muchos experimentos científicos son realizados por medio de workflows científicos. Estas tecnologías facilitan la realización de experimentos que son computacionalmente intensivos, y que muchas veces requieren ser ejecutados en Clouds públicas. Esto hace que optimizar la ejecución de estas aplicaciones sea un problema desafiante debido a que la virtualización de recursos en Cloud crea necesidades de planificación a la vez de representar incertidumbre en la ejecución. Por este motivo, se han usado heurísticas y metaheurísticas para este problema. En particular, se ha intentado resolver el problema usando técnicas de Aprendizaje por Refuerzo y algoritmos evolutivos. En este trabajo se presenta un problema markoviano de decisión para resolver este problema desde el punto de vista de Aprendizaje por Refuerzo. En conjunto con este modelado, se presenta también una variación que permite abordar el mismo problema como un algoritmo evolutivo multiobjetivo. Estas dos estrategias son comparadas usando 4 workflows de referencia de la literatura, utilizando el simulador CloudSimPlus y máquinas virtuales presentes en Amazon. Para este análisis se estudia el costo monetario de ejecución, el tiempo total de ejecución (makespan) y la norma L2 de estas dos métricas.
In recent years, many scientific experiments have been performed using scientific workflows. These technologies facilitate the  performance of computationally intensive experiments, which often require to be executed on public Clouds. Optimizing these applications becomes a challenging problem since resource virtualization demands scheduling needs to be satisfied, at the same time it has to deal with uncertainties during execution. For this reason, heuristic and metaheuristic solutions have been proposed to this problem. Indeed, Reinforcement Learning and evolutionary algorithms have been used to tackled this problem. This paper presents a Markovian Decision Problem that can be used to solve this problem using Reinforcement Learning. Additionally, a variation of this modeling is introduced to solve the same problem using multi-objective evolutionary algorithms. These two strategies are compared using 4 benchmark workflows using the simulator CloudSimPlus and virtual machines present on Amazon public clouds. Total monetary cost of the execution, total execution time (i.e. makespan), and the L2 norm of these two quantities are used for the comparative analysis.
Sociedad Argentina de Informática e Investigación Operativa