Optimización del enrutamiento en redes tolerantes a demoras inciertas con aprendizaje por refuerzos profundo

• Autores: Negrelli, Valentín
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Fraire, Juan Andrés; Cherini, Renato
• Materia: Machine learning; Aprendizaje por refuerzos Monte Carlo; Aprendizaje profundo; Redes convolucionales sobre grafos; Redes tolerantes a demoras inciertas; Procesos de Markov parcialmente observables
• Institución: Universidad Nacional de Córdoba

Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2025.
Fil: Negrelli, Valentín. Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Este trabajo evalúa el desempeño de GROGU, un algoritmo de aprendizaje por refuerzos profundo basado en redes neuronales sobre grafos, para optimizar la probabilidad de entrega exitosa (SDP), la adaptabilidad y los costos en el enrutamiento de Redes Tolerantes a Demoras (DTNs) inciertas. El enfoque modela el problema como un Proceso de Decisión de Markov Parcialmente Observable y emplea métodos de Monte Carlo para el entrenamiento. Se contextualiza la necesidad de soluciones eficientes frente a los desafíos de la comunicación satelital en entornos hostiles y de alto costo. Se comparan enfoques estadísticos, analíticos y basados en aprendizaje previamente propuestos en la literatura. Se describen formalmente el entorno, el agente y el aprendiz que componen GROGU, junto con los resultados experimentales. Se realiza un análisis de hiperparámetros considerando métricas de SDP y costos de entrenamiento. Además, se compara su evolución respecto de versiones anteriores y frente a algoritmos alternativos, evaluando desempeño, costos y capacidad de adaptación. Finalmente, se presentan conclusiones y líneas de trabajo futuro.
This work evaluates the performance of GROGU, a deep reinforcement learning algorithm based on graph neural networks, aimed at optimizing the Successful Delivery Probability (SDP), adaptability, and costs in routing for uncertain Delay-Tolerant Networks (DTNs). The problem is modeled as a Partially Observable Markov Decision Process and trained using Monte Carlo methods. The study is motivated by the need for efficient solutions to address the challenges of satellite communications in hostile and high-cost environments. Statistical, analytical, and learning-based routing approaches previously proposed in the literature are reviewed and compared. The environment, agent, and learner that compose GROGU are formally defined, and experimental results are presented. A hyperparameter analysis is conducted considering SDP and training cost metrics. The evolution of GROGU is analyzed by comparing it with previous iterations and alternative algorithms in terms of performance, cost, and adaptability. Finally, conclusions and directions for future work are discussed.
Fil: Negrelli, Valentín. Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación; Argentina.