Control Multimodal en Entornos Inciertos usando Aprendizaje por Refuerzos y Procesos Gaussianos

Authors
de Paula, Mariano; Avila, Luis Omar; Sánchez Reinoso, Carlos Roberto; Acosta, Gerardo Gabriel
Publication Year
2015
Language
Spanish
Format
article
Status
Published version
Description
El control de sistemas complejos puede ser realizado descomponiendo la tarea de control en una secuencia de modos de control, o simplemente modos. Cada modo implementa una ley de retroalimentación hasta que se activa una condición de terminación, en respuesta a la ocurrencia de un evento exógeno/endógeno que indica que la ejecución del modo debe finalizar. En este trabajo se presenta una propuesta novedosa para encontrar una política de conmutación óptima para resolver el problema de control optimizando alguna medida de costo/beneficio. Una política óptima implementa un programa de control multimodal  óptimo, el cual consiste en un encadenamiento de modos de control. La propuesta realizada incluye el desarrollo y formulación de un algoritmo basado en la idea de la programación dinámica integrando procesos Gaussianos y aprendizaje Bayesiano activo. Mediante el enfoque propuesto es posible realizar un uso eficiente de los datos para mejorar la exploración de las soluciones sobre espacios de estados continuos. Un caso de estudio representativo es abordado para demostrar el desempeño del algoritmo propuesto.
The control of complex systems can be done decomposing the control task into a sequence of control modes, or modes for short. Each mode implements a parameterized feedback law until a termination condition is activated in response to the occurrence of an exogenous/endogenous event, which indicates that the execution mode must end. This paper presents a novel approach to find an optimal switching policy to solve a control problem by optimizing some measure of cost/benefit. An optimal policy implements an optimal multimodal control program, consisting in a sequence of control modes. The proposal includes the development of an algorithm based on the idea of dynamic programming integrating Gaussian processes and Bayesian active learning. In addition, an efficient use of the data to improve the exploration of the continuous state spaces solutions can be achieved through this approach. A representative case study is discussed and analyzed to demonstrate the performance of the proposed algorithm.
Fil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ingeniería Olavarria. Departamento de Electromecánica. Grupo INTELYMEC; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentina
Fil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Santa Fe. Instituto de Desarrollo y Diseño (i); Argentina
Fil: Sánchez Reinoso, Carlos Roberto. Universidad Nacional de Catamarca. Facultad de Tecnologia y Ciencias Aplicadas; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Acosta, Gerardo Gabriel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentina. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ingeniería Olavarria. Departamento de Electromecánica. Grupo INTELYMEC; Argentina
Subject
CONTROL MULTIMODAL
PROGRAMACIÓN DINÁMICA
PROCESOS GAUSSIANOS
INCERTIDUMBRE
POLÍTICA
Sistemas de Automatización y Control
Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información
INGENIERÍAS Y TECNOLOGÍAS
Access level
Open access
License
https://creativecommons.org/licenses/by-nc-nd/2.5/ar/
Repository
CONICET Digital (CONICET)
Institution
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identifier
oai:ri.conicet.gov.ar:11336/6896