Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo

Autores
Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano
Año de publicación
2024
Idioma
español castellano
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.
Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life.
Fil: Trimboli, Maximiliano Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: Antonelli, Nicolás Nehuén. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentina
Materia
SAFE-RL
SOC
BATTERY AGING
VARIABILITY
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
Repositorio
CONICET Digital (CONICET)
Institución
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identificador
oai:ri.conicet.gov.ar:11336/241079

id CONICETDig_24bbe88e496ece6958b30d6847b35ff6
oai_identifier_str oai:ri.conicet.gov.ar:11336/241079
network_acronym_str CONICETDig
repository_id_str 3498
network_name_str CONICET Digital (CONICET)
spelling Gestión segura de la batería de EVs utilizando aprendizaje por refuerzoSafe EVs battery management using reinforcement learningTrimboli, Maximiliano DanielAntonelli, Nicolás NehuénAvila, Luis Omarde Paula, MarianoSAFE-RLSOCBATTERY AGINGVARIABILITYhttps://purl.org/becyt/ford/2.2https://purl.org/becyt/ford/2Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life.Fil: Trimboli, Maximiliano Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; ArgentinaFil: Antonelli, Nicolás Nehuén. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; ArgentinaFil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; ArgentinaFil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaUniversidad Autónoma del Estado de Morelos2024-02info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/241079Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano; Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo; Universidad Autónoma del Estado de Morelos; Programación Matemática y Software; 16; 1; 2-2024; 35-462007-3283CONICET DigitalCONICETspainfo:eu-repo/semantics/altIdentifier/url/https://progmat.uaem.mx/progmat/index.php/progmat/article/view/2024-16-01-04info:eu-repo/semantics/altIdentifier/doi/10.30973/progmat/2024.16.1/4info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-sa/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-09-29T09:59:51Zoai:ri.conicet.gov.ar:11336/241079instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-09-29 09:59:52.159CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse
dc.title.none.fl_str_mv Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
Safe EVs battery management using reinforcement learning
title Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
spellingShingle Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
Trimboli, Maximiliano Daniel
SAFE-RL
SOC
BATTERY AGING
VARIABILITY
title_short Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
title_full Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
title_fullStr Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
title_full_unstemmed Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
title_sort Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
dc.creator.none.fl_str_mv Trimboli, Maximiliano Daniel
Antonelli, Nicolás Nehuén
Avila, Luis Omar
de Paula, Mariano
author Trimboli, Maximiliano Daniel
author_facet Trimboli, Maximiliano Daniel
Antonelli, Nicolás Nehuén
Avila, Luis Omar
de Paula, Mariano
author_role author
author2 Antonelli, Nicolás Nehuén
Avila, Luis Omar
de Paula, Mariano
author2_role author
author
author
dc.subject.none.fl_str_mv SAFE-RL
SOC
BATTERY AGING
VARIABILITY
topic SAFE-RL
SOC
BATTERY AGING
VARIABILITY
purl_subject.fl_str_mv https://purl.org/becyt/ford/2.2
https://purl.org/becyt/ford/2
dc.description.none.fl_txt_mv Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.
Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life.
Fil: Trimboli, Maximiliano Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: Antonelli, Nicolás Nehuén. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentina
description Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.
publishDate 2024
dc.date.none.fl_str_mv 2024-02
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11336/241079
Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano; Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo; Universidad Autónoma del Estado de Morelos; Programación Matemática y Software; 16; 1; 2-2024; 35-46
2007-3283
CONICET Digital
CONICET
url http://hdl.handle.net/11336/241079
identifier_str_mv Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano; Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo; Universidad Autónoma del Estado de Morelos; Programación Matemática y Software; 16; 1; 2-2024; 35-46
2007-3283
CONICET Digital
CONICET
dc.language.none.fl_str_mv spa
language spa
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/url/https://progmat.uaem.mx/progmat/index.php/progmat/article/view/2024-16-01-04
info:eu-repo/semantics/altIdentifier/doi/10.30973/progmat/2024.16.1/4
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
dc.format.none.fl_str_mv application/pdf
application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universidad Autónoma del Estado de Morelos
publisher.none.fl_str_mv Universidad Autónoma del Estado de Morelos
dc.source.none.fl_str_mv reponame:CONICET Digital (CONICET)
instname:Consejo Nacional de Investigaciones Científicas y Técnicas
reponame_str CONICET Digital (CONICET)
collection CONICET Digital (CONICET)
instname_str Consejo Nacional de Investigaciones Científicas y Técnicas
repository.name.fl_str_mv CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas
repository.mail.fl_str_mv dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar
_version_ 1844613773625655296
score 13.070432