Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo
- Autores
- Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano
- Año de publicación
- 2024
- Idioma
- español castellano
- Tipo de recurso
- artículo
- Estado
- versión publicada
- Descripción
- Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.
Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life.
Fil: Trimboli, Maximiliano Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: Antonelli, Nicolás Nehuén. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina
Fil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentina - Materia
-
SAFE-RL
SOC
BATTERY AGING
VARIABILITY - Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
- Repositorio
- Institución
- Consejo Nacional de Investigaciones Científicas y Técnicas
- OAI Identificador
- oai:ri.conicet.gov.ar:11336/241079
Ver los metadatos del registro completo
id |
CONICETDig_24bbe88e496ece6958b30d6847b35ff6 |
---|---|
oai_identifier_str |
oai:ri.conicet.gov.ar:11336/241079 |
network_acronym_str |
CONICETDig |
repository_id_str |
3498 |
network_name_str |
CONICET Digital (CONICET) |
spelling |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzoSafe EVs battery management using reinforcement learningTrimboli, Maximiliano DanielAntonelli, Nicolás NehuénAvila, Luis Omarde Paula, MarianoSAFE-RLSOCBATTERY AGINGVARIABILITYhttps://purl.org/becyt/ford/2.2https://purl.org/becyt/ford/2Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería.Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life.Fil: Trimboli, Maximiliano Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; ArgentinaFil: Antonelli, Nicolás Nehuén. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; ArgentinaFil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; ArgentinaFil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; ArgentinaUniversidad Autónoma del Estado de Morelos2024-02info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/241079Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano; Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo; Universidad Autónoma del Estado de Morelos; Programación Matemática y Software; 16; 1; 2-2024; 35-462007-3283CONICET DigitalCONICETspainfo:eu-repo/semantics/altIdentifier/url/https://progmat.uaem.mx/progmat/index.php/progmat/article/view/2024-16-01-04info:eu-repo/semantics/altIdentifier/doi/10.30973/progmat/2024.16.1/4info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-sa/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-09-29T09:59:51Zoai:ri.conicet.gov.ar:11336/241079instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-09-29 09:59:52.159CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse |
dc.title.none.fl_str_mv |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo Safe EVs battery management using reinforcement learning |
title |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo |
spellingShingle |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo Trimboli, Maximiliano Daniel SAFE-RL SOC BATTERY AGING VARIABILITY |
title_short |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo |
title_full |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo |
title_fullStr |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo |
title_full_unstemmed |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo |
title_sort |
Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo |
dc.creator.none.fl_str_mv |
Trimboli, Maximiliano Daniel Antonelli, Nicolás Nehuén Avila, Luis Omar de Paula, Mariano |
author |
Trimboli, Maximiliano Daniel |
author_facet |
Trimboli, Maximiliano Daniel Antonelli, Nicolás Nehuén Avila, Luis Omar de Paula, Mariano |
author_role |
author |
author2 |
Antonelli, Nicolás Nehuén Avila, Luis Omar de Paula, Mariano |
author2_role |
author author author |
dc.subject.none.fl_str_mv |
SAFE-RL SOC BATTERY AGING VARIABILITY |
topic |
SAFE-RL SOC BATTERY AGING VARIABILITY |
purl_subject.fl_str_mv |
https://purl.org/becyt/ford/2.2 https://purl.org/becyt/ford/2 |
dc.description.none.fl_txt_mv |
Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería. Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life. Fil: Trimboli, Maximiliano Daniel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina Fil: Antonelli, Nicolás Nehuén. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina Fil: Avila, Luis Omar. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Luis; Argentina. Universidad Nacional de San Luis. Facultad de Ciencias Físico Matemáticas y Naturales. Departamento de Informática. Laboratorio Investigación y Desarrollo en Inteligencia Computacional; Argentina Fil: de Paula, Mariano. Universidad Nacional del Centro de la Provincia de Buenos Aires. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Tandil. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires. - Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas. Centro de Investigaciones en Física e Ingeniería del Centro de la Provincia de Buenos Aires; Argentina |
description |
Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículoseléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes deconvertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dosgrandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas yel tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles decorriente equilibrados que eviten tanto los graves efectos de degradación de la batería como lasmolestias a los usuarios finales. En este trabajo, los autores proponen un enfoque deaprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles decarga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas delas técnicas de RL es que pueden aprender de la interacción con el sistema simulado o realincorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientalesfluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antesde obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuestopretende mantener cero violaciones de las restricciones a lo largo de todo el proceso deaprendizaje incorporando una capa de seguridad que corrige la acción si es probable que seviole una restricción. El método propuesto se prueba en el circuito equivalente de una bateríade iones de litio considerando condiciones de variabilidad. Los primeros resultados muestranque SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuentaun compromiso entre la velocidad de carga y la vida útil de la batería. |
publishDate |
2024 |
dc.date.none.fl_str_mv |
2024-02 |
dc.type.none.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion http://purl.org/coar/resource_type/c_6501 info:ar-repo/semantics/articulo |
format |
article |
status_str |
publishedVersion |
dc.identifier.none.fl_str_mv |
http://hdl.handle.net/11336/241079 Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano; Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo; Universidad Autónoma del Estado de Morelos; Programación Matemática y Software; 16; 1; 2-2024; 35-46 2007-3283 CONICET Digital CONICET |
url |
http://hdl.handle.net/11336/241079 |
identifier_str_mv |
Trimboli, Maximiliano Daniel; Antonelli, Nicolás Nehuén; Avila, Luis Omar; de Paula, Mariano; Gestión segura de la batería de EVs utilizando aprendizaje por refuerzo; Universidad Autónoma del Estado de Morelos; Programación Matemática y Software; 16; 1; 2-2024; 35-46 2007-3283 CONICET Digital CONICET |
dc.language.none.fl_str_mv |
spa |
language |
spa |
dc.relation.none.fl_str_mv |
info:eu-repo/semantics/altIdentifier/url/https://progmat.uaem.mx/progmat/index.php/progmat/article/view/2024-16-01-04 info:eu-repo/semantics/altIdentifier/doi/10.30973/progmat/2024.16.1/4 |
dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess https://creativecommons.org/licenses/by-nc-sa/2.5/ar/ |
eu_rights_str_mv |
openAccess |
rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/ |
dc.format.none.fl_str_mv |
application/pdf application/pdf application/pdf |
dc.publisher.none.fl_str_mv |
Universidad Autónoma del Estado de Morelos |
publisher.none.fl_str_mv |
Universidad Autónoma del Estado de Morelos |
dc.source.none.fl_str_mv |
reponame:CONICET Digital (CONICET) instname:Consejo Nacional de Investigaciones Científicas y Técnicas |
reponame_str |
CONICET Digital (CONICET) |
collection |
CONICET Digital (CONICET) |
instname_str |
Consejo Nacional de Investigaciones Científicas y Técnicas |
repository.name.fl_str_mv |
CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas |
repository.mail.fl_str_mv |
dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar |
_version_ |
1844613773625655296 |
score |
13.070432 |