Approximations on risk-averse Markov decision processes

Autores
Della Vecchia, Eugenio Martín; Di Marco, Silvia Cristina; Jean Marie, Alain
Año de publicación
2013
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
We consider the problem of approximating the values and the optimal policies in risk-averse discounted Markov Decision Processes with infinite horizon. We study the properties of the rolling horizon and the approximate rolling horizon procedures, proving bounds which imply the convergence of the procedures when the horizon length tends to infinity. We also analyze the effects of uncertainties on the transition probabilities, the cost functions and the discount factors.
Nous considérons le problème de l'approximation de la fonction de valeur et des politiques optimales dans un processus de décision Markovien avec actualisation et aversion au risque. Nous étudions les propriétés de la procédure de l'horizon roulant et son approximation, et montrons des bornes qui impliquent la convergence de ces procédures quand l'horizon de temps tend vers l'in ni. Nous analysons aussi les e ets d'incertitudes sur les probabilités de transition, les fonctions de coût et les facteurs d'actualisation.
Fil: Della Vecchia, Eugenio Martín. Universidad Nacional de Rosario. Facultad de Ciencias Exactas, Ingeniería y Agrimensura; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Di Marco, Silvia Cristina. Universidad Nacional de Rosario. Facultad de Ciencias Exactas, Ingeniería y Agrimensura; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Jean Marie, Alain. Institut National de Recherche en Informatique et en Automatique; Francia. Centre National de la Recherche Scientifique; Francia
Materia
Markov Decision Processes
Risk Aversion
Rolling Horizon
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
Repositorio
CONICET Digital (CONICET)
Institución
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identificador
oai:ri.conicet.gov.ar:11336/15583
Acceder
id CONICETDig_4a60959776beb8716d8d954c5b115fe4
oai_identifier_str oai:ri.conicet.gov.ar:11336/15583
network_acronym_str CONICETDig
repository_id_str 3498
network_name_str CONICET Digital (CONICET)
spelling Approximations on risk-averse Markov decision processesApproximations dans les processus de décision Markoviens averses au risqueDella Vecchia, Eugenio MartínDi Marco, Silvia CristinaJean Marie, AlainMarkov Decision ProcessesRisk AversionRolling Horizonhttps://purl.org/becyt/ford/1.1https://purl.org/becyt/ford/1We consider the problem of approximating the values and the optimal policies in risk-averse discounted Markov Decision Processes with infinite horizon. We study the properties of the rolling horizon and the approximate rolling horizon procedures, proving bounds which imply the convergence of the procedures when the horizon length tends to infinity. We also analyze the effects of uncertainties on the transition probabilities, the cost functions and the discount factors.Nous considérons le problème de l'approximation de la fonction de valeur et des politiques optimales dans un processus de décision Markovien avec actualisation et aversion au risque. Nous étudions les propriétés de la procédure de l'horizon roulant et son approximation, et montrons des bornes qui impliquent la convergence de ces procédures quand l'horizon de temps tend vers l'in ni. Nous analysons aussi les e ets d'incertitudes sur les probabilités de transition, les fonctions de coût et les facteurs d'actualisation.Fil: Della Vecchia, Eugenio Martín. Universidad Nacional de Rosario. Facultad de Ciencias Exactas, Ingeniería y Agrimensura; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Di Marco, Silvia Cristina. Universidad Nacional de Rosario. Facultad de Ciencias Exactas, Ingeniería y Agrimensura; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Jean Marie, Alain. Institut National de Recherche en Informatique et en Automatique; Francia. Centre National de la Recherche Scientifique; FranciaInstitut National de Recherche en Informatique et en Automatique2013info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/15583Della Vecchia, Eugenio Martín; Di Marco, Silvia Cristina; Jean Marie, Alain; Approximations on risk-averse Markov decision processes; Institut National de Recherche en Informatique et en Automatique; Rapports de Recherche; 8393; 2013; 1-200249-6399enginfo:eu-repo/semantics/altIdentifier/url/https://hal.inria.fr/hal-00905636info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-sa/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-10-15T14:21:31Zoai:ri.conicet.gov.ar:11336/15583instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-10-15 14:21:31.563CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse
dc.title.none.fl_str_mv Approximations on risk-averse Markov decision processes
Approximations dans les processus de décision Markoviens averses au risque
title Approximations on risk-averse Markov decision processes
spellingShingle Approximations on risk-averse Markov decision processes
Della Vecchia, Eugenio Martín
Markov Decision Processes
Risk Aversion
Rolling Horizon
title_short Approximations on risk-averse Markov decision processes
title_full Approximations on risk-averse Markov decision processes
title_fullStr Approximations on risk-averse Markov decision processes
title_full_unstemmed Approximations on risk-averse Markov decision processes
title_sort Approximations on risk-averse Markov decision processes
dc.creator.none.fl_str_mv Della Vecchia, Eugenio Martín
Di Marco, Silvia Cristina
Jean Marie, Alain
author Della Vecchia, Eugenio Martín
author_facet Della Vecchia, Eugenio Martín
Di Marco, Silvia Cristina
Jean Marie, Alain
author_role author
author2 Di Marco, Silvia Cristina
Jean Marie, Alain
author2_role author
author
dc.subject.none.fl_str_mv Markov Decision Processes
Risk Aversion
Rolling Horizon
topic Markov Decision Processes
Risk Aversion
Rolling Horizon
purl_subject.fl_str_mv https://purl.org/becyt/ford/1.1
https://purl.org/becyt/ford/1
dc.description.none.fl_txt_mv We consider the problem of approximating the values and the optimal policies in risk-averse discounted Markov Decision Processes with infinite horizon. We study the properties of the rolling horizon and the approximate rolling horizon procedures, proving bounds which imply the convergence of the procedures when the horizon length tends to infinity. We also analyze the effects of uncertainties on the transition probabilities, the cost functions and the discount factors.
Nous considérons le problème de l'approximation de la fonction de valeur et des politiques optimales dans un processus de décision Markovien avec actualisation et aversion au risque. Nous étudions les propriétés de la procédure de l'horizon roulant et son approximation, et montrons des bornes qui impliquent la convergence de ces procédures quand l'horizon de temps tend vers l'in ni. Nous analysons aussi les e ets d'incertitudes sur les probabilités de transition, les fonctions de coût et les facteurs d'actualisation.
Fil: Della Vecchia, Eugenio Martín. Universidad Nacional de Rosario. Facultad de Ciencias Exactas, Ingeniería y Agrimensura; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Di Marco, Silvia Cristina. Universidad Nacional de Rosario. Facultad de Ciencias Exactas, Ingeniería y Agrimensura; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Jean Marie, Alain. Institut National de Recherche en Informatique et en Automatique; Francia. Centre National de la Recherche Scientifique; Francia
description We consider the problem of approximating the values and the optimal policies in risk-averse discounted Markov Decision Processes with infinite horizon. We study the properties of the rolling horizon and the approximate rolling horizon procedures, proving bounds which imply the convergence of the procedures when the horizon length tends to infinity. We also analyze the effects of uncertainties on the transition probabilities, the cost functions and the discount factors.
publishDate 2013
dc.date.none.fl_str_mv 2013
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11336/15583
Della Vecchia, Eugenio Martín; Di Marco, Silvia Cristina; Jean Marie, Alain; Approximations on risk-averse Markov decision processes; Institut National de Recherche en Informatique et en Automatique; Rapports de Recherche; 8393; 2013; 1-20
0249-6399
url http://hdl.handle.net/11336/15583
identifier_str_mv Della Vecchia, Eugenio Martín; Di Marco, Silvia Cristina; Jean Marie, Alain; Approximations on risk-averse Markov decision processes; Institut National de Recherche en Informatique et en Automatique; Rapports de Recherche; 8393; 2013; 1-20
0249-6399
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/url/https://hal.inria.fr/hal-00905636
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Institut National de Recherche en Informatique et en Automatique
publisher.none.fl_str_mv Institut National de Recherche en Informatique et en Automatique
dc.source.none.fl_str_mv reponame:CONICET Digital (CONICET)
instname:Consejo Nacional de Investigaciones Científicas y Técnicas
reponame_str CONICET Digital (CONICET)
collection CONICET Digital (CONICET)
instname_str Consejo Nacional de Investigaciones Científicas y Técnicas
repository.name.fl_str_mv CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas
repository.mail.fl_str_mv dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar
_version_ 1846082604567101440
score 13.22299

Publicaciones similares