Exploration et Exploitation dans des MDPs Cybernétiques - Université Toulouse - Jean Jaurès Accéder directement au contenu
Communication Dans Un Congrès Année : 2015

Exploration et Exploitation dans des MDPs Cybernétiques

Résumé

Dans cet article on présente l’algorithme "average engaged climber" (AEC), une version modifiée de la méthode d’itération sur les valeurs pour l’estimation de la fonction d’utilité dans un processus de décision markovien (MDP) à horizon infini. Plus précisément, la méthode présentée vise à résoudre le dilemme entre exploration et exploitation dans une classe particulière de problèmes appelée MDP cybernétique (C-MDP). Dans ces problèmes, l’agent est doté d’une énergie interne dont la valeur est affectée par les récompenses reçues au long de son cycle de vie, et il doit la maintenir au-dessus d’un seuil de viabilité, afin d’assurer sa propre survie. Ainsi, l’agent doit chercher à optimiser son comportement, tout en tenant compte des coûts des actions exploratoires. L’originalité de la méthode proposée repose sur le fait de construire explicitement deux politiques différentes (une pour explorer, l’autre pour exploiter), et de déterminer les bons moments pour changer de stratégie en utilisant une notion d’engagement. L’algorithme estime l’utilité des paires état-action en approchant la récompense moyenne espérée de chacune. L’intérêt potentiel de l’idée est appuyé par des résultats expérimentaux préliminaires.
Fichier principal
Vignette du fichier
Exploration et Exploitation dans des MDPs Cybernétiques _JFPDA2015.pdf (403.32 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-01762252 , version 1 (21-04-2021)

Identifiants

  • HAL Id : hal-01762252 , version 1

Citer

Filipo Studzinski Perotto. Exploration et Exploitation dans des MDPs Cybernétiques. 10èmes Journées Francophones sur la Planification, la Décision et l'Apprentissage (JFPDA 2015), Frédéric Maris (IRIT), Jun 2015, Rennes, France. pp.61--72. ⟨hal-01762252⟩
60 Consultations
93 Téléchargements

Partager

Gmail Facebook X LinkedIn More