Méthode de minimisation du résidu de Bellman boostée qui tient compte des démonstrations expertes.

Bilal Piot 1, 2 Matthieu Geist 2 Olivier Pietquin 3
1 SEQUEL - Sequential Learning
LIFL - Laboratoire d'Informatique Fondamentale de Lille, Inria Lille - Nord Europe, LAGIS - Laboratoire d'Automatique, Génie Informatique et Signal
Résumé : Ce papier traite du problème d'Apprentissage par Renforcement avec des Démonstrations Expertes (ARDE). Contrairement à l'Apprentissage par Renforcement (AR) où le but est de trouver une politique optimale d'un Processus Décisionnel de Markov (PDM) seulement à  partir de transitions échantillonnées du PDM, en ARDE on dispose en plus de transitions échantillonnées expertes. Ainsi, le but de cet article est de proposer différents algorithmes qui prennent en compte la spécificité de ces données expertes. L'idée que l'on propose dans cet article diffère du cadre classique de Programmation Dynamique Approchée (PDA) dans le sens où l'on cherche à  minimiser directement le Résidu Optimal de Bellman (ROB); la minimisation étant guidée par des contraintes définies par les transitions échantillonnées expertes. Ce choix est motivé par le fait que le contrôle du ROB implique le contrôle de la distance entre la fonction de qualité optimale et son estimée. Cependant, cette méthode présente plusieurs difficultés comme le fait que le critère empirique à minimiser est non-convexe, non-différentiable et biaisé. Ces difficultés seront surmontées via l'utilisation d'un plongement d'une probabilité dans un Espace d'Hilbert à  Noyau Reproduisant (EHNR) et d'une méthode de boosting qui permet d'obtenir des algorithmes non-paramétriques. Finalement, nos algorithmes seront comparés à  l'unique algorithme de l'état de l'art, Approximate Policy Iteration with Demonstrations (APID), dans différentes expériences.
Type de document :
Communication dans un congrès
9èmes Journées Francophones de Planification, Décision et Apprentissage (JFPDA'14), May 2014, Liège, Belgique. 2014
Liste complète des métadonnées

https://hal-supelec.archives-ouvertes.fr/hal-01104789
Contributeur : Sébastien Van Luchene <>
Soumis le : lundi 19 janvier 2015 - 11:27:05
Dernière modification le : jeudi 11 janvier 2018 - 06:22:13

Identifiants

  • HAL Id : hal-01104789, version 1

Citation

Bilal Piot, Matthieu Geist, Olivier Pietquin. Méthode de minimisation du résidu de Bellman boostée qui tient compte des démonstrations expertes.. 9èmes Journées Francophones de Planification, Décision et Apprentissage (JFPDA'14), May 2014, Liège, Belgique. 2014. 〈hal-01104789〉

Partager

Métriques

Consultations de la notice

204