Apprentissage par renforcement avec une approximation de fonction

18e capsule d'une série sur la commande optimale et l'apprentissage par renforcement qui sont présentés sous la base commune de la programmation dynamique.
Cette capsule présente comment modifier l'opération d'apprentissage (pour l'agorithme itération de valeur, Q-learning, etc.) lorsque qu'on utilise une approximation de fonction pour approximer la fonction de cout-à-venir.
La série de capsule va couvrir les sujets suivants:
- Principe d'optimalité (Richard Bellman 50s)
- Exemple de commande optimale d'un pendule
- Algorithme de programmation dynamique (version générique)
- Exemple pour les systèmes continus
- Version de l'algorithme pour les systèmes à états discrets et actions discrètes
- Exemple pour trouver le chemin le plus court sur graphe
- Systèmes stochastiques et espérance de la fonction de coût
- Algorithme de programmation dynamique pour optimiser l'espérance d'une fonction de coût
- Exemple d'un contrôle d'inventaire optimal en fonction d'une demande aléatoire
- Systèmes de type chaînes de Markov (stochastique, états discrets et actions discrètes)
- Exemple de stratégie optimale pour un jeu
- Résultats pour les systèmes linéaires et solution LQR (équation de Riccati)
- Algorithme de commande robuste de type minimax
- Optimisation pour un horizon de temps infini
- Algorithme d'itération de valeur (value iteration)
- Algorithme d'itération de loi de commande (policy iteration)
- Apprentissage par renforcement (TD-learning, Q-learning, SARSA, etc.)
- Méthodes hors-ligne pour approximer et paramètrer la fonction de coût à venir
- Apprentissage par renforcement avec des réseaux de neurones (deep reinforcement learning)
- Méthodes en-ligne pour approximer la fonction de coût à venir
- Commande prédictive (MPC)
Matériel pédagogique associé (notes de cours, exemple de code, etc.) et portfolio de projets disponible sur le site : www.alexandreg...