Notes de cours de commande optimale stochastique

Quadrat Jean-Pierre

Ces notes correspondent au cours oral d'introduction à la commande stochastique donné dans le cadre du DEA MMME de PARIS 1 DE 1999 À 2007 (11 séances de 2h). Le cours est composé de deux parties. La première partie est consacrée à la commande optimale des chaînes de Markov à états finis en observation complète et incomplète. C'est le cadre auquel se ramène la résolution numérique des problèmes commande stochastique des équations différentielles stochastiques très utilisées en finance. Ce problème de commande se ramène à la résolution numérique d'équations dites de la programmation dynamique ou de Bellman qui correspondent dans le cas discret et stochastique aux équations d'Hamilton Jacobi de la mécanique classique. Dans la deuxième partie, le cas déterministe discret est étudié plus précisément. Dans ce cas les équations de la programmation dynamiques sont linéaires à condition de se placer dans la bonne algèbre (l'algèbre maxplus). Après une discussion de cette algèbre maxplus, une dualité entre le calcul des probabilités et l'optimisation est obtenue grâce à ce changement d'algèbre. Par cette dualité les équations de Kolmogorov deviennent les équations de Bellman. Enfin il est indiqué brièvement que la dynamique de certains systèmes à événements discrets importants dans le domaine de la productique sont des équations de type Bellman déterministes donc linéaires dans l'algèbre maxplus.