Groupe d’études et de recherche en analyse des décisions

Approche variationnelle et numérique de problèmes de commande optimale stochastique

Guy Cohen

L’approche classique des problèmes de commande optimale stochastique dans une formulation markovienne utilise le point de vue de la programmation dynamique et se heurte très souvent dans la pratique à l’obstacle de la dimension d’état. Ce point de vue se marie par ailleurs très mal avec l’utilisation de méthodes de décomposition-coordination qui permettent, dans les formulations déterministes, de repousser assez loin cet obstacle de la dimension.

On s’intéresse donc ici à un point de vue variationnel (basé sur une approche de type Monte-Carlo) de ces problèmes qui permet en particulier l’utilisation simultanée des méthodes de décomposition. La principale difficulté dans cette approche est la présence de structures d’information qui constitue un ingrédient incontournable des problèmes dynamiques stochastiques. On montrera d’abord qu’il paraît indispensable de se restreindre à une classe particulière de problèmes dits "sans effet dual" et on discutera de conditions assurant cette propriété.

Puis on développera une formalisation rigoureuse du processus de discrétisation numérique et de son interférence avec la prise en compte des structures d’information. Ce processus utilise l’idée de quantification et débouche sur une discrétisation de l’univers stochastique en "arbres de scénarios".

On montrera ensuite des résultats numériques expérimentaux relatifs à la tentative de reconstituer le feedback optimal dans un problème simple. Ceci illustrera les inconvénients liés à cette méthode des arbres de scénarios et nous conduira finalement à envisager une nouvelle approche basée sur l’utilisation de conditions de type Kuhn-Tucker-Pontriaguine pour ces problèmes d’optimisation dynamique stochastique.