Richard Bellman et la programmation dynamique

Dyke

Richard Bellman (1920-1984).

Richard Bellman est né le 26 août 1920 à New York. À la fin de ses études universitaires à Baltimore, il est d’abord instructeur des armées avant d’être affecté  au projet Manhattan  entre 1944 et 1946. Il prépare ensuite une thèse sur les équations différentielles à Princeton sous la direction de Lefschetz et commence une carrière académique. Attiré par la théorie des nombres, il est aussi séduit par les défis mathématiques posés par les applications.

 In those days applied practitioners were regarded as distinctly second-class citizens of the mathematical fraternity. […] when invited to speak at various […] seminars, Bellman delighted in justifying his choice of applied over pure mathematics as being motivated by the real world’s greater challenges and mathematical demands. [S. Dreyfus (2002), traduction ci-dessous]

Il décide de rejoindre la RAND corporation en 1952. C’est à cette période qu’il formule le concept de programmation dynamique, qui aura des répercussions scientifiques et techniques considérables. Il reprend sa carrière universitaire en 1965 à la University of Southern California. Mais qu’a donc compris Bellman qui va le propulser au-devant de la scène scientifique ?

Quand Bellman rejoint RAND, on lui propose de travailler sur des problèmes de prise de décision multi-niveaux. Un certain nombre d’entre eux sont maintenant identifiés comme relevant du contrôle optimal, qu’il s’agisse de guider un satellite (au décollage ou pour ramasser des débris spatiaux), d’améliorer le diagnostic de la maladie de la vache folle ou même, de façon plus indirecte, de gérer le trafic routier.

Prenons l’exemple du guidage d’un satellite. Sa trajectoire est déterminée par le principe fondamental de la dynamique, qui se traduit par une équation différentielle. On peut contrôler sa trajectoire et on cherche à minimiser la consommation de carburant qu’il va dépenser au cours de tout son voyage. Le principe de programmation dynamique dit que minimiser la consommation d’un voyage passant par un point A au temps t et se finissant au temps T revient à minimiser cette consommation jusqu’à un point B intermédiaire, atteint en un temps Δt, puis à minimiser la consommation à partir de ce point. Le point B fait partie des paramètres sur lesquels il faut jouer pour minimiser la consommation totale (voir la figure ci-dessous).

La courbe rouge représente la trajectoire optimale entre le temps initial (0) et le temps final T. Cette courbe passe par le point A au temps t. Les courbes vertes issues des points B1 et B3 au temps t + Δt sont aussi optimales mais les courbes entre A et ces deux points ne le sont pas.

En particulier, on peut exprimer la consommation d’énergie entre n’importe quel temps intermédiaire t et le temps t + Δt et obtenir l’équation dite de Hamilton-Jacobi-Bellman. Sa résolution permet en particulier de savoir quelle est la meilleure façon de guider le satellite pour minimiser la consommation.

Richard Bellman fut un mathématicien très prolifique. Il a écrit ou co-écrit plus de 600 articles de recherche et plus de 40 livres. L’ablation d’une tumeur au cerveau en 1973 le laissera durablement affaibli. Il écrira pourtant encore une centaine de publications avant de s’éteindre en 1984.

Brève rédigée par Cyril Imbert (CNRS et Univ. Paris-Est Créteil) d’après les travaux de John Joseph O’Connor et Edmund F. Robertson (Univ. St Andrews).

Pour en savoir plus :

Crédits Images : Alfred Eisenstaedt / Time Inc ; C. Imbert.

 

Traduction de la citation par C. Imbert : « A cette époque, les chercheurs appliqués étaient considérés comme des citoyens de seconde zone de la confrérie mathématique. […] Quand il était invité à donner des conférences […], Bellman prenait plaisir à justifier son choix des mathématiques appliquées plutôt que des mathématiques pures en invoquant les grands défis et les besoins mathématiques engendrés par le monde réel. » (S. Dreyfus (2002)).

3 Commentaires

Leave a Reply

Your email address will not be published. Required fields are marked *

*