Les world models apprennent la dynamique d’un environnement pour en prédire les évolutions et aider un agent à planifier. Pour les étudier efficacement, je vous propose un parcours qui relie bases en reinforcement learning, ressources pédagogiques, articles fondateurs et synthèses de recherche.
Besoin d'aide ? Découvrez les solutions de notre agence d'agents IA.
Que sont les world models ?
Un world model apprend le fonctionnement d’un environnement pour en prédire l’évolution, simuler les conséquences possibles d’actions et aider un agent à planifier. Il fournit ainsi une représentation exploitable de ce qui peut arriver avant que l’agent agisse dans le monde réel ou simulé.
Le lien avec l’apprentissage par renforcement est direct. Dans ce cadre, un agent choisit des actions et reçoit des observations, parfois accompagnées d’une récompense. Un world model apprend à prédire les changements de l’environnement à partir de ces interactions. La planification basée sur un modèle s’appuie ensuite sur ces prédictions pour comparer des actions ou des séquences d’actions, au lieu de toutes les tester directement dans l’environnement.
Le mécanisme se représente simplement :
Observation → estimation de l’état → action → état prédit → nouvelle observation
L’observation est ce que l’agent reçoit à un instant donné. L’état résume la situation pertinente pour anticiper la suite. Il peut être estimé à partir des observations, sans être directement accessible. L’action modifie l’environnement ; le world model prédit alors un ou plusieurs états possibles. Ces prédictions soutiennent la planification, mais ne garantissent pas que l’évolution réelle corresponde à la simulation.
Les applications citées couvrent plusieurs domaines :
- La génération vidéo, où le modèle prédit la suite d’une séquence.
- La robotique, où anticiper les effets d’une action peut soutenir le contrôle et la planification.
- L’IA incarnée, c’est-à-dire des systèmes qui interagissent avec un environnement physique ou simulé.
- Le raisonnement physique, qui consiste à prédire les interactions et les changements dans une scène.
Pour étudier les ressources qui suivent, des bases en apprentissage par renforcement sont utiles : elles donnent le vocabulaire des agents, des actions, des états et des récompenses. Elles aident aussi à distinguer la prédiction d’un environnement de la décision prise à partir de cette prédiction.
Quelles bases étudier avant les world models ?
Le cours UC Berkeley CS 285 fournit les bases en apprentissage par renforcement profond, en contrôle et en apprentissage profond. C’est le point de départ le plus utile pour comprendre comment un agent apprend à agir, anticipe les effets de ses actions et utilise un modèle de son environnement.
Pour les world models, je retiendrais surtout quatre thèmes de CS 285 :
- La planification, qui consiste à choisir des actions en fonction de leurs conséquences anticipées.
- Le contrôle optimal, qui vise à déterminer les actions les plus adaptées pour atteindre un objectif.
- La dynamique apprise, c’est-à-dire un modèle qui apprend comment l’environnement évolue après une action.
- L’apprentissage par renforcement basé sur un modèle, où l’agent s’appuie sur une dynamique apprise pour guider ses décisions.
Les vidéos, les notes et les exercices permettent d’étudier ces concepts et leur mise en pratique. C’est un avantage concret : on ne reste pas au niveau des définitions, on peut aussi travailler les méthodes et leur application.
Après ces bases en apprentissage par renforcement, Stanford CS348K propose une introduction directe aux world models. La conférence aborde les mondes créés par IA générative, les représentations latentes, les approches qui ne reposent pas sur les pixels et l’IA incarnée. Les représentations latentes désignent ici des représentations internes du monde, plutôt que les pixels bruts d’une image. Les diapositives sont téléchargeables, mais CS348K n’est pas un cours complet.
Les deux ressources ont donc des fonctions différentes dans le parcours :
| UC Berkeley CS 285 | Acquérir les bases en apprentissage par renforcement profond, en contrôle et en apprentissage profond, avec des vidéos, des notes et des exercices. |
| Stanford CS348K | Aborder directement les world models et leurs thèmes centraux, à travers une conférence et ses diapositives. |
Je commencerais par CS 285 pour construire les fondations, puis j’utiliserais CS348K pour relier ces notions aux world models.
Que montre le travail World Models ?
Le travail de David Ha et Jürgen Schmidhuber montre qu’un agent peut apprendre une représentation compacte de ses observations, modéliser l’évolution de cette représentation, puis entraîner un contrôleur à choisir ses actions. L’idée centrale est de déplacer une partie de l’apprentissage dans un environnement simulé par le modèle, plutôt que de solliciter le monde réel à chaque étape.
La démarche suit trois étapes distinctes :
- Compression des observations. L’agent transforme ses observations, par exemple des images, en états latents plus compacts. Cette représentation conserve l’information utile pour agir sans manipuler directement chaque détail de l’observation.
- Apprentissage de la dynamique. Un modèle apprend comment ces états évoluent selon les actions de l’agent. Il peut alors simuler des séquences d’états et représenter les conséquences possibles d’une action.
- Entraînement du contrôleur. Le contrôleur apprend à sélectionner les actions à partir des états représentés. Il peut être entraîné dans le monde simulé appris par le modèle, ce qui réduit la nécessité d’interagir constamment avec l’environnement réel.
Cette séparation est importante : la représentation, la prédiction de la dynamique et la décision ne sont pas le même problème. Le modèle du monde fournit un espace d’entraînement simulé, mais il ne faut pas le confondre avec le monde réel. Ses prédictions restent celles d’un modèle appris.
Le site du projet World Models est une ressource pédagogique utile pour comprendre cette logique. Il rassemble des explications, des schémas, des animations, des expériences et du code. Je le relie aux bases vues dans le chapitre précédent : représentation des données, dynamique d’un système et apprentissage d’une politique d’action. Ces idées servent de point de départ pour étudier les articles qui les ont prolongées, adaptées ou remises en question.
Quels articles lire pour suivre l’évolution du domaine ?
La liste de lecture de Stanford rassemble dix articles pour suivre l’évolution des world models et du model-based reinforcement learning, c’est-à-dire de l’apprentissage par renforcement fondé sur un modèle de l’environnement. Elle offre un parcours utile pour situer les travaux, plutôt qu’une liste exhaustive du domaine.
Parmi les travaux mentionnés, on trouve :
- World Models
- PlaNet
- Dreamer
- DreamerV2
- SimPLe
- DayDreamer
- Genie
- TD-MPC2
La sélection dessine une progression générale. On part de simulateurs internes compacts, capables de représenter une expérience passée et d’imaginer des états futurs. Le fil mène ensuite à la planification dans des dynamiques latentes, où le modèle prédit l’évolution de l’environnement dans une représentation comprimée. Il s’étend enfin à l’apprentissage de politiques à partir de trajectoires imaginées, puis à des applications robotiques ou génératives.
Le travail World Models, vu précédemment, constitue un point de départ naturel pour ce parcours. Il permet de comprendre l’idée centrale : un agent peut apprendre une représentation de son environnement et l’utiliser pour anticiper avant d’agir. Les articles suivants aident à suivre comment cette idée se décline, sans supposer que chaque méthode résout le même problème ou utilise les mêmes composants.
Je conseille de lire ces travaux dans l’ordre de la liste, en notant pour chacun la représentation apprise, la place du modèle dans la prise de décision et le type de tâche évalué. Pour élargir ensuite la veille, la liste de Stanford sert de repère initial : ses références et leurs travaux connexes permettent de rejoindre des ressources plus larges sur les modèles du monde, l’apprentissage par renforcement et la robotique.
Où trouver une vue d’ensemble des recherches ?
Pour obtenir une vue d’ensemble des recherches, je m’appuie sur le dépôt Awesome World Model et l’étude de synthèse qui lui est associée. Ils organisent des articles et des ressources couvrant plusieurs branches du domaine.
La cartographie fait apparaître des axes distincts, qui se recoupent parfois :
- L’apprentissage par renforcement basé sur un modèle, où un modèle de l’environnement aide l’agent à choisir ses actions.
- L’apprentissage auto-supervisé, qui apprend des représentations à partir des données sans dépendre systématiquement d’annotations humaines.
- Les grands modèles de langage et multimodaux, capables de traiter ou de relier plusieurs types de données, comme le texte et l’image.
- La génération vidéo et les environnements 3D interactifs, où les modèles produisent des séquences ou représentent des mondes dans lesquels on peut agir.
Cette synthèse complète les cours, le travail fondateur de Ha et Schmidhuber et une liste de lecture. Ces ressources servent à comprendre les concepts, à suivre une progression pédagogique et à lire des travaux clés. La synthèse apporte une autre chose : elle aide à situer ces travaux dans le domaine, à repérer les liens entre les approches et à choisir une branche à approfondir. C’est utile quand on sait déjà ce qu’est un world model, mais qu’on ne sait pas encore où concentrer sa veille.
Je recommande un parcours cohérent : consolidez d’abord les bases avec UC Berkeley CS 285, puis abordez les world models avec Stanford CS348K et le projet de Ha et Schmidhuber. Lisez ensuite les travaux clés pour comprendre les idées et leurs évolutions. Utilisez enfin l’étude de synthèse et le dépôt Awesome World Model pour cartographier le domaine, puis explorer une branche précise — par exemple l’apprentissage par renforcement basé sur un modèle, les modèles multimodaux ou les environnements 3D interactifs.
Par où commencer pour progresser ?
Pour apprendre les world models, je commencerais par les bases en apprentissage par renforcement, contrôle et apprentissage profond de UC Berkeley CS 285. Stanford CS348K et le projet de David Ha et Jürgen Schmidhuber permettent ensuite d’aborder directement les représentations latentes, la dynamique apprise et l’entraînement d’un contrôleur. La liste de lecture de Stanford aide à suivre l’évolution des approches, tandis qu’Awesome World Model et la synthèse associée ouvrent sur plusieurs branches de recherche. Ce parcours relie les concepts aux ressources concrètes, sans confondre introduction, cours complet et panorama bibliographique. Vous gagnez ainsi une trajectoire claire pour approfondir le sujet selon vos objectifs techniques.
FAQ
- Que permet d’apprendre un world model ?
Il apprend le fonctionnement d’un environnement pour en prédire l’évolution, simuler des résultats possibles et aider un agent à planifier ses actions. - Faut-il connaître le reinforcement learning avant d’étudier les world models ?
Les bases en apprentissage par renforcement facilitent leur étude. UC Berkeley CS 285 couvre notamment le reinforcement learning profond, le contrôle, la planification et les dynamiques apprises. - Stanford CS348K est-il un cours complet ?
Non. C’est une conférence introductive avec des diapositives téléchargeables, consacrée notamment aux représentations latentes, aux mondes générés par IA et à l’IA incarnée. - Quel est l’apport du projet World Models de Ha et Schmidhuber ?
Il présente une architecture où l’agent compresse ses observations, apprend la dynamique des états obtenus et entraîne un contrôleur dans un environnement simulé appris. - Quels articles lire pour suivre les principales approches ?
La liste de lecture de Stanford mentionne notamment World Models, PlaNet, Dreamer, DreamerV2, SimPLe, DayDreamer, Genie et TD-MPC2.
A propos de l’auteur
Je suis Franck Scandolera, spécialiste de la Data engineering et de l’automatisation IA. Je m’intéresse aux architectures qui permettent à des agents d’apprendre à partir de données, de simuler des scénarios et de soutenir des applications métier intelligentes.
⭐ Analytics engineer, Data Analyst et Automatisation IA ⭐
- Ref clients : Logis Hôtel, Yelloh Village, BazarChic, Fédération Football Français, Texdecor…
Mon terrain de jeu :
- Data Analyst & Analytics engineering : tracking avancé (GA4, Matomo, Piano, GTM server, Tealium, Commander Act, e-commerce, CAPI, RGPD), entrepôt de données (BigQuery, Snowflake, PostgreSQL, ClickHouse), modèles (Airflow, dbt, Dataform), dashboards décisionnels (Looker, Power BI, Metabase, SQL, Python).
- Automatisation IA des taches Data, Marketing, RH, compta etc : conception de workflows intelligents robustes (n8n, App Script, scraping) connectés aux API de vos outils et LLM (OpenAI, Mistral, Claude…).
- Engineering IA pour créer des applications et agent IA sur mesure : intégration de LLM (OpenAI, Mistral…), RAG, assistants métier, génération de documents complexes, APIs, backends Node.js/Python.