Dans cette cuisine, personne n’a jamais posé le pied, et pourtant le plan de travail porte les traces d’un usage quotidien : une coupelle de fruits légèrement décentrée, un torchon jeté sur le robinet, un tiroir entrouvert. Cette pièce n’existe nulle part sur Terre : elle a été imaginée en quelques heures par trois intelligences artificielles qui ne sont pas toujours d’accord entre elles.

Au Massachusetts Institute of Technology, cette scène a un nom : SceneSmith. Ce n’est ni un robot, ni un logiciel de décoration d’intérieur, mais un système capable de fabriquer, à la demande, des appartements, des cuisines ou des chambres d’hôtel virtuels, pour entraîner des robots en simulation avant qu’ils n’affrontent le désordre du monde réel.

Entraîner des robots en simulation, contre un monde réel trop lent

Pour qu’un robot apprenne à ranger une vaisselle ou à ouvrir un tiroir sans le casser, il doit s’exercer, encore et encore, comme un apprenti répète un geste jusqu’à ce qu’il devienne naturel. Le problème, c’est que le monde réel est un mauvais professeur : lent, coûteux, parfois dangereux pour le matériel. Faire manipuler un vrai bras robotique par un opérateur humain, une méthode appelée télé-opération (piloter le bras à distance, comme avec une manette de jeu vidéo, pour lui montrer le bon geste), ne produit qu’une poignée d’exemples utiles par heure de travail humain. À ce rythme, couvrir la diversité des cuisines, des salons et des chambres que les futurs robots devront affronter prendrait des années.

D’où l’idée, déjà explorée dans le champ de la robotique dite incarnée (la recherche qui cherche à donner un corps et des sens à l’intelligence artificielle), de faire s’exercer les robots dans des mondes simulés plutôt que réels. Depuis plusieurs années, des chercheurs de l’Allen Institute for AI ont construit ProcTHOR, un outil qui génère automatiquement des environnements virtuels ; leur bibliothèque ProcTHOR-10K compte dix mille maisons différentes et sert de référence pour entraîner des IA à naviguer dans un logement. De son côté, NVIDIA a fait d’Isaac Sim un standard industriel : Boston Dynamics y entraîne les politiques de contrôle de ses robots avant de les déployer directement sur le matériel réel, et le fabricant Fourier s’en sert pour entraîner ses humanoïdes GR-1 et GR-2.

Ces outils ont toutefois un point faible que l’équipe du MIT a choisi d’attaquer : leurs pièces sont propres, ordonnées, presque vides. Or un salon habité n’a rien d’une vitrine de magasin, il est encombré, désordonné, plein de détails qu’un robot doit apprendre à contourner. C’est précisément ce vide que SceneSmith entend combler.

Intérieur virtuel généré par IA pour entraîner des robots en simulation (SceneSmith, MIT CSAIL)
Une scène générée par SceneSmith. Crédit : Tim Malieckal/MIT CSAIL, à partir d’éléments produits par les chercheurs.

Illustration : une scène d’intérieur générée par SceneSmith, vue en coupe isométrique, avec un bras robotique au travail dans la cuisine (Tim Malieckal/MIT CSAIL, à partir d’éléments produits par les chercheurs).

Trois intelligences artificielles qui se corrigent entre elles

L’équipe qui a conçu SceneSmith rassemble Nicholas Pfaff et Thomas Cohn, deux doctorants du laboratoire d’informatique et d’intelligence artificielle du MIT, le CSAIL (Computer Science and Artificial Intelligence Laboratory), le professeur Russ Tedrake, et deux chercheurs du Toyota Research Institute, Sergey Zakharov et Rick Cory. Leur système ne repose pas sur une seule intelligence artificielle mais sur trois, qui se répartissent les rôles comme une petite équipe d’architectes : un agent concepteur propose le plan de la pièce et choisit les meubles, un agent critique examine chaque proposition et retire ce qui sonne faux, une baignoire posée dans un salon, par exemple, puis un agent chef d’orchestre arbitre les désaccords et fait avancer le travail, des murs jusqu’aux objets qu’un robot pourra attraper, comme une poignée de placard.

Les trois agents s’appuient sur un modèle vision-langage (une IA capable d’interpréter une image et de raisonner en mots, ici GPT-5.2) pour juger si une scène a l’air vraie. Chaque objet généré n’est pas qu’une image : le système lui attribue une masse, un coefficient de friction, une résistance, les propriétés physiques nécessaires pour qu’un moteur de simulation calcule correctement ce qui se passe quand un bras robotique le pousse ou le saisit.

Le résultat contient, selon l’étude, jusqu’à six fois plus d’objets que les méthodes précédentes, avec moins de 2 % de collisions entre objets et 96 % d’entre eux qui restent stables sous la simulation physique. Plus de 1 300 scènes ont déjà été produites, certaines si inattendues, comme une échoppe de potier ou une salle de jeu vidéo, jamais suggérées dans les consignes des chercheurs. Sur un panel de plus de 200 utilisateurs, plus de 90 % ont jugé ces intérieurs plus réalistes que ceux produits par HSM et Holodeck, les méthodes concurrentes retenues comme référence. « Nous avons constaté que le système peut construire des scènes 3D comme le ferait un designer humain », résume Nicholas Pfaff.

Ce que cette avancée change vraiment

L’enjeu dépasse la seule décoration virtuelle. Ce que SceneSmith déplace, c’est la matière première de l’apprentissage robotique. Jusqu’ici, la ressource rare était l’expérience physique : des heures de télé-opération, des flottes de robots à surveiller, des essais qui coûtent une pièce cassée. En automatisant la production de terrains d’entraînement crédibles, cette recherche transforme un goulot d’étranglement humain en un problème de calcul, qu’on multiplie avec des serveurs plutôt qu’avec des opérateurs. Ce pari est assumé par les financeurs du projet, Toyota Research Institute, Amazon, le bureau de recherche navale américain et la National Science Foundation, engagés dans la course à des robots capables de généraliser au-delà de leur tâche d’origine, à l’image de ce robot qui retrouve son chemin avec une seule caméra.

« Une idée naturelle consiste à utiliser la simulation comme terrain d’entraînement », observe Russ Tedrake. Même des voix extérieures au projet le confirment : Jeremy Binagia, chercheur chez Amazon Robotics et non impliqué dans l’étude, salue une méthode qui repousse les limites de la densité d’objets simulés, tous physiquement exacts et pas seulement visuellement réalistes. C’est bien cela qui rebat les cartes de la robotique incarnée : la contrainte ne sera peut-être bientôt plus la quantité de données disponibles, mais la vitesse à laquelle des mondes suffisamment fidèles peuvent être inventés.

Le cerveau du robot mis à l’épreuve

SceneSmith ne construit pas de robot : c’est une technologie habilitante, un outil qui prépare le terrain pour d’autres machines. Pour vérifier que leurs pièces virtuelles fonctionnent comme de vrais bancs d’essai, les chercheurs ont pris un modèle de contrôle déjà entraîné (le raisonnement qui décide du geste à effectuer), façonné surtout à partir de données réelles et qui n’avait jamais vu une scène SceneSmith. Placé dans un appartement généré par le système et invité à prendre la pomme dans le bol et la poser sur la planche à découper, ce cerveau artificiel a exécuté le geste correctement, preuve que le décor ressemblait aux pièces réelles sur lesquelles il avait appris. Ils ont aussi téléopéré des robots dans une centaine de ces espaces, leur faisant ouvrir des placards, ranger des bouteilles ou changer de pièce, pendant qu’un agent vision-langage jugeait, avec 99 % d’accord avec des évaluateurs humains, si chaque tentative avait échoué, une méthode d’auto-évaluation qui n’est pas sans rappeler ces robots qui apprennent en consignant leurs échecs.

Si l’on file la métaphore du corps, SceneSmith agit comme le gymnase du cerveau du robot : ce n’est pas le muscle, le bras ou la pince qui s’y forme, mais le jugement, qui doit apprendre à anticiper le désordre d’un vrai foyer avant d’y être confronté pour de bon.

Ce que la simulation ne prouve pas encore

Reste une question que les chercheurs ne tranchent pas : un intérieur plus réaliste produit-il un robot plus compétent une fois sorti du simulateur ? C’est tout l’enjeu de ce que les spécialistes appellent l’écart simulation-réel, le fait qu’un comportement appris virtuellement se dégrade souvent au contact des frottements, des textures et des imprévus du monde physique. Le test de la pomme et de la planche à découper est encourageant, mais les résultats publiés ne comparent pas directement SceneSmith aux scènes fabriquées à la main dans Isaac Sim par des entreprises comme Boston Dynamics ou Fourier. Rien ne permet donc, à ce stade, d’affirmer que la méthode du MIT surpasse ces pipelines déjà déployés sur le terrain qui compte le plus : la performance d’un robot livré en usine ou à domicile.

Autre limite assumée : chaque scène demande plusieurs heures, le temps que les agents créent et examinent un par un les objets qui la peuplent. À ce rythme, impossible pour l’instant de rivaliser avec ProcTHOR, capable de générer dix mille maisons en une heure sur quatre cartes graphiques. SceneSmith gagne en réalisme ce qu’il perd en vitesse, un compromis que les chercheurs espèrent résorber avec davantage de puissance de calcul, avant d’attaquer un autre défi : les objets déformables, comme une éponge ou un tissu, qui manquent encore aux bibliothèques 3D disponibles.

Le travail, présenté en communication remarquée (un spotlight) à la conférence internationale sur l’apprentissage automatique (ICML) 2026, n’en est qu’à ses débuts. Mais il pose la question qui occupera la robotique dans les années à venir : avant d’apprendre à vivre parmi nous, un robot devra peut-être d’abord apprendre à se débrouiller dans une maison que personne n’a jamais habitée.

Sources

Le papier de recherche complet est disponible ici : SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes.

ARTICLES CONNEXESPLUS DE L'AUTEUR

Laisser un commentaire