Les robots ne sont généralement pas réputés pour leur flexibilité : des milliers de répétitions pour un seul geste, et la moindre variation d'éclairage ou de forme d'un objet suffit à faire échouer la compétence. La startup Generalist AI, basée à Cambridge (Massachusetts), tente de renverser cette logique. Plutôt qu'un long apprentissage sur des exemples, il suffit à la machine de voir une fois une courte vidéo — et elle est déjà prête à agir dans des conditions similaires, mais non identiques. Cela rappelle un peu la façon dont un enfant imite le comportement d'un adulte, sans même se rendre compte qu'il apprend.
La vidéo comme instruction : ce que les robots apprennent « en une seule prise »
L'auteur, qui s'est rendu dans le laboratoire de l'entreprise, a assisté à un spectacle inhabituel. Des manipulateurs, sans préparation préalable, s'adaptaient à une opération précise : ils s'occupaient de tasses, les empilaient, déplaçaient des blocs d'un bol à un autre. Tout ce qu'il fallait, c'était une courte vidéo démontrant l'action, après quoi le robot commençait à travailler avec des objets nouveaux pour lui.
Certains épisodes ressemblent presque à de petits miracles d'ingénierie. Par exemple, on a demandé à un robot d'enfoncer un bloc dans un bol, en lui fournissant une brosse et une pelle à poussière. Lorsque la brosse a été retirée, la machine ne s'est pas arrêtée : elle a adapté la pelle à cet usage — l'a saisie et s'en est servie comme d'une brosse, menant la tâche à bien. Un autre cas s'est produit avec un manipulateur à deux bras. Il a regardé une vidéo où une personne ouvrait un portefeuille et en sortait des billets de banque. Le robot s'est parfaitement débrouillé avec un autre portefeuille, et lorsque sa main droite n'a pas réussi à attraper le billet, il est passé à la main gauche, a changé l'angle et a finalement réussi à sortir l'argent.
Pourquoi cela fonctionne : le pari sur « l'imagination physique »
Le PDG et cofondateur de Generalist AI, Pete Florence, compare le comportement de ses robots à GPT-3. Un modèle de langage n'a besoin que d'une nouvelle tâche pour trouver une solution, sans passer par un entraînement spécifique. C'est à peu près ce qui se passe chez les robots, mais avec une adaptation au monde matériel : ils ne doivent pas simplement générer des mots, mais coordonner leurs mouvements en tenant compte de la physique des objets. Une pelle peut remplacer une brosse, un portefeuille peut s'ouvrir de différentes manières, et une banane peut devenir un outil de balayage.
Ce dernier cas s'est d'ailleurs réellement produit : on a posé une banane devant un robot, et sans perdre contenance, il a commencé à balayer des pièces de la table avec. Cela semblait amusant, mais derrière se cache une idée importante : le système n'apprend pas un geste précis, mais un sens intuitif de la physique, que les humains possèdent dès la naissance. C'est précisément sur cela que parie l'équipe fondatrice : Pete Florence, Andrew Barry et Andy Zeng ont auparavant travaillé chez Google DeepMind et Boston Dynamics, et ils construisent désormais des modèles capables de comprendre le « comportement » des objets dans l'espace.
Le secret d'une telle compréhension réside dans une immense quantité de données qualitatives sur les interactions physiques. Pour les collecter le plus efficacement possible, Generalist AI a créé des gants spéciaux rappelant les pinces d'un robot. Des caméras y sont intégrées, et les gants sont destinés aux humains : des opérateurs du monde entier, y compris au Mexique, effectuent des opérations domestiques ou industrielles courantes, et le système transforme ces enregistrements en matériel d'apprentissage. L'auteur s'est même vu montrer un carton contenant des centaines de ces gants, prêts à être expédiés aux collecteurs de données. Par ailleurs, l'entreprise construit ses réseaux de neurones à partir de zéro, refusant délibérément les modèles de langage ouverts existants.
Fiabilité, scepticisme et perspectives pour l'industrie
Les créateurs ne cachent pas les points faibles. Actuellement, le robot exécute avec succès la tâche démontrée dans 59 % des cas en moyenne. C'est loin des standards industriels, où une fiabilité supérieure à 99 % est exigée. On ignore dans quelle mesure les compétences se transféreront à des scénarios totalement inconnus, ni comment le modèle se comportera en cas de changement brutal des conditions. Mais le travail accompli impressionne déjà les experts externes.
Danfei Xu, roboticien à Georgia Tech, affirme que c'est Generalist AI qui est la plus proche d'une véritable application commerciale parmi les entreprises développant des modèles robotiques universels. Selon lui, l'équipe a poussé son idée à l'extrême et l'a réalisée avec qualité, en rassemblant un volume colossal de bonnes données. Karen Liu de Stanford ajoute que l'approche de l'entreprise est intéressante car les données sont collectées à grande échelle et ne sont liées à aucune architecture de robot particulière. Cela rend l'apprentissage semblable à une plateforme ouverte, plutôt qu'à un tour de passe-passe ponctuel.
Le bénéfice potentiel pour la production est énorme. Imaginez une chaîne de montage que l'on peut instantanément faire passer de l'emballage de bouteilles à l'assemblage de pièces — il suffit de montrer une courte vidéo au robot. Aucun long réglage, aucune programmation des manipulations.
L'épisode le plus éloquent a peut-être été filmé tard le soir dans les bureaux de la startup. Un ingénieur disposait manuellement de petites tasses devant un robot à deux bras. Soudain, le manipulateur, sans attendre d'ordre, a commencé à attraper les tasses et à les empiler soigneusement, imitant l'homme. Cette action spontanée — simple et fugace — montre que la machine dépasse le rôle d'exécutant sans âme. Et c'est peut-être précisément cette « initiative » qui constituera la percée tant attendue, celle qui fera sortir les robots des cages des ateliers industriels pour les amener dans le monde réel.
