Des yeux appris dans les coulisses
Sous les lampes nues de l'atelier, un nouveau machiniste voit un tiroir entrouvert, une tasse posée au bon endroit, une serviette sur une chaise, un masque qui attend sa boîte. Il ne connaît pas ce spectacle. Pourtant, après avoir regardé beaucoup de vidéos filmées à hauteur d'yeux, quelques essais lui suffisent pour remettre chaque chose à sa place.
Les robots, eux, partent souvent avec un regard maladroit. On leur réapprend chaque geste, ou bien on leur montre des images fixes d'objets. C'est comme former ce machiniste avec des photos d'accessoires, puis lui demander de ranger vite dans la pénombre. Ce qui manque, c'est le fil de l'action.
Le changement est venu de là. Au lieu de gaver le robot d'images isolées, on a nourri sa vue avec une énorme masse de vidéos humaines prises en vue directe, accompagnées de petites notes. Des moments proches dans une même action restaient liés. Les notes attiraient l'attention sur ce qui bouge vraiment, comme un masque rangé ou une serviette pliée.
On a aussi forcé ce regard à garder un résumé court, pas un sac rempli de détails inutiles. Dans les coulisses, ce serait un petit pense-bête, pas une pile de feuilles. Puis les bâtisseurs ont gardé ces yeux tels quels, et pour chaque nouvelle tâche, ils n'ont appris au robot que la suite des gestes, avec la position de ses articulations.
Sur des mondes d'entraînement qu'il n'avait jamais vus, ce regard réutilisable a mieux tenu la route que repartir de zéro, et mieux aussi que d'anciennes façons de préparer la vue. Quand on retirait les petites notes, la chute était la plus forte. Voir le mouvement ne suffisait pas, il fallait aussi savoir quel objet comptait à cet instant.
Le même effet est apparu dans une pièce encombrée, avec peu d'exemples guidés pour chaque tâche. Le robot fermait mieux les tiroirs, posait mieux les objets, poussait mieux une tasse et pliait mieux une serviette, surtout quand il fallait repérer la bonne cible au milieu du bazar. Le truc neuf, c'est ça, des vidéos humaines ordinaires sont devenues des yeux réutilisables pour les robots.