Роботы обычно не отличаются гибкостью: тысячи повторений ради одного движения, и любое изменение освещения или формы предмета способно сломать навык. Стартап Generalist AI из Кембриджа (штат Массачусетс) пытается перевернуть эту логику. Вместо долгого обучения на примерах машине достаточно один раз увидеть короткое видео — и она уже готова действовать в похожих, но не идентичных условиях. Это чем-то напоминает то, как ребенок копирует поведение взрослого, даже не осознавая, что учится.
Видео как инструкция: чему роботы учатся «с одного дубля»
Автор, побывавший в лаборатории компании, стал свидетелем необычного зрелища. Манипуляторы без предварительной подготовки настраивали под конкретную операцию: они разбирались с чашками, складывали их в стопки, перемещали блоки из одной миски в другую. Всё, что требовалось, — короткий видеоролик с демонстрацией действия, после чего робот начинал работать с новыми для себя объектами.
Некоторые эпизоды выглядят почти как маленькие чудеса инженерной мысли. Например, перед роботом поставили задачу затолкать блок в миску, дав ему в помощь щетку и совок. Когда щетку убрали, машина не остановилась, а приспособила для этой цели совок — взяла его в захват и стала использовать как щетку, успешно доведя дело до конца. Другой случай произошел с двухруким манипулятором. Он посмотрел видео, где человек расстегивает кошелек и вынимает из него бумажные купюры. Робот отлично справился с другим кошельком, а когда правая рука не смогла подцепить банкноту, он переключился на левую, изменил угол и всё-таки достал деньги.
Почему это работает: ставка на «физическое воображение»
Генеральный директор и сооснователь Generalist AI Пит Флоренс сравнивает поведение своих роботов с GPT-3. Языковой модели достаточно поставить новую задачу, чтобы она нашла решение, не проходя специальное обучение. Примерно то же происходит у роботов, но с поправкой на материальный мир: им нужно не просто сгенерировать слова, а скоординировать движения с учётом физики объектов. Совок может заменить щетку, кошелек — открыться по-разному, а банан — стать инструментом для подметания.
Последний случай действительно произошел: перед роботом положили банан, и он, не растерявшись, начал сметать им со стола детали. Это выглядело забавно, но за этим стоит важная идея — система учится не конкретному движению, а интуитивному чувству физики, которое есть у людей с рождения. Именно на это делает ставку команда основателей: Пит Флоренс, Эндрю Барри и Энди Цзен раньше работали в Google DeepMind и Boston Dynamics, и теперь они строят модели, способные понимать «поведение» вещей в пространстве.
Секрет такого понимания — огромное количество качественных данных о физических взаимодействиях. Чтобы собрать их максимально эффективно, в Generalist AI создали специальные перчатки, напоминающие клешни робота. В них встроены камеры, а сами перчатки предназначены для людей: операторы по всему миру, в том числе в Мексике, выполняют обычные бытовые или производственные операции, а система превращает эти записи в учебный материал. Автору даже показали ящик, где лежали сотни таких перчаток, готовых к отправке сборщикам данных. При этом сами нейросети компания строит с нуля, сознательно отказываясь от готовых открытых языковых моделей.
Надёжность, скепсис и перспективы для промышленности
Создатели не скрывают слабых мест. Сейчас робот успешно выполняет показанную задачу в среднем в 59% случаев. Это далеко от промышленных стандартов, где требуется надежность выше 99%. Непонятно, насколько навыки будут переноситься на совершенно незнакомые сценарии, и как поведёт себя модель при резком изменении условий. Но проделанная работа уже впечатляет сторонних экспертов.
Данфэй Сюй, робототехник из Georgia Tech, говорит, что именно Generalist AI ближе всех к реальному коммерческому применению среди компаний, разрабатывающих универсальные роботизированные модели. По его словам, команда довела свою идею до крайности и качественно её реализовала, собрав колоссальный объём хороших данных. Карен Лю из Стэнфорда добавляет, что подход компании интересен тем, что данные собираются в массовом масштабе и не привязаны к какой-то одной конструкции робота. Это делает обучение похожим на открытую платформу, а не на одноразовый трюк.
Потенциальная польза для производства огромна. Представьте конвейер, который можно мгновенно переключить с упаковки бутылок на сборку деталей — достаточно просто показать роботу короткое видео. Никакой долгой переналадки, никакого программирования манипуляций.
Пожалуй, самый красноречивый эпизод был снят поздно вечером в офисе стартапа. Инженер вручную расставлял перед двухруким роботом маленькие чашки. Внезапно манипулятор, не дожидаясь команды, начал хватать чашки и складывать их в аккуратную стопку вслед за человеком. Это спонтанное действие — пусть простое и мимолётное — говорит о том, что машина выходит за рамки бездушного исполнителя инструкций. И возможно, именно такая «инициатива» и станет тем самым прорывом, который выведет роботов из клеток фабричных цехов в реальный мир.
