Выходцы из исследовательского подразделения Meta вывели на рынок открытую модель зрения для цехов и складов

21 сентября 20269 просмотров

Стартап Perceptron, основанный двумя бывшими сотрудниками FAIR, представил Isaac 0.5 — модель с открытыми весами, которая, по заявлению разработчиков, совмещает восприятие и управление в промышленной среде. Читатель получит представление о том, как устроен этот подход, на каких данных обучалась система и почему её считают альтернативой как узкоспециализированным, так и облачным генералистским решениям.

Выходцы из исследовательского подразделения Meta вывели на рынок открытую модель зрения для цехов и складов

Что запустила Perceptron

Perceptron — стартап, основанный в ноябре 2024 года. Его создали два бывших исследовательских ученых Meta: Armen Aghajanyan и Akshat Shrivastava. Они работали в Meta’s Fundamental AI Research (FAIR). Это исследовательское подразделение Meta по ИИ.

На этой неделе компания запустила модель Isaac 0.5. По словам создателей, она дает машинам способность “perceive, reason and act” в промышленных условиях. Модель выпускается как open-weight. Поэтому параметры и обучающие материалы может проверить любой желающий.

Компания видит свое ПО будущим промышленного автоматизированного развертывания.

Вывод: Isaac 0.5 стоит рассматривать как открытую модель для промышленных задач. Проверяемость веса — ключевой критерий при выборе.

Задача: физический интеллект для складов и цехов

Perceptron разрабатывает frontier vision models. Они должны помочь машинам более компетентно взаимодействовать с физическими средами. ПО способно помогать vision-guided robots перемещаться в сложных средах. Речь идет о warehouses или factory floors.

Компания описывает проблему так: “Physical AI today forces a false choice”. С одной стороны, generalist foundation models, которым нужны multiple dedicated cloud GPUs для каждого instance. С другой — narrow models, которые обрабатывают perception или control, но никогда оба. Isaac 0.5 призвана дать машинам способность воспринимать, рассуждать и действовать.

Shrivastava предложил рассмотреть простой физический процесс — организацию коробок. Робот, развернутый для сортировки посылок, должен выполнить много шагов. Сначала прочитать этикетку на упаковке. Затем провести пространственный анализ, чтобы понять, где находятся коробки. Потом решить, какую поднять. Если он поднимает серию коробок, ему пришлось бы планировать, какие коробки поднимать и в каком порядке. ПО Perceptron предназначено помочь роботам пройти каждый шаг процесса.

Вывод: критерий выбора — способность модели покрыть весь процесс, от восприятия до планирования действий, а не только отдельную операцию.

Как обучали Isaac 0.5

Модели вроде Isaac 0.5 учатся операционным навыкам, поглощая большие объемы видеообучающих данных. Perceptron говорит, что обучила новую модель на миллионе часов так называемого general video. Это нужно, чтобы научить алгоритм распознавать конкретные условия, визуальные элементы и сценарии.

Компания также активно полагалась на ego video. Это видео от лица человека, выполняющего физическую задачу. Его снимают через GoPro или носимую камеру. Еще использовались UMI video. Они аналогично служат для обучения ИИ-систем движениям путем записи повторяющихся человеческих действий.

Perceptron не раскрывает источники своих обучающих данных. Shrivastava сказал, что компания “internally built petabyte-scale datasets that span across modalities”. Он уточнил: “whether it’s images, text, video, etc. all the way through robotic trajectories.”

Вывод: открытый вес модели позволяет проверить параметры и обучающие материалы. Это важный критерий для команд, которым нужна проверяемость.

Чем отличается от существующих моделей

Aghajanyan и Shrivastava говорят, что их инструмент отличается от существующих моделей. Он general-purpose, то есть не создан для одной конкретной повторящейся задачи. Модель должна быть гибкой в зависимости от конкретной среды или ситуации.

В отрасли уже есть ПО, помогающее машинам выполнять большинство этих задач. Но мало программ, предназначенных делать это гибко. Ниже сравнение подходов по фактам, которые приводит компания.

ПодходКлючевая особенность
Generalist foundation modelsНужны несколько выделенных облачных GPU для каждого экземпляра
Narrow modelsОбрабатывают восприятие или управление, но никогда оба
Isaac 0.5General-purpose, open-weight, нацелена на perceive, reason and act

Aghajanyan сказал: “Nothing like this really exists out there.” Он добавил: “We’re really excited about it.”

Вывод: если задача требует и восприятия, и управления в меняющейся среде, узкие модели не подойдут. Generalist-модели требуют выделенных облачных GPU на каждый экземпляр. Isaac 0.5 заявлена как компромисс между этими вариантами.

Где планируют применять

Стартап готов выводить ПО на рынок для различных вендоров. Компания потенциально может интегрировать свой intelligence layer в разные отрасли. Среди них manufacturing, logistics and warehousing, security, mobility, а также media and entertainment.

ПО помогает vision-guided robots перемещаться в сложных средах, таких как warehouses or factory floors. Оно также помогает компаниям извлекать визуальный интеллект из видео, записанных этими ботами.

Вывод: практический критерий — совпадение отрасли и сценария. Для складов и цехов важны перемещение в сложной среде и извлечение данных из видео. Для security, mobility, media и entertainment компания заявляет потенциальную интеграцию.

Финансирование и статус

Perceptron ранее привлекла $21 million. Инвесторами выступили Bessemer Venture Partners, Foundation Capital и S32. Это следует из данных Pitchbook. SmartGateVC также участвовала в founding round компании.

По информации TechCrunch, стартап находится в процессе закрытия дополнительного раунда. Другие условия и сроки не раскрываются.

Вывод: у компании есть финансирование от венчурных фондов и заявленный интерес к дополнительному раунду. Это не гарантирует зрелость продукта, но снижает риск раннего выбора.

Часто задаваемые вопросы

Похожие материалы

Все материалы
Isaac 0.5 от Perceptron: открытая модель для складов и цехов