Figure 在 30 个家庭中测试了 Helix 2.5:机器人完全完成了 420 项任务中的 237 项

16 十月 202610 视图

机器人在此前从未到访过的家中叠毛巾、铺床并收拾玩具。测试表明,这些技能可以迁移到新的房间,但183项未完成的任务以及由 Figure 自行评估的结果,目前还不足以证明该系统已能独立完成清洁工作。

Figure 在 30 个家庭中测试了 Helix 2.5:机器人完全完成了 420 项任务中的 237 项

测试内容

在旧金山湾区 30 户陌生人家中,Helix 2.5 执行了三项任务:叠毛巾、铺床和收玩具。

Figure 事先没有在这些房屋中收集数据。所有房间都使用同一个模型版本:模型没有在现场进行微调,也没有根据此前的尝试进行调整。

公司称这项实验为零样本测试。房屋和物品都是新的,但任务本身并不新:模型此前已接受过来自其他房间的记录训练。

如何判定成功

测试共包括 420 项任务。不计部分得分:机器人必须完整完成任务。

  • **玩具:**将全部 13–15 件物品收进篮子。
  • **毛巾:**叠好所有毛巾。
  • **床:**在床上放好两个枕头,拉好被子的上角并将其抚平。

出于安全原因而需要人类介入,即判定失败。因此,最终得分只统计在没有此类介入的情况下完整完成的任务。

机器人完成了多少项任务

Helix 2.5 完整完成了 420 项任务中的 237 项。它最擅长铺床,收玩具则表现最差。

任务成功次数成功率
铺床140 项中成功 94 项67%
叠毛巾140 项中成功 87 项62%
收玩具140 项中成功 56 项40%

作为对比,Figure 使用同样的专用数据训练了一个系统,但从随机设置开始,没有在 Index 上进行预训练。这个版本完成了 420 项任务中的 35 项。Figure 的图表显示为 8%,而配套文字显示为 9%。

Index 是 Figure 收录人类动作记录的数据集。这三项任务各自的数据在该数据集中所占比例均不超过 1.9%。

这些结果对家庭使用准备情况说明了什么

评估由 Figure 自行进行,目前还没有独立复现结果。公司也没有说明家用版本的推出时间或可接受的故障频率。

在 420 项任务中,机器人有 183 项未能完成。Figure 认为,鉴于失败次数如此之多,现在还不适合让它在无人看管的情况下打扫卫生。

在评估实际表现时,不能只看个别任务的最佳成绩。评判标准是:在没有人类介入的情况下完整完成任务;目前公布的测试尚不能证明它已具备独立打扫卫生的能力。

常问问题

Figure 在 30 个家庭中测试了 Helix 2.5:机器人完全完成了 420 项任务中的 237 项