问题：完美的策略，在现实面前不堪一击
通过模仿学习训练的机器人在实验室中可能表现出令人印象深刻的结果。例如，Action Chunking with Transformers（ACT）方法——一种因其能够复现人类演示的复杂轨迹而广受欢迎的方法——在理想条件下可以完成许多任务。但一旦条件稍有变化，一切就开始偏离正轨。抓取校准的微小误差、物体偏离几毫米，甚至表面纹理的改变——都会让不久前还堪称典范的策略开始表现得犹豫不决。
这种对分布偏移的敏感性是模仿学习众所周知的痛点。模型记住的是具体的轨迹和情境，而不是抽象的技能。在现实世界中，一切每时每刻都在变化，这使得机器人在没有额外调优的情况下几乎毫无用处。
传统的修正方式是收集新的演示数据，将错误考虑在内，与旧数据混合后重新训练。这在计算上代价高昂且耗时。而如果涉及实时工作——例如生产线上的任务——这种方式根本无法接受：在机器人重新训练期间，停机就意味着损失。
ORPA：用轻量模块替代繁重的重新训练
来自日本的研究团队——Muhammad A. Muttaqien、Tomohiro Motoda、Ryo Hanai和Yukiyasu Domae——提出了ORPA（在线残差策略自适应）框架。其思路极为精巧：与其重新训练主网络，不如在其之上添加一个轻量级外部模块，专门负责动作修正。
残差自适应如何工作
在任何时刻，ORPA模块都会接收操作员的信号——这可以是“再转一点”、“再移一点”的命令，或更复杂的修正向量。基于该信号，模块预测需要对机器人控制施加的残差变化。重要的是，预测直接在关节空间中进行——即在机械臂每个关节的旋转角度层面。这使得能够进行非常精确的局部修正，而不影响全局行为策略。
基础策略保持冻结：其权重不变。这意味着它在训练期间积累的知识和技能不会被破坏。而残差修正模块则是在现成解决方案之上进行的微调。打个比方：如果你驾驶一辆带自动驾驶的汽车，你不会重刷它的“大脑”，而只是轻轻修正方向。
得益于这种架构，ORPA可以在运行时工作。无需等待训练周期结束，甚至无需访问训练代码——只需将模块连接到正在运行的系统，它就会开始自适应行为。
实时性的优势
该方法的主要优点之一是其计算轻量性。由于模块很小，它不需要专用算力，几乎可以即时运行。这为ORPA在需要毫秒级响应的任务中开辟了道路，例如人机协作场景。
如何验证：在ALOHA上的实验
为了确认ORPA确实有效，作者在ALOHA平台上进行了一系列实验。该平台以允许双臂机器人从人类演示中学习并执行精确操作——从装配到处理细小物体——而闻名。
实验中比较了三种方法：基础控制策略、基于逆运动学的规则修正策略，以及添加ORPA的策略。测量了两个关键指标：任务成功完成率和从微小扰动中恢复的能力——例如物体在运动过程中被意外移动时。
结果令人鼓舞
ORPA在两个指标上均表现出改善。带有残差自适应模块的机器人在精确操作上比基础策略更成功，同时在外部干预后能更快地回到正确轨迹。基于逆运动学的规则方法也无法与ORPA匹敌——可能是因为它们依赖于预设规则，无法考虑当前情境的所有细微差别。
需要强调的是：所有改进都是在不改变原始策略参数的情况下实现的。这意味着所提出的技术可以作为“补丁”应用于已在运行的机器人系统，而无需中断其运行。只需连接模块，针对具体任务进行配置——就能以更高的精度继续工作。
这在实践中意味着什么
像ORPA这样的框架的出现，使操作员能够“实时”修正机器人行为而无需长时间暂停重新训练的场景成为现实。对企业而言，这意味着更少的停机时间和更灵活的生产：如果工艺线发生变化，只需对机器人稍作调整，而不是让一切停摆数天。对于研究实验室，这为快速原型开发开辟了新的可能性，而对操作员来说，则提供了一个便捷的微调工具。
当然，在工业部署之前仍需解决一系列问题：如何最好地向操作员传递反馈信号、哪些命令直观易懂，以及如何将ORPA与现有控制系统集成。但这个思路本身——不是从头训练机器人，而是通过外部修正精准打磨其技能——看起来极具前景，而且从结果来看，已经在实验中证明了其可行性。
