为什么单一策略不够：用于稳健MDP的自适应策略组合
经典马尔可夫决策过程（MDP）假设环境动态是精确已知的。但在实践中几乎从不如此：我们只能勾勒出一组合理的情景。稳健MDP（robust MDP）以激进的方式应对这一问题——寻找一种在最坏可能转移下也能表现足够好的单一策略。但这种方法有隐藏的代价：它针对最坏情况设计，因此往往过于保守。
这一点在不确定性随时间减少的场景中尤为明显。环境在智能体面前逐步展开，其部分动态变得可观测且可部分识别。在展开之前计算出的最优策略不会利用这些新信息。本质上，即使我们已经知道最坏情况并未发生，我们仍在按最坏情况行事。特文特大学和安特卫普大学的研究人员——Kasper Engelen、Sebastian Junges、Guillermo A. Pérez和Marnix Suilen——在他们的论文《Adaptive Policy Portfolios for Robust Markov Decision Processes》（arXiv:2608.17929, cs.AI/cs.LO）中提出了一种更灵活的方法。
自适应组合：一组策略而非单一策略
作者没有采用单一稳健策略，而是考虑策略组合——一组有限的无记忆随机化策略，这些策略预先离线合成。此外，还使用一个轻量级在线选择器，在运行过程中从组合中选出最合适的策略。这类似于机器学习中的模型集成，但具有清晰的理论框架。
这种组合的关键质量指标是稳健遗憾（robust regret）。对于合理情景集合中的每个具体环境，它衡量在线选择器选出的策略与如果我们事先知道该环境本可构建的理想策略之间的差距。换言之，如果一个组合的最佳成员在任何环境下都足够接近最优，那么该组合就被认为是好的。这种视角将重点从最坏情况保证转向适应成本。
类似的想法此前由Ghavamzadeh等人（2016）提出，但侧重于用于安全策略改进的近似方法和松弛。新工作显著推进了这一领域的理论基础。
认证与合成的复杂性
组合并非简单的工程启发式方法。作者对处理组合时出现的任务进行了严谨的复杂性理论分析。
第一个任务是给定组合的认证：能否保证对于所有合理环境都存在一个遗憾可接受的策略？事实证明，即使在无环（s,a）-矩形RMDP中，对于确定性组合，该任务也是**∀R-完全的**。这意味着即使验证一小组策略的质量也是一项计算上困难的任务，其复杂度堪比求解实数不等式系统。
更困难的是有界规模组合的合成任务（unary-bounded）。对于一般有理多胞形，即使在固定折扣因子和无环动态下，该任务也是**∃∀R-完全的**。这种复杂性表明这里不存在简单的组合算法：该问题同时包含离散搜索和代数复杂性。值得注意的是，即使单一策略的情况也非平凡，并且在两个维度上都“代价高昂”。
如何接近实践？
所得到的复杂性结果可能令人望而却步，但作者并未止步于消极结论。他们提出了一种具体的离线组合构造方法，支持运行时特化（runtime specialization）。其思路是预先准备一组策略，然后在与环境交互的过程中根据当前观测快速调整选择。这种方法可以将严格保证与实际灵活性结合起来。
结论很简单：在不确定性随时间部分揭示的任务中，单一固定策略必然弱于自适应集合。策略组合以更高的计算复杂性为代价，但换来了容错能力和随数据到达而切换的能力。这是从纯粹保守方法迈向不确定性条件下智能决策系统的重要一步。
