节能型AI级联：当数据故障破坏路由
现代AI系统越来越多地不是构建为单一巨型模型，而是由多个不同规模的模型组成的级联结构。思路很简单：对于简单请求，轻量快速的模型就足够了，而复杂或模糊的情况则交给更大、更精确的模型处理。这种方法能大幅降低能耗，同时保持高预测质量。然而，这种方案有一个薄弱环节——路由机制，它决定将输入数据交给哪个模型处理。
级联模型的工作原理
级联的关键要素是基于置信度的延迟机制（deferral）。紧凑模型处理数据后，不仅输出预测结果，还会给出自身置信度的评估。如果置信度高——答案被采纳。如果置信度低——样本被传递给更重的模型，由其给出最终答案。在干净、无失真的数据上，这种路由通常运行稳定，能在不损失精度的情况下节省能耗。
当输入数据包含扰动时问题就出现了——例如静态损坏（噪声、裁剪、伪影）或随请求变化的序列性失真。即使是微小的变化也可能偏移模型的置信度评估，进而影响是否将样本继续沿级联传递的决策。
研究揭示了什么
最近的研究《Accuracy and Robustness of Model Cascades Under Data Perturbations》（作者：Pallavi Mitra、Jai Kushwaha、Felix Biessmann，已被ECML-PKDD 2026的GREEN-AI Workshop接收）正是关注此类级联对扰动的鲁棒性。作者构建了一个用于图像分类的模型级联，在精度、路由质量和能耗的帕累托最优点上选择了配置。该配置在干净数据上展现出有竞争力的预测性能，同时与仅使用大模型相比，将CO₂排放降低了最多10倍。然而，当输入数据被人为损坏时，级联的行为明显改变——而且远不总是朝着预期的方向。
三种失效模式
分析表明，扰动会导致三种典型场景，每种都以不同方式破坏级联的正常运行。
第一种模式：路由信号失效。 静态损坏可能使置信度评估几乎失去作用。紧凑模型无法理解数据已被破坏，要么以高置信度输出错误答案，要么反过来把所有内容都向上传递。在这种情况下，大模型仍然能够纠正错误，但节能优势丧失——级联退化为简单的串行处理。
第二种模式：两个模型都失效。 有时损坏不仅影响轻量模型，也影响大型模型。此时延迟机制不再起作用：即使将复杂案例传递上去，精度也无法恢复。实际上，级联变得不比其任何组成部分更好，而能耗仍然很高。
第三种模式：稳定性取代可靠性。 这种场景出现在序列性扰动下，即失真不断累积或随请求而变化。模型开始输出稳定的预测——但稳定地错误。同时延迟机制被抑制：系统对自己的答案充满信心，尽管这些答案是错误的。这种情况最为危险，因为从级联的行为中很难察觉错误。
为什么这很重要
研究者的结论直截了当：仅凭干净精度来评估节能型级联是不够的。必须明确考虑输入数据分布偏移时路由将如何表现。在实际部署中，数据几乎总是与训练数据不同——由于光照变化、照片噪声、新格式或针对模型的攻击。如果级联未经路由鲁棒性验证，其能源效率就会变成一种幻觉。
对从业者而言，这意味着在部署级联架构时，测试中不仅应包含理想样本，还应包含不同类型的合成损坏。否则，你得到的系统可能只在第一次遭遇现实世界之前节省能源——然后悄无声息地输出自信但错误的决策。
