VLA 模型 VLALight 控制交通信号灯:直接从路侧摄像头视频端到端输出动作

26 十月 20263 视图

作者提出了 VLALight,这是一种端到端的“视觉—语言—动作”模型,可将路口摄像头的多视角记录直接转换为信号灯切换操作,无需人工定义交通流状态。该方案融合了考虑路口拓扑的联合感知、城市路网级强化学习,以及在快速推理和深度推理之间自适应选择的能力;在三个城市的七个真实数据集上,其表现优于基于交通模型、强化学习和 LLM/VLM 的基线方法。

VLA 模型 VLALight 控制交通信号灯:直接从路侧摄像头视频端到端输出动作

什么是用于交通信号灯控制的 VLA 模型

VLALight 是一种用于交通信号灯控制的视觉-语言-动作模型。作者:Pan Zhang、Siqi Lai、Kemu Dong、Hao Liu。论文于 2026 年 9 月 29 日提交。这是首个基于路侧摄像头多视角视频进行端到端交通信号灯控制的 VLA 模型。

该模型直接将视觉观测转换为协调一致的交通信号灯动作。它运用时空推理处理多个目标,并在拓扑层面考虑交叉路口的协同感知。

该方法的关键特性:

  • 端到端推理:将视觉观测转化为交通信号灯动作。
  • 多视角视频:数据来自路侧摄像头。
  • 时空推理:模型会考虑多个目标。
  • 拓扑层面的考量:交叉路口的协同感知。

选择标准:VLA 方法将感知与控制整合到同一个模型中。这使其区别于将这两项任务分开的方案。视频与动作之间的端到端关联是关键标准。

VLALight 如何训练:两个阶段

VLALight 的训练采用两阶段策略。首先进行监督式冷启动,以培养对道路交通状况的视觉理解能力以及交通信号决策能力。随后进行协作式智能体强化学习。

第二阶段联合优化局部控制和整个交通网络的效率。第一阶段负责理解场景和交通信号。第二阶段则优化局部控制和交通网络。

阶段任务优化目标
监督式冷启动对道路交通状况进行视觉理解并做出交通信号决策模型的初始能力
协作式智能体强化学习联合优化局部控制和网络效率

选择标准:关注方法是否包含网络层面的联合优化。缺乏网络背景的局部决策会限制效果。两阶段设计将感知训练与交互调优分开。

自适应推理模式与推理成本

VLALight 采用快速和慢速两种自适应推理模式。只有在更深入的推理能为控制带来足够收益时,才会启用该模式。模型采用均衡的模式感知 rollout 和相对优势优化。模型学会在决策质量与推理成本之间取得平衡。

模式启用条件效果
快速深度推理无法带来足够收益推理成本更低
慢速深度推理能够带来足够收益决策质量更高

选择标准:在决策质量与推理成本之间取得平衡。模式应根据其对控制的收益进行切换。始终以最大推理深度运行会增加成本。

实验结果

实验使用了七个真实交通流数据集,涵盖三个城市的交通网络。VLALight 的表现优于基线方法,包括交通模型、强化学习以及 LLM/VLM。

基线方法类别对比中的作用
交通模型基线
强化学习基线
LLM/VLM基线

消融研究证实了协同感知、网络层面优化和自适应推理的有效性。作者指出,VLA 模型有望用于控制真实的物理交通系统。

选择标准:检查基线方法的构成以及是否进行了消融实验。实验涵盖真实交通流和三个城市的交通网络。每个组件的贡献都应单独得到验证。

常问问题

VLA 模型 VLALight 控制交通信号灯:直接从路侧摄像头视频端到端输出动作