麦云企聚通资讯

车东西公众号:chedongxi) 作者 | Janson 编辑 | 志豪小米在计算机视觉领域国际顶级会议ECCV 2026上取得重大突破,一次性斩获12篇论文录用资格。车东西7月3日消息,据小米官方

小米5篇自动驾驶论文冲上顶会!世界模型与VLA双突破,下一代智驾要更强了

车东西(公众号:chedongxi) 作者 | Janson 编辑 | 志豪

小米在计算机视觉领域国际顶级会议ECCV 2026上取得重大突破,小米型一次性斩获12篇论文录用资格。篇自破下

车东西7月3日消息,动驾代智据小米官方技术披露,驶论上顶双突小米AI实验室与小米自动驾驶团队的文冲多项研究成果被ECCV 2026接收。

▲小米12篇论文入选ECCV 2026

在入选的界模驾更12篇论文中,有5篇直接聚焦于自动驾驶核心领域,小米型分别为:CausalDrive、篇自破下MindDrive、动驾代智DriveVA、驶论上顶双突BeyondDriveDriveFine。文冲

这五篇论文虽切入点各异——涵盖世界模型构建、界模驾更VLA(视觉-语言-动作)决策、小米型在线强化学习、篇自破下安全负样本挖掘及轨迹自修正机制——但其核心逻辑高度统一:旨在解决自动驾驶从“感知环境”向“理解世界”跨越的动驾代智关键难题。

真实驾驶场景并非简单的车道线识别或障碍物检测,而是复杂的动态博弈。系统需预判前车制动引发的连锁反应、旁车让行意图及行人横穿概率,并理解当前看似合理的专家轨迹为何可能在数秒后演变为危险决策。

上述五篇论文正是针对这些痛点提出的系统性解决方案,赋予模型预测未来、理解交互、优化决策及风险前置纠错的能力。

值得注意的是,ECCV与CVPR、ICCV并列为计算机视觉三大顶会。据小米技术披露,ECCV 2026共收到10,473篇有效投稿,最终录用2,883篇,录取率约为27.5%。小米以12篇论文的高产出,充分彰显了其在AI领域的深厚技术储备。

一、世界模型升级:从“看见道路”到“想象未来”

自动驾驶在复杂开放道路上的突破,不能仅依赖单帧图像中的静态要素(如车道线、车辆、行人、红绿灯)。

真实驾驶是一个连续的多方博弈过程:自车并线时,旁车是减速让行还是加速抢行?前车急刹,后车如何响应?当前可行的轨迹,几秒后是否会将车辆引入冲突区域?

这就要求自动驾驶模型具备更高层级的世界模型(World Model)能力。

世界模型的核心在于让模型在内部“预演未来”——不仅预测视觉场景的演变,更要理解当前动作对环境的影响,以及周围交通参与者对自车决策的反作用。

小米此次入选的CausalDrive和DriveVA两篇论文,分别代表了世界模型在“因果交互”与“规划一致性”两个关键维度的突破。

1. CausalDrive:从“视频生成”进化为“交通因果模拟”

传统的自动驾驶世界模型往往退化为视频生成器,输入当前画面与条件,输出未来几秒的场景视频。

然而,真实交通是动态交互系统,而非被动播放的视频。例如,自车并线时,周围车辆的反应取决于距离、速度及驾驶意图等多重因素。理解这些参与者之间的因果互动(Causal Interaction)至关重要。

▲CausalDrive架构

CausalDrive指出,现有基于布局条件的世界模型常依赖未来NPC(非玩家角色)轨迹,相当于“剧透”,并非真正的交互式模拟;而纯动作条件预测器则缺乏语义控制且推理延迟高。

为此,CausalDrive仅使用初始前视图像、自车轨迹及宏观文本提示,不输入未来NPC布局,迫使模型自主预测周围交通参与者的反应。

论文提出Context-Forced DMD(上下文强制DMD)架构,结合连续流匹配与自校正蒸馏技术,实现了12 FPS的交互式生成速度。

▲CausalDrive性能表现

这一突破将被动视频生成器转化为可交互的神经仿真器。模型不仅知晓“未来画面”,更理解“成因逻辑”。

这对自动驾驶意义重大:真实道路的长尾场景难以通过数据完全覆盖。若模型能构建可控、实时、可反事实推演的交通世界,将极大赋能闭环评测、强化学习训练及人机交互式仿真。

论文展示了其在生成式闭环评测、大规模RL后训练及人在回路仿真中的巨大潜力。

2. DriveVA:实现“视觉预测”与“轨迹规划”的一致性

若CausalDrive解决的是“交通世界的因果互动”,DriveVA则聚焦于另一个核心问题:模型想象的未来,是否与规划的轨迹一致?

现有方法常将视觉预测与轨迹规划解耦,导致模型可能“想象出一个未来”,却规划出与之不匹配的路线,造成视频与动作的松耦合。

DriveVA的创新在于,将未来视觉预测与车辆动作序列纳入同一个共享潜在生成过程(Shared Latent Generative Process)中进行联合生成。

基于大规模预训练视频生成模型,DriveVA继承其对时空动态、物理合理性及因果交互的先验建模能力,并利用DiT-based Decoder(基于DiT的解码器)同步预测未来视频与车辆动作序列。

这一设计解决了自动驾驶中视觉与动作的一致性难题。正如人类司机在观察周围运动的同时预测交通状态并调整路径,DriveVA让模型在同一套生成逻辑中完成视觉与动作的协同。

▲DriveVA性能表现

实验数据显示,DriveVA在NAVSIM挑战赛中取得90.9 PDM Score,并在零样本设置下展现出卓越的跨数据集、跨域泛化能力。

在nuScenes数据集上,相比现有世界模型规划器,DriveVA将平均L2误差和碰撞率分别降低78.9%83.3%;在Bench2Drive/CARLA v2基准上,两项指标分别降低52.5%52.4%

二、VLA模型进阶:生成轨迹并理解“驾驶意图”

世界模型解决了“未来如何变化”,自动驾驶还需回答“面对未来该如何行动”。

传统端到端自动驾驶依赖模仿学习专家轨迹,虽能覆盖常见场景,但在长尾场景中缺乏主动试错与自我改进能力,且易因轨迹生成错误导致误差累积。

MindDrive和DriveFine两篇论文切入VLA(Vision-Language-Action)模型领域,旨在让模型从“看图输出轨迹”升级为“理解场景、形成意图、转化为行动”。

1. MindDrive:在真实交互中通过语言决策优化判断

自动驾驶可通过强化学习(RL)“边试边学”,但难点在于车辆动作处于连续的高维轨迹空间(速度、方向、加速度、位置点组合复杂),直接在轨迹空间试错效率极低。

MindDrive的创新在于,将试错空间从连续轨迹映射至语言决策空间

模型首先判断“减速让行”、“保持车道”、“缓慢左转避让”等高层驾驶意图,再由动作专家将意图映射为具体轨迹。

▲MindDrive架构

MindDrive采用共享视觉-语言模型基座,通过两套LoRA(大模型参数高效微调技术)适配模块构建两个专家网络:
* 决策专家:负责场景推理与驾驶决策;
* 动作专家:负责将语言决策转化为可执行轨迹。

车辆执行后的轨迹奖励反馈至语言推理层,用于优化后续决策。

这一机制使模型从单纯模仿“专家怎么开”,进化为学习“为何这样开”。强化学习不再是在海量连续轨迹中盲目搜索,而是在离散、可解释的语言决策空间中高效试错。

▲MindDrive性能表现

结果显示,MindDrive基于轻量级Qwen-0.5B大语言模型,在Bench2Drive基准上取得Driving Score 78.04Success Rate 55.09%

2. DriveFine:规避路径规划中的风险累积

若MindDrive解决的是“如何学会更好判断”,DriveFine则解决“判断后能否自我修正”。

生成式自动驾驶规划存在现实风险:模型如写句子般逐步生成轨迹,若前期判断偏差,后续轨迹可能一路偏离。

DriveFine提出“先生成、再修正”的策略。

▲DriveFine路径决策对比

该论文提出一种掩码扩散式视觉-语言-动作模型,设计即插即用的块级混合专家结构
* 生成专家:输出初始轨迹;
* 修正专家:对初始轨迹进行二次优化。

通过推理时显式选择专家、训练时隔离梯度,DriveFine解耦了“生成”与“修正”,既保留预训练模型能力,又注入自我优化机制。

论文还设计了混合强化学习策略,在鼓励修正专家探索的同时保持训练稳定,并在NAVSIM v1、NAVSIM v2及Navhard等基准上验证了其鲁棒性。

▲DriveFine性能表现

DriveFine赋予模型内部“反思”能力:先给出方案,再评估安全性、平顺性与合理性,最终在执行前完成修正,显著提升规划稳定性。

三、安全边界重构:让模型知晓“什么不能做”

世界模型预测未来,VLA模型决定行动,但自动驾驶还有一个底层问题:模型是否真正识别出那些“看似正确实则危险”的动作?

BeyondDrive论文正是针对这一痛点展开。

传统端到端模型依赖模仿学习,追求贴近专家轨迹。然而,空间接近不等于安全。两条几何距离相近的轨迹,可能因细微差异导致截然不同的结果:一条安全通过,另一条则引发碰撞。

论文指出,传统模仿学习默认“空间接近=行为安全”,造成目标错配——相似的模仿误差可能对应完全不同的安全后果。

▲BeyondDrive架构

BeyondDrive的核心工作是让模型学会识别“危险的相似答案”,相当于为自动驾驶建立一本“错题本”。

模型不仅学习正确轨迹,更学习那些“看似接近专家轨迹但存在安全风险”的困难负样本。

论文通过基于流匹配的负样本生成器,主动合成空间上接近专家轨迹、但安全语义上存在风险的负样本。随后,利用排斥距离损失(Repulsion Distance Loss),引导模型在靠近专家轨迹的同时远离危险负样本,从而在轨迹空间中建立更清晰的安全边界。

这一思路将训练从“只学正确答案”推进至“理解错误答案为何危险”,对长尾场景至关重要。

真实道路风险往往源于那些“差一点就对了”的动作,如跟车过近、路口偏向冲突区、避让行人余量不足等。这些轨迹在训练损失中可能不显著,却决定了系统的安全上限。

▲BeyondDrive性能表现

实验表明,BeyondDrive可迁移至不同端到端架构。应用于Latent TransFuser基线时,在NAVSIMv1闭环基准上达到89.7 PDMS;结合MeanFuser + BeyondDrive架构,得分提升至90.3 PDMS

BeyondDrive重新定义了自动驾驶的学习目标:安全不仅靠接近专家轨迹,更需模型显式认知哪些选择虽看似合理,实则已越过安全边界。

结语:小米自动驾驶构建完整技术闭环

纵观这五篇论文,小米自动驾驶研究的重心在于搭建一条完整的技术链路

  • 世界模型预演未来,理解因果交互;
  • VLA模型形成决策,将意图转化为行动;
  • 强化学习优化判断,提升决策效率;
  • 安全负样本划清边界,规避潜在风险;
  • 自我修正机制提升规划鲁棒性。

自动驾驶的下一步,不仅是让车“看得更清楚”,更是让车真正“理解”所处的交通世界——预判未来可能发生的场景,明确决策背后的逻辑,并提前规避那些看似合理却潜藏危险的选择。

访客,请您发表评论:

网站分类
热门文章
友情链接

© 2026. sitemap