阿里巴巴Qwen团队最新研究成果《QWEN-ROBOTMANIP》以技术报告形式于2026年6月17日在预印本平台arXiv发布（编号：arXiv:2606.17846）。阿里该研究成功将语言与视觉大模型的团队“规模化训练”范式迁移至机器人操作领域，通过构建视觉-语言-动作基础模型，教机举反实现了机器人在未见场景及不同机械臂结构下的器人复杂任务泛化能力。
一、阿里 核心痛点：为何机器人难以“举一反三”？团队
尽管工业焊接等标准化场景已实现机器人普及，但在家庭等非结构化环境中，教机举反机器人往往因场景切换而失效。器人其根本原因在于现有机器人模型缺乏跨域泛化能力，阿里过度依赖特定场景的团队演示数据。
1. 数据异构性阻碍规模化
与大语言模型（LLM）利用互联网海量同质化文本不同，教机举反机器人操作数据存在严重的器人异构性：
* 硬件差异：不同机械臂拥有独特的关节配置（单臂、双臂、阿里灵巧手等）。团队
* 坐标系混乱：各实验室采用不同的教机举反坐标系定义，传感器数据格式不统一。
* 数据稀缺：相比互联网文本，高质量机器人演示数据量少且单调，直接混合训练易导致模型性能下降（即“数据打架”）。
2. 解决方案：先对齐，再扩规模
Qwen团队指出，解决多源数据干扰的关键在于表示层面对齐。只有将不同来源的数据转化为统一的语义空间，才能释放大规模训练的潜力，使模型从“死记硬背”转向“理解规律”。
二、 技术突破：构建机器人世界的“普通话”
为消除不同机械臂间的“语言障碍”，团队设计了三层对齐机制，建立了一套标准化的操作表示体系。
1. 统一状态-动作表示（Unified State-Action Representation）
- 标准化向量：设计80维标准向量作为通用“词汇表”，涵盖关节角度（7维）、末端执行器位姿（9维）、夹爪状态（1维）及灵巧手关节（12维）等。
- 掩码机制：通过二进制掩码（Binary Mask）标记有效维度，允许不同构型的机器人（如单臂vs双臂）在同一框架下训练，无效维度被模型自动忽略，避免格式冲突。
2. 相机坐标系下的末端执行器动作表示
- 视角转换：摒弃传统的“底座中心”坐标系，改用相机视角描述动作。
- 几何不变性：将动作描述为“相对于相机视野的位移”，使得不同物理位置的机器人，只要摄像头视角相似，其动作描述在数值上即保持一致。这为跨机器人的知识迁移提供了几何基础。
3. 情境内策略适应（Contextual Policy Adaptation）
- 历史记忆注入：模型实时接收“所见、所在、所为”的历史轨迹作为上下文。
- 自适应调整：通过解析历史行为，模型推断当前机器人的运动风格与抓握习惯，动态调整后续策略，无需额外标签即可识别自身硬件特性。
4. 双流协同训练（Dual-Stream Co-training）
- 数据配比：机器人操作数据与视觉-语言数据（图像问答、空间推理）以 9:1的比例混合训练。
- 防遗忘机制：防止模型在强化动作预测能力时，退化其视觉理解与语言指令遵循能力，确保机器人既“手巧”又“心明”。
三、 数据引擎：从人类视频到机器人演示的合成流水线
针对高质量机器人数据稀缺的问题，团队开发了一套从人类第一人称视频到机器人演示数据的自动化合成流水线。
1. 动作对齐：从人手到机械夹爪
- 姿态估计：利用MANO模型追踪视频中人类手指尖（特别是拇指尖）的三维位置。
- 映射算法：定义“拇指尖与虚拟食指尖中点”为夹爪位置，指尖距离为开合宽度，结合手腕位置确定朝向。
- 轨迹平滑：采用数学滤波消除逐帧检测抖动，确保动作连贯。
2. 视觉对齐：人机替换与场景融合
- 分割与修复：使用SAM3分割人手区域，利用ProPainter进行背景修复。
- 物理渲染：在MuJoCo引擎中计算机械臂姿态，通过深度估计处理遮挡关系，将机械臂图像自然叠加至真实场景中。
3. 数据规模与清洗
- 规模扩张：将1933小时人类视频转化为约24808小时合成数据。结合11000小时真实机器人数据及1933小时第一视角数据，构建总长约38100小时的开源预训练数据集。
- 速度对齐：对不同来源视频（EgoDex, EgoVerse, VITRA）进行降帧处理（60%-25%），以匹配机器人操作速度分布。
- 严格清洗：剔除异常帧、时间戳错位、运动学不一致及坐标系偏差数据。例如，RoboMIND数据集中81%存在严重问题的片段被剔除，确保输入数据的高质量。
四、 模型架构：视觉大脑与动作肌肉的协同
QWEN-ROBOTMANIP采用模块化设计，实现感知与执行的解耦与协作。
1. 视觉-语言大脑（Qwen3.5-4B）
- 多模态融合：处理多摄像头图像与文本指令，生成富含语义的特征向量。
- 特征传递：将融合后的特征传递给动作执行模块，提供高层语义指导。
2. 动作执行模块（Diffusion Transformer, DiT）
- 结构：10层Transformer，隐藏维度768，12个注意力头。
- 去噪机制：基于流匹配方法，通过4步欧拉积分快速去噪，实现实时控制。
- 交叉注意力：偶数层关注视觉特征，奇数层关注语言特征，交替融合空间感知与语义理解。
3. 关键编码机制
- 相机位置编码（CaPE）：隐式编码各摄像头间的相对几何关系，增强空间一致性。
- 条件信号注入：整合去噪时间步、末端执行器类型（单/双臂、头部）及相机标定状态（相机坐标系vs底座坐标系），提升模型鲁棒性。
- 结构化提示：训练时随机丢弃15%的提示字段（如平台名称、速度分段），迫使模型在信息缺失下仍能推理，增强泛化性。
五、 性能评估：超越标准测试的泛化能力
团队构建了多层次评测体系，强调分布外（OOD）泛化能力而非单纯的标准基准得分。
1. 标准基准表现
- LIBERO：成功率 99.2%。
- RoboTwin：简单模式 93.7%，困难模式 94.0%。
- 注：无大规模预训练的对照模型在标准测试中表现相近，证明标准测试易被“过拟合”。
2. 分布外（OOD）泛化测试
- LIBERO-Plus：引入背景、光照、视角等7种扰动，QWEN-ROBOTMANIP成功率 91.4%，超越次优模型π0.5（7个百分点）。在初始状态扰动下，优势尤为显著（83.9% vs 44.9%）。
- RoboTwin-Clean2Rand：在随机化背景与光照下，成功率 69.4%，远超π0.5（47.9%）及无预训练模型（22.6%）。
- RoboCasa365：在未见过的复合任务中，成功率 14.9%，为次优模型（5.4%）的近3倍，展现强大的技能组合能力。
- EBench：在移动机器人室内操作任务中，总体成功率 45.6%，精细桌面操作子集成功率约为π0.5的4倍。
六、 高阶挑战：语言理解与跨机器人迁移
1. RoboTwin-IF：语言理解测试
- 测试逻辑：使用训练未见的指令措辞，测试模型对空间关系（如“旁边”、“上面”）及多步骤指令的理解。
- 结果：平均成功率 72.2%，显著高于π0.5（49.6%）。在空间关系子集中，差距达37个百分点，验证了双流训练对语言指令跟随的重要性。
2. RoboTwin-XE：零样本跨机器人迁移
- 设定：仅在AgileX ALOHA数据上训练，直接部署至ARX-X5、UR5-WSG、Franka Panda。
- 结果：
- 关节角度表示：迁移失败（成功率<5%）。
- 相机坐标系表示：平均成功率 23.9%，显著优于π0.5（7.5%）。
- 梯度差异：ARX（42.9%）> UR5（22.8%）> Franka（5.9%），符合硬件相似度预期。
七、 真实世界验证与比赛表现
1. 实体机器人实验
- CobotMagic ALOHA：微调后7任务平均成功率 88.6%（π0.5为42.9%）。在高难度堆叠任务中实现100%成功率。
- 抗干扰能力：在杂乱背景、迪斯科灯光等极端环境下，仍保持高成功率（如灯光下香蕉放置任务达9/10），而对比模型多告失败。
- 跨平台迁移：在ARX平台上，完整模型成功率 55.0%，而去掉对齐设计的版本仅为7.5%-12.5%，证实对齐机制的核心价值。
2. RoboChallenge Table30-v1 比赛
- 通才赛道：以 45%成功率和 59.83过程分夺冠，领先第二名8个百分点。
- 精密操作：在ALOHA双臂协调任务中平均成功率 40%（π0.5为21.2%）。
3. 涌现行为：自我纠错
- 模型在抓取失败后能自动重试（如整理电子产品任务中，连续失败两次后第三次成功），展现出从预训练数据中习得的隐性恢复策略。
八、 消融实验与核心结论
1. 数据规模与对齐的关系
- 关键发现：仅有统一表示的版本呈现清晰的“数据越多，效果越好”的对数线性规律；无对齐版本则性能杂乱。
- 结论：“对齐是规模化的前提”。规模化效应仅在OOD测试中显著，进一步证明标准测试无法衡量真实泛化能力。
2. 其他设计要素验证
- 情境适应：引入历史上下文后，需增加去噪步数（从4步增至10步）以处理复杂动作分布。
- 合成数据价值：合成数据在摄像头角度扰动下的泛化提升（+7.2%）优于原始人类视频。
- VL协同训练：去除视觉-语言预训练导致OOD成功率下降8.2%，证明其对复杂场景指令解析至关重要。
九、 总结与展望
QWEN-ROBOTMANIP的核心贡献在于系统性地证明了：机器人泛化的关键在于将多源经验翻译为统一的“共同语法”（即相机坐标系下的末端执行器表示），而非单纯增加数据量。
- 未来方向：
- 数据扩张：利用成熟的人类视频合成流水线，进一步突破数据规模瓶颈。
- 真实世界验证：从模拟环境向更广泛的真实物理场景拓展。
- 降低壁垒：证明基于开源数据和对齐框架构建机器人基础模型是可行的。
资源获取：
* 完整技术报告：arXiv:2606.17846
* 开源代码：GitHub QwenLM/Qwen-RobotManip
Q&A
Q1：QWEN-ROBOTMANIP是如何实现跨场景泛化的？
A：核心策略是“对齐再规模化”。通过统一状态-动作表示和相机坐标系末端执行器表示，将不同机器人的操作数据转化为同一语义空间。这使得模型能够学习跨机器人的通用操作规律，从而在面对新场景或新硬件时具备“举一反三”的能力。
Q2：人类视频合成数据的效果如何？
A：效果显著。通过流水线将1933小时人类视频转化为24808小时合成数据，消融实验显示合成数据在摄像头角度扰动等维度上的泛化能力优于原始人类视频（LIBERO-Plus提升超7个百分点）。这是支撑大规模预训练的关键数据引擎。
Q3：RoboTwin-IF和RoboTwin-XE测试的意义是什么？
A：这两个基准旨在评估标准测试无法衡量的深层能力：
* RoboTwin-IF：测试模型对自然语言指令的真实理解能力（如空间关系、多步骤协调），而非简单的模式匹配。
* RoboTwin-XE：测试零样本跨机器人迁移能力，验证模型是否掌握了硬件无关的操作本质。
两者共同揭示了模型真正的泛化水平，而非“背题”能力。