这项突破性研究由北京大学、北京小米大模型团队、大学多项香港大学及中国人民大学联合完成。小米相关论文已于2026年6月29日上传至预印本平台arXiv，联合编号为arXiv:2606.30406。研究院出读者可通过该编号获取完整技术细节。手让
你是掌握否曾设想：若将厨艺、修车与写作三位专家的北京技能融合于一人，该如何实现？大学多项直觉上，轮流或同时教学似乎可行，小米但现实往往是联合“学了新忘旧”或“样样通样样松”。这正是研究院出当前大型语言模型（LLM）面临的核心瓶颈。研究团队将此定义为“能力融合”（Capability Integration），手让并提出了全新解决方案——MOPD（多教师在线蒸馏，掌握Multi-Teacher On-Policy Distillation）。北京
一、为何AI“全能化”如此艰难？
现代AI训练主要依赖强化学习（RL）：通过奖励机制引导模型学习。目前，数学推理、代码生成、指令遵循等任务通常拥有独立的“训练场”和“奖励规则”，能培养出各领域的“专科医生”级模型。然而，用户更需要的是无所不能的“全科大夫”。
在MOPD出现前，业界主要尝试过四种路径，但均存在显著缺陷：
- 混合强化学习（Mix-RL）：多任务并行训练。
- 缺陷：产生“跷跷板效应”，任务间信号相互干扰，导致顾此失彼。
- 级联强化学习（Cascade RL）：按顺序逐个领域训练。
- 缺陷：新技能会覆盖旧技能（灾难性遗忘），且训练周期长，风险累积。
- 离线微调（Off-Policy Finetune）：收集专家答案供学生模仿。
- 缺陷：存在“暴露偏差”，学生模仿的是专家的理想路径，而非自身探索过程，实战表现打折。
- 参数合并（Param-Merge）：直接加权合并专家模型权重。
- 缺陷：效果极不稳定，如同随意混合不同口味的菜肴，难以保证风味（能力）的协调。
二、MOPD核心逻辑：自主探索，对标专家
MOPD的设计灵感源自吉他自学场景：学生即兴演奏（自主生成），老师逐音符纠正（密集反馈），而非背诵老师示范曲。
其两大核心技术优势：
1. 在线训练（On-Policy）：学生基于自身生成的内容进行学习，训练状态与推理状态一致，消除暴露偏差。
2. 密集优化信号（Dense Optimization）：提供逐词级别的反馈，而非仅给出最终对错，信号更丰富、更精准。
三、三阶段流水线式训练架构
MOPD将训练过程拆解为三个精密协作的阶段：
1. 通用监督微调（General SFT）
使用涵盖多领域的宽泛数据对基础模型进行微调，获得一个具备基础能力的“底子”模型（SFT Checkpoint）。这是后续所有专家和学生模型的共同起点。
2. 领域专项强化学习（Domain-Specialized RL）
基于SFT模型，独立并行训练各领域专家：
* 数学专家：采用可验证答案的奖励机制。
* 软件工程专家：采用代码可执行沙箱奖励。
* 指令遵循专家：采用评分标准奖励。
* 特点：各专家独立训练，互不干扰，如同不同学科老师各自备课。
3. 多教师在线蒸馏（MOPD Stage）
这是核心融合阶段：
* 角色设定：SFT模型为“学生”，冻结的各专家模型为“老师”。
* 流程：
1. 学生从题库随机抽取题目，生成回答并记录词级概率分布。
2. 回答分发至对应领域的专家老师，老师生成其概率分布。
3. 计算师生分布差异，以此信号更新学生模型。
* 结果：生成一个融合所有领域技能的统一模型。
四、数学原理：精准量化师生差距
MOPD使用反向KL散度（Reverse KL Divergence）衡量学生与老师的分布差异。优化目标是让学生在每个词的选择上无限接近老师。
研究团队提供了两种实现方式：
- 策略梯度实现（Policy-Gradient）
- 原理：将师生对数概率差值作为“优势分数”（Advantage）。正分鼓励，负分压制。
- 优势：兼容现有PPO/GRPO框架，只需修改优势计算部分。
- Top-k蒸馏实现（Top-k Distillation）
- 原理：利用老师概率最高的前k个词（如k=64）的信息，而非仅看学生生成的那个词。
- 优势：
- 信号更丰富，方差更低。
- 工程效率高：仅需传输前k个词的概率，大幅减少数据传输量（相比十几万词的完整词汇表）。
- 引入修正项，确保最优解为完全复现老师分布。
五、工程巧思：异步打分消除开销
直觉上，多老师同时打分会增加延迟。MOPD通过异步打分机制解决此问题：
* 将专家模型部署为独立的后台“打分服务”。
* 学生生成下一批数据时，后台并行处理上一批数据的打分请求。
* 效果：打分时间被完全“隐藏”在学生生成的等待间隙中，实测几乎不增加额外训练耗时。
六、实验数据：MOPD全面领先
在Qwen3-30B-A3B模型上的对比实验（涵盖数学、指令遵循、软件工程）显示：
- 综合得分（归一化分数）：
- MOPD：0.937（领先第二名混合RL 5.5个百分点）
- 混合RL：0.882
- 任务向量合并：0.857
- 离线微调：0.824
- 级联RL：0.775
参数平均合并：0.328（几乎失败）
均衡性：MOPD在三个领域的分数集中在0.91-0.95，差异极小（0.044），实现了真正的“全面均衡”。相比之下，级联RL和离线微调在不同领域间波动巨大。
样本效率：
- 指令遵循：MOPD仅需2.5万样本即达平台期，混合RL需15-18万。
- 软件工程：MOPD约3万样本即达平台期，混合RL需满15万预算。
- 原因：逐词密集信号比稀疏的“对错”奖励包含更多信息量。
七、工业级验证：3090亿参数模型实测
研究团队将MOPD应用于小米内部工业级模型MiMo-V2-Flash（约3090亿参数，混合专家架构），覆盖数学、代码、指令、工程、工具使用五大领域。
- 结果：MOPD学生模型在多数基准上匹配甚至超越专家老师。
- AIME25数学：学生94.1 > 老师93.9
- HMMT25数学：学生84.4 > 老师82.6
- LCB代码竞赛：学生83.2 > 老师82.6
- 工具使用：均超过老师水平。
- 结论：MOPD不仅适用于学术小规模验证，在真实工业部署中同样高效且稳定。
八、深度分析：为何“同根同源”至关重要？
研究团队进行了两组关键对照实验：
- 策略梯度 vs Top-k：
- 在Qwen3-30B-A3B上，两者表现接近（策略梯度0.937，Top-k 0.909）。
由于师生分布高度重合（KL散度仅0.04），两种方法均能获得有效信号，收敛结果相似。
外部大模型作为老师的失败案例：
- 实验：用参数量更大（2350亿参数）但“来路不同”的Qwen3-235B-A22B作为数学老师。
- 结果：训练崩溃。策略梯度分数跌至0.600，Top-k跌至-1.19（比初始模型还差）。
- 原因：外部老师与学生分布差异巨大（初始KL散度0.19，是同源老师的5倍）。学生生成的内容大多落在老师认为“概率极低”的区域，导致老师发出大量惩罚信号，学生策略迅速退化。
- 启示：老师必须从与学生相同的SFT检查点出发，分布接近是稳定优化的前提。
九、持续进化：多轮迭代机制
MOPD支持迭代升级：
1. 第一轮MOPD结束后，学生已接近专家水平。
2. 将该学生作为新起点，重新训练领域专家（专家水平进一步提升至1.030）。
3. 基于更强专家进行第二轮MOPD蒸馏。
4. 结果：学生归一化分数从0.937提升至0.986，形成“学生变强->老师变强->学生更强”的良性循环。
十、研发范式变革：解耦与并行
MOPD不仅提升了性能，更重构了AI研发流程：
* 传统模式：串行或强耦合，任一环节失误影响全局，团队间互相掣肘。
* MOPD模式：能力生产（专家训练）与能力融合（MOPD蒸馏）完全解耦。
* 各领域团队可独立并行迭代，使用各自最优算法和超参数。
* 单一领域失败不影响其他领域。
* 最终统一接入MOPD完成融合，大幅提升团队开发吞吐量。
核心洞察：真正的学习发生在学习者自主尝试并对照高标准修正的过程中，而非被动模仿。MOPD让每个专家专注极致，让学生通过在线练习内化精华，避免了多任务训练中的相互拉扯。
Q&A
Q1：MOPD与直接平均合并专家权重有何区别？
A：参数平均合并无需训练但极不稳定（实验得分仅0.328）。MOPD在策略空间（而非权重空间）通过让学生接受多专家逐词指导完成融合，因此更稳定、效果更全面。
Q2：多专家同时运行是否会导致计算开销过大？
A：不会。MOPD采用异步打分机制，专家打分服务并行运行在学生生成数据的等待间隙中。实测显示，专家服务几乎不增加额外训练耗时，整体速度由学生采样速度决定。
Q3：为何不能用更强的外部大模型当老师？
A：实验证明，外部大模型与学生分布差异过大，导致学生生成内容落入老师认为“概率极低”的区域，引发大量惩罚信号，造成策略崩溃。只有“同根同源”的师生分布接近，才能提供清晰有效的优化信号。