由香港科技大学（广州）与京东联合研发的港科最新研究成果，以预印本形式于2026年7月2日发布于arXiv平台，大京东联论文编号为 arXiv:2607.01874v1。合研好技该研究针对企业级AI助手在调用复杂操作手册（即“技能”）时的究何可靠性问题，提出了一套全新的真正用装评估与优化框架。感兴趣的不假研究人员可通过上述编号获取完整论文。
一、港科核心痛点：AI为何难以可靠使用“技能”？大京东联
1. 现实困境：有手册却用不好
假设新员工入职，公司提供了包含数百个标准作业程序（SOP）的合研好技《员工操作手册》。尽管流程清晰，究何但新员工常出现以下错误：
* 选错流程：混淆“差旅申请”与“报销流程”。真正用装
* 步骤缺失：仅执行前三步，不假跳过关键的港科验证环节。
* 逻辑断裂：按顺序执行但忽略最终自检。大京东联
这正是合研好技当前AI助手在企业场景中的真实写照。研究团队将此类可复用的操作知识单元定义为“技能”。核心问题并非AI缺乏知识储备，而是其行为过程缺乏规范性和可靠性。
2. SkillCoach框架：像老师傅带学徒一样审视过程
为了解决这一困境，研究团队构建了 SkillCoach框架。其核心理念是：评估不应仅关注最终结果的对错，更应像资深导师审视学徒一样，全程监控AI每一步操作是否规范、是否严格遵循手册。
二、技能库的陷阱：AI面临的四大挑战
随着企业技能库（以 SKILL.md文档为核心，包含适用场景、步骤、工具脚本及验证方法）的扩张，AI面临多重陷阱：
- 技能选择偏差：面对“形似神异”的技能（如销售部与财务部数据汇总流程），AI易误选干扰项。
- 执行过程跳跃：选对手册后，AI可能走马观花，跳过关键步骤。
- 组合顺序混乱：在多技能协作任务中，AI可能搞错执行顺序或数据传递逻辑。
- 缺乏有效反思：完成后未进行显式自检，或自检流于形式。
传统评估的盲区：现有评估仅看最终答案。若AI通过混乱的试错歪打正着，传统评估会给予满分，导致错误行为被误认为“正确示范”并传播给其他模型，埋下安全隐患。
三、SkillCoach的核心机制：四维过程评分卡
SkillCoach将AI使用技能的过程拆解为四个独立评分维度，形成一份详细的“操作规范评分卡”：
1. 技能选择 (Skill Selection) - 权重 40%
- 考察点：AI能否从混淆项中精准定位正确技能，并排除干扰项。
- 指标：采用 F1分数，兼顾查准率（不选错）和查全率（不漏选）。若任务无需技能，AI选择不使用亦视为正确。
2. 技能执行 (Skill Execution) - 权重 30%
- 考察点：AI是否完整执行了关键步骤，且每一步均有可见证据（如文件读取记录、脚本运行日志、中间结果生成）。
- 关键点：仅口头声明“已完成”而无证据支持，不得分。
3. 技能组合 (Skill Composition) - 权重 20%
- 考察点：针对多技能任务，AI是否遵循正确的执行顺序，并准确传递前一步的输出至下一步。
- 类比：如同组装家具，先装腿后装桌面，且螺丝孔位必须对齐。
4. 技能反思 (Skill Reflection) - 权重 10%
- 考察点：AI在提交前是否进行了显式、可见的自检（如格式验证、数据范围检查）。
- 区分：自检不等于结果正确。AI可能自检后修正错误，也可能无自检却歪打正着。SkillCoach严格区分这两种过程差异。
注：最终任务验证器的结果作为独立信号记录，不混入上述过程得分。
四、自我进化机制：让评分卡在实战中迭代
为避免人工制定标准的低效与偏差，SkillCoach引入了 Self-Evolving（自我进化）机制，通过三轮循环迭代优化评分卡：
- 素材搜集：让AI在混合技能库（含干扰项）中完成任务，收集真实操作轨迹（Trajectories）。
- 盲区挖掘：利用当前评分卡对轨迹打分，识别误判（如遗漏关键检查点或标准过严）。
- 仲裁修改：由独立“仲裁模型”提出修改方案。
- 限制：严禁修改技能手册的关键步骤列表及外部验证器结果。
- 双重审核：
- 硬性门槛：评分卡不得变宽松，不得忽略干扰项影响。
- 软性提升：必须在独立验证集上显著提升证据覆盖率、反思质量等量化指标。
进化成效：每道题最多迭代6轮，28个任务共经历94轮进化。最终选取验证集表现最佳的版本作为标准。
五、评估结果：进化后的评分卡显著更优
研究团队通过人工构建“黄金标准”并与独立模型（Gemini 3.1 Pro）对比，验证了进化前后评分卡的差异：
| 指标 | 初始评分卡 | 进化后评分卡 | 提升幅度 |
|---|---|---|---|
| 关键步骤覆盖率 | 71.56% | 83.70% | +12.14% |
| 可用性评分 | 81.53 | 94.33 | +12.80 |
| 幻觉率 | 2.00% | 0% | -2.00% |
| 轨迹筛选一致性 | 82.00% | 96.00% | +14.00% |
结论：进化后的评分卡在未放宽标准的前提下，填补了评估盲区，消除了无中生有的要求，显著提升了评估的准确性与可用性。
六、任务筛选：确保考察的是“技能使用”而非“通用能力”
为保证实验有效性，研究团队制定了严格的任务准入标准：
1. 低基线：无手册时，主流AI成功率 ≤ 30%。
2. 高增益：有手册时，成功率提升 > 40个百分点。
3. 高执行：成功轨迹中，关键步骤执行覆盖率 > 70%。
最终筛选出 28道任务（18道训练，10道测试），涵盖软件工程、生产力工具、科学分析、商业数据、科学计算及内容创作六大领域。相比原始任务池，这些题目对技能手册的依赖度更高，更能直接考察技能使用质量。
七、实测表现：七款主流AI助手的“技能体检”
使用进化后的评分卡，研究团队对七款主流AI助手进行了三种条件测试（无手册、纯正确手册、含干扰项手册）：
1. 技能手册的价值显著
- Opus 4.7：无手册成功率 18% → 有手册 88%（+70%）。
- GPT-5.5：24% → 80%。
- Gemini 3.1 Pro：16% → 72%。
- Kimi K2.6：16% → 66%。
2. 干扰项下的分化：过程诊断揭示真实短板
- Gemini 3.1 Pro：整体成功率仅从72%降至70%，看似稳健。但拆解发现，其技能选择分从98%暴跌至78%，靠强大的执行分（从72.6%升至82.7%）弥补了选择失误。
- Qwen3.5-9B：技能选择分从92%跌至44%，反思分从76%跌至34%，导致最终成功率从18%降至14%。
- 诊断意义：仅看总分会掩盖问题本质。Gemini的问题在于“选错”，Qwen的问题在于“多选且乱选”。
八、训练应用：用过程评分筛选高质量数据
SkillCoach不仅用于评估，还用于训练数据筛选。研究团队提出“双重过滤”标准：
1. 结果正确：外部验证器确认任务成功。
2. 过程规范：进化后评分卡综合过程分 ≥ 0.95。
实验结果（Qwen3.5系列微调）
- Qwen3.5-4B：
- 基础模型：8%
- 仅看结果筛选：6%（引入噪声，性能下降）
- 初始评分卡筛选：16%
- 进化评分卡筛选：24%
- Qwen3.5-9B：
- 基础模型：14%
- 仅看结果筛选：18%
- 初始评分卡筛选：28%
- 进化评分卡筛选：32%
消融实验结论
去掉技能执行维度的筛选要求导致性能大幅下滑（4B模型从24%跌至10%），证明忠实执行关键步骤是高质量训练数据的核心特征。
九、压力测试：技能库规模对AI选择能力的冲击
研究团队测试了AI在干扰技能数量增加时的崩溃临界点：
1. 崩溃节点对比
- 第一次明显恶化（准确度跌超10%）：
- DeepSeek V4 Flash：~26-27个干扰项
- Gemini 3.1 Pro：~45-46个
- GPT-5.5：~55-56个
- Opus 4.7：~194-195个（韧性最强）
- 接近完全崩溃（>80%案例失败）：
- DeepSeek V4 Flash：~6400-6500个
- Kimi K2.6：~20,000-21,000个
- Gemini 3.1 Pro：~35,000个
- GPT-5.5 & Opus 4.7：在50,000个干扰项下仍未崩溃（F1分数仍维持0.33-0.46）
2. 干扰项的“危险程度”
- 高度相似干扰项（如不同版本的合规流程）破坏力最强。
- 随机不相关干扰项影响最小。
- 启示：企业部署AI时，最危险的并非无关手册，而是那些“形似神异”的相似手册。
十、结论与展望
核心发现
- 评估盲区：传统“结果导向”评估掩盖了AI过程的混乱与不可靠。
- 过程即质量：SkillCoach的四维评分卡能精准诊断AI在技能选择、执行、组合及反思各环节的短板。
- 训评一体：基于过程评分筛选的训练数据，能显著提升模型在技能依赖任务中的表现。
局限性
- 实验规模有限（28道任务），尚未完全覆盖企业级数万道工序的复杂性。
- 目前仅涉及离线监督微调，未探索基于过程评分的强化学习（RL）应用。
未来方向
研究团队指出，SkillCoach产生的过程评分可作为强化学习的奖励信号，实现AI在实际使用中的持续反馈与调整，这是下一步的重要研究方向。
Q&A
Q1：SkillCoach的四个评分维度中，哪个对训练效果影响最大？
A：技能执行维度影响最大。消融实验显示，去掉该维度后，Qwen3.5-4B的任务成功率从24%跌至10%，9B从32%跌至16%。这表明在训练数据筛选中，忠实执行关键步骤比组合顺序和反思更为关键。
Q2：SkillCoach测试了哪些类型的AI助手？
A：测试了七款主流助手：Opus 4.7、GPT-5.5、Gemini 3.1 Pro、Kimi K2.6、DeepSeek V4 Flash、Qwen3.5-4B 和 Qwen3.5-9B。其中Opus 4.7在抗干扰能力上表现最稳健。
Q3：技能库规模增大时，AI选技能的“崩溃”标准如何定义？
A：需同时满足两个指标：
1. 覆盖率崩溃：超过80%的测试案例中，AI完全未选到正确技能。
2. 精度崩溃：技能选择F1分数 ≤ 0.10，且精确匹配率 ≤ 0.05。
这意味着即使均值不为零，只要绝大多数情况下无法找到正确技能，即视为崩溃。