
这项突破性研究由腾讯微信AI团队完成,腾讯团队相关论文于2026年6月23日上传至预印本平台arXiv,微信编号为 arXiv:2606.08671v2,次永归属于计算机学习领域(cs.LG)。远记感兴趣的腾讯团队开发者与研究人员可通过该编号在arXiv平台直接查阅完整技术文档。
一、微信 研究背景:打破AI助手的次永“记忆断层”
一个关于“经验传递”的困境
设想你拥有一位高效的AI助手,它掌握了在特定网站报错时切换搜索工具的远记技巧。你将这一经验记录为便条交给新助手。腾讯团队然而,微信当网站再次改版出现新错误时,次永新助手因缺乏对原始决策背景的远记理解,机械执行过时方案,腾讯团队导致效率低下。微信
这正是次永当前主流AI助手面临的共性难题:只传递结果,不传递记忆。腾讯微信AI团队针对这一痛点,研发了 SkillHone系统,旨在解决AI在技能迭代中“只传经验、不传记忆”的根本缺陷,实现真正的长期记忆积累。
二、 核心概念:重新定义AI的“技能”
在SkillHone的语境中,“技能(Skill)”并非指底层的算法模型,而是一套可打包、可传递、可加载的操作手册。
- 类比理解:如同给新员工的工作指南,包含搜索策略、资源优先级、验证方法及汇报规范。
- 技术实现:技能是一个包含任务步骤、参考资源及输出格式的可加载文件包。AI在处理特定任务时,会主动读取并遵循该规范。
现有方法的局限性
目前主流的AI技能优化方法主要分为两类,但均存在“过程丢失”的问题:
- 创建型方法(如Skill-Creator):将任务描述转化为技能文件。
- 优化型方法(如Hermes-SE):通过多轮迭代评估改进技能。
共同缺陷:仅保留最终版本的技能文件,丢失了优化过程中的尝试、失败原因及决策逻辑。这如同厨师只留下最终菜谱,却未记录失败实验,导致后来者重复踩坑。
三、 SkillHone的核心机制:决策历史链
SkillHone的核心创新在于将每一次技能修改视为一份“法庭证据”进行管理,构建持久的决策历史链(Persistent Decision History)。
1. 决策记录(Decision Record)
每条记录包含四个关键要素:
* 诊断(Diagnosis):触发修改的具体问题。
* 候选修订(Candidate Revision):提出的解决方案。
* 评估证据(Evaluation Evidence):用于测试方案的脱敏数据。
* 判决(Verdict):接受、拒绝、修改或搁置的决定。
2. 与版本控制的区别
- 版本记录:仅记录文件内容的变更(如“将搜索引擎A改为B”)。
- 决策记录:记录变更的因果逻辑(如“因A在学术查询中响应慢,故改用B,且在10个案例中8个提速,故采纳”)。
这使得后续AI在面对新问题时,能避免重复已被验证无效的路径,实现基于历史经验的智能决策。
四、 架构设计:角色分离防止“作弊”
SkillHone采用严格的角色分离(Role Separation)架构,确保优化过程的公正性与泛化能力。系统由三大模块组成:
| 模块 | 角色 | 权限与职责 |
|---|---|---|
| 优化团队 (Optimization Agent Team) | 诊断者、探索者、开发者、审查者、决策者 | 可修改技能文件;可查看历史决策记录;不可见测试题标准答案及评分细则。 |
| 评估团队 (Evaluation Agent Team) | 执行者、诊断者、报告者、审计者 | 不可修改技能文件;可见完整测试题、标准答案及执行日志;生成脱敏报告。 |
| 调度器 (Dispatcher) | 协调者 | 传递脱敏报告,记录决策结果,连接优化与评估流程。 |
关键机制:脱敏反馈
评估团队向优化团队传递的是脱敏报告(Desensitized Report),仅总结失败模式与诊断假设,隐藏具体题目与答案。这迫使优化团队通过理解问题本质来改进技能,而非通过“背题”投机取巧。
系统公式表示为:$M = (T_{opt}, T_{eval}, D)$
工作流实现
SkillHone借鉴GitHub工作流实现持久化:
* Issue:记录诊断出的问题。
* Pull Request:包含提出的修改方案。
* Merge/Reject:对应最终决策记录。
五、 实验验证:深度调研任务中的表现
研究团队在深度网络调研(Deep Web Research)场景下验证SkillHone,该场景具有环境动态变化(网站改版、API限流)的特点,极具挑战性。
1. 实验设置
- 数据集:
- GAIA(Meta/Hugging Face, 2024):多步骤信息检索与事实核查,分L1-L3三级难度。
- WebWalkerQA-EN(中科院等, 2025):网页导航与信息抽取。
- 对比环境:
- 精品搜索环境:拥有商业搜索接口的专用代理。
- 原始开放网络环境:仅具备通用AI运行时与公开网络权限,起点技能包一致(含10个社区技能)。
- 对比方法:
- 直接使用现有技能。
- Skill-Creator优化。
- Hermes-SE反射式优化。
- SkillHone(本研究)。
- 模型分工:
- 脑力工作者(优化):Claude Opus 4.6。
- 执行者(评估):Qwen3.6-35B-A3B(阿里通义, 2026)。
2. 核心结果
在公平起跑线上,SkillHone展现了显著优势:
| 方法 | GAIA 平均准确率 | WebWalkerQA-EN 准确率 |
|---|---|---|
| 现有技能 | 41.7% | 50.2% |
| Skill-Creator | 44.1% | 38.1% |
| Hermes-SE | 50.4% | 53.0% |
| SkillHone | 64.6% | 66.4% |
| 商业搜索代理(参考) | 48.8% | 63.2% |
关键洞察:
* 超越商业代理:在无特权搜索工具的情况下,SkillHone在GAIA上超越商业代理 15.8%,在WebWalkerQA-EN上超越 3.2%。
* 难度适应性:在GAIA L2级别(中等难度),SkillHone(66.7%)远超Hermes-SE(40.9%),证明其在复杂情境下的工具组织与运用能力更强。
3. 跨模型迁移测试
将SkillHone在Qwen3.6上优化的技能包,直接部署至Claude Sonnet 4.6(无额外优化),GAIA准确率达 72.4%,显著高于其他方法在同一模型上的表现。这证实了技能包编码的是可复用的任务逻辑,而非针对特定模型的过拟合。
六、 消融实验:机制贡献度分析
研究团队通过移除核心机制,量化各组件的贡献:
| 变体 | GAIA 准确率 | WebWalkerQA-EN 准确率 | 降幅 |
|---|---|---|---|
| SkillHone (完整) | 64.6% | 66.4% | - |
| 无决策历史 | 51.2% | 55.5% | -13.4% / -10.9% |
| 无角色分离 | 58.2% | 61.1% | -6.4% / -5.3% |
结论:
* 决策历史是核心驱动力,贡献最大。
* 角色分离防止了优化捷径,确保了泛化能力。
* 两者协同作用,共同支撑了SkillHone的性能优势。
七、 实际应用:内部业务场景提升
在内部工作流的7个工具辅助分析任务中,SkillHone展现了广泛的适用性:
- 平均提升:18.8个百分点。
- 最大提升:计数场景(+30.0%)、聚合场景(+26.3%)、结构解析场景(+25.0%)。
- 观察:提升显著的场景多为初始技能描述模糊、存在优化空间的场景。SkillHone通过积累决策历史,将模糊操作转化为清晰规程。
八、 方法论对比:从“单次优化”到“持续进化”
| 方法类别 | 代表工作 | 局限 | SkillHone 优势 |
|---|---|---|---|
| 提示词优化 | DSPy | 单次运行封闭,仅优化产物 | 持续迭代,保留完整决策记忆 |
| 反射式优化 | Reflexion | 依赖语言反馈,易陷入局部最优 | 结构化档案,避免重复踩坑 |
| 进化式优化 | GEPA | 单次运行内迭代,无长期记忆 | 跨时间/跨代理的知识沉淀 |
| 多智能体协作 | MetaGPT | 侧重任务执行,非工具维护 | 侧重工具本身的持续维护与改进 |
SkillHone的定位不是“单次运行中的最佳优化”,而是“任意多次运行中的持续改进”,确保长期迭代中不走回头路。
九、 案例解析:优化轨迹可视化
论文附录展示了SkillHone在5轮优化中的具体轨迹,对比Hermes-SE:
- 第1轮:SkillHone诊断需引入DuckDuckGo搜索,接受修改,准确率升至~60%。
- 第2轮:引入网页抓取与“提前落笔”策略,但因预算限制过严导致准确率回退。SkillHone记录此失败,Hermes-SE则因整体信号不佳跳过。
- 第3轮:SkillHone查阅历史,合并前两轮优势,回退过严预算,保留轻量验证,准确率回升。Hermes-SE无法进行部分撤销。
- 第4-5轮:针对名称格式与SPARQL查询进行修补,并再次调整预算,最终准确率达~70%,比Hermes-SE(~40%)高出30个百分点。
核心差异:SkillHone能精准撤销失败部分并保留成功部分,而Hermes-SE只能整体接受或拒绝。
十、 局限性与未来展望
- 当前局限:SkillHone目前仅支持独立技能的优化。现实工作流中常涉及多个相互依赖的技能,其协同演化、资源共享竞争及故障模式重叠仍是挑战。
- 未来方向:探索多技能协同演化机制,处理复杂依赖关系。
资源获取
- 论文:arXiv:2606.08671v2
- 代码与技能包:GitHub Tencent/SkillHone
Q&A
Q1:SkillHone与普通AI技能优化方法有什么区别?
A:普通方法在优化结束后仅保留最终技能文件,丢弃过程记录。SkillHone完整记录每次修改的诊断、方案、证据及决定,形成持久决策档案,使后续优化能查阅历史,避免重复踩坑。
Q2:SkillHone为何严格分离优化方与评估方?
A:防止优化方通过“背题”(直接查看标准答案)投机取巧。通过仅传递脱敏失败模式报告,迫使优化方真正理解问题本质,提升技能的泛化能力。消融实验显示,移除角色分离会导致GAIA准确率下降6.4%。
Q3:SkillHone优化的技能包是否跨模型兼容?
A:是。实验表明,在Qwen3.6上优化的技能包直接部署至Claude Sonnet 4.6,GAIA准确率达72.4%,显著优于其他方法。这证明技能包编码的是通用任务逻辑,而非特定模型适配。