麦云企聚通资讯

这项由香港中文大学（深圳）与字节跳动联合研发的香港型前沿成果，已于2026年6月30日以预印本形式发布，中文字节造出论文编号为 arXiv:2606.31247。大学大模如需深入探究其技术架构与实验数据，深圳速读者可直接访问 arXiv 平台查阅完整论文。联手

语音大模型为何长期受困于“固定频率”？由调语音

在日常使用手机语音助手或进行AI文字转语音（TTS）时，底层处理机制往往像一台节拍器：无论输入内容是香港型简短的“嗯……”还是复杂的“量子纠缠”，系统均以固定的中文字节造出帧率切割和处理声音片段。

现有的大学大模语音大模型（Spoken Language Models, SLM）普遍采用固定帧率策略。帧率类似于视频帧率，深圳速指每秒处理的联手声音片段数量。主流系统通常设定为 25Hz或 12.5Hz。由调语音这种设定存在两大痛点：
1. 计算资源浪费：在停顿或低信息量片段（如“嗯……”）中，香港型系统仍按固定频率处理，中文字节造出造成算力冗余。大学大模
2. 缺乏灵活性：用户无法根据设备性能或网络状况，在“速度”与“质量”之间进行动态权衡。

针对这一瓶颈，研究团队推出了业界首个支持动态帧率与可控帧率的语音大模型——FlexiSLM（Flexible Spoken Language Model）。该系统在语音理解（听）与生成（说）两端均实现了“按需调速”。

一、从“节拍器”到“即兴演奏家”：动态帧率的核心理念

理解FlexiSLM的创新，可通过乐队演奏类比：
* 传统固定帧率模型：如同机械鼓手，无论其他乐器演奏快慢，始终维持固定节奏。虽稳定但低效，在无人演奏时仍空转。
* FlexiSLM动态帧率：如同爵士乐鼓手，能感知音乐节奏变化。在安静段落轻敲，在激烈段落重击，实现“随内容调整节拍”。

技术基石：FlexiCodec

FlexiSLM的核心机制基于团队此前开发的语音编码器 FlexiCodec。其原理如下：
* 合并机制：若相邻声音片段内容高度相似，则合并为一个长片段处理，减少帧数。
* 判断标准：利用余弦相似度计算相邻片段差异。相似度高于阈值则合并，差异大（如静默转说话）则独立处理。
* 效率提升：在12.5Hz基础帧率下，FlexiCodec平均可将实际处理帧率降至 6.25Hz，计算量减半且保持高质量。此前该技术仅在小规模TTS系统中验证，FlexiSLM将其成功应用于端到端大型语音模型。

二、FlexiSLM架构：“思考者”与“说话者”的双人舞

FlexiSLM采用双模块协作架构，分别负责“理解思考”与“语音输出”。

1. 输入端：音频编码器与帧合并

• 特征提取：采用 Qwen2.5-Omni预训练模块，将原始波形转换为 25Hz的连续语音特征序列。
• 动态压缩：通过帧合并模块计算相似度，将输入压缩至不超过 12.5Hz的动态序列，送入大语言模型主干。

2. 核心端：“思考者”（Thinker）

• 基础模型：基于 Qwen2.5-7B-Instruct，与Qwen2.5-Omni和Kimi-Audio同源。
• 持续思考机制：不同于传统模型在文字生成结束后停止思考，FlexiSLM的“思考者”贯穿用户提问至助手回答的全过程，保持持续的推理状态。

3. 输出端：“说话者”（Talker Transformer）

• 输入信号：接收“思考者”的隐藏状态、目标帧率信号及已生成的语音令牌。
• 双路输出：
• 语义令牌：离散化的声音片段代号（FlexiCodec格式）。
• 帧长度属性：决定每个令牌持续的时间。
• 延迟对齐机制：为防止语音超前于文字，系统引入 5帧延迟，确保音画同步。帧长度令牌额外延迟一步，确保模型先确定内容再决定时长。
• 反向反馈通道：设计“说话者→思考者”连接，让“思考者”感知已生成的语音，增强输出的连贯性（类似“边说边听”）。

4. 解码端

语音令牌经流匹配（Flow Matching）音频解码器转为梅尔频谱图，再通过 Vocos声码器合成 24kHz高保真语音波形。

三、精准可控：如何实现“指令式”帧率调节？

FlexiSLM允许用户直接指定目标帧率（如“请以6.25Hz输出”），无需重新训练。

1. 间接控制的缺陷

早期方案通过调整合并阈值间接控制帧率。然而，同一阈值在不同语境下导致帧率波动极大（如目标8Hz，实际波动于3.91-10.74Hz），缺乏可预测性。

2. 直接帧率控制方案

• 训练策略：随机采样合并阈值，计算实际平均帧率，将其作为条件信号输入“说话者”。类比：不再告诉厨师“火调中档”，而是直接要求“七分熟”，由模型自主判断火候。
• 推理实现：用户指定目标帧率，系统自动调整内部合并强度。
• 连续编码：采用正弦位置编码将帧率数值转化为连续向量，支持 4Hz-12.5Hz范围内的任意平滑调节。

3. 精度验证

• 目标6.25Hz：实际输出均值6.24-6.25Hz，标准差仅0.03-0.06，几乎无偏差。
• 目标4.0Hz：同样保持高度精准。
• 对比：间接控制在相同测试集上帧率波动超过6Hz，完全不可控。

四、三阶段训练：从“学会发声”到“精通对话”

FlexiSLM的训练分为三个递进阶段，旨在融合翻译与播音技能。

阶段一：说话者预训练

• 目标：让“说话者”学会将语义令牌转化为高质量语音。
• 数据：约10万小时英文TTS数据（Emilia + LibriSpeech）。
• 策略：冻结大语言模型主干，仅训练“说话者”，关闭反向连接。

阶段二：多任务LoRA微调

• 目标：适应语音对话、TTS、语音识别等多任务。
• 数据：构建专属数据集 FlexiSLM-Data（140万条样本，9900小时）。
• 构建流程：Qwen3-Omni (30B) 生成回答 → Qwen3-TTS 合成回答语音 → Fish-Audio TTS 合成提问语音 → 多重过滤（格式、准确性、音质）。
• 策略：开启帧合并模块与LLM主干，使用LoRA技术进行轻量级微调。

阶段三：全参数微调

• 目标：提升最高质量档位性能，增强低帧率鲁棒性。
• 策略：合并LoRA参数，开启并训练“说话者→思考者”反向连接。
• 硬件：24块 A100 80G GPU。
• 损失函数：文字令牌损失 + 语音令牌损失 + 帧长度令牌损失（文字损失权重为其他两项之和）。

五、性能实测：数字背后的实力

在 Kimi-Audio-Evalkit评测体系中，FlexiSLM-7B 与 Qwen2.5-Omni-7B、Kimi-Audio-7B、Mimo-Audio-7B 等主流模型对比。

1. 综合得分对比（满分100）

• 动态帧率优势：当输出降至 6.25Hz时，FlexiSLM得分仅微降至 72.3/66.2，语音令牌数量减半但质量损失极小。
• 低帧率表现：在 6.25/6.25Hz下，得分 70.2/64.3，仍超越所有7B基线模型，证明动态帧率可在更低算力下达到甚至超越固定帧率表现。

2. 推理速度与效率

• 实时因子 (RTF)：数值越小越快（<1表示比实时快）。
• 12.5/12.5Hz：FlexiSLM (1.17) 比 Qwen2.5-Omni (1.57) 快 34%。
• 6.25/6.25Hz：FlexiSLM RTF降至 0.59，速度比实时快近一倍，比Qwen2.5-Omni快 2.7倍。
• 计算量 (TFLOPs)：
• 12.5Hz: ~4.57 TFLOPs
• 6.25Hz (输出): ~3.41 TFLOPs
• 6.25Hz (全链路): ~2.73 TFLOPs
• 注：输出帧率是决定推理速度的关键，因自回归生成耗时最长。

3. 语音生成与理解质量

• TTS清晰度：在LibriSpeech-PC测试中，12.5Hz下WER为 2.14%，优于Qwen2.5-Omni (3.18%)。
• 对话清晰度：12.5Hz下WER为 4.52%，优于Qwen2.5-Omni (6.33%)。
• 音频理解稳定性：在LLaSO-Eval基准上，12.5Hz平均准确率 65.8%，超越Gemini 2.5-Pro (48.3%)。
• 关键发现：音频理解任务（情感、口音等）在帧率从12.5Hz降至4.0Hz时，准确率稳定在 63%-66%，证明全局声学特征对帧率变化具有强鲁棒性。

4. 低帧率下的衰减

• 5.0/5.0Hz：得分降至 69.0/60.4，WER上升至 3.34/7.85。
• 4.0/4.0Hz：得分降至 67.2/56.5，WER上升至 4.47/9.53。
• 结论：6.25Hz是兼顾速度与质量的较优平衡点，低于此值质量衰减明显。

六、消融实验：拆解设计决策的贡献

研究团队通过小规模实验（8块GPU，至第二阶段结束）验证各模块必要性：

1. 动态合并 vs 均匀合并：
2. 若输入端改为固定每两帧合并，语音对话得分从63.0降至61.0，TTS错误率从3.11%升至4.95%（涨幅59%）。证明动态合并能保留更多关键信息。
3. 直接控制 vs 间接控制：
4. 换回阈值间接控制，对话与TTS质量下降。因模糊信号增加了“说话者”的学习难度，导致收敛慢、生成质量差。
5. 编码器与主干选择：
6. ASR编码器：提升语音识别，但损害语音问答（缺乏语义理解）。
7. Qwen2.5-Omni主干：相比专用ASR主干，拥有更强的知识先验，显著提升语音问答能力。
8. 特征对齐Transformer：
9. 若移除输入端用于对齐动态合并特征的Transformer，语音识别错误率急剧恶化（困难集从7.20%飙升至12.33%）。证明该模块对整理不规则特征至关重要。

七、总结与展望

FlexiSLM为语音大模型装上了“变速齿轮”。它打破了传统模型“全速运行”的局限，允许模型根据资源状况灵活切换速度：
* 高性能场景：全速运行，提供极致体验。
* 资源受限场景（如手机、智能音箱）：降速节能，保持可用性与清晰度。
* 用户价值：无需部署多套系统，仅通过参数调整即可实现模式切换。

当前局限

1. 非流式输出：需等待完整回答生成后播放，无法实现“边想边说”的实时交互。
2. 对齐训练缺失：尚未应用RLHF或DPO，在“说人话”和指令遵循上仍有提升空间。
3. 数据局限：训练数据集中于单轮对话，多轮深度推理能力待加强。

资源获取

• 论文：arXiv:2606.31247
• 代码：访问团队GitHub开源库

Q&A

Q1：FlexiSLM的动态帧率与普通固定帧率模型有何本质区别？
A：普通模型无视内容信息量，固定节拍处理；FlexiSLM通过相似度判断合并相邻片段，仅在内容变化时保留细粒度处理。这使得平均帧率可从12.5Hz降至6.25Hz，推理速度提升约一倍，同时节省算力。

Q2：帧率降低会导致语音质量严重下降吗？
A：在 6.25Hz下，质量损失极小（综合评分仅降约1分），识别错误率（WER）保持在可接受范围（~2.55%/6.37%）。降至5.0Hz时损失开始明显，4.0Hz时下降较大。因此，6.25Hz是当前速度与质量的最佳平衡点。

Q3：FlexiSLM在帧率控制上相比其他模型有何优势？
A：现有主流模型（如Qwen2.5-Omni、Kimi-Audio）均为固定帧率，无法动态调整。FlexiSLM支持直接指定目标帧率（如“我要6.25Hz”），模型可精确执行（误差<0.1Hz），无需重新训练或部署多套系统，实现了真正的按需调速。