本文深度解析北京大学彭宇新教授团队与福州大学柯逍教授团队在细粒度多模态动作质量评价领域的直面最新突破。相关研究成果已被人工智能顶级会议 ICML 2026收录为 Spotlight 论文，模态且代码已全面开源。缺失
- 论文标题：LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations
- 论文链接：https://arxiv.org/abs/2605.00434
- 开源代码：https://github.com/XuHuangbiao/LIMSSR
- 实验室官网：https://www.wict.pku.edu.cn/mipl
- 官方公众号：MIPLatPKU
1. 背景与核心动机
在现实世界的挑战多模态数据采集中，数据完整性往往难以保证。彭宇以动作质量评价为例，新团逍团视频、队联大柯队提光流、合福音频等多模态数据虽能从不同维度刻画动作细节，直面但受限于传感器故障、模态环境噪声干扰及隐私保护策略，缺失模态缺失成为常态。挑战
如图 1 所示，彭宇现有主流方法多采用“测试期缺失处理”策略：假设训练阶段拥有完整模态数据，新团逍团通过重建、队联大柯队提知识蒸馏或联合先验来弥补测试时的信息缺失。这种范式本质上依赖于一种“全量数据先验”——即模型在训练时已“见过”完整答案，仅在测试时学习应对不完整输入。
图 1. 背景与动机示意图
然而，真实应用场景中，训练数据本身同样存在系统性缺失。这导致模型既无法获取高质量的重建监督信号，也无法依赖完整模态提供的先验知识。对于要求长时序理解与细粒度打分的动作质量评价任务而言，关键模态的缺失将直接导致评价失效。
针对这一痛点，北京大学彭宇新教授团队联合福州大学柯逍教授团队提出了 LIMSSR框架。该框架彻底摒弃了对完整模态监督的依赖，将不完整多模态动作质量评价重构为条件化的序列到分数推理问题。借助大语言模型（LLM）强大的条件推理能力，LIMSSR 能够从现有上下文中推断缺失模态的潜在语义，进而实现跨模态融合与精准评价。
2. 技术方案详解
图 2. LIMSSR 框架：大语言模型驱动的序列到分数推理
如图 2 所示，LIMSSR 将问题建模为从“部分观测 + 缺失掩码”到“质量分数”的条件序列推理过程。其核心映射关系如下：
阶段 I：提示引导的上下文感知模态补全（PCMI）
传统方法通常将缺失模态简单置零，而 LIMSSR 采用显式提示策略，明确告知模型“缺失位置”、“缺失类型”及“推断逻辑”。
- 结构化输入：为每种模态设计起止边界词元（Token）。
- 观测模态：输入真实时序特征。
- 缺失模态：插入专用缺失词元作为占位符。
通过这种方式，观测模态与缺失模态被统一组织为包含丰富结构信息的输入序列：
核心创新：此步骤的目的并非恢复原始数据的“真值”，而是恢复对动作评价具有指导意义的潜在语义。
通过多维度的语义关注（如动作完成度、时序稳定性、节奏一致性），显著增强了模型的表示能力。
阶段 III：掩码感知的双路径聚合（MDA）
仅依赖 LLM 推理在严重缺失场景下易产生不确定性或“幻觉”；而仅依赖底层统计特征则易丢失任务关键语义。为此，LIMSSR 设计了语义推理与统计恢复两条协同路径：
- 语义路径：根据缺失模式动态调节 LLM 语义推理结果的可信度。
- 统计路径：回溯各模态隐藏状态，建模跨模态统计关系：
上述机制表明，LIMSSR 并非单纯依赖 LLM “猜测”，而是在语义推理与跨模态统计之间实现动态平衡，从而大幅提升模型的鲁棒性。
技术路线总结：
用提示词显式描述缺失状态 $\rightarrow$ 用 LLM 推断缺失语义 $\rightarrow$ 用融合 Token 汇聚多维信息 $\rightarrow$ 用掩码感知双路径机制平衡推理可信度与统计稳健性。
3. 实验结果分析
3.1 不完整模态场景下的性能表现
表 1. LIMSSR 在不完整模态场景下的实验结果
表 1 展示了 LIMSSR 在 FS1000、Fis-V和 RG三个公开基准上的表现。评估指标涵盖斯皮尔曼相关系数（越高越好）与均方误差（越低越好）。实验覆盖六种不完整模态组合及完整模态组合，并与来自不完整多模态情感识别、动作识别及动作质量评价领域的多种 SOTA 方法进行了对比。
结论：在训练阶段存在模态缺失的严格设定下，LIMSSR 取得了最优或极具竞争力的结果。这证明其不仅能更准确地区分动作质量等级，还能在具体分数预测上保持高精度。
3.2 完整模态场景下的泛化能力
表 2. LIMSSR 在完整模态场景下的实验结果
值得注意的是，尽管 LIMSSR 专为“训练阶段不完整观测”设计，但在完整模态场景下同样表现出强劲竞争力。这表明 LIMSSR 并未以牺牲完整场景性能为代价换取缺失场景的鲁棒性，而是学到了一种更通用、更稳定的多模态语义建模能力。
3.3 深入分析：语义推断的有效性
图 3. 缺失模态潜在语义相似度分析
为了验证 LIMSSR 是否真正学会了“推断缺失语义”，本文比较了模型推断表示与真实模态表示之间的相似度。图 3 显示，推断表示与目标真实模态的相似度显著高于与其他模态的相似度。这说明 LIMSSR 生成的并非模糊的“平均语义”，而是能够恢复具有针对性的潜在信息。
图 4. FS1000 数据集上的 t-SNE 可视化
图 4 的 t-SNE 可视化进一步证实，经过 LIMSSR 推理后，缺失模态生成的潜在表示能够更紧密地对齐到已有模态附近，显著缩小了跨模态语义鸿沟。这表明模型不仅“补全了信息”，更实现了高效的跨模态语义对齐。
4. 结论
针对训练阶段不完整观测这一更贴近真实世界、更具挑战性的多模态学习难题，本文提出了 LIMSSR框架。该方法突破了对完整模态训练监督的依赖，通过以下机制实现了稳健评价：
- 提示引导的上下文感知模态补全：显式建模缺失状态。
- LLM 驱动的多维表示融合：利用大模型推理能力恢复潜在语义。
- 掩码感知的双路径聚合：平衡语义推理与统计稳健性。
LIMSSR 的成功展现了大语言模型在不完整多模态学习中的巨大潜力，为复杂现实场景下的多模态人工智能应用提供了新的技术范式。