USC 研究：音频大模型「听」不如「读」，语音情感理解普遍偏弱

南加州大学（USC）的一项新研究指出，尽管 ChatGPT、Gemini 等产品内置的音频大模型（Audio LLM）已经能够实时理解和回应语音，但它们在「听懂语气、情绪、语调」等副语言信息方面仍然显著弱于文本理解能力。研究团队由此构建了名为 VoxParadox 的基准测试，并提出名为 PCLM 的改进模块，相关论文已被 ICML 2026 接收。

研究背景：被忽视的「非语义」声音

人类日常对话中，意义并不只来自字面词句。语气、情绪、重音、音高等副语言信息同样承载着社交与情感线索，对理解说话人真实意图至关重要。USC Viterbi 工程学院的 Mohammad Soleymani 教授带领团队，重点剖析音频大模型为何难以捕捉这些「听」出来的细节。

研究团队由 Soleymani 教授主导，博士生 Ashutosh Chaubey、毕业生 Jiacheng Pang 等共同参与，项目自去年 8 月启动。

核心发现：语言偏置导致「功能性耳聋」

音频大模型属于多模态模型，可以同时处理文本与音频输入。它们通常先把语音转成向量，再送入内部的「语言脑」做推理。Soleymani 指出，这类模型存在强烈的「语言偏置」——把文本当作一等公民，把音频线索当作次要信息。

其结果是：模型在语音转写上表现优异，却常常忽略说话人的语气、情绪和音高，变得「功能性耳聋」。例如，说话人明显开心却说出「我很伤心」，模型仍会判定其情绪为悲伤。在健康评估、人机交互等敏感场景中，这种误读可能带来错误甚至有害的回复。

VoxParadox 基准：用「自相矛盾」的语音测试模型

为系统评估这一盲区，团队设计了 VoxParadox 基准，覆盖 10 类副语言任务，包括：

• 生物特征类：判断说话人年龄、性别、说话人数
• 韵律与声学类：识别情绪、语调、音高、音量

每个任务都使用「词义与声音相互矛盾」的音频片段，让模型判断说话人表达的内容是否为真。若答错，说明模型过度依赖文本；若答对，则说明模型确实调用了非语义声学线索。

在 NVIDIA Audio Flamingo 3 与阿里 Qwen2-Audio 上的测试结果显示，两个模型都难以准确解读副语言信息。

机制分析：「表征退化」与「利用鸿沟」

团队进一步对模型内部进行「探查」，相当于给 AI 做脑部手术。他们发现：

• 表征退化：随着音频数据在模型层间传递，音高、语气等声学细节会被逐步剥离；抵达最终决策层时，多数声学信息已丢失。
• 利用鸿沟：即便正确声学信息仍残留在模型内部表征中，决策过程仍因过度偏置于语言而忽略这些音频证据。

改进方案：PCLM 模块 + 偏好对齐

团队提出两阶段方案，让音频大模型既「保留」又「重视」听到的内容：

• 提示条件层混合器（PCLM）：根据用户提问动态决定模型应关注音频的哪一部分。
• 通过偏好对齐训练，让模型在矛盾场景下更愿意采纳声学线索而非字面文本。

该方案在多项副语言任务上显著提升了模型表现，为后续音频大模型设计提供了新方向。