音频大模型能否从声音中听出疼痛？

音频大模型早期层编码副语言信息，但作答时难以调用。

资讯摘要

论文提出 HEAR 四阶段诊断框架，追踪疼痛相关信息如何从语音信号流向模型预测，并测试了七个闭源与开放权重 LALM。在只能靠声音推断疼痛的 Harvard 句子上，所有模型仅达随机水平，同说话人参考或少样本示例最多提升 6 个点；在口语评分任务上则达 87.5%–99.7% 平衡准确率。逐层探测显示疼痛信息可从早期音频表征解码，但在深层减弱。

要点速读

1. HEAR 框架将疼痛信息从语音信号追踪到模型预测，覆盖七个闭源与开放权重 LALM。
2. 在 Harvard 句子上所有模型处于随机水平，同说话人参考或少样本示例提升不超过 6 个点；口语评分任务达 87.5%–99.7% 平衡准确率。
3. 开放权重模型逐层探测：早期音频表征可解码疼痛（二分类 74.1%、三档严重度 45.0%），深层减弱；将恢复的声学线索以结构化文本注入提示，成对疼痛预测最多提升 32 个点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。