CoAT 用连续潜在空间保留声学信息，且不增加解码开销。
资讯摘要
论文指出，大音频语言模型（LALM）因训练目标对齐文本，隐藏状态逐步偏向文本生成，导致音素细节、韵律、声音事件、情感与音高等声学信息在生成响应前流失。作者提出 Continuous Audio Thinking（CoAT），在响应生成前为模型提供连续潜在工作空间，并以音频专家蒸馏作为监督。该连续思考块可在单次 prefill 中处理，不增加额外自回归解码开销。
要点速读
- 论文在 Qwen2-Audio、Qwen2.5-Omni-7B 与 Audio Flamingo 3 三个 LALM 上测试 CoAT，覆盖音频推理、音频理解、音乐分类、语音情感与语音转写等基准。
- 作者报告 CoAT 在上述基准上取得性能提升，并称连续思考块可在单次 prefill 中完成，不增加额外自回归解码成本。
- 进一步分析显示，辅助监督会从思考位置传播到模型的文本响应。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。