论文提出时空音频问答数据集与 ST-AudioLM 模型。
资讯摘要
论文提出 ST-AudioQA，一个基于一阶 Ambisonics（FOA）渲染的静态与移动声源时空音频问答数据集与基准，每场景含声源身份、活动、方向、距离与运动元数据，支持轨迹监督及“什么在响、在哪、如何移动、声源关系”等问答。作者还提出 ST-Audio Encoder 联合学习事件语义与时间分辨声源轨迹，以及 ST-AudioLM 将音频 token 接入 LLM 做时空音频问答。实验称该表示在语义保持与定位间取得更好平衡，推理强于静态空间与定位基线，并可零样本迁移到真实录音，轻量适配后进一步提升。
要点速读
- 论文提出 ST-AudioQA 数据集与基准，基于 FOA 渲染静态和移动声源，含身份、活动、方向、距离、运动元数据。
- ST-Audio Encoder 联合学习事件语义与时间分辨轨迹，ST-AudioLM 将音频 token 交给 LLM 做时空问答。
- 作者报告该表示在语义与定位间更平衡，推理优于静态空间和定位基线，并零样本迁移到真实录音。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。