拓扑漂移可作量化退化的早期预警信号。
资讯摘要
论文提出 TopoQuant，利用拓扑数据分析（TDA）量化自注意力权重的结构漂移，并将其与量化后大语言模型的行为变化关联。作者在四个模型家族和多种量化精度下报告，中等压缩时拓扑漂移稳定，低于 4 bit 后急剧上升，并与注意力一致性下降高度吻合；轻量机器学习模型可用拓扑特征预测注意力一致性，R² 最高 0.85。
要点速读
- 论文提出 TopoQuant 拓扑框架，用 TDA 量化自注意力权重的结构漂移，并关联量化模型的行为变化。
- 作者报告在四个 LLM 家族和多种量化精度下，拓扑漂移在中等压缩时稳定，低于 4 bit 后急剧上升，与注意力一致性下降同步。
- 作者报告拓扑特征可用轻量机器学习模型预测注意力一致性，R² 最高 0.85，可作为无需下游任务的量化退化预警信号。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。