论文提出分块Toeplitz参数化微调方法ToPA并在多数据集验证
资讯摘要
论文提出ToPA，一种基于分块Toeplitz矩阵的参数高效微调方法。作者指出低秩方法限制更新秩、稀疏方法限制参数空间灵活性，而Toeplitz矩阵沿对角线取值恒定，可紧凑参数化且不施加显式秩或稀疏约束。为避免长乘法链导致梯度不稳定，ToPA改用分块Toeplitz以缩短链长。作者从理论上说明其可近似任意矩阵且表达力强于现有低秩与稀疏参数化，并在21个NLP与CV数据集、5种模型架构上报告了验证结果。
要点速读
- 论文提出ToPA，用分块Toeplitz矩阵乘积更新权重，避免显式秩或稀疏约束。
- 作者称分块结构可缩短乘法链、稳定训练，并从理论上论证其表达力强于低秩与稀疏参数化。
- 在21个NLP和CV数据集、5种模型架构上进行评估，作者报告结果一致验证其有效性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。