SWIFT 用固定散射置换改善稀疏微调的特征连通性。
资讯摘要
论文提出稀疏微调框架 SWIFT，针对稀疏更新结构支撑中连接不足导致特征维度被隔离、形成“信息孤岛”的问题，将块对角稀疏更新用于局部特征混合，并加入固定的确定性散射置换，在不增加可训练参数的情况下把混合输出路由到不同特征组。作者从理论上说明，当块对角因子由等大、结构稠密的方阵块组成时，足够散射的置换可保证正的块级扩展。论文报告在常识推理、自然语言生成和图像分类实验中，SWIFT 平均优于所评估的 PEFT 基线，并可匹配或超过全量微调。
要点速读
- 论文指出稀疏微调的效果不仅取决于可训练参数量，也取决于稀疏更新结构支撑的特征交互拓扑，连接有限或不均会形成信息孤岛。
- SWIFT 结合块对角稀疏更新与固定确定性散射置换，后者不引入额外可训练参数。
- 作者报告在常识推理、自然语言生成和图像分类上平均优于所评估的 PEFT 基线，并可匹配或超过全量微调。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。