论文用KAN非线性投影改进低秩嵌入压缩，缓解线性瓶颈。
资讯摘要
论文提出一种基于Kolmogorov Arnold Networks（KAN）的嵌入层压缩方法，在低秩分解中引入可学习的一元非线性投影，以缓解线性瓶颈对表示能力的限制。作者将压缩嵌入层接入Skip-gram框架，在相同参数预算下与标准低秩基线对比，在Word Analogy和语义相似度基准上评估，并提出从预训练未压缩嵌入层初始化的策略。作者报告，非线性投影能提升固定维度下压缩嵌入的保真度。
要点速读
- 论文用KAN式可学习一元函数替代固定线性变换，在压缩嵌入层内加入非线性投影
- 在Skip-gram框架下与标准低秩基线在匹配参数预算下对比，评测Word Analogy与语义相似度
- 提出从预训练未压缩嵌入层初始化的策略，并分析初始化后及短程精炼后的表现
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。