聚类最优传输引导在量化下的表现

聚类最优传输引导的增益来源与量化鲁棒性仍待厘清

资讯摘要

论文研究用于毒性缓解的聚类最优传输引导方法（CHaRS），在 Gemma-2-2B 与 Granite-3.1-2B 上比较其与类均值差（DiM）向量。作者证明：按簇大小加权的位移平均恒等于 DiM，故聚类映射仅在路由权重偏离簇大小时才不同；CHaRS 协议下与逐层加 DiM 的 Mean-AcT 在八项等价检验中统计等价。按单 token 拟合的变体在强度 3 下比 DiM 少留 37–39%（Gemma）和 51–61%（Granite）毒性，但困惑度略高；INT8 与 NF4 量化下仍优于 DiM。

要点速读

1. 作者证明按簇大小加权的聚类位移平均等于 DiM，聚类映射的差异仅来自路由权重偏离簇大小。
2. CHaRS 协议下与 Mean-AcT 在全部八项预设等价检验中统计等价。
3. 按 token 拟合的变体在强度 3 下比 DiM 少留 37–39%（Gemma）与 51–61%（Granite）毒性，但同强度困惑度略高；INT8、NF4 下仍优于 DiM。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。