统一逐Token门控族用于在线策略蒸馏

论文提出统一逐Token门控参数化，实验证据为探索性。

资讯摘要

论文提出一个四系数逐Token门控参数化 lambda_t = sigma(a*h_t + b*u(x) + c + d*gap_t)，将 EOPD 与 ToDi 的方向对齐代理纳入为其中一维特例，并加入多通道组合与显式偏置。作者在 TweetEval 情感与仇恨任务上以 Qwen3-32B 为教师、Qwen3-4B 为学生，报告完整族在 36 个可比单元中的 33 个取得更高准确率；但作者称这些为探索性聚合方向证据，三种子配对复现方向一致却不显著。

要点速读

1. 论文将 EOPD 与 ToDi 的逐Token门控信号统一为四系数参数化，二者成为一维限制。
2. 在 TweetEval 情感与仇恨任务、Qwen3-32B 教师与 Qwen3-4B 学生设置下，完整族在 36 个可比单元中 33 个准确率高于匹配幅度的单通道限制。
3. 作者说明单元间共享数据与模型，结果属探索性聚合证据；九个重点比较的三种子复现方向一致但 n=3 不显著。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。