d' 可替代逐层扫描来选引导层,但单例预测不通用。
资讯摘要
论文基于可判别性指数 d'(衡量对比训练激活沿引导方向分离程度的低成本几何指标),在 3 个模型的 5 种行为上验证其新用途:在多项选择问答中,d' 能可靠选出适合引导的层,免去逐层扫描;在开放式多 token 生成中,d' 仍可用于层选择。作者还测试了生成 token 表示在 DIM 线上的位置能否预测单例引导效果,发现该做法仅在 d' 较高的 MCQA 数据集上有效,在开放式生成中不稳定。
要点速读
- 论文提出用 d' 在 MCQA 场景中选出可引导的层,从而省去逐层超参数扫描。
- 在开放式多 token 生成中,d' 仍能用于层选择。
- 用单例 token 在 DIM 线上的位置预测引导效果,仅在 d' 高的 MCQA 数据上有效,开放式生成中不一致。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。