嵌入一致性调节实现持久语义路由

论文用 ECR 探针测量语言模型语义路由的持久性，并提出 RRR 诊断指标。

资讯摘要

论文研究紧凑语言模型中的“持久语义路由”现象：解码前分配的语义路由（如语言、语气、意图）未必在生成回复中保持。作者以 Embedding Consistency Regulation（ECR）作为最小探针，用冻结嵌入模型为每个输入生成短离散前缀，训练与推理采用相同前缀构造。受控前缀分配实验中，ECR 语言路由准确率达 99.93%±0.12%，随机、打乱与虚拟对照接近随机水平（34–36%）；部分对照的 NLL 仍有竞争力，说明似然不能可靠反映路由一致性。作者提出与编码器无关的诊断指标 Response Routing Recoverability（RRR），并报告路由可恢复性在多语言、无监督划分、降低精度与迁移任务中持续存在。

要点速读

1. 论文提出 Embedding Consistency Regulation（ECR），用冻结嵌入模型为输入构造短离散前缀，训练与推理使用相同前缀构造。
2. 受控实验中 ECR 语言路由准确率为 99.93%±0.12%，随机、打乱与虚拟对照为 34–36%；部分对照的 NLL 仍有竞争力。
3. 作者提出诊断指标 Response Routing Recoverability（RRR），并报告路由可恢复性在多语言、无监督划分、降低精度与迁移任务中持续存在。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。