ULME：用预测耦合统一嵌入与语言建模

ULME 用预测耦合让嵌入与生成在共享权重上互相塑造。

资讯摘要

论文提出 ULME，一种在因果解码器 LLM 上统一文本嵌入与语言建模的后训练框架。它在查询与答案之间插入可学习槽位，从两个指定槽读取语义嵌入与推理嵌入，并在共享骨干上联合训练对比损失、语言建模损失和带 stop-gradient 的预测损失，使生成反向塑造嵌入。作者报告在 Qwen2.5、Qwen3 两个系列、0.5B–8B 八个规模上，单一检查点使 MTEB 较最强开源基线提升 3.3–4.1 分。

要点速读

1. ULME 通过可学习槽位与三项损失，让嵌入与生成在共享因果骨干上相互监督。
2. 作者报告在 Qwen2.5、Qwen3 的 0.5B–8B 八个规模上，MTEB 较最强开源基线提升 3.3–4.1 分。
3. 论文称 BRIGHT 与 AdvBench-IR 同时收紧，MMLU、GSM8K、MMLU-Pro、HumanEval 与仅生成微调相当。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。