用可学习图位置编码扩展语言模型图推理

可学习图位置编码让语言模型免序列化邻接做图推理

资讯摘要

论文提出用可学习、置换等变的图位置编码调制注意力 logits，并加一个 post-fusion 模块把结构信息注入隐藏状态，从而不再需要序列化邻接关系，把上下文负担降到 O(N)。位置编码由 GNN 加 Graph Transformer 计算，与 LRM 的 LoRA 适配器用图论求解器生成的最优解联合微调。作者报告在小图上训练后，模型在最多 1000 个节点的图论任务上尺寸泛化更好、输出 token 更少，且对节点重标号保持稳健。

要点速读

1. 方法用 GNN 加 Graph Transformer 计算图位置编码，调制注意力 logits，并用 post-fusion 模块注入结构信息。
2. 取消序列化邻接描述，上下文负担降为 O(N)，位置编码与 LRM LoRA 适配器联合微调。
3. 作者报告在最多 1000 节点的图论任务上尺寸泛化改善、生成 token 更少，并对节点重标号稳健。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。