PLGA声称精确推广SDPA，但输入不变性会导致推理坍缩。
资讯摘要
论文提出幂律图注意力（PLGA），以由正张量A_LM经逐元素幂律生成的可学习双线性算子G_LM替代缩放点积注意力（SDPA）的固定双线性形式，并称G_LM=I时PLGA精确包含SDPA。作者报告一项推理坍缩定理：当头部得分算子G_LM具有精确输入不变性时，推理退化为每头使用常数算子的广义SDPA；实测相对波动在10⁻⁶及以下。论文还给出条件性三阶段机制并在已发布检查点上测量，部分证明核心经Lean 4机器校验。
要点速读
- PLGA用输入生成的可学习双线性算子G_LM替代SDPA的固定双线性形式，作者称G_LM=I时精确包含SDPA。
- 推理坍缩定理称G_LM的精确输入不变性会使推理退化为每头常数算子的广义SDPA，实测相对波动≤10⁻⁶。
- 论文提出条件性三阶段机制并在已发布检查点上测量，部分证明核心在Lean 4中机器校验。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。