Transformer注意力的锥规划认证

论文提出注意力认证的锥规划理论，并证明误差二次界不可改进。

资讯摘要

论文提出一种针对注意力机制的锥规划认证理论，为注意力头输出在输入扰动下的边界提供松紧度保证。作者证明认证困难源于变化查询与键的双线性交互，而非softmax：该交互使盒约束下认证为NP难，且当日志it可移动常数时不可近似；固定查询或列举替换则最坏情况可高效计算。指数锥矩松弛可将误差按扰动半径二次界定量，并在GPT-2上验证。

要点速读

1. 论文证明注意力认证的困难来自变化查询与键的双线性交互，而非softmax；盒约束下认证为NP难，日志it移动常数时不可近似。
2. 固定查询或列举token替换时，精确最坏情况可高效计算；指数锥矩松弛给出误差随扰动半径二次增长的认证界，且该阶数不可改进。
3. 在GPT-2上，固定查询的精确最坏情况对比显示认证达到预测的二阶精度，且在每个注意力头上都紧于线性界传播。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。