新基准 StateBench 分级测试长文档状态追踪，前沿模型在难例上仍失效。
资讯摘要
研究团队提出 StateBench 基准，用于评估语言模型在长文档中追踪实体状态变化的能力，按复杂度分为 r-trivial、aperiodic、soluble 和 general finite 四个等级。作者报告，在直接训练后，循环与混合架构的泛化距离远超 Transformer；而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 与 Luna 等前沿模型在输入变长时，仍在较难的状态追踪上失效。
要点速读
- StateBench 设四个难度等级，对应不可变赋值、按值重新赋值、自引用更新和按引用赋值，理论依据为 Krohn–Rhodes 理论。
- 作者用 Olmo 3（Transformer）与 Olmo Hybrid（加入 Gated DeltaNet 层）等开放预训练模型测试，训练上下文均不超过 64,000 token。
- 结果显示多数模型在 r-trivial 上表现良好，在 aperiodic 上随输入变长而失准，在 general finite 上接近随机水平；问题格式也影响成绩。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26（北京时间）。