WMIP：受工作记忆启发的LLM累积状态追踪探针

LLM单步算术强不代表能可靠追踪累积状态，输出协议显著影响测得准确率。

资讯摘要

论文提出WMIP，一种受工作记忆启发的可编程探针，用于测试大语言模型在单条提示内追踪累积状态的能力，题目含3至100次更新，支持最终状态、中间状态和多目标查询，并在相同题目上比较不同输出协议。作者报告在18个模型中，单步算术准确率为84.9%，而需在3至7次更新后给出一个数字的核心题仅31.7%；从50次更新起无模型超过10%。在更大预算并要求写出步骤、答案置于末行时，核心准确率升至88.0%，主要源于指令变化而非预算。核心准确率与Berkeley Function Calling Leaderboard公开分数正相关。作者已发布生成器、题目、评分代码与回答。

要点速读

1. 论文提出WMIP探针，用程序计算答案，覆盖3至100次更新及最终、中间、多目标查询，并在相同题目上比较输出协议。
2. 作者报告18个模型单步算术准确率84.9%，3至7次更新的核心题仅31.7%；50次更新起无模型超过10%。
3. 要求写出步骤并将答案放在末行时核心准确率88.0%，作者称主要来自指令变化；核心准确率与Berkeley Function Calling Leaderboard分数正相关。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。