冻结磁带模块嵌入前向传播的小语言模型工具层

冻结磁带模块可在前向传播内完成有界计算，省去文本工具调用的解码开销。

资讯摘要

论文提出一种在语言模型前向传播内运行的小型神经模块：学习式写入器把隐藏状态转成离散符号序列（磁带），经单独训练后冻结的模块将其归约为结果，再由学习式读取器送回模型。作者在 gemma-3-1b-it 上测试算术与物体追踪，报告在标注磁带训练下，该层正确回答 BIG-Bench Hard 追踪乱序物体全部 750 题；七人场景下 GPU 内核时间约为文本工具基线的 1/10，准确率 1.00 对 0.99。仅凭答案学习写入器时成功率较低。

要点速读

1. 论文在 gemma-3-1b-it 中嵌入冻结的磁带模块，用写入器、模块、读取器完成前向传播内的符号计算。
2. 作者报告该层在 BIG-Bench Hard 追踪乱序物体任务上 750 题全对，七人场景 GPU 内核时间约为文本工具基线的 1/10。
3. 仅从答案学习写入器时，1B 宿主 6 次中 5 次成功、4B 宿主 4 次中 2 次成功；可靠提取输入与决定何时调用仍是开放问题。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。