Unlimited OCR 2 提出稀疏参考滑动窗口注意力

Unlimited OCR 2 用 SR-SWA 让百页文档解析计算成本保持恒定

资讯摘要

论文提出 Unlimited OCR 2 文档解析模型，将解码器注意力模块升级为稀疏参考滑动窗口注意力（SR-SWA），把活跃参考 token 限制在固定容量，使计算成本在任意长文档上保持恒定。作者报告在百页规模下，每步解码相比 Full Attention 和 R-SWA 分别提速 7.0 倍和 5.6 倍，并在 MPDocBench 与新提出的 MarathonDocBench 上取得最优端到端表现。

要点速读

1. 将解码器注意力全部升级为 SR-SWA，把活跃参考 token 限制在固定容量，以维持恒定计算成本
2. 作者报告百页规模下每步解码相比 Full Attention 提速 7.0 倍、相比 R-SWA 提速 5.6 倍
3. 在 MPDocBench 和新提出的百页文档基准 MarathonDocBench 上报告最优端到端性能

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。