ROM 用轻量检测器实时干预，平均缩短推理回复长度 45%。
资讯摘要
论文提出 ROM，利用轻量流式检测器（占主干参数 0.07–0.25%）监控冻结的大推理模型，在推理边界干预以减少冗余验证。作者报告在三个家族五个主干、五个基准共 25 种设置下，ROM_CSC 使回复长度平均缩短 45%（28–77%），22 种设置准确率持平或超过原始解码，两个主干上端到端延迟降低 20–70%。
要点速读
- 论文称从后层隐藏状态可解码推理由有效转向冗余的转变，并据此训练流式检测器。
- Counterfactual Self-Correction（CSC）用错误→正确轨迹增强检测器训练，以保留有用自我纠错。
- 作者报告 25 种设置下长度均显著缩短，平均 45%，检测器每步开销低于 0.5%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。