SERIAL-7：跨表示的可机器验证输出基准

论文提出跨七种表示的可执行验证基准SERIAL-7。

资讯摘要

论文提出SERIAL-7，一个韩英双语基准，围绕可执行验证框架评估大模型在七种表示下的可机器验证生成。基准含177个经校验的规范工件，将任务分为语义推导（Derive）、受约束工件生成（Realize）与跨表示保持（Preserve），并配43条原子表示约束及针对格式、结构和任务语义的可执行检查。作者报告十个模型的REALIZE-L3 HSR在42.0%至93.9%之间，Full Compliance还暴露出最终答案正确、表示合法之外的工件级失败。

要点速读

1. SERIAL-7含177个经校验的规范工件，覆盖七种表示，并设43条原子表示约束与可执行检查。
2. 任务分为Derive、Realize、Preserve三阶段，验证从表示合规逐步收紧到完整工件有效。
3. 作者报告十个模型的REALIZE-L3 HSR为42.0%至93.9%，Full Compliance揭示额外工件级失败。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。