相近校验通过率可能掩盖不同的结构化输出失败模式。
资讯摘要
论文提出一套细粒度分类体系与确定性分类器，依据模型响应和Pydantic校验错误归类结构化输出失败类型。作者在HotpotQA与FinanceBench问题上，对九种OpenAI和Anthropic模型/API配置的3997次生成尝试进行分析，发现相近的校验通过率可能掩盖不同的失败模式，主导失败类型随模式约束和任务变化。Markdown围栏JSON最常见，681例围栏失败中仅48.0%去除围栏后通过校验，其余隐藏字段长度等违规。
要点速读
- 论文构建失败分类体系与确定性分类器，覆盖3997次生成尝试、九种模型/API配置。
- Markdown围栏JSON为最常见失败，681例中仅48.0%去除围栏后通过校验，其余含字段长度等违规。
- 探索性提示消融显示抑制围栏后失败转向长度违规，但作者认为这更像暴露既有违规；提出四项工程实践，其中重试反馈一项未测试。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。