显式策略边界可提升决策模型拦截召回并减少误报。
资讯摘要
论文评估将22个托管决策模型和两个提示式通用模型用作多规则策略引擎的分类器,在2643条工具调用的合成数据集上按28条规则盲标并设密封留出集。作者报告,以示例和反例写出显式边界后,全部23个可用模型的召回率提升5.5至26.1个百分点,21个模型的误报下降;Jev 1.14召回率从89.3%升至98.2%,不必要中断从30.6%降至4.8%。论文称将发布数据集、规则文本和测试框架。
要点速读
- 论文在2643条工具调用的合成数据集上,用28条规则盲标并设密封留出集,评估22个托管决策模型和两个提示式通用模型。
- 作者报告显式边界使全部23个可用模型召回率提升5.5至26.1个百分点,21个模型误报减少;Jev 1.14召回率89.3%升至98.2%,不必要中断从30.6%降至4.8%。
- 论文称将发布数据集、规则文本和测试框架。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。