临床医生主导的规则护栏使 LLM 评判分歧可定位到具名规则与事实。
资讯摘要
论文提出一种由临床医生主导的替代方案：两名临床医生定义、定稿并裁定规则库中的四项安全检查，规则库经形式化验证内部一致性后作为 LLM 输出的护栏。每个判定可由具名规则和十六项事实重新计算。作者报告，与模型、版本、量化、规则文本和解码均匹配的 LLM 评判器相比，最大分歧类别集中在已满足规则类：Llama-3.3-70B 评判器在 65 条已含危机资源的回复中要求其中 55 条补充资源，而同一模型作为事实提取器时报告 54 条已含资源。作者同时报告该评判器在唯一有参考评分的检查上误报危机警报更少，并给出规格修订使过度拒绝基准边界提示的块类结果从 6.0% 升至 16.0% 等实测成本。
要点速读
- 两名临床医生定义并裁定四项安全检查规则，规则库经形式化验证后作为 LLM 输出护栏，每个判定可由具名规则和十六项事实重算。
- Llama-3.3-70B 评判器在 65 条已含危机资源的回复中要求 55 条补充资源，而同一模型作事实提取器时报告 54 条已含资源。
- 作者报告规格修订使过度拒绝基准边界提示的块类结果从 6.0% 升至 16.0%，主要来自事实提取变化，并保留其不确定性默认值。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/25 08:00:13（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。