预注册的可靠性检测假设被证伪，语义证据判官事后补救。
资讯摘要
论文研究TRIAGE两级LLM服务方案，依据生成后的可靠性状态与随负载变化的GPU成本决定是否将请求从小模型升级到大模型。作者在单张A40上用VLLM部署Qwen2.5-7B与32B（AWQ）测试：升级成本从1到10请求/秒上升21.9倍，但与KV缓存余量无单调关系；预注册的“可靠性状态可检测被污染证据（AUROC≥0.70）”被证伪，实测0.571。事后引入语义证据判官将检测提升至0.846。
要点速读
- 升级成本从1到10请求/秒上升21.9倍，且与KV缓存余量无单调关系。
- 预注册假设“可靠性状态检测被污染证据AUROC≥0.70”被证伪，实测0.571；纯提示路由器按构造恰为0.500。
- 事后语义证据判官将检测提升至0.846（未服务过条目0.926），并在RGB与三组RouterBench模型对上以AUROC 0.90–0.96预测小模型错误答案。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。