面向LLM IT工单分类的成本感知弃权评估

成本感知弃权策略可显著降低工单路由成本与错误率。

资讯摘要

论文提出将成本感知弃权作为离线、成本条件下的就绪度评估：在校准数据上按显式成本选定路由策略，再在留出测试集上一次性评估冻结策略。在47,837条、八类公开工单语料上，比较四种非LLM分类器与四种大模型在零样本和少样本提示下的表现。作者报告，在示例成本(0,1,5)下，TF-IDF加逻辑回归以0.60阈值将测试成本从0.763降至0.472，错误路由从15.3%降至3.5%。

要点速读

1. 评估框架：在校准集上按成本选策略，冻结后在留出测试集评估，比较四种非LLM分类器与四种LLM的零样本/少样本提示。
2. 示例成本(0,1,5)下，TF-IDF加逻辑回归阈值0.60使测试成本相对降38.1%，错误路由由15.3%降至3.5%。
3. 最强提示配置在1000条分层测试子集准确率0.477，微调DistilBERT为0.879；等渗校准降低ECE但未可靠改善区分度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。