高聚合分数可能掩盖LLM编码流程的标签级失效
资讯摘要
论文对基于码本的LLM内容分析流程开展大规模失效模式分析，覆盖四个数据集和五个模型，在受控扰动、领域偏移与优化流程下考察其稳定性、鲁棒性和概念效度。作者报告，高聚合分数常与标签级差异、多次运行不稳定、领域敏感及标签解释漂移并存，且这些失效在准确率和micro-F1等常用指标下难以察觉，并在常见优化策略下持续存在。
要点速读
- 论文在四个数据集、五个模型上系统评估LLM编码流程的稳定性、鲁棒性与概念效度
- 作者报告高聚合分数常与标签级差异、运行间不稳定和领域敏感并存
- 这些失效在准确率、micro-F1等标准指标下大多不可见，且在常用优化策略下仍存在
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。