论文发布多标注者基准ANT-A与多智能体标注框架ANT-OR
资讯摘要
论文提出ANT-A基准，覆盖7个数据集、多领域多模态，每个实例含5个人工独立标注及任务专属指南，用Fleiss kappa衡量模型标注与人类标注分布的一致性。作者还提出多智能体标注框架ANT-OR，从正负反馈中提炼对比性决策规则来优化提示词。作者报告ANT-OR在agreement@>=2准确率上比最强基线高4.5个百分点，Fleiss kappa与人类标注分布的差距在2分以内。
要点速读
- ANT-A基准含7个数据集、任务专属指南，每实例5个人工标注，支持分布感知评估
- ANT-OR通过正负反馈提炼对比决策规则来改进提示词
- 作者报告agreement@>=2准确率提升4.5个百分点，Fleiss kappa差距在2分以内
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。