多轮对话LLM智能体评估综述

综述用两套分类体系梳理多轮对话LLM智能体的评估维度与方法。

资讯摘要

该综述考察大语言模型智能体在多轮对话场景下的评估方法，采用类PRISMA框架系统梳理近250篇文献，提出两套相互关联的分类体系：一套界定评估对象，涵盖任务完成、回复质量、用户体验、记忆与上下文保持、规划与工具集成等维度；另一套归纳评估方法，分为标注评估、自动指标、人机混合策略与LLM自评判。

要点速读

1. 采用类PRISMA框架系统回顾近250篇学术来源，覆盖多个发表渠道。
2. 第一套分类体系界定多轮对话智能体的关键组件与评估维度，包括任务完成、回复质量、用户体验、记忆与上下文保持、规划与工具集成。
3. 第二套分类体系将评估方法分为标注评估、自动指标、人机混合策略和LLM自评判，并涵盖BLEU、ROUGE等传统指标。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。