回到最新动态
交叉发布 / THE SIGNAL

多智能体LLM流水线:分解与类型化状态的质量归因

Beyond Accuracy: Disentangling Decomposition from Typed-State Quality Assurance in Multi-Agent LLM Pipelines

重要性 4.5 AI 辅助整理

论文称多智能体流水线的准确率增益主要来自专用提示而非类型化状态。

资讯摘要

论文研究多智能体LLM流水线在需求工程中的增益来源,比较单次调用基线、复用专用提示但传递未验证中间结果的两调用变体,以及带Pydantic验证类型化状态的流水线。实验覆盖PROMISE NFR+的625条需求、三个本地部署的7–8B小模型和两种语言。作者报告F1提升主要与两调用专用提示变体相关(最高+0.075),类型化状态仅带来-0.003至+0.013的小差异,六组比较中仅一组显著。

要点速读

  1. F1增益主要关联两调用专用提示变体,最高+0.075;类型化状态差异为-0.003至+0.013,六组比较中仅一组显著。
  2. 类型化流水线在智能体边界拦截越界输出,未验证变体则在后续阶段失败并丢弃需求。
  3. 研究为关联性设计,对比混合了提示、调用次数与分阶段上下文,结果来自三个7–8B模型和单一数据集;实现与复现包已存档于Zenodo。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开