FireFly：从真实 API 生成可验证工具调用数据

FireFly 从真实 API 反向合成可验证工具调用数据

资讯摘要

论文提出 FireFly，一个从真实 MCP 服务器生成可验证工具调用数据的流水线。其思路是反转常规合成流程：先让强 LLM 沿图引导的 DAG 结构探索真实 API，再从观测到的结果反向合成任务，从而在构造上保证标签正确。为应对约 1000 个工具的工具空间，作者构建成对工具图并采样子 DAG；为应对线上 API 漂移，构建检索增强模拟器缓存并回放探索结果，支持离线可复现强化学习。最终得到覆盖 240 个服务器、993 个工具的 5144 个已验证任务；作者报告用 GRPO 训练的 4B 参数模型在留出测试集上匹配 Claude Sonnet 4.6，并在 Tau2-Bench、MCPMark、MCP-Atlas 等基准上有提升。

要点速读

1. 论文提出 FireFly 流水线，从真实 MCP 服务器反向合成可验证工具调用任务。
2. 生成 5144 个已验证任务，覆盖 240 个服务器、993 个工具。
3. 作者报告 4B 模型经 GRPO 训练后在留出测试集上匹配 Claude Sonnet 4.6，并在多个工具调用基准上有提升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。