HPC 工单助手合并双工具未超单工具,微调模型表现最佳。
资讯摘要
论文提出一个面向 HPC 用户支持的智能体助手,通过 Model Context Protocol 调用两个工具:对实时文档做 RAG 检索,以及用 QLoRA 在 11,244 条历史工单问答对上微调的 Llama-3-8B,并合并两者答案。所有模型均在本地或校内托管服务运行,以避免工单数据外流。在 Purdue RCAC 的 400 张留出工单上,作者报告将解决方案改写为自助指引后微调效果最好,BERTScore F1 从 0.06 升至 0.27;端到端系统未超过其工具,合并结果 78% 跟随文档工具。
要点速读
- 助手通过 MCP 调用文档 RAG 与工单微调模型两个工具,并合并答案;模型均在本地或校内服务运行。
- 微调数据为 11,244 条历史工单问答对,基座为 Llama-3-8B,采用 QLoRA。
- 在 400 张留出工单上,作者报告微调模型 BERTScore F1 由 0.06 升至 0.27;端到端系统未优于单工具,合并答案 78% 跟随文档工具。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。