面向多轮对话的语义缓存方法

论文用学习复用风险改进多轮对话语义缓存

资讯摘要

论文指出，多轮对话中缓存回复是否可复用取决于双方对话历史，而请求与历史的嵌入相似度预测效果较差（五个工作负载上 AUC 为 0.62–0.74）。作者提出从评判反馈中学习复用风险，并按预算选择要缓存的对话状态，给出 CUCB-SC-MT 与在线学习的 CLCB-LS-MT。在 SocraTeach 与 Taskmaster-3 上，两者损失低于 ContextCache、ElastiCache 和 vCache 的多轮变体及单轮语义缓存。

要点速读

1. 论文报告嵌入相似度难以预测多轮缓存复用是否可接受，五个工作负载 AUC 为 0.62–0.74。
2. 方法从评判反馈学习复用风险，权衡复用省下的生成成本与不可接受复用的代价，按预算选择缓存对话状态。
3. 在 1000 条缓存条目下，CLCB-LS-MT 通过可接受复用避免 35–41% 生成成本，基线至多 22–25%，估计服务延迟降低 19–35%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。