Roblox 游戏搜索的多组件查询理解：搜索感知强化学习

Roblox 用组件级搜索感知 RL 优化查询理解，NDCG@20 较 SFT 提升 8.9 点。

资讯摘要

论文针对生产搜索系统中查询理解（QU）多子任务合并为单一模型后的优化难题，提出搜索感知强化学习框架：先以教师-学生监督微调得到符合 schema 的小模型策略，再在线上生产搜索引擎上执行每个 QU 计划，按各组件在搜索流程中的实际作用分别设计奖励。作者报告，在大型用户生成游戏平台上，该组件级优化使 NDCG@20 较 SFT 策略提升 8.9 点，较单一端到端奖励提升 3.5 点，小模型表现超过更大的教师模型，最终模型正逐步上线。

要点速读

1. 方法为 distill-then-RL：先教师-学生 SFT 得到符合 schema 的小策略，再进入强化学习阶段。
2. RL 阶段在线上生产搜索引擎执行 QU 计划，按各组件运行角色定制奖励，而非只用最终搜索结果的单一奖励。
3. 作者报告 NDCG@20 较 SFT 提升 8.9 点、较单一端到端奖励提升 3.5 点，小模型超过教师模型并逐步部署。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。