面向流式离线强化学习的价值校正蒸馏

论文提出 VRD 框架，缓解流式离线 RL 蒸馏中的模式平均问题。

资讯摘要

论文针对离线强化学习中蒸馏基于 Flow Matching 的行为策略时出现的分布外模式平均问题，提出价值校正蒸馏（VRD）框架，将离线策略蒸馏重构为价值引导的生成轨迹对齐问题，通过动态耦合机制校正流动力学以解耦不同行为模式。作者给出 VRD-Q 与 VRD-R 两种算法，并在 D4RL、OGBench 和 Minari 基准的连续控制与规划任务上报告了相对生成式基线的提升。

要点速读

1. 论文指出标准蒸馏在多模态数据集上会迫使策略在不同行为模式间插值，导致动作落入无效的分布外区域。
2. VRD 通过动态耦合机制校正流动力学，显式解耦行为模式并分离高价值动作。
3. 作者实例化 VRD-Q（价值分位数行为蒸馏）与 VRD-R（重组潜空间以几何隔离高价值轨迹）两种算法，并在 D4RL、OGBench、Minari 上报告改进。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。