面向多轮交互的测试时策略自适应

论文用用户反馈做测试时策略自适应，并提出单步算法 ROSA。

资讯摘要

论文提出 T2PAM 范式，将多轮对话中的用户反馈作为奖励信号，估计与用户偏好对齐的潜在最优策略，并只更新少量参数以引导模型，实现对话内自我纠正。作者还给出轻量算法 ROSA，用单步更新逼近理论最优策略，避免迭代梯度优化，并称理论分析保证其随交互次数增加收敛到用户偏好；实验报告任务效果与效率均有提升。

要点速读

1. 论文提出 T2PAM：把多轮交互中的用户反馈当作奖励信号，估计潜在最优策略并更新少量参数。
2. 作者提出轻量算法 ROSA，以单步更新逼近理论最优策略，减少迭代优化开销。
3. 作者报告理论分析保证策略随交互次数收敛到用户偏好，基准实验在效果与效率上均有提升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。