POETS用共享主干加LoRA分支的策略集成实现不确定性感知优化。
资讯摘要
论文提出POETS框架，将不确定性量化与策略优化结合，直接训练策略集成以捕捉认知不确定性，避免先训练不确定性奖励模型再拟合策略的嵌套流程。为降低大模型集成的算力与内存开销，集成共享预训练主干，各分支用独立LoRA保持多样性。作者报告其在蛋白质搜索、治疗分子设计、量子电路设计等任务上取得更优样本效率，并改善数学推理与代码生成中的优化轨迹和分布外迁移。
要点速读
- POETS直接训练策略集成，通过匹配隐式编码的奖励函数来捕捉认知不确定性，跳过训练奖励模型再拟合策略的嵌套过程。
- 集成共享预训练主干、各分支使用独立LoRA，以缓解大模型集成的算力与内存限制。
- 作者报告其在蛋白质搜索、治疗分子设计、量子电路设计上样本效率领先，并改善数学推理与代码生成的优化轨迹与分布外迁移。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。