LLB 候选模型误设下的堆叠加权聚合方法

LLB 改用堆叠加权，误设下模型权重更分散。

资讯摘要

论文针对 Large Language Bayes（LLB）在候选概率程序集合常被误设时，基于似然的贝叶斯模型平均会过度集中于单一模型、低估不确定性的问题，提出堆叠式聚合方法：以预测性能而非边际似然优化模型权重，并保留原有语言模型驱动的模型生成与模型内推断流程。由于潜变量模型中留一法预测量难以计算，作者推导出可处理的变分下界，形成基于 ELBO 的堆叠目标。作者报告在真实概率推断任务上预测表现与贝叶斯模型平均相当，但模型权重更分散。

要点速读

1. 论文提出用堆叠方法为 LLB 的候选概率程序选择权重，优化目标是预测性能而非边际似然。
2. 作者推导出基于 ELBO 的变分下界，使潜变量模型下的堆叠目标可计算。
3. 作者报告在真实概率推断任务上预测表现与贝叶斯模型平均相当，且权重更分散、减少对单一模型的集中。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。