多路径LLM推理的多样性合并

论文用多样性合并解释多路径推理饱和并提出Adaptive-K规则。

资讯摘要

论文将多路径LLM推理（如自一致性SC采样K条路径后多数投票）形式化为无线通信中的多样性合并问题：每条路径视为含噪信道观测，路径正确性的两两相关性使投票的有效样本量存在上限，从而解释准确率随K增大而饱和。作者用广义最小二乘法分析指出，等增益路径下最优线性合并器为均匀加权，支持多数投票作为默认做法。在5个模型、12个基准上，提示模板多样性在60个模型-基准组合中的55个降低了路径相关性，平均相对降幅16%。论文还提出用四条路径试点选择K*的Adaptive-K规则，在Math、QA、NLU任务上保留MV@K=32准确率的96%–103%。

要点速读

1. 论文把多路径LLM推理类比为无线通信的多样性合并，路径正确性相关性限制了投票的有效样本量。
2. GLS分析显示等增益路径下最优线性合并器为均匀加权，支持多数投票作为标准SC的默认选择。
3. 5模型12基准测试中，提示模板多样性在55/60个组合里降低路径相关性，平均相对降幅16%；Adaptive-K规则保留MV@K=32准确率的96%–103%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。