变量名语义接地可让LLM在少样本下高效数值预测。
资讯摘要
论文研究大语言模型在表格数据数值预测中如何利用变量名与上下文示例。作者报告，在九个科学领域的20个数据集上，五个未经任务特定训练的LLM在变量名与数值语义匹配（语义接地）时，可匹敌或超过七个监督机器学习模型，示例稀缺时尤为明显。基于物理公式的受控任务显示，LLM将领域知识与上下文示例结合的方式与贝叶斯更新一致：示例不足时依赖预训练领域知识作为先验，矛盾示例增多时预测逐步转向示例。
要点速读
- 论文报告五个未经任务特定训练的LLM在20个数据集上匹配或超过七个监督ML模型，示例稀缺时优势明显。
- 推理轨迹显示变量名使LLM调用预训练获得的领域知识。
- 基于物理公式的受控任务表明，LLM结合领域知识与上下文示例的方式与贝叶斯更新一致。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。