论文提出免调参的 Transformer 变量选择方法 MambaPFN
资讯摘要
论文提出 MambaPFN，一种基于 Transformer 的模型无关变量选择方法，用于识别对响应变量存在一般非线性依赖的变量。作者将其视为从数据集到相关变量的可学习映射，并引入三部分设计：可扩展的预训练数据生成方案、以各变量后验纳入概率为目标的目标函数，以及为变量选择改造的 Transformer 架构。预训练后无需参数更新即可用于新数据集。作者报告在模拟研究中表现良好并呈现缩放规律，在 Facebook 评论数据集上所选变量最少，计算效率与预测性能最优，较最佳基线提升约 20%。
要点速读
- 论文提出 MambaPFN，基于 Transformer 做模型无关的非线性变量选择，预训练后无需参数更新即可用于新数据集。
- 方法包含三部分：可扩展的预训练数据生成方案、针对各变量后验纳入概率的目标函数、改造后的 Transformer 架构。
- 作者报告模拟研究表现良好并呈现缩放规律；在 Facebook 评论数据集上较最佳基线提升约 20%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。