SelfMorph：让冻结大模型按输入自适应调整计算拓扑

冻结大模型可按输入自适应选择内部计算拓扑以提升表现。

资讯摘要

论文提出 SelfMorph，将冻结大模型的计算形态变为依赖输入的推理时决策，统一了原始前向路径（BASE）、层段串行复用（REPEAT）与扰动隐状态的局部分支合并（BRANCH）三种形态，并用轻量选择器在生成前依据提示的逐层隐状态轨迹选择形态。作者报告在 4B–27B 的三个模型上，五个分布内基准平均相对提升 8.06%，四个未见基准提升 4.45%，27 个设置中 24 个表现最佳。

要点速读

1. SelfMorph 以类型、位置、强度参数化 BASE、REPEAT、BRANCH 三种计算形态，由轻量选择器在生成回答前选定。
2. 选择器通过蒸馏离线形态搜索的效用分布训练，同时考虑任务表现与计算开销。
3. 作者报告在三个 4B–27B 模型上，分布内基准平均相对提升 8.06%，未见基准提升 4.45%，27 个设置中 24 个最佳。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。