Library of Layers：运行时动态排序 Transformer 层

论文提出推理时动态排序 Transformer 层的 LoL 架构。

资讯摘要

论文提出 Library of Layers（LoL）架构，在推理时动态决定 Transformer 层的执行顺序，而非固定顺序。LoL 仅有一个超参数，即全局 transformer 块库的大小，可在参数复用与稀疏化之间切换，统一涵盖稠密、深度循环与混合专家架构的效率权衡。作者报告在文本预训练上性能与三类基线相当；在数独和迷宫任务中，模型用不同层序实现不同解题策略，且可通过干预路由强制指定策略；多语言场景下层序随语言和文字系统变化。

要点速读

1. LoL 在推理时动态排序层，单一超参数控制全局 transformer 块库大小，统一稠密、深度循环与 MoE 的效率权衡。
2. 作者报告文本预训练性能与三类基线相当；数独和迷宫任务中不同层序对应不同解题策略，干预路由可强制指定策略。
3. 多语言设置下层序随语言和文字系统变化；安全数据上路由探针以高 AUROC 区分安全与不安全文本。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。