论文提出用共享离散决策路径统一表示神经网络权重。
资讯摘要
论文提出 TWIG（Tree-structured Weights with Inherited Gates），将神经网络每个权重表示为一条由符号、2 的幂次移位、零门控和共享表索引等小离散决策组成的路径，路径上层决策被下层权重继承并只存储、应用一次。作者称任意训练好的网络都可写成 TWIG，剪枝、量化、低秩分解、码本与权重共享可统一为对同一对象的编辑；在大型语言模型五个权重矩阵上，按电路成本逐权重选择带符号 2 的幂次项、不使用组缩放的扁平树，在 3 位和 4 位精度下达到相同层误差时，典型矩阵比 GPTQ 少 9–15% 加法，强离群矩阵少 20–55%。
要点速读
- TWIG 将每个权重表示为符号、2 的幂次移位、零门控、共享表索引等离散决策组成的路径，上层决策由下层权重继承。
- 论文称任意训练好的网络都可写成 TWIG，剪枝、量化、低秩分解、码本和权重共享成为对同一对象的编辑。
- 作者报告在大型语言模型五个权重矩阵上，扁平 TWIG 在 3 位和 4 位精度达到相同层误差时，典型矩阵比 GPTQ 少 9–15% 加法，强离群矩阵少 20–55%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:26（北京时间）。