回到最新动态
交叉发布 / THE SIGNAL

Artifact Distillation:免训练从前沿模型向小模型迁移

Artifact Distillation: Training-Free Transfer from Frontier to Small Language Models

重要性 5.5 AI 辅助整理

免训练外化解题过程,可让较小模型跨家族受益。

资讯摘要

论文提出 Artifact Distillation:让教师模型解题并把解题过程外化为可查询的 artifact bank,学生模型在推理时查询该库,无需梯度更新。作者报告在四个 LiveBench 任务上,Claude Opus 4.5 编写的库使 Claude Haiku 4.5 在空间推理上以 60% 成本取得 0.707 分,超过未辅助的 Claude Sonnet 4.5 的 0.647 分;同一原始库将 Qwen3.5-27B 的汇总分数从 0.730 提升到 0.800。

要点速读

  1. 方法将教师模型的解题过程外化为 artifact bank,学生模型推理时查询,不做梯度更新。
  2. 作者报告 Haiku 4.5 在空间推理上以 60% 成本得 0.707,高于 Sonnet 4.5 的 0.647。
  3. 同一原始库使 Qwen3.5-27B 汇总分数从 0.730 升至 0.800,显示迁移不限于教师模型家族。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开