论文用时间点模型发现高时间变异性知识在预训练后期提升更快。
资讯摘要
论文利用按不同年份网络快照训练的时间点模型，提出时间变异性分数（TVS），即同一题目在各模型上负对数似然的变异系数，用以衡量知识在多年网络文本中呈现的稳定性。作者在六个基准、多个开源模型家族共六款模型上评估，发现高、低 TVS 题目在训练早期学习情况相近，但高 TVS 题目在后期提升更快；预训练结束时，36 个模型-基准设置中有 34 个高 TVS 题目表现更好，平均领先 7.3 个百分点的机会归一化准确率。
要点速读
- 论文提出时间变异性分数（TVS），以题目在各时间点模型上负对数似然的变异系数衡量知识跨年份的稳定性。
- 评估覆盖六个基准和多个开源模型家族的六款模型。
- 预训练结束时，高 TVS 题目在 36 个模型-基准设置中的 34 个优于低 TVS 题目，平均优势为 7.3 个百分点机会归一化准确率。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。