后训练让模型写作更可预测，但作为评审几乎不偏向可预测写作

后训练让模型写作更可预测，但评审偏好几乎未同步偏移。

资讯摘要

论文追踪 OLMo-2 与 Zephyr 两个 7B 模型家族，从基座到 SFT、DPO 各阶段，分别测试其写短篇故事和评审故事对的能力。作者报告：作为写作者，模型输出按基座、SFT、DPO 顺序变得更可预测；但作为评审，对更可预测故事的偏好增长不足一个选择概率百分点。训练反而使评审更受故事长度和展示顺序影响。

要点速读

1. 作者报告两个模型家族在全部十个提示下，写作可预测性均按基座、SFT、DPO 顺序上升。
2. 另一家族模型评估显示，训练后故事每 token 的意外度降低 7.0–9.2%（OLMo-2）和 24–25%（Zephyr）。
3. 评审对可预测故事的偏好增长未达一个百分点，单侧 95% 上界约 5 个百分点；训练后评审更受长度与展示顺序影响。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。