回到最新动态
论文更新 / THE SIGNAL

测量、定位并削减后训练大模型的AI式文风

Measuring, Localizing, and Reducing the AI-Like Writing Style of Post-Trained LLMs

重要性 5.5 AI 辅助整理

后训练的AI式文风可被定位并在解码时消融削弱。

资讯摘要

论文比较人类文本、基座模型与对齐模型在相同人类前缀下的生成,发现对齐模型与人类语料亲和度更低、被AI检测器识别的比例更高,说明后训练使文本偏离人类风格。作者提出免训练方法PASTA,从对齐与基座的残差对比中估计“后训练对齐签名”,在解码时消融该方向;在11个对齐模型和6个检测器上,多数模型检测率下降,且效果可跨检测器迁移,随机方向无此效果。

要点速读

  1. 对齐模型生成文本的人类语料亲和度低于基座模型,AI检测率更高。
  2. PASTA通过残差对比估计对齐签名方向,并在解码时消融,无需训练。
  3. 在11个对齐模型、6个检测器上多数模型检测率下降,随机方向无法复现该效果。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开