论文称 GPT-4o 或能识别未授权非公开书籍内容。
资讯摘要
一篇 arXiv 论文用 34 本合法获得的 O'Reilly Media 版权书籍（13,962 段）构建数据集，以 DE-COP 成员推断攻击测试 OpenAI 模型是否“认得”其未获授权训练的非公开付费内容。作者报告 GPT-4o 对非公开书籍的识别 AUROC 为 0.82（95% 自助法置信区间 0.60–0.96），而 GPT-3.5 Turbo 与 GPT-4o Mini 接近随机（0.54、0.56）。结果经独立改写模型与留一书敏感性分析检验，但作者称样本小、结论仍属初步。
要点速读
- 论文使用 34 本合法获得的 O'Reilly Media 版权书籍、共 13,962 段，聚焦非公开付费内容而非仅训练集收录。
- 作者报告 GPT-4o 识别非公开书籍的 AUROC 为 0.82（95% CI 0.60–0.96），GPT-3.5 Turbo 与 GPT-4o Mini 分别为 0.54 和 0.56。
- 作者用 Gemma、Qwen 独立改写及留一书分析验证稳健性，并称样本小、存在污染可能，结果仍属初步。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。