论文估计 Common Crawl 归档网站中约两成以机器生成文本为主。
资讯摘要
论文提出 DeGenTWeb，用于系统识别信息性正文主要由大语言模型生成、人工输入很少的网站。作者将机器生成文本检测器适配到网页，并聚合站内多页结果做站点级判定，称仅 0.12% 的人工撰写网站被误标。作者报告 Common Crawl 2026 年 1—7 月归档网站中 20.9%、2025 年 Bing 搜索结果链接网站中 13.6% 为 MGT 主导，且该比例随时间上升、许多站点归属同一所有者。
要点速读
- 论文提出 DeGenTWeb，将 MGT 检测器适配网页并聚合多页结果，实现站点级分类，作者称人工撰写站点误标率为 0.12%。
- 作者报告 Common Crawl 2026 年 1—7 月归档网站中 20.9% 为 MGT 主导，2025 年 Bing 搜索结果链接网站中为 13.6%，并称这些是下限。
- 作者发现 MGT 主导网站占比随时间增长，且许多此类网站由同一所有者拥有；代码与数据将在论文发表后发布。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。