用智能体审计斯洛伐克语 FineWeb2 语料

智能体审计发现 FineWeb2 斯洛伐克语部分 5.32% 为机器生成内容农场文档。

资讯摘要

论文提出把 LLM 用作语料调试器而非分类器：一个可调用工具的智能体通过只读、有预算限制的 API 探索 FineWeb2 的斯洛伐克语部分（2650 万文档），将发现编译为可执行测试，再由母语者验证。三次运行各花费 2.21–2.84 美元，在四类现象上共得到 7 项发现；最大一项是 1,408,437 篇（5.32%）机器生成内容农场文档通过了流水线过滤。盲评支持 7 项中的 6 项。编译后的测试套件无需 GPU，0.7 秒即可扫描全语料。

要点速读

1. 智能体在 FineWeb2 斯洛伐克语 2650 万文档上三次运行，各花费 2.21–2.84 美元，共发现 7 项问题，涉及四类现象。
2. 最大发现是 1,408,437 篇（5.32%）机器生成内容农场文档通过过滤，其中 86.6% 也能通过更严格阈值。
3. 盲评支持 7 项发现中的 6 项，缺陷率 0.53–1.00，随机对照为 0.08；编译测试套件 0.7 秒扫描全语料，无需 GPU。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。