HTTP 200 常不代表页面正文可用，会扭曲引用核查指标。
资讯摘要
论文测量了网页智能体抓取中“HTTP 200 即成功”这一假设的失效程度。作者用静态客户端与渲染浏览器抓取 10,307 个 URL，并按自动标注统计：静态客户端收到 200 的页面中 20.9% 不含正文，包括应用外壳、机器人验证、拦截页、错误与占位页及部分内容；随机不存在路径的探测中 13.1% 的站点仍返回 200。作者称该误差会传导到引用核查指标。
要点速读
- 静态客户端收到 200 的页面中 20.9% 不含正文；经 LLM 辅助复核的样本将该估计从 25.5% 下调至 20.0%。
- 随机不存在路径探测中，13.1% 的站点仍返回 200。
- 作者报告：把 200 当作内容会使可核查的论断—来源对比例高估 12.2 个百分点，并把静默引用漂移率从 5.8% 抬高到 21.9%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。