当 200 OK 不等于答案：智能体网页内容获取中的静默抓取失败
Shuyang Zhang
摘要
网页智能体与答案引擎在提问时抓取页面，对引用来源的「存活检查」把 HTTP 200 当作成功。本文测量这一假设的失效频率及其对「基于抓取页面得出的测量」的影响：三天内用礼貌的静态客户端与渲染浏览器客户端抓取 10,307 个 URL，覆盖 1,507 个站点、五个分层、每站随机不存在的路径，以及 ExpertQA 中专家核验论断所引用的 4,795 个 URL。作者给出「200 响应里究竟装了什么」的分类法，自动标注静态 200 响应，并以 LLM 助手复核 300 项、人工复核其中 60 项。按自动标注，静态客户端收到 200 的页面中 20.9% 不含页面主体内容（应用外壳、反爬挑战、封禁页、错误与占位页、部分内容）；在被应答的随机路径探测中，13.1% 的站点返回 200。误差会传播：把 200 当作内容，会让「可对活内容核验」的论断—来源对比例被高估 12.2 个百分点，并把表面上的「静默引用漂移率」从 5.8% 抬到 21.9%。廉价启发式（文本长度、探测对比、重定向到根）可召回 86% 的不可用响应，误报约 5%。作者主张：智能体及其评测应显式报告抓取结果，而不是从状态行反推。
引用本文条目
GB/T 7714-2015
Shuyang Zhang. When 200 OK Is Not an Answer: Silent Fetch Failures in Agentic Web Content Acquisition[EB/OL]. arXiv preprint (cs.IR), 2026(2026-10-31)[2026-11-13]. https://arxiv.org/abs/2611.00884.
BibTeX
@misc{zhang2026,
author = {Shuyang Zhang},
title = {When 200 OK Is Not an Answer: Silent Fetch Failures in Agentic Web Content Acquisition},
year = {2026},
organization = {arXiv preprint (cs.IR)},
howpublished = {\url{https://arxiv.org/abs/2611.00884}},
} 本条目为「智联观察」资料库收录，引用时请注明来源与本页链接。