robotstxt：测试工具能访问而实际用户失败时怎样复现条件
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7e96477112e3.html
📄
robotstxt：测试工具能访问而实际用户失败时怎样复现条件
先给结论：测试工具能取到页面，只说明它发出的那一次请求没有被 robots.txt 规则挡住，并不说明真实用户的完整链路也通。要复现差异，应把“工具请求”和“用户请求”拆成可比较的字段——来源 IP、User-Agent、请求路径、协议与端口、是否带 Cookie 或登录态、是否经过 CDN 或反向代理——然后逐项替换，观察哪一项改变后结果翻转。缺少服务器日志或权限时，仍可做最小动作：用同一路径、同一 User-Agent、同一协议手工请求一次，并记录响应状态与响应体开头；这能区分“规则拦截”和“链路其他环节失败”，但不能据此断定索引状态或收录结果。
先确认测试工具到底模拟了谁
多数在线 robots.txt 测试工具只做一件事：按你填的 User-Agent 去匹配规则，返回允许或禁止。它通常不发起真实抓取，也不携带用户的 Cookie、Referer、地域出口 IP。因此它“能访问”往往只是规则层面的判断，而不是端到端连通性证明。
把工具结果当作一个假设，而不是结论。你需要问：它用的 User-Agent 是哪一个？是通用爬虫标识，还是你手动填的字符串？真实失败的用户用的是浏览器 UA、App 内嵌 WebView，还是某个第三方抓取器？三者命中的规则组可能完全不同。
把失败请求还原成可比较的字段
以读者手里的一个具体页面为对象，先列一张对照表，左侧写测试工具的请求，右侧写失败用户的请求。至少覆盖以下字段：
- User-Agent：完整字符串，不要只写“Chrome”或“Googlebot”。
- 请求路径：是否带尾斜杠、查询参数、大小写差异、URL 编码形式。
- 协议与端口：http 与 https、80 与 443、是否经过非标准端口。
- 来源特征：出口 IP 段、国家或地区、是否来自数据中心或住宅网络。
- 状态携带：Cookie、Authorization 头、登录态、会话标识。
- 中间层：CDN、WAF、负载均衡、反向代理是否对某些 UA 或 IP 直接拦截。
逐项替换时一次只改一个字段。若把 UA 换成失败用户的 UA 后结果翻转，问题大概率在规则匹配或中间层对 UA 的处理；若换成同一 UA 仍正常，则继续查路径、协议和登录态。这个顺序能避免把“规则拦截”和“WAF 拦截”混为一谈。
缺少日志和权限时的最小动作
没有服务器日志、没有 CDN 后台、也没有抓取配置权限时，仍可执行的最小动作是：用 curl 或浏览器开发者工具，以失败用户的 UA 和路径手工请求一次，记录响应状态码、响应头中的 Server、X-Robots-Tag、Retry-After 等字段，以及响应体开头若干字符。
这个动作的结果会直接决定下一步：
- 返回 200 且内容正常：说明该 UA 在该路径下可通过，失败更可能来自用户侧网络、地域出口或登录态，下一步应换网络环境或带 Cookie 复测。
- 返回 403 或 406：更可能是 WAF 或中间层按 UA/IP 拦截，下一步应查中间层规则，而不是继续改 robots.txt。
- 返回 404 或 410：路径本身可能已变化，下一步核对实际 URL 与站点结构。
- 返回 5xx：属于服务端异常，与 robots.txt 规则无直接关系，下一步查服务可用性。
需要强调：以上任一结果都不能单独证明“处理正确”。请求量或抓取量归零，也可能是发布节奏、缓存、日志采样或统计口径变化造成的，不能只凭一个指标反推原因。
一个注明假设的短例子
假设某页面在测试工具中显示允许，但部分用户反馈打不开。你用手工请求复现：工具 UA 返回 200，换成失败用户 UA 后返回 403。此时可推断中间层对特定 UA 有拦截，而不是 robots.txt 禁止。下一步动作是导出该 UA 字符串，交给负责 WAF 或 CDN 的同事核对规则；在拿到中间层配置前，不应直接修改 robots.txt 放行，因为放行规则不会解除 WAF 拦截，反而可能扩大可抓取范围。
反过来，若换成失败用户 UA 后仍返回 200，则 robots.txt 与中间层 UA 规则都不是主因，应继续比对路径、Cookie 和网络出口。这个例子中的数字和状态码仅用于说明比较方法，不代表任何真实站点的实测结果。
哪些结论不能从复现中推出
即使你成功复现了失败条件，也只能说明该条件与失败相关，不能直接推出因果。robots.txt 的抓取限制不等于可靠的索引移除：被禁止抓取不等于页面会从索引消失，也不等于不会出现在结果中。站点地图不保证收录，提交与否和最终收录是两件事。HTTPS 不保证安全无漏洞，也不保证排名。不同搜索引擎对同一规则和同一 UA 的处理可能不同，须分别核查，不能用一个引擎的复现结果套用到另一个。
因此，复现的产出应是一份“条件—结果”对照记录，而不是一句“已修复”。把每次替换的字段、响应状态和响应体特征留下，才能让下一步判断有依据，也才能在下一次出现类似失败时快速缩小范围。
