抓取健康与爬虫合规

两页都依赖服务端记录，页面脚本给不出状态码。数据从哪来见 服务端事件与日志导入，机器人名单见 机器人与 AI 爬虫。

控制台监测抓取健康控制台监测爬虫合规

报表内容

抓取健康的卡片是总抓取次数、成功率、独立页面、404 和 5xx。成功率把状态码小于 400 算成功；没有状态码的脚本记录也算成功。趋势按引擎拆开。点一行看该爬虫抓得最多的页。

若配置了站点地图，会对比其中的地址有没有被抓过，并列出近 30 天新页面从首次出现到各引擎第一次抓取隔了多久。爬虫侧的 404 和 页面 里访客打开的 404 不是同一张表。

爬虫合规拉取站点上的规则文件，和实际抓取对比。违规类型有三种：被全局禁止仍抓取、抓了写明不允许的路径、抓取间隔短于声明的延迟。可以重新拉取并回扫。生成器能按「禁止训练爬虫」「禁止答案引擎」「只留主流搜索引擎」拼出一份规则文本，供你放到站点上。规则文件本身不能阻止抓取，这页提供的是证据。

如何使用

先看抓取健康的引擎表和 404 清单，和访客 404 都出现的路径先修。合规页点开违规行，可复制封禁片段，或把该爬虫加入站点排除规则。某个引擎 24 小时抓取量低于 7 天日均的 30% 时要收到提醒，在通知里打开「抓取异常」。

限制

只有脚本采集时，看不到状态码和响应时间，也看不到不执行脚本的爬虫。页内会提示记录里脚本和服务端各有多少条。没有规则文件或文件为空时，不会产生违规记录。

常见问题

成功率为什么接近百分之百？ 脚本记录没有状态码，会被当成成功。接入日志之后，4xx 和 5xx 才会分开。

把爬虫加入排除规则会挡住它吗？ 不会。排除只是不再把它计入 TapCub。要在服务器上拒绝，用页面给出的封禁片段。

搜索表现与内容衰减

控制台监测搜索表现控制台监测内容衰减

报表内容

搜索表现在接上账号之后，显示点击、展现、点击率、平均排名，以及按页面、查询词、国家的拆分。趋势是点击和展现。排名区间按查询词的平均排名分桶，用展现量加权。散点图每个点是一个页面，大小是展现量；排名在前 10 且点击率低于中位数的，标成优先改标题和描述的一档。平台数据通常晚 1 到 3 天，页上会写更新到哪一天。

内容衰减固定看近 13 周、每周的访客，比较「峰值 4 周均值」和「最近 4 周均值」。默认只看自然搜索，可改成全部渠道或 AI 来源。状态有增长、稳定、衰减、严重衰减和数据不足：

• 严重衰减：当前 4 周均值低于峰值均值的 40%。
• 衰减：低于 70%，且整段趋势向下。
• 增长：最近 4 周斜率为正，且增幅超过 30%。
• 数据不足：峰值周访客低于你设的门槛，不计入监测数。

结果每小时刷新一次。

如何使用

搜索表现未接入时，按页上的步骤连接 Google Search Console 或 Bing Webmaster。百度没有读取点击和展现的接口，绑定后只能把站点地图里的新页面推送出去；百度爬虫的频次仍看 抓取健康与爬虫合规。

内容衰减里点开一行，可对比衰减前 4 周和最近 4 周的来源，判断是不是只有搜索在掉。

限制

没连接搜索账号时，搜索表现没有点击和展现，不代表没有流量。来源报表从引荐地址捡到的搜索词很少，完整查询词以这里的平台数据为准，见 来源与渠道。内容衰减不使用搜索平台的排名，只用 TapCub 里的访客；门槛和渠道一改，名单会变。

常见问题

衰减页和页面报表的环比一样吗？ 不一样。页面环比跟着你选的日期。衰减固定用 13 周里两个 4 周窗口，并且默认只计自然搜索。

排名越小越好，图上怎么读？ 横轴从排名第 1 画起，越靠右越靠后。这是搜索平台同步下来的平均排名，不是 TapCub 自己算的名次。