机器人与 AI 爬虫

新建项目默认是「识别并单独统计」：已识别的机器人只进这张报表，不抬高人类概览。

控制台网站统计机器人

报表内容

页内有三个页签：「AI & agents」「AI 可见性」和「All bots」。

「AI & agents」的卡片是 AI 请求数、AI Agent 数、AI 爬虫数和 AI 引流回访。下面的「AI 内容账本」按运营商列出抓取次数（训练爬虫与答案引擎分列）、引流回访的访客数和回报率。回报率是该运营商的读取次数除以它带回的人类访客数。再往下是读取与回访的趋势，以及被读最多的页面。

「AI 可见性」把抓取、带回的访问和两者之比放在一起，见 AI 流量闭环。

「All bots」列出机器人、运营商、用途、请求数、访问页面数、最常见状态码、最后发现、可信等级、命中的检测层和来源通道。用途包括搜索、AI 训练、AI 答案引擎、监控等。搜索引擎另有一张抓取健康小表：抓取量、成功率、404 和 5xx。认错了可以点「报告误判」，由平台管理员审核。

如何使用

先看账本里谁在读、谁带回了人。再打开「All bots」，核对某一条爬虫的页面和状态码。声明文件有没有被遵守，去 抓取健康与爬虫合规。

限制

只装页面脚本时，只能看到会执行脚本的机器人，页面顶部会说明这一点。状态码、响应时间和不执行脚本的爬虫，需要服务端采集或日志导入，见 服务端事件与日志导入。可信等级分已验证、疑似和未验证，未验证不代表一定是伪装。

常见问题

人类报表里还有机器人吗？ 默认模式下，已识别的机器人不进入访客、会话和浏览的人类合计。只有在设置里选了「不识别」才会混在一起，不建议这样做。

回报率和 AI 可见性里的比例一样吗？ 不一样。回报率是读取次数除以带回的访客数，越大表示读得多、带回的人少。可见性里的「抓取→访问比」是带回的访问除以抓取，方向相反。

AI 流量闭环

它不预测排名，也不代替搜索平台的点击数据。

控制台网站统计机器人控制台网站统计来源

在机器人页打开「AI 可见性」页签。在来源页打开「AI 来源」页签，那里只计人，不计爬虫。

报表内容

「AI 可见性」有四张卡：「AI 爬取」、「AI 带来的访问」（来源为 AI 助手的会话）、「抓取→访问比」（带来的访问除以抓取）和「站点地图覆盖」（配置了站点地图时，AI 爬虫抓过其中多少地址）。趋势把爬取和带来的访问画在一起。「按 AI 品牌」表有抓取、页面、访问和抓取→访问比。

下方是「被引用页面」（被 AI 助手带来访问的落地页）和按爬虫的覆盖。来源页的「AI 来源」与这里的「AI 带来的访问」同一口径：人类会话，不是请求次数。

如何使用

先看比例和品牌表，找出抓得多、访问少的品牌，再看被引用页面里是哪篇文章。要改渠道归类，用来源页的渠道规则，见 来源与渠道。

限制

只有页面脚本时，爬取次数不完整，不执行脚本的爬虫需要 服务端事件与日志导入。没配置站点地图时，覆盖显示为空，不是 0%。查询词级别的数据在搜索表现，见 搜索表现与内容衰减。

常见问题

来源页已经有 AI，为什么还要看机器人页？ 来源页只计被带回来的人，机器人页才有爬虫读了多少次。两边一起看，才知道读取和回访是否成比例。

这个比例是点击率吗？ 不是。它是带来的访问除以抓取次数，不是搜索结果里的点击除以展现。机器人页「AI 内容账本」的回报率方向相反（抓取除以访客），见 机器人与 AI 爬虫。