AI 生意观察
一个新站的头几天：AI 爬虫真实数据，和"被抓≠被引"的清醒
很多人建完站，盯着"访问量"发现没人来，就以为白做了。在 AI 时代，这多半是拿错了尺子。这里用一份真实的爬虫日志，讲清楚该看的到底是什么。
一句话先给你：AI 时代，一个内容站的第一价值不是"有人来看"，是"被 AI 抓取、进而被引用"。衡量它的是爬虫，不是访问量。概念见 被 AI 主动推荐（GEO 入门），这篇给你看真数据。
先看数据：头几天，谁来抓过
一个 2026 年 9 月刚上线的中文小站，内容不多、几乎没做过任何推广。只看服务器访问日志，头几天里陆续来抓的 AI / 搜索引擎：
| 引擎 | 首次来抓 | 说明 |
|---|---|---|
| 豆包（字节） | 上线当天 | 第一个到的 |
| Bing | 上线当天 | 离上线仅几分钟——只有主动推送做得到 |
| Claude（Anthropic） | 上线当天 | |
| 第 3 天 | ||
| Perplexity | 第 3 天 | |
| Meta-AI | 第 4 天 | |
| ChatGPT（OpenAI） | 第 4 天夜里 | 训练爬虫 40 秒扫完全站几十个页面 |
| Apple（Applebot） | 第 5 天 |
同一时间，真人访问几乎为零（逛过两页以上的真实访客，每天个位数）。"机器天天来、人几乎不来"——这就是一个新内容站在 AI 时代最真实的头几天。
关键一课：训练收录 ≠ 搜索收录
光看"OpenAI 来抓了"还不够。同属 OpenAI，两个爬虫干的是完全不同的事，含义天差地别：
| 训练爬虫（GPTBot） | 搜索爬虫（OAI-SearchBot） | |
|---|---|---|
| 抓走内容干嘛 | 喂给下一代模型训练 | 喂给 AI 的"实时搜索" |
| 什么时候体现 | 滞后数月（等下个模型） | 近实时 |
| 决定什么 | 将来模型"记得"你 | 现在问 AI，它当场会不会引你 |
在这个真实案例里，训练爬虫已经把全站深抓了一遍，但搜索爬虫还只反复读了 robots.txt（确认放行）、尚未回来抓正文。含义很实在：别用"现在问 AI 没提我"判断失败——训练滞后、搜索还没抓正文，时间点根本没到。真正该盯的，是搜索爬虫哪天回来抓正文。
它是怎么被发现的？（没花一分钱推广）
一个没人知道的新域名，AI 爬虫是怎么找上门的？从日志能还原出一条清晰的链路：
- 主动推送：用公开的推送协议（如 IndexNow）在上线几分钟内让搜索引擎收录——这解释了为什么 Bing 上线当天就到；
- 顺藤摸瓜：大模型的爬虫发现新站时，高度依赖搜索引擎已有的索引。域名进了搜索索引，OpenAI 这类就据此发现了它；
- 一次扫完：爬虫落到首页后，顺着干净的站内链接 + sitemap，几十秒把全站一次抓完。
换句话说，把 AI 引来的不是运气，是三件不花钱的基本功：robots 放行、主动推送、站内结构清晰。
一句必要的清醒：爬 ≠ 引。被 AI 抓取，只是拿到了"被引用的资格"，不等于已经被引用。中间还隔着"内容够不够格被挑中"这一关（有没有名字、数据、清晰结构——见 GEO 入门）。所以别一看到爬虫来了就以为赢了，也别因为暂时没被引用就以为输了。把"被抓"当过程指标，把"被引"当结果指标，别混。
老板能带走什么
- 换尺子：新站/新内容别只盯访问量（UV）。AI 时代第一层价值是"被机器读到"，UV 是很靠后的事。
- 做对三件不花钱的事：robots 放行 AI 爬虫、上线即主动推送、把内容放在结构清晰的网页上（别锁进图片、PDF、登录墙）。
- 分层看进度：先看"有没有被抓"（输入），再看"训练 vs 搜索哪种收录"，最后才是"有没有被引用"（结果）。急不得，但每一层都能量出来。
带走一句："没人访问"在 AI 时代不是失败的证据。先让机器读到你，再让内容够格被引用——这两步走完，才轮到谈"有没有人来"。
2026-09-10 · 数据来自本站真实访问日志；本文为 GEO 科普与观察，非服务推广