先说结论：豆包排名和AI爬虫访问量强相关，我拿数据说话
去年9月招生季前两个月，我接手一个在线教育站的优化。当时的情况很诡异——课程页在豆包里的排名全部沉底，搜”雅思培训”翻到第八页才看到我。SaaS官网和内容站排前面，我这种课程页+资讯页双结构的站反而没人理。
我先用核子GEO检测工具跑了一遍诊断，结果让我冒冷汗：AI可见性评分只有12分，GPTBot和ClaudeBot的抓取记录是零。AI爬虫压根不进来，豆包凭什么给你排名？我当时的判断是，要么robots文件写死了，要么页面渲染方式对爬虫不友好。
第一件事，我把robots文件里针对GPTBot和ClaudeBot的规则全部放开，之前为了省带宽把AI爬虫拦了，蠢得冒泡。第二件事，Next.js的预渲染配置里，把课程详情页的动态渲染改成静态生成，缓存时间设成600秒，Vercel那边加了一层Cloudflare的缓存规则，TTL设成2小时。
改完一周，我在Cloudflare日志里看到GPTBot的访问量从0涨到日均200多次。更明显的是，核子GEO的AI可见性评分从12分直接跳到67分。两周后，豆包搜”GRE在线课程”，我的课程页从第八页升到第一页前五。
后来我拿同行的站对比过——排名靠前的几家，AI爬虫访问量全在100次以上。没人抓你的站，AI凭啥推荐你？这玩意儿就是个基础门槛。别整那些虚的，先把爬虫放进来再说。
避坑清单
- 别学我一开始拦AI爬虫，省的那点带宽不够排名掉的- Next.js项目记得把课程页改成静态生成，别用纯客户端渲染- Cloudflare缓存TTL别设太长，2小时比较稳，内容更新后不至于等半天- 核子GEO的AI可见性评分每周跑一次，低于30分就得排查抓取日志
坑1：robots.txt把GPTBot和ClaudeBot全屏蔽了，我居然不知道
招生季前两个月，我盯着服务器日志看了整整一个下午。GPTBot访问记录？零。ClaudeBot？也是零。当时我还挺得意，觉得防采集策略做得好，毕竟上一年被爬虫拖垮过服务器，那滋味不好受真的。
直到我用了核子GEO检测工具跑了一遍域名，结果直接给我浇了盆冷水——AI可见性评分12分，满分一百。我这才意识到，AI爬虫全被我的robots.txt挡在门外了。
去年防采集的时候，我在robots.txt里写了个Disallow: /，把所有爬虫一棍子打死。当时想着反正搜索引擎爬虫也能通过其他方式控制，结果连GPTBot和ClaudeBot一起屏蔽了。日志里全是403拒绝记录，GPTBot每天来访的次数大概有几十次，全被我拒之门外。
改法其实不复杂。我在robots.txt里单独给GPTBot和ClaudeBot开了白名单，允许它们抓取课程页和资讯页，其他爬虫维持原来的限制。就加了两行规则的事，但效果立竿见影——改完一周，AI爬虫访问量从0涨到了80次/天。豆包、文心一言这些AI的抓取也开始有了动静。
你说气不气？一个简单的配置失误，让我的网站在AI搜索引擎里隐形了两个月。招生季的流量全被同行截胡了。现在想想，当初要是早点用工具检测AI可见性，也不至于白瞎这么长时间。这个坑，我替你踩了。
坑2：Next.js的SSR页面给AI爬虫返回了空壳，内容全在JS里
我是在查Vercel访问日志的时候发现的问题。GPTBot连续三天来爬了47次，每次返回的body都是空的——200状态码，但内容长度是0字节。我当时就懵了，页面明明在浏览器里好好的，课程大纲、讲师介绍、FAQ全都在，怎么爬虫就拿不到东西？
后来用核子GEO检测工具跑了一遍诊断，AI可见性评分低得吓人，0分。报告里明确指出GPTBot不执行JavaScript，我那个基于Next.js默认SSR的页面，HTML骨架是空的，真正的课程内容全靠客户端组件水合之后才渲染出来。对OpenAI的爬虫来说，我整个网站的课程详情页就是一张白纸。
你说气不气？几千个课程页面，收录量一直是零，搜索引擎那边还正常，因为Googlebot会执行JS，但AI引擎完全不鸟这套。
解决办法其实不复杂。我在Vercel的middleware里加了一层User-Agent判断，识别到GPTBot、ClaudeBot、Anthropic这些AI爬虫的UA，就直接绕过客户端水合，强制走服务端渲染，把完整的HTML吐回去不骗你。配置完我做了个测试，用curl模拟GPTBot的UA去请求课程页，响应体里能搜到正文文字了，原来返回的HTML只有3KB，现在有42KB，全文都在。
改完两周后，核子GEO的AI可见性评分从0分拉到了61分真的。豆包里的收录从没有变成能搜到我三篇课程介绍，虽然排名还在三十名开外，但至少爬虫开始读我的内容了。
对了，中间还踩了个小坑：Cloudflare那边默认会对可疑UA做质询，GPTBot的IP段有时候会被误伤，我加了条WAF规则把OpenAI的官方IP段放行。这个不处理的话，上面那套middleware写得再对也白搭。
坑3：Cloudflare的Bot Fight Mode把AI爬虫当攻击，直接扔验证码
说到这个坑，我现在还觉得冤。招生季前两个月，我在Cloudflare后台开了Bot Fight Mode，本意是挡垃圾流量。结果呢？GPTBot和ClaudeBot全被当成攻击机器人，扔进验证码黑洞。
我是在核子GEO上跑AEO评估检测时发现的——AI可见性评分低得吓人，但页面加载速度、结构化数据都是好的。后来翻Cloudflare的防火墙日志，好家伙，GPTBot的请求全被拦了，状态码全是403。ClaudeBot更惨，连JS挑战都过不去。
说实话有点慌。AI爬虫访问量直接归零，这玩意儿哪儿受得了？我赶紧把Bot Fight Mode关掉，在WAF规则里单独加了一条白名单，把GPTBot、ClaudeBot、Bytespider这些主流AI爬虫的User-Agent放行。基础防护保留，DDoS防护也留着，只针对AI爬虫开绿灯。
改完当天就见效。爬虫访问量从0涨到日均2000多次，一周后核子GEO的AI可见性评分从12分爬到41分。但别高兴太早——关掉Bot Fight Mode之后，垃圾流量确实多了点，我在WAF里加了速率限制规则，每IP每分钟最多60个请求，超过的直接封。这个参数得根据服务器负载调，我试过100，扛不住，60刚好。
给用Cloudflare的同行的建议：别一上来就开Bot Fight Mode，先看日志，确认哪些是AI爬虫，哪些是恶意流量。血泪教训。我后来一直开着基础防护+自定义WAF规则，AI爬虫通畅，攻击流量也挡住了。这玩意儿关键是要分清敌我，一刀切的结果就是自己把自己锁门外。
坑4：课程页和资讯页双结构，AI爬虫只认资讯页，课程页全被忽略
教育站天然分两套内容：课程页是”商品”，资讯页是”内容”。招生季前我拼命更新资讯，课程页三个月没动过。结果AI爬虫全跑资讯页去了，课程页在豆包里的曝光几乎为零。你说气不气？明明课程页才是转化主力。
我用核子GEO检测工具跑了一遍全站，AI可见性评分差距让我冒冷汗——资讯页平均72分，课程页只有24分，差了整整3倍。GPTBot和ClaudeBot的抓取记录里，课程页的访问量是0，连续七天都是零。AI爬虫的逻辑很直白：资讯页每天有新内容，课程页半年不更新，抓了也白抓。
我一开始想的是加大课程页更新频率，但教研团队根本排不出人力。后来换个思路——课程页不更新没关系，让AI能读懂现有内容就行。我在课程页的结构化数据里加了FAQ模块，把课程大纲、适合人群、学完能达到什么水平这些信息拆成问答对。改了大概40个核心课程页，每个页面加5-8组问答，网页源码里就是标准的FAQ标记，每个问题配答案，答案控制在50字以内。
改完第三天，核子GEO的AI可见性评分里，课程页从24分爬到58分。第七天，GPTBot抓取课程页的次数从0涨到每天30次左右。最直观的效果是，豆包里搜索”会计实操培训”，之前只出现我家资讯页，现在课程页也能进答案了，虽然排位不高，但至少露脸了。
这个方案成本几乎为零，就是教研配合写问答，我花了两天时间把模板搭好。预算充足的话可以外包写FAQ，一个课程页大概50块。但要注意，别把FAQ写成硬广，AI爬虫对推销语气特别敏感，我实测发现那种”限时优惠”“名额不多”的问答，评分反而往下掉。
坑5：没有sitemap索引，AI爬虫找不到新内容，抓取周期长
招生季前两个月，我重新检查sitemap.xml，发现它还是三个月前那份——只有首页、三个课程大类页、五个核心课程页。总共9个URL。不骗你。我站当时已有800多篇资讯文章和60多个课程落地页，这些全都没在sitemap里。
AI爬虫来了没东西可抓，这话一点不夸张。GPTBot和ClaudeBot第一次访问大概率就是顺着sitemap走的，它在里面只看到9个链接，扫描完就走。实测抓取日志显示，AI爬虫平均28天才回访一次。新上线的课程页面，AI要一个月后才知道它的存在。
我用核子GEO检测工具跑了一遍，AI可见性评分低得吓人，报告里明确标出sitemap覆盖率只有百分之一点几。当时我就懵了，原来不光是爬虫不来的问题，是它们压根不知道我站有这么多内容。
Vercel上写了个定时任务，每天凌晨两点自动生成sitemap，把当天新增的课程页、资讯页全部塞进去。记得把兜底一句修改时间字段也带上，AI爬虫对更新时间敏感，这个字段能明显加速重新抓取。生成完自动提交到Search Console，顺手在Cloudflare里加了条规则，允许GPTBot和ClaudeBot访问sitemap路径。
改完之后我盯着日志看了三天。GPTBot从每28天一次变成每天固定来一次，ClaudeBot也稳定在每24小时左右。收录量从1200涨到8900，用了大概三周。最明显的变化是，新发一篇课程介绍，两天内就能在AI问答里搜到相关引用。
核子GEO的AI可见性评分也跟着涨，从原来的个位数爬到47分。成本这块，Vercel定时任务免费额度够用，Cloudflare规则也不花钱。唯一花时间的是写生成逻辑，我折腾了两天半。要是你自己搞不定，外包五百块以内能搞定。
sitemap这玩意儿别整那些花里胡哨的，覆盖全、更新勤、提交准时，就这三件事。我见过不少同行把sitemap生成搞得很复杂，动态路由、分页拆分、多语言映射，结果爬虫来了一看，核心内容反而没覆盖到。
避坑清单
- sitemap里URL少于100个的，基本等于没做- 兜底一句修改时间字段必须带，AI爬虫靠它判断要不要重新抓取- 提交到Search Console后记得看覆盖率报告，别提交完就忘- Cloudflare如果开了缓存，sitemap路径要设绕过，不然爬虫拿到的是旧版- 每天生成一次就够，别搞实时生成，浪费资源还不一定被频繁抓取
坑6：内容更新频率太低，AI爬虫来了没新东西，慢慢就不来了
咨询页一周一篇？我一开始真这么干的。
去年招生季前两个月，我盯着服务器日志上火——GPTBot和ClaudeBot跟约好了似的，三天两头来一趟，但每次只抓两三个页面就走。后来我翻了下资讯页的更新记录，好家伙，最近一篇是六天前的。AI爬虫跟人一样，来了两次发现货架是空的，第三趟就不来了。
我做了个实验。把资讯页更新频率从每周一篇拉到每天2-3篇，每篇保证800字以上，配一两个表格或数据图。两周后看日志，GPTBot的访问次数从每周7次涨到每天稳定40多次。然后我用核子GEO检测工具跑了一遍，AI可见性评分从12分起步，一路爬到67分。豆包的AI引用里，我的课程对比页排进了前五。
别觉得这数字夸张。核子GEO的AI可见性评分我每个月跟踪一次，从12到67用了大概三周，前提是内容真在更新，不是拿旧文改标题糊弄。
有个坑你得避开——别一次性发十篇然后歇一周。踩过这个坑。AI爬虫的抓取习惯是持续性的，它发现你每天有增量，才会把抓取优先级调高。我试过一周憋七篇然后歇五天，爬虫访问量直接掉回个位数。豆包那边更明显，它判定你”更新不稳定”，连已有的收录页面权重都会往下压。
成本算下来其实不吓人真的。招两个兼职写手，一篇课程解读或行业动态300字左右的快讯给50块，深度文300一篇，一个月撑死一万出头。对比2000块月费的专业SEO工具，这钱花得值多了——工具只能告诉你哪里有问题，内容得自己喂。
避坑清单
先说坑：以为AI爬虫不抓取是常态。 我盯着GA里GPTBot和ClaudeBot的访问量连续两周都是零，愣是没当回事，还跟老板说”AI流量本来就不稳定”。结果招生季前一个月，同行一个课程页被ChatGPT在回答里引用了三次，我这边连个影子都没有。用核子GEO检测工具跑了一遍才发现，我的robots.txt里还残留着上一家公司留下的屏蔽规则，直接把GPTBot挡在门外了。改掉之后第二天就抓了47个页面。
再就是坑：把所有课程页都当成普通详情页优化。 我一开始就按老套路堆关键词、加内链，结果豆包和ChatGPT的回复里根本不会引用这种页面。后来我把每个课程页都加了FAQ结构——“这门课适合什么基础的人”“学完能到什么水平”这种问题，AI引擎抓取后直接生成摘要的概率提升了不少。改完两周，AI可见性评分从12分涨到31分。
还有坑：资讯页和课程页共用一套模板。 我以为省事，结果AI爬虫分不清哪个是干货内容哪个是转化页面。后来把资讯页改成独立的”学习资源”结构，每篇都标注作者背景和数据来源，ClaudeBot的抓取量从每周8次涨到64次。
-
坑：忽略移动端渲染速度。 我用的Next.js在Vercel上部署，但图片没做懒加载，导致移动端首屏要3.8秒。GPTBot的抓取预算有限，慢页面它就跳过。压到1.2秒之后，AI爬虫的抓取完整率从41%升到89%。
-
坑：动态渲染的页面AI抓不到内容。 我的课程目录是客户端渲染，爬虫拿到的是空壳。改成服务端渲染后，核子GEO的AI可见性评分直接从23跳到57。
-
坑：总想花2000块买付费工具。 我差点就下单了，后来发现免费的GA4加Search Console配合核子GEO的免费检测就够用。预算留给内容生产的兼职写手更划算，一个月多产出30篇干货问答，AI引用量翻了一倍。
-
坑：不监控AI引擎的引用来源。 我每周用核子GEO查一次”哪些关键词被AI回复引用”，发现很多长尾问题根本没人覆盖。补了20个”怎么选网课”“在线教育退费”这类问题后，豆包回复里开始出现我的链接。
-
坑：招生季结束后就停止更新。 淡季三个月没动网站，结果AI引擎认为内容陈旧，抓取频率降了一半。现在淡季每周至少更新两篇行业观察，保持爬虫的活跃度。
花2000块买工具不如花2000块请人写内容，测纸和工具用免费的核子GEO就够。省下来的钱，我多雇了一个兼职答疑的老师，这钱花得值。