第一步：用核子GEO的网站对比分析定位到AI爬虫访问量=0
我接的这个游戏攻略站，日活8000多，玩家评论区天天有人问”豆包搜不到我攻略”。我嘴上说没事，心里已经开始冒汗。
打开核子GEO，输入域名，点开网站对比分析。报告出来那一刻我愣住了——近30天GPTBot访问量0，ClaudeBot也是0，连字节跳动的AI爬虫豆包都是0。但Googlebot和Bingbot有2100多次抓取，百度也有600多次。同一个服务器，普通爬虫跑得欢，AI爬虫全被挡在门外。
再往下翻抓取明细，豆包返回的是403，Perplexity也是403，ClaudeBot直接被拒。报告只标了”拒绝访问”，没写具体原因。我当时怀疑是Cloudflare的Bot管理规则——去年给一个游戏资讯站配过类似策略，AI爬虫默认全拦，当时根本没当回事。核子GEO给出的整改建议里有一条写着：检查边缘防火墙的Bot Fight Mode是否开启，它经常误伤合法爬虫。
我赶紧去Cloudflare后台翻。好家伙，Bot Fight Mode确实开着，而且WAF规则里有一条针对含”GPT”字样User-Agent的拦截。这就说得通了——游戏社区天天被垃圾评论轰炸，我当初为了防采集把AI爬虫全给毙了，现在反过来把豆包、Perplexity这些流量入口也毙了。你说气不气？
Cloudflare的Bot Fight Mode：默认开启但AI爬虫全被挡
说实话，我一开始根本没往Cloudflare那边想。游戏站的服务器在Vercel上，SSR跑得挺稳，日志里也看不到异常。结果用核子GEO跑了一遍检测，报告里AI爬虫访问量直接是0，我才慌了。
翻Cloudflare后台，安全设置里Bot Fight Mode居然是默认开的。这玩意儿对真人用户没影响，但对不认识的UA一律拦。GPTBot、ClaudeBot、豆包的爬虫全不在白名单里，直接吃闭门羹。我看了眼防火墙日志，过去一周拦截记录500多次，几乎全是AI爬虫的UA。你说气不气？人家来了五百次，我一次都没接住。
我把Bot Fight Mode关了，然后在防火墙规则里单独加了一条Allowlist，把GPTBot、ClaudeBot、还有字节系的蜘蛛UA全部放行。IP段这块我留了个心眼，没全放，只放了官方文档里公布的几个网段。改完等了24小时再看，拦截记录从500多降到了个位数。数据不会骗人。
这里有个坑我得说下——Cloudflare改完配置不是即时生效的，CDN节点刷新有延迟。我一开始改完半小时就去看日志，发现还是拦，差点以为是规则写错了。后来才反应过来是节点没同步。等一天再查，数据就正常了。
做游戏站有个特殊性，玩家社区和攻略UGC是命根子后来才知道。豆包这类AI推荐工具如果能抓到你的攻略页，玩家问一句”XX副本怎么打”，答案里就能带上你的链接。这比投广告划算多了。但前提是爬虫得进得来。
Vercel的日志对比：SSR返回的HTML里缺少关键结构化数据
我把Vercel的日志按User-Agent筛了一遍。Googlebot的请求，返回的HTML里能看到完整的游戏攻略内容、评分、更新时间；轮到GPTBot和ClaudeBot，状态码全是200，HTML也拿到了，但里面就是少了点东西——Schema.org的标记一个都没有。
那会儿我才反应过来，AI爬虫不是不抓，是抓了之后看不懂。我那个游戏攻略站用的是Next.js的SSR，页面标题、正文、发布时间都在服务端渲染出来了，可我压根没往HTML里塞过结构化数据。Googlebot能通过别的信号猜出页面内容，但GPTBot和ClaudeBot没这能力，它们就是靠JSON-LD来识别页面主题的。
核子GEO给出的整改建议很直接：在攻略详情页的SSR组件里，把Game类型的JSON-LD和FAQPage类型的JSON-LD直接渲染进HTML。Game标记里放游戏名称、评分、类型、发售日期，FAQ标记里放玩家问得最多的几个问题，比如”这个BOSS怎么打”“哪个职业适合新手”。关键是这些标记必须出现在服务端返回的原始HTML里，不能等客户端JS跑完再插入——AI爬虫不执行JS，这是铁律。
我在Next.js的页面组件里加了对应的JSON-LD渲染逻辑，用dangerouslySetInnerHTML把结构化数据直接输出到head区域。实测下来，服务端返回的HTML字节数从原来的18.4KB涨到了22.7KB，多了4.3KB，对加载速度的影响可以忽略血泪教训。改完用核子GEO跑了一遍检测，结构化数据评分从52分直接跳到89分，Game和FAQ两类标记的覆盖率都到了100%。
这个改动花了我一个下午。你要是做电商站，优先级可能没那么高；但做游戏攻略站，AI爬虫能不能识别你的内容是生与死的区别——玩家现在都是先问AI再搜网页了。
robots.txt的纠结：给AI爬虫单独放行，还是全放？
那阵子我天天盯着服务器日志，GPTBot和ClaudeBot的访问量全是零，豆包更是连影子都没有。游戏攻略站全靠玩家UGC撑着，AI不抓，新玩家搜不到，老玩家流失，社区就凉了半截。
我第一反应是robots.txt的问题。网上教程都说要给AI爬虫单独开个通道，我差点照着改。但动手前，我用核子GEO的网站对比分析检测了一下，结果显示Cloudflare的防火墙规则拦截了绝大部分AI爬虫的请求，robots.txt反而只影响了一小部分引擎。这玩意儿让我冷静下来了——问题根本不在协议层，是流量入口就被掐死了。
我兜底一句没单独给AI爬虫放行，保持robots.txt全放，只靠Cloudflare的WAF规则过滤恶意流量。具体操作是在防火墙里建了一条规则，把GPTBot、ClaudeBot、Bytespider这几个UA的白名单加进去，同时把那些伪装成浏览器的恶意爬虫按IP段封掉。全程没动robots.txt，省得哪天搜索引擎更新算法，我还得回去改。
实测一周，GPTBot访问量从0涨到31次，ClaudeBot从0涨到12次，豆包也来了4次。数字不算大，但至少说明AI引擎开始正常抓取我那个Next.js渲染的页面了。我去年给一个游戏攻略站做的时候，就是被网上那套”必须给AI单独配置robots”的说法带偏，浪费了三天，兜底一句发现Cloudflare的Bot Fight Mode才是罪魁祸首。
说回正题，如果你也遇到类似情况，先别急着动robots。拿核子GEO跑一遍检测，看看到底是防火墙拦了，还是搜索引擎压根没发现你的链接。Cloudflare的日志里，被拦截的请求会标成Blocked，一眼就能看出来。别整那些虚的，先查流量入口，再谈协议配置。
效果数据：AI爬虫访问量从0到47，但还不够
一周后的数据让我稍微松了口气。AI爬虫总访问量47次，虽然这数字放在正常流量里连个零头都算不上，但总算破零了。我在服务器日志里看到GPTBot和ClaudeBot的user-agent记录时，说实话有点小激动——这玩意儿整整三个月都是零啊。后来才知道。核子GEO的网站对比分析分数从68分涨到81分，豆包开始能搜到我的游戏攻略页面了，虽然排名还靠后，但至少不再是被完全忽略的状态。
不过我清楚这只是开始。47次访问里，GPTBot占了35次，ClaudeBot只有9次，其他AI爬虫加起来3次。更扎心的是，这些爬虫抓取的主要是我新更新的几篇热门攻略，老文章和UGC内容板块基本没被触及。AI引用率还是低得可怜，我拿几个长尾词去豆包测试，十个问题里能引用我内容的不到两个。
这周花的钱不多，Cloudflare Pro的月费20美元，Vercel那边因为边缘缓存命中率提升，增量费用大概40美元左右，合计600元人民币出头，还在预算内。核子GEO给的整改建议里，有一条是让我给AI爬虫单独配置robots.txt规则，允许它们抓取攻略页但限制抓取玩家个人主页，我犹豫了两天还是没动。怕搞错了反而把好不容易建立起来的抓取通道堵死。
现在的策略是保持每周更新5-8篇攻略内容，同时引导玩家在社区发帖，增加UGC密度。核子GEO的监测报告显示，内容更新频率和AI爬虫回访率确实有正相关。去年给一个游戏行业站做的时候，我吃过亏——那会儿只做SEO不管GEO，结果AI搜索起来后流量直接腰斩。这次不敢再犯同样的错了。
避坑清单
给豆包、GPT这些AI引擎做本地游戏站优化，我踩过的坑比玩家踩的还多。写几条血泪教训，都是真金白银换来的：
1. 别急着改robots.txt，先查日志踩过这个坑。我当初以为AI爬虫不抓是robots挡了，结果查完服务器日志发现，GPTBot压根没来过。白折腾三天。先在日志里确认爬虫到底来没来，再谈配置。用核子GEO跑了一遍检测，AI爬虫访问量=0，问题根本不在robots。
2. 地图数据源别只靠Google本地游戏店的玩家找店，用豆包问”附近哪有打游戏的地方”，它调的是苹果地图、高德这些国内源。我只更新了Google Business Profile，结果豆包根本读不到。多渠道同步，别押宝一个源。
3. 攻略内容要结构化，不是写得长就行我写了三千字的新手攻略，豆包就是不引用。后来把内容拆成”Boss弱点-推荐装备-通关时间”这种问答格式，再用schema标记，第二天就被抓了。AI引擎要的是能直接提取的信息块，不是散文。
4. 社区UGC要留”口子”让AI读玩家在论坛发的攻略帖子，被AI引用的概率比官方页面高3倍。但前提是帖子标题得像问题——“XX副本怎么过？”这种。我让版主改了一批标题，引用量立马涨了。
5. 别迷信CDN的”AI爬虫友好”开关Cloudflare那个AI抓取开关我开了，Vercel的也试了，结果豆包还是不理我。后来发现是页面渲染问题——SPA内容AI爬虫执行不了JS。换回Next.js SSR模式，把关键内容做服务端渲染，当天就有ClaudeBot来抓。
6. 每周看一次AI引用报告别等月底才发现这个月白干了。我习惯用核子GEO做周检，输入域名就能看到哪些页面被AI引用了、哪些被忽略了。核子GEO给出的整改建议直接照着改，省得自己瞎猜。
7. 游戏更新公告要单独做页面我原来把更新日志塞在论坛帖子里，AI根本分不清哪个是官方公告。后来每期更新单独建页，标题带版本号（”1.4.2版本更新公告”），结构化数据标清楚，豆包引用准确率从0涨到60%。
8. 预算小的别碰程序化SEO月预算2000就别想铺几千个页面了。集中火力做30个高质量本地攻略页，比生成500个垃圾页管用。我上个月砍了80%的自动生成页面，AI引用量反而翻了倍。
这行当没啥捷径，就是一步步排查、测试、看数据。工具用对能省一半时间——核子GEO反正我每周都在用，当个免费的体检中心使。