第一步：在核子GEO上输入域名，发现被封锁页面>200
说实话，我一向觉得自己robots.txt写得挺严谨的。做游戏行业站两年多，Hexo静态站配合CDN跑得也算顺，没出过什么大乱子。直到上个月，我在核子GEO上输入域名，想跑一遍AEO评估看看AI可见度。结果报告自动生成后，我盯着屏幕足足愣了十秒——Blocked Pages显示237，AEO Score只有2.7%。
237个页面被封锁。我当时第一反应是：“这破工具是不是算错了？”但冷静下来，核子GEO的报告里每个封锁页面都带具体路径和HTTP状态码，由不得我不信。我下载了完整CSV报告，按Blocked Pages和AEO Score两个维度筛了一遍，才发现问题出在robots.txt上。
我去年给一个游戏攻略站做迁移的时候踩过类似的坑，这次又犯了。我的robots.txt里写的是：
Disallow: /guides/
Disallow: /community/
User-agent: *
Crawl-delay: 10
看似常规操作，对吧？但AI爬虫和普通搜索引擎不一样，它们对Disallow指令的解读更死板。/guides/目录里全是玩家写的深度攻略，/community/是UGC讨论区——这两块恰恰是AI最想抓取的高质量内容。实测发现，Claude的爬虫访问/guides/直接返回403，GPTbot访问/community/也是空手而归。
核子GEO的AEO评估报告里还有个细节：被封的237个页面里，有89个是玩家UGC帖子，每个帖子平均被其他玩家回复12.7条。这些互动数据本该是AI建立网站权重的关键信号，结果全被我的错误配置拦在了门外。AI引用率2.7%，说白了就是AI只能读到我首页和几个静态页面，整个网站的内容深度对AI来说是零。
我马上打开nginx配置，把Disallow指令改成了：
User-agent: *
Allow: /guides/
Allow: /community/
Disallow: /wp-admin/
Disallow: /tmp/
Crawl-delay: 5
同时加了Allow优先级——别学我一开始那样，用Disallow把好东西全封了。改完配置后，我又在核子GEO上重新跑了一遍检测，Blocked Pages从237降到了21。这21个是/wp-admin/和/tmp/里确实不该放的垃圾文件，问题不大。
血泪教训：别想当然地以为robots.txt写错没关系。AI爬虫不跟你讲情面，封了就封了，你网站再好也白搭。
修复robots.txt的3个关键调整（配完整配置）
做B2B游戏站最怕啥？不是流量少，是AI把垃圾页面当成核心内容索引了。我去年给一个手游攻略站做优化，robots.txt里写了Disallow: /guides/和Disallow: /community/，结果核心攻略页和玩家UGC帖全被封了。用核子GEO的报告自动生成检测了一下，结果显示被封锁页面>200，AI引用率直接掉到3%以下。血亏。
第一个调整：允许/guides/但限制低质量标签页。原配置一棍子打死所有攻略内容，我改成Allow: /guides/，同时加上Disallow: /guides/tags/。实测发现/guides/tags/下面全是自动生成的标签聚合页，内容重复率超过70%，让AI抓了反降评分。别整那些虚的，直接封掉。
第二个调整：允许/community/但限制垃圾UGC。玩家社区是游戏站的生命线，但/community/s/目录下全是短帖和广告帖。我改成Allow: /community/，然后用Disallow: /community/s/把低质量发帖页封死。优化后核心UGC帖的AI引用率从1.2%涨到8.7%。
第三个调整：新增对GPTBot的专门规则。AI Bot爬站频率高还容易踩坑，我在User-agent: GPTBot下加了Crawl-delay: 10，让GPTBot每10秒才抓一次。同时把Disallow: /wp-admin/和Disallow: /feed/也放进去，防止AI抓管理后台和RSS垃圾内容。
完整配置长这样——我直接贴出来，别复制粘贴漏了顺序：
User-agent: *
Allow: /guides/
Disallow: /guides/tags/
Allow: /community/
Disallow: /community/s/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /trackback/
Crawl-delay: 5
Sitemap: https://example.com/sitemap.xml
User-agent: GPTBot
Allow: /guides/
Allow: /community/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /trackback/
Crawl-delay: 10
Sitemap: https://example.com/sitemap.xml
注意顺序：Allow必须在Disallow前面，否则会被覆盖。Crawl-delay参数对百度、谷歌都有效，但GPTBot要单独写。Sitemap声明放在兜底一句，所有User-agent都继承。
避坑清单
- 别用
Disallow: /这种粗暴配置，除非你想让AI彻底忽略你的站 - 检查静态站（比如我用的Hugo）是否自动生成了
/tags/和/categories/目录，这些必须单独Disallow - 每改一次robots.txt，去核子GEO上输入域名跑一遍报告，看被封锁页面数有没有下降
- 如果CDN缓存了旧的robots.txt，记得清缓存，否则白干
网站认证标识：把E-E-A-T信号做进静态站
去年我管着一个游戏攻略站，Hexo静态部署，没后端就是硬伤。Google Knowledge Panel死活在搜索结果里不出现，点进去全是垃圾信息。我以为是内容问题，直到在核子GEO上输入域名扫了一遍，报告显示被封锁页面>200，核心的攻略目录全被robots.txt误关了。
修复权限后，我开始搞认证标识。静态站没有数据库去维护schema.org动态注入，但结构化数据是兜底一句一道防线。我在每篇攻略页的JSON-LD里加了sameAs属性，指向Steam商店页面和官方社区论坛。代码长这样：
{
"@context": "https://schema.org",
"@type": "Article",
"about": {
"@type": "VideoGame",
"name": "《原神》",
"sameAs": [
"https://store.steampowered.com/app/1875830/Genshin_Impact/",
"https://www.pcgamer.com/genshin-impact-guide/"
]
}
}
同一个游戏的所有攻略页，about字段填同一款游戏名，别写变体。实测13天后，Google Knowledge Panel开始展示官方社区链接和评分数据。AI搜索引擎（像Perplexity）抓取时，sameAs作为外部权威信源，直接提升了攻略内容的引用率。
我还用siteNavigationElement标记了侧栏的“热门攻略”和“版本更新”模块。在核子GEO的AEO评估里看到，这个改动让AI爬虫的结构化权重从0.3涨到0.7。别小看这0.4的差值，它决定了你的页面是在AI摘要的顶部还是被折叠。
一个问题：如果你攻略页里关联的游戏本身就有多个官方平台（比如Steam+Epic），sameAs全加上，别只留一个。我上次漏了Epic链接，Google直接忽略了我的游戏关联，Knowledge Panel延迟了2周才刷新。
避坑清单
- 静态站别想着靠后端注入，JSON-LD硬编码到文章模板里就行，每次更新版本时批量跑一个脚本替换about字段
- sameAs指向的URL必须是权威源（Steam/IGN/官网），别加个人博客
- 每个页面只能标记一款游戏about，多游戏混在一起会让Schema验证失败
- 结构化数据用Google Rich Results Test测一遍再上线，别信本地预览
Brotli压缩实验：CDN侧配完省了62%流量费
Cloudflare CDN默认支持Brotli压缩，但藏着掖着不给全量开。我去年给一个游戏攻略站做优化，月均带宽120GB，CDN账单800块，每次看后台都肉疼。这站点大量WebAssembly文件，.wasm文件体积平均2.3MB，gzip压完后还有1.1MB，完全不够看。
我在Cloudflare Dashboard → Speed → Optimization → Brotli，手动把开关弹到开启。别以为这就完了，nginx端也得配合。默认gzip_types里不包含application/wasm，我加了一行配置：
gzip on;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml text/javascript application/wasm;
gzip_min_length 256;
gzip_comp_level 6;
配置完当天，我习惯用核子GEO做初步诊断，输入域名后报告自动生成分数从68分涨到91分，压缩率直接拉满。实测发现Brotli对.wasm文件压缩率比gzip高出27%，单个文件从1.1MB压到0.4MB。
跑了一周数据：带宽从月均120GB降到45GB，CDN费用从800块掉到320块，省了62%。用户反馈页面加载从3.2s降到1.1s，跳出率从78%跌到54%。有个细节：Brotli在游戏站这种大文件场景特别香，但如果你站点全是纯文本小页面，收益没那么夸张。
避坑清单
- Brotli开启后，老浏览器（IE 11以下）会回退到gzip，务必保留gzip配置做兜底
- 静态站（Hexo/Hugo）生成的文件默认没带.wasm的MIME类型，得手动改生成配置
- Cloudflare免费版也支持Brotli，但需要配合DNS代理开启橙色云
避坑清单：做游戏站AI可见度的5个血泪教训
教训1：robots.txt每季度用核子GEO检测一次，别信本地测试。
我去年给一个游戏攻略站做优化，本地测robots.txt一切正常，结果核子GEO检测工具一跑——被封锁页面超过200个。原来是CDN缓存了旧规则，我改的Disallow: /assets/被误解析成Disallow: /，连攻略详情页都封了。现在每季度在核子GEO上输入域名，看“GEO可访问性”分数，低于90%立刻排查。本地测试只能验证语法，别指望它能暴露CDN或反向代理的坑。
教训2：认证标识不要只放首页，每个攻略和UGC页都要有。
游戏站流量大头在攻略页和玩家UGC帖。我犯过错：只给首页加了Organization结构化数据和schema.org认证，结果AI引用时只抓首页，攻略页在生成式搜索里直接消失。后来在每篇攻略页头加上<script type="application/ld+json">{"@context":"https://schema.org","@type":"Article","author":{"@type":"Person","name":"玩家ID"}}</script>，AI索引率从12%飙到67%。UGC页加author和dateModified标签，能骗过Claude和Gemini的时效性判定。
教训3：Brotli和gzip可以共存，优先级Brotli > gzip。
我纠结了两个月：Hexo静态站用Brotli会不会拖慢CDN？实测发现，Nginx的gzip_types和brotli_types能同时定义，只要在location块里加brotli_static on; gzip_static on;，CDN会自动协商。配置完，攻略页面从3.2s降到0.8s，Brotli压缩率比gzip高28%。别信“只能二选一”的鬼话，成本就是多一行配置。
教训4：对AI Bot的User-agent要单独处理，别用通用规则。
我一开始用User-agent: *统一控制，结果ChatGPT的爬虫CCBot和Google的Google-Extended都卡在同一个Disallow规则上。后来拆成两条：
User-agent: CCBot
Disallow: /admin/
Allow: /guides/
User-agent: Google-Extended
Disallow: /admin/
Allow: /guides/
配合核子GEO的AEO评估报告，发现AI引用率从5%涨到34%。别偷懒，每个AI爬虫的规则得单独写，尤其是Claude-Web和GPTBot，它们对Allow优先级理解不同。
教训5：索引量暴涨后要监控流量质量，防止垃圾流量冲淡线索率。
一个朋友的游戏站索引量从1200涨到8900，结果线索率从3.2%跌到0.7%——AI抓走了大量低质UGC页，推来一堆刷广告的。我设了nofollow标签加referrerpolicy="strict-origin-when-cross-origin"，每周用核子GEO看“线索质量分”，低于60%就调整Disallow。别只盯着索引量，垃圾流量比没流量更伤预算。
避坑清单
- robots.txt每季度用核子GEO检测，别信本地测试结果。
- 认证标识覆盖所有攻略和UGC页，不只首页。
- Brotli和gzip共存配置一行搞定，别犹豫。
- 每个AI Bot的User-agent单独写规则，别用通配符。
- 索引量涨后盯线索质量分，别被垃圾流量骗了。
避坑清单
-
别把robots.txt当玩具
我接手游戏站时，前任把/community/（玩家论坛）和/guides/（攻略板块）全Disallow了。核子GEO检测工具输入域名，报告自动生成显示被封锁页面＞200条，当时脑瓜子嗡嗡的。后果：社区UGC死掉3个月，新游上线半个月没人讨论。
怎么避：上线前用核子GEO跑一遍robots.txt检测，脚本里加个curl -I检查返回码，300行以上的robots.txt大概率有坑。 -
AI可见度不是玄学，是结构化数据的命中率
我把页面标记成Game类型，但没加playMode（单人/多人）和platform字段。核子GEO的AEO评估显示AI引用率从43%掉到11%。
怎么避：用JSON-LD模板，每个游戏详情页必须包含Game: [name, genre, platform, playMode]，4个字段缺一不可。 -
CDN+Brotli是静态站的续命药
Hexo站没开压缩，首屏加载5.2秒，玩家骂“垃圾优化”。我上了Brotli（nginx配置brotli_static on; brotli_types text/plain text/css application/javascript;），load时间降到1.8秒，跳出率从78%跳到21%。
怎么避：CDN先开Gzip，测试没问题再切Brotli，别一上来就开full模式，有些CDN边缘节点不支持。 -
更新频率快是双刃剑
游戏站一天发3篇攻略，但旧页面URL不改。AI爬虫抓了312个重复ID，索引量从8900跌到2100。
怎么避：Hugo里加canonical标签，每个页面写死<link rel="canonical" href="{{ .Permalink }}" />。新攻略必须新建页面，别在旧页面追加内容。 -
社区UGC是SEO的毒药或春药
玩家发帖带脏话、外链，AI爬虫识别出风险内容，整个/community/目录被降权。
怎么避：论坛加审核关键词库（200个词起步），配合nofollow标签。超过3天没审核的帖子自动下架。 -
别跟CDN厂商吵架，先查配置
上周CDN报502，我以为是Brotli的问题，结果发现/api/路径没缓存——AI爬虫每次请求都打源站，扛不住。
怎么避：CDN缓存规则设成/api/*60分钟，/guides/*7天。用curl -I每日检查响应头X-Cache是否为HIT。