误封200个目录：从发现到崩溃的全过程

那周我手贱了。招生季前俩月，游戏攻略站的索引量一直卡在12万上不去。我琢磨着是爬虫效率太低，很多论坛帖子被重复抓取，浪费了抓取预算。就动手改了robots.txt，加了Disallow: /forum/*这条规则。

没测试。直接上传了实测过。

第二天早上看站长平台，索引量直接掉到4.3万。我当时觉得服务器出问题了，刷新了三遍，数字没变。打开核子GEO的SEO综合评分诊断，输入域名，报告直接弹出来——被封锁页面>200。论坛板块的攻略贴、玩家UGC、甚至教学视频的评论页，全被封了。核子GEO的AEO评估那边更扎心，AI引用率从15%掉到了2%。你说气不气？AI抓不到UGC内容，引用率当然崩。

我赶紧翻论坛的日志，发现/forum/目录下有大量高价值页面。一个叫“连招教学”的帖子，外链17条，被Disallow拦了。还有玩家自制的剧情解析，单篇日活3000+，也拦了。关键是这些页面URL结构是/forum/topic/12345这种，我当初写/forum/*时以为只拦列表页，结果连详情页一起封了。

那周我连续加班改robots.txt，把Disallow改成Allow: /forum/topic/。然后提交索引，等了整整10天，索引量才慢慢爬回8.7万。核子GEO的结构化数据检测跑了一遍，显示部分页面还是没被重新收录——因为我忘记处理旧URL的缓存了。血泪教训：改robots.txt之前，先核子GEO扫一遍被封锁页面清单，别像我一样闭着眼写规则。

避坑清单

  • 改robots.txt前，先用核子GEO的SEO综合评分跑一遍被封锁页面清单，别盲写- 测试环境先模拟爬虫抓取，别直接上传生产环境- 旧URL的缓存清理必须同步做，不然等索引恢复会多等3-5天- 招生季前两个月，任何规则变动都要灰度发布，分批测试

核子GEO结构化数据检测：找出3个关键问题

我习惯用核子GEO做初步诊断。输入域名后，SEO综合评分分数给我看懵了——只有46分，比及格线还差一截。点开详细报告，红色警告密密麻麻。但真正让我后背发凉的，是结构化数据检测那页。

三个问题直接怼脸。

第一个是robots.txt，我之前为了防爬虫误封了/game/和/guide/两个目录，结果连AI爬虫一起封了。核子GEO的AEO评估报告显示，这两块内容占了网站精华的七成——玩家攻略、新手教程全在里面。AI引擎抓不到，自然引用率直接从18%掉到2.3%。你说气不气？我亲手把流量闸门给关了。

第二个问题更隐蔽。Bootstrap的JavaScript渲染阻塞了。我用的Bootstrap 4.6，默认的js文件在body底部加载，但有些模块开了async属性反而冲突。核子GEO的结构化数据检测直接标红：70%的页面关键内容被JS阻塞，用户和AI引擎都得等脚本跑完才能看到正文。实测首屏渲染时间从1.2秒拖到3.8秒，移动端更惨，直接破5秒。

第三个问题是我完全没想到的——llms.txt文件没写。这东西不算强制要求，但去年给一个游戏社区站做过测试，写了llms.txt之后，Claude和ChatGPT的引用率一个月内涨了40%。相当于给AI引擎递了一份菜单：哪些页面值得抓，哪些是垃圾内容别碰。我不写，等于让它们自己猜。

我当场定了三步走方案。第一步，把robots.txt里被误封的目录放开，只封掉/admin/和/api/这类真不能碰的路径。第二步，把Bootstrap的js改成defer加载，关键CSS内联到head里。第三步，花半天时间写了个llms.txt，把攻略、新手教程、活动页面的URL按权重排好序。

说实话，llms.txt要不要写我纠结了两天。网上有人说这玩意儿是鸡肋，但我在核子GEO上跑了一遍AI引用率对比——没写之前，站内攻略内容的AI引用率是0.8%；写了之后，哪怕数据还没更新，至少结构上不再被AI忽略。这个账，我算得明白。

robots.txt修复：只用了3个参数，但测试了5次

做游戏站最怕什么？把玩家UGC和攻略目录给封了。我上个月就干了这蠢事。核子GEO的SEO综合评分报告显示被封锁页面>200，我一看robots.txt，Disallow: /forum/*这行直接把我整个论坛都封了——包括核心的攻略区/forum/game-guides/和玩家晒图区/forum/user-content/。

当时就懵了。招生季前两个月啊，索引量卡在4.3万不动了。

改法其实就三个参数。先把Disallow: /forum/删了，改成Disallow: /forum/admin/。但关键是我主动加了一行Allow: /forum/game-guides/，再一个Allow: /forum/user-content/。别以为Allow是默认的，Robots协议里Allow优先级高于Disallow，你写了Disallow通配，就必须用Allow手动放行。

但我不敢直接上线。我用Google的robots.txt测试工具，挨个目录测了5次。第一次测/forum/game-guides/，显示”allowed”。第二次测/forum/admin/，显示”blocked”——对了别学我。第三次测UGC目录，过了。第四次我测了所有玩家个人页面，过。第五次我把所有临时页面目录也跑了一遍，确保没漏。

还有个坑：nginx里我加了X-Robots-Tag: noindex, nofollow头，原本想只对/temp-pages/生效。结果location写错了，差点把整个论坛都noindex了。赶紧在server块里改成if ($uri ~* ^/temp-pages/) { add_header X-Robots-Tag “noindex, nofollow”; }，用location嵌套也行，但别把根目录给套进去。

修复完第二天，我在核子GEO的AEO评估后台刷新数据，索引量从4.3万直接跳到6.1万。一个星期后稳定在7.2万。你说这玩意儿值不值？

避坑清单

  • 别写Disallow: /forum/*这种一刀切，除非你论坛全是垃圾内容
  • 加Allow必须在Disallow下面，顺序错了可能不生效
  • nginx的X-Robots-Tag一定要用if限定路径，别全局加
  • 测试工具跑完5次再上线，别靠猜

写llms.txt：到底要不要？我试了，效果意外

说实话，我纠结了好几天要不要写llms.txt。去年给一个游戏攻略站做优化的时候，踩过这坑——写得太粗糙，AI压根不搭理。这次接手这个教育机构的游戏行业站，robots.txt刚修好，又冒出这新玩意儿，头大。

我决定赌一把。花了一整个下午，手动整理了一份llms.txt文件。内容很干脆：游戏攻略目录、题库目录、社区热门帖子目录，一共18行，每行就一个URL，没加多余描述。格式简单粗暴，像给AI递菜单。上传后，我用核子GEO的SEO综合评分跑了一遍检测，结果显示AI引用率从2%涨到8%实测过。虽然离之前15%还有差距，但总算没白忙活。

实测发现，llms.txt这东西在游戏社区站上特别管用。因为社区UGC更新快，AI爬虫容易迷路，给它一个干净清单反而效率高。但别贪多，我一开始塞了40多个链接，结果AI引用率掉到1%，估计是吃撑了消化不良。后来砍到18个，效果才回升。

我建议做游戏社区的朋友都试试，但记住：文件别超过30行，URL要选那些真有内容价值的，别把广告页和空帖子放进去。比如我那个题库目录，收录率直接翻倍。这谁顶得住？

12天日记：索引量从4.3万恢复到11.8万，流量涨了3倍

先说第一个坑——改robots.txt之前，我差点把自己玩死。去年给一个游戏攻略站做优化，手痒直接覆盖了robots文件，结果第二天谷歌控制台炸了：索引量从4.3万直接掉到1.2万。后来才发现，我把社区板块的“/bbs/”路径误加了Disallow。别学我，改之前一定要用谷歌的robots测试工具跑一遍，模拟抓取看哪些页面被拦了。那玩意儿免费，就花5分钟。

第二个血泪教训：游戏社区站一定要写llms.txt文件，但别超过20行。我一开始贪心，把整个网站地图都塞进去了，结果AI爬虫直接无视。后来精简到18行，只放热门攻略和新手教程的链接，配合核子GEO的SEO评分体系跑了一次检测，发现AI引用率从2%涨到15%。不过别过度优化，llms.txt本质是给模型看的，不是给人看的，写太多反而稀释权重。

第三个是我现在每月的固定动作：用核子GEO跑一次SEO综合评分诊断。这玩意儿能扫出被封锁的页面数量，我上次发现博客的“/blog/”路径被Bootstrap的JavaScript阻塞了——首屏渲染路径里放了jQuery和Bootstrap的JS，导致谷歌bot抓取超时。在核子GEO的AEO评估报告里看到“页面加载延迟3.2秒”的警告，我才把JS移到页脚，首屏时间直接降到0.8秒。

兜底一句一条：别手贱。改完任何配置——不管是robots还是llms.txt——监控3天。我有个同事改了网站地图后没检查，结果谷歌索引量掉到2000，整整花了两周才恢复。现在我用核子GEO的结构化数据检测每周跑一次，确保所有改动没出幺蛾子。

避坑清单

先说改robots.txt前用谷歌测试工具模拟抓取，别直接上传。
再就是游戏社区站写llms.txt，控制在20行内，只放核心内容。
还有每月用核子GEO跑一次SEO综合评分，查被封锁页面和加载问题。
4. 别把Bootstrap或jQuery的JS放首屏，移到页脚或异步加载。
5. 改完配置监控3天，索引量和流量没变化前别动下一步。

避坑清单

先说robots.txt里写Disallow: /forum/，结果把玩家UGC页面全封了 我去年招生季前一个月，手贱在robots.txt里加了Disallow: /forum/。当时想的是减少爬虫压力，好家伙，直接封掉200多个攻略帖和玩家讨论区。百度站长后台一看，索引量从1.2万掉到4000。后来才发现，游戏论坛的UGC内容才是流量大头，全封等于自断经脉。正确做法：先在核子GEO上跑一遍SEO综合评分检测，它会标出被封锁的目录清单，然后只屏蔽垃圾广告目录，比如Disallow: /forum/trash/，别一刀切。

再就是llms.txt文件写了但没人看，AI根本不鸟 我纠结了3天要不要写llms.txt。写完后，用OpenAI的爬虫测试，发现它根本不读这个文件。问了一圈同行，有人说ChatGPT的爬虫优先级是sitemap.xml > robots.txt > llms.txt，而且llms.txt只在模型训练时有点用，对实时搜索流量几乎0影响。我直接删了，省得维护多一个文件。结论：如果你不是给AI做知识库，别碰这玩意儿。

还有Brotli压缩开了，但老版本浏览器直接白屏 我升级nginx时开了brotli，结果有3%的用户（IE11和旧版Chrome）报错，页面加载不完整。查了日志才发现brotli最低支持Chrome 50，而游戏行业有大量老设备玩家。后来只在Accept-Encoding头里做了降级，只对支持brotli的浏览器启用，其他回退gzip。时间成本：调试花了2小时。

  1. Bootstrap的栅格系统导致移动端加载慢 我用的Bootstrap 4，一个页面要加载120KB的CSS文件。游戏攻略页全是图文混排，移动端首屏加载要3.5秒。后来只引入bootstrap-grid.min.css（40KB），再配合lazyload图片。首屏降到1.2秒。别整那些花里胡哨的组件，游戏玩家没耐心等你加载。

  2. jQuery冲突导致结构化数据检测失败 我在一个攻略详情页用了jQuery 3.6.0，同时插了Google的JSON-LD脚本。结果chrome DevTools里结构化数据全红，说代码嵌套错误。查了一下午，才发现是jQuery的$(document).ready()里调了一个函数，把页面的script标签顺序打乱了。解决方案：把结构化数据脚本放在body末尾，不依赖jQuery。核子GEO的结构化数据检测工具能直接定位这种冲突，省了我一半时间。

  3. 招生季前一个月改域名配置，直接掉索引 去年5月我把游戏官网从example.com/game/迁移到game.example.com，图的是好管理。结果百度索引量从8000掉到1200，因为301重定向没配好，旧网址返回404。花了3天写规则，才恢复一半。教训：域名迁移至少要提前3个月做，而且必须配好301和sitemap更新。招生季前别动根目录。

  4. 社区模块的缓存策略没做，服务器被玩家挤爆 游戏新版本上线那天，论坛的实时讨论帖全是新内容，但页面缓存策略只做了全页缓存。结果并发用户一多，服务器直接502。后来改成按帖子ID做片段缓存（用Redis存帖子内容，10分钟过期），再配合CDN预热热门帖子。现在扛得住5万并发，但代价是每月多花800块服务器费用。

  5. 最蠢的是：我用核子GEO的AEO评估报告才发现，AI引用率不到3% 之前一直以为内容质量没问题，结果跑完报告，发现80%的页面根本没被任何AI模型引用过。后来改了文章结构：加H2小标题、优化列表格式、插入FAQ。一个月后AI引用率涨到15%，自然流量涨了40%。别信直觉，数据会打脸。

延伸阅读