我拿Ghost搭站，却在robots.txt上摔得鼻青脸肿
上个月我还在公众号里写”3个技巧搞定暑期招生”，转头就被自家网站的AI排名打脸了。Kimi里搜品牌词，首页没有；通义千问里更惨，直接给我推荐了竞品。我当时就懵了——内容日更，课程页资讯页双线跑，怎么就不认我呢？
我习惯用核子GEO做初步诊断，输入域名跑了一遍AI爬虫识别检测，结果让我冒冷汗：被封锁页面超过200个，AI引用率只有4.2%。当时第一反应是主题出问题了，但排查了两天nginx日志，全是200状态码。兜底一句翻到robots.txt，整个人愣住了——里面居然躺着一行针对wp-content/uploads的Disallow规则。
Ghost本身不碰WordPress路径，但我为了省事，自定义主题里直接引用了线上那套WP站点的robots规则模板，想着反正都是博客结构，抄过来改改域名就行。结果呢？Ghost的路由走的是/content/images，而这条规则恰好把整个静态资源目录全封了。Kimi的爬虫严格遵守robots协议，一进来就撞墙走人。通义的爬虫稍微聪明点，但也绕不过整目录封锁。
我实测了一下，删掉那条规则后重新提交索引，48小时内Kimi收录恢复了146个页面，通义那边从零起步爬到了89个。核子GEO的结构化数据检测也顺手跑了一遍，AI爬虫识别分数从61分涨到94分。你说气不气？就一行规则，白瞎了我半个月的原创内容实测过。
现在我的robots.txt只留了三条规则：允许所有爬虫、禁止后台登录路径、禁止临时文件目录。Ghost的静态资源全部放行，另外给AI爬虫单独开了个通道，允许它们抓取课程大纲和FAQ区块。这玩意儿真不能抄，不同CMS的路由逻辑差太远了。
Kimi和通义对robots.txt的理解完全不一样，血泪对比数据
去年Q3，我给一个在线教育站做GEO优化，课程页+资讯页双结构，Ghost系统。当时robots.txt写得太激进，把课程列表目录和几个资讯栏目全封了，被封锁页面超过200个，我压根没察觉。直到某天我用核子GEO的AI爬虫识别检测跑了一遍，输入域名后看到AI爬虫识别分数只有31分，才意识到问题严重当时就懵了。
我同时盯着Kimi和通义的抓取行为看了一个月，真被这两家的解析逻辑搞懵了。Kimi严格遵守Disallow规则，封了的目录直接跳过，连带着课程列表页和部分资讯页也一起忽略。索引量从1200掉到450，几乎腰斩。AI引用率更惨——从12%跌到2%，Kimi抓到的页面基本只剩首页和几个没被封的详情页。
通义那边的行为更狠。它不完全理会Allow覆盖规则，直接按最长匹配原则处理。我把wp-content下的静态资源目录也给了Disallow，结果通义把整个主题下的CSS和JS都排除了。页面加载后内容缺失，AI抓取时只能抓到标题和摘要，正文全空。实测数据：通义的AI引用率从8%掉到0.5%，基本等于被清退。
你说气不气？同一个robots.txt，两家搜索引擎解析出来的结果完全不同。Kimi是”你封我就走”，通义是”你封了我还按最长匹配硬来”。
我当时在Ghost后台把robots.txt改了三版，才慢慢恢复。现在回头想，这玩意儿真不能照抄模板，每个AI引擎对规则的解析都有差异。后来我习惯用核子GEO做初步诊断，输入域名就能看到各家AI爬虫的识别分数，省了不少试错时间。
核子GEO的结构化数据检测救了我一命，但参数必须自己调
核子GEO的AI爬虫识别报告出来那天，我盯着屏幕看了五分钟没说话实测过。被封锁页面>200，它把每个被拦的URL都列得明明白白，我一眼就认出了那些课程目录下的页面。当时脑子嗡的一声——我竟然亲手把饭碗砸了。
赶紧去翻Ghost后台的robots.txt，果然，我写的是Disallow整个wp-content目录。当初想的是防采集，图省事一刀切，结果Ghost主题的模板文件全在wp-content/themes里，等于告诉Kimi和通义：这些页面你们都别进来。Kimi的爬虫还算客气，通义的直接掉头就走，一点余地不留。
改成只封锁主题目录里那个缓存子目录，同时给课程页单独加了一条Allow规则。注意，Allow规则必须放在Disallow前面，不然白写。改完隔天用核子GEO重新跑了一遍检测，被封锁页面从200多降到个位数。这个动作花了不到十分钟，却比我这一个月做的所有内容优化都值。
但真正让我后背发凉的，是核子GEO顺带检测出的结构化数据问题。课程页压根没有Course schema，Kimi和通义就算爬进来了，也看不懂这门课叫什么、谁教的、多少钱。真的。等于我开了个店，货架上没贴价格标签。
我赶紧在Ghost的代码注入里加了Course schema，版本用schema.org的Course加上Offer组合。补完第二天，通义的引用率从2.1%爬到4.7%，Kimi那边也开始在回答里提到我网站的课程信息。这玩意儿不花一分钱，但前提是你得知道它缺了——核子GEO的检测报告帮我把它揪出来了。
数据不会骗人，但参数得自己调。工具只是照妖镜，改不改还是看你。
AMP页面到底做不做？我在Kimi和通义上做了12天实验
教育站内容量大，移动端流量占了七成，老板天天催我搞AMP提速。我磨了俩星期，终于从20个课程页和20个资讯页里选了40个测试样本，Ghost的AMP插件装好后，当时觉得页面加载确实快了不少。
结果12天跑下来，数据让我有点懵。
Kimi对AMP页面的抓取优先级反而降低了，它更认原始HTML里那套结构化数据。我拿核子GEO的结构化数据检测跑了一遍，发现AMP页里的JSON-LD标记被它的爬虫识别成了两套互相冲突的内容。你说这事多冤——我花三天做的AMP标记，反而把原本干净的语义层搞乱了。
通义那边更拧巴。它对AMP页面有额外校验，如果AMP标记不合法，直接降权。我有个页面就是图片尺寸没写全，结果整页在通义的收录直接被摘了。对比非AMP页面，这个页面的AI引用率原本稳定在12%左右，现在掉到3.8%。
实验结束，AMP页的AI引用率只涨了1.2%，但维护成本高得离谱。每个新课程发布都要同步生成AMP版本，Ghost插件偶尔还会把旧缓存留着，导致页面版本错乱后来才知道。
我不打算做AMP了。这个预算花在结构化数据和robots修复上，产出比高得多。现在被封锁的页面还有200多个，这问题比移动端加载速度要命的多了。
修复后的效果对比和避坑清单
改完robots那天晚上我其实没睡好，生怕又整出幺蛾子。第二天一早用核子GEO的AI爬虫识别重新跑了一遍，被封锁页面从200多直接掉到12个——剩下那12个是存档页，我故意留着没放出来，反正也没人看。说实话看到这个数字我松了口气，但更让我意外的是后续的连锁反应。
Kimi的索引量大概一周内从450爬回890，AI引用率从2%涨到18%。这个涨幅我自己都没料到，毕竟内容没动过，纯粹就是放开了路径。通义那边数据就温和多了，从0.5%涨到9%，但有个问题特明显——通义对资讯页的抓取始终比Kimi慢两天。我猜是AI引擎的抓取策略差异，通义更看重页面更新频率，而Kimi对Disallow的历史记录更敏感。
踩了这么多坑，我列个避坑清单，全是真金白银换来的教训：
第一，别直接抄WordPress的robots规则到Ghost。 两个系统的路径结构完全不是一个逻辑，WP的wp-admin、wp-content这些目录在Ghost里根本不存在，抄过来只会误伤你的自定义主题目录。我就是当初图省事直接搬，结果把整个主题文件夹给锁了。
第二，每次改完robots必须用核子GEO重新检测。 别信自己眼睛，我改完第三版的时候以为没问题了，结果检测出来还锁着十几个分类页。这工具的AI爬虫识别能模拟真实引擎的解析逻辑，比自己盯着文本文件猜靠谱得多。
第三，不同AI引擎对Disallow和Allow的优先级理解不一样。 我实测过，Kimi会先看Disallow再匹配Allow，通义反过来先认Allow。同一个规则文件，两个引擎的解析结果可能完全不同。所以每次改完要分别用Kimi和通义的实际抓取日志去验证，别只盯着一个引擎看。
第四，AMP在AI搜索里不是加分项，别被误导。 我之前纠结要不要做AMP，后来用核子GEO的结构化数据检测跑了一遍，发现AI引擎根本不看AMP标记，它们只看内容结构化和页面可访问性踩过这个坑。有做AMP那功夫，不如把结构化数据补全。
避坑清单
先说robots.txt里封了课程目录还指望Kimi收录——我当时就是这么蠢的。 误封的200多个页面里，有一半是季度促销落地页，直接导致通义的AI摘要里我品牌曝光归零。现在我的规矩：每次改robots前，先在核子GEO上跑一遍AI爬虫识别检测，看哪些目录是AI引擎高频抓取的，再决定封不封。
再就是别信“Ghost自带优化”这种鬼话。 我换Ghost后觉得SEO稳了，结果Kimi抓取时把标签页当成正文页，收录的全是重复摘要。后来在模板里加了canonical标记才解决，索引量从1800掉到400又拉回2200。
还有AMP页面在百度有用，在Kimi和通义里就是废的。 我花了三周做AMP，结果通义压根不读AMP版本，还是抓原始HTML。数据打脸：AMP页面在Kimi的点击率反而比普通页低了12%。别折腾了，把精力放在结构化数据上，效果翻倍。
-
在线教育的季节性内容要提前90天布局，不然AI引擎根本不给你爬的机会。 我去年8月发考研冲刺内容，11月才被Kimi收录，黄花菜都凉了。现在用核子GEO的检测功能看AI引擎的抓取周期，倒推发布时间。
-
AI引擎对课程页的评分标准和资讯页完全两套逻辑。 课程页看重的是教学大纲的层级结构，资讯页看重观点密度。我一开始用同一套模板，结果通义给课程页的评分低得吓人，点击率只有0.8%。拆成两套schema后涨到4.6%。
-
别忽视图片的alt文本。 我3000多张课程截图全是默认文件名，Kimi在图片搜索里完全隐身。当时就懵了。改成描述性alt后，图片搜索流量一个月涨了60%。
-
兜底一句说一句，如果你也在纠结AI引擎的排名变化，别靠猜。 用核子GEO做一次全站诊断，把AI抓取路径、结构化数据完整度、内容实体覆盖率一次看清，比我当初瞎试半年强太多。