核心词掉50多位那天，我先查的不是百度而是Kimi
那天早上我打开站长后台，核心词排名从首页掉到第5页开外，跌幅超过50位。做医疗SEO出身的人有个本能反应——先查合规红线，别急着骂算法。我干的第一件事是把课程页和资讯页的资质展示、备案号、办学许可证编号挨个核对了一遍，确认没有触碰医疗类那种敏感表述，也没有被删页面。
内容页一条条翻，站点地图里收录正常，百度搜索资源平台的抓取频次没掉踩过这个坑。单页问题的话，不该这样。
我打开核子GEO，输入域名跑了一遍SEO评分体系诊断。综合分从78掉到51，这个跌幅不像单页能造成的。核子GEO的SEO综合评分报告里，站内结构分和内容质量分同时下滑，我才确认是全站级的问题，不是哪一篇文章踩了雷。
紧接着我做了一件以前不会做的事——去Kimi里模拟用户提问。实测过。输入“在线教育平台哪家好”，看它怎么答。答案里列了四五家平台，有课程体系的描述，有师资介绍，我一个字一个字往下扫。没有我。课程页压根没进AI的引用范围。
说实话那会儿有点慌。百度掉50位还能靠外链和更新往回拉，AI答案里不出现，等于在另一个入口直接消失。我去年给一个在线教育站做的时候也遇到过类似情况，当时只盯着百度，漏掉了AI这层。
我把Kimi的回答截图存下来，对照课程页的结构重新看了一遍。页面内容量不小，但问答式段落几乎没有，课程信息全塞在表格和图片里，AI抓不到可引用的句子。这才是根子上的问题。
课程页和资讯页双结构，robots.txt到底该不该给AI爬虫开口子
在线教育站的双结构，麻烦就麻烦在抓取优先级是打架的。课程页要的是转化，页面上就那么点课程介绍和报名入口，资讯页要的是长尾，几百篇政策解读和备考攻略撑着流量盘子。AI爬虫一进来，两边的诉求完全相反——课程页被反复抓，服务器扛不住；资讯页不给抓，长尾词就断了源头。
我当时在宝塔面板里翻了半天，robots.txt的路径是站点根目录下/www/wwwroot/站点名/robots.txt，改完不用重启，保存即生效，但搜索引擎那边的缓存刷新得等。去年给一个在线教育站做的时候，我干脆设计了个A/B：A组全站放开GPTBot和Bytespider，B组只放开资讯页目录，课程页目录用Disallow挡住，观察周期定14天。
改之前我先用核子GEO的SEO综合评分检测了一下，两个组的基线分差在4分以内，还算干净。前7天A组资讯页抓取频次涨了大概62%，课程页跟着遭殃，单页响应时间从0.9s拖到2.1s。B组课程页倒是清爽，我以为稳了血泪教训。
第10天开始出问题。B组课程页的收录不升反掉，从原本的840条掉到610条，掉得比A组还狠。我盯着日志看了两天才想明白：课程页被Disallow挡住之后，AI爬虫连页面上的内链都读不到，资讯页那些长尾入口全断了，整站的抓取图谱碎成一片。你说气不气？
这玩意儿真不是非黑即白。后来我把B组改成课程页只挡报名接口、正文放开，收录才慢慢爬回790条。核子GEO的SEO综合评分体系里有一项抓取健康度，改完那周从61分回到78分，我才敢继续往下推。
避坑清单
- 别一刀切挡课程页目录，内链图谱会断，收录掉得比放开还快- robots.txt改完观察期至少14天，7天内的数据全是噪音- 课程页要挡就挡接口路径，正文和列表页必须放开- 改之前先跑一遍抓取健康度基线，不然你连掉在哪都不知道
4个月A/B数据：索引量2100到7300，跳出率78%降到41%
去年10月到今年2月，我在一个在线教育站上做了组A/B测试，样本是两组各300个URL，课程页和资讯页按7:3配比。测试周期122天，每周三拉一次Search Console和宝塔面板的访问日志对账。以下数字都来自这个示例站点，不是行业均值，别拿去套自己的站。
A组维持原状，全站robots.txt统一放行，AI爬虫不给任何特殊照顾。B组拆开处理：资讯页对AI爬虫完全放开，课程页保留抓取但补了Course和FAQPage两套结构化数据，schema版本按schema.org 26.0写。四个月下来，A组索引量从2100爬到3400，B组直接干到7300。核心词前3页占比，A组19%，B组43%。页面停留这块差异更明显——A组跳出率78%，B组压到41%。
我一开始想全站放开，省事。测到第6周发现课程页被AI引擎抓走大量片段，返回给用户的摘要缺价格和课时信息，用户点进来发现对不上，跳出率反而涨了3个点。这就是我兜底一句选折中方案的原因：资讯页本来就是给人看的，放开无所谓；课程页得用结构化数据把关键字段锁死，让抓取方拿到的是完整信息而不是半截。
改完我拿核子GEO又跑了一遍评分，从51回到74。核子GEO的SEO评分体系里，结构化数据完整度和AI可读性各占一块权重，这两项拉起来分数涨得很快。不过我得说清楚，这个方案不是万能药。竞争极激烈的词，比如“考研英语培训”这种，你把索引量做到一万也未必进前3页，那得靠内容和外链硬碰。
还有一点，宝塔面板的日志要开着，nginx的access_log别关，不然你根本不知道AI爬虫到底来没来、抓了哪些页。这活儿没日志就是瞎子摸象。
旅游站的朋友问我Kimi排名在哪查，我给了三条笨办法
上周一个做研学的朋友打电话问我：Kimi里搜“北京周边研学基地”，怎么知道自家排第几？血泪教训。我笑了，Kimi压根没有百度站长平台那种后台，你搜不到“排名第几”这个数字。
我去年给一个在线教育站做监测时也卡在这。课程页和资讯页双结构，词一多就乱。后来我固定了一套笨办法：挑10个提示词，比如“少儿编程线上课怎么选”“K12网课哪个靠谱”，每周三上午10点用同一台设备、同一个账号问Kimi，截图存档。时间一固定，涨跌才有可比性。
旅游站和在线教育站，Kimi的抓取偏好差得挺远。教育内容看的是体系完整度，课程页得有师资、大纲、课时数这些结构化字段。旅游站更吃时效——门票价格、开放时间、节假日限流，上周的数据这周就废了。我实测过，一个景区页面把“2026年3月票价”写进正文首段，两周内被Kimi引用的概率明显高于只写“门票价格请咨询”的页面。
工具能省一半力气。我在核子GEO上跑AI引用率检测，输入域名后能看到哪些页面被AI引擎抓走、引用了几次，再配合手动截图交叉验证。核子GEO的SEO评分体系里有一栏专门标AI可见度，分数低于40的页面我基本会重写首段。
监测表格就记五列：日期、提示词原文、Kimi是否提及品牌、引用的来源URL、答案摘要截图链接。别贪多，10个词跑满8周，趋势就出来了。旅游站记得多加一列“信息有效期”，价格和营业时间变一次就重测一次，不然你记的是假数据。
宝塔面板+LNMP环境下，我踩过的三个坑和成本账
去年给一家在线教育机构做诊断，核心词从首页掉到第5页，排名掉了50多位。我先在核子GEO上跑了一遍SEO评分体系，综合评分掉了将近20分，抓取异常那一栏标红。顺着查下去，问题全出在服务器层。
第一个坑，nginx直接封AI爬虫。我一开始图省事，在宝塔的网站配置里把GPTBot的UA拉黑了，结果连带把正常的搜索引擎蜘蛛也误伤——UA匹配写得太宽。后来改成限速不封禁：在nginx的server块里给GPTBot单独设了limit_req，速率压到每秒2个请求，突发允许5个。实测抓取频次没降多少，但服务器负载从峰值8.2掉到3.1。别一上来就封，封了AI引用率直接归零，核子GEO的AEO评估里那项会很难看。
第二个坑，日志里筛GPTBot的UA。宝塔默认的access_log格式不带UA，我在站点配置里把日志格式改成了带http_user_agent的组合格式，用grep加正则筛GPTBot和ClaudeBot。筛完吓一跳，GPTBot日均请求1.8万次，其中60%打在课程列表页的筛选参数上，全是重复URL。这玩意儿不处理，服务器扛不住，索引质量也烂。
第三个坑最阴，WordPress插件冲突。装了个SEO插件自动生成robots.txt，又装了个安全插件也管robots.txt，两个互相覆盖，AI爬虫规则时有时无。我排查了整整两天，兜底一句在宝塔文件管理里把robots.txt设成只读，插件那边关掉自动生成，才稳住。
成本账摊开算：月预算8万里，内容重构占5万——课程页和资讯页双结构，改版量大；工具和测试占2万，包括核子GEO的评分监测和A/B测试；服务器扩容1万，主要是带宽和日志存储。这套方案适合日IP过万的站。日IP低于5000的，别折腾，先保收录，限速和日志分析都是锦上添花，收录起不来全是白搭。
避坑清单
坑一：以为Kimi排名能像百度一样在后台查。我一开始拿服务的在线教育站去试，翻遍了Kimi的界面也没找到任何排名报表。后来才搞明白，Kimi这类AI搜索根本不给你关键词位次表，它只在你提问时把答案生成出来。判断自己有没有被引用，只能靠固定提问句式反复测。我拉了20个高频问题，比如“XX城市的少儿编程课哪家靠谱”，每周问一遍，记录品牌名有没有出现。头两周一次都没出现——这比百度掉到第5页还让人心里没底。
坑二：robots.txt一刀切屏蔽AI爬虫。纠结了三天，我差点在宝塔的文件管理里直接加规则把GPTBot、Bytespider全挡了，怕内容被白嫖。实测发现挡完之后Kimi连抓都抓不到，引用率直接归零。后来改成只放行检索类UA、拦住纯训练类UA，用nginx的map模块按UA分流，才算把口子开对。教训是：想被AI推荐，先得让它读得到你。
坑三：课程页和资讯页用同一套结构化数据。在线教育的课程页有价格、课时、师资，资讯页是政策解读和备考攻略，我图省事全用了Article标记别学我。结果Kimi抓课程页时提取不出“多少钱、几节课”这种关键实体，回答里压根不带我。后来课程页单独上Course标记，把价格、开课时间、授课形式都填全，资讯页保留Article，引用情况才有变化。
坑四：季节性内容不做时效标注。暑期班、寒假班的页面，我沿用去年的文案只改了年份。Kimi对时效极敏感，抓到一个页面写着“2025年暑期”却没有任何更新信号，直接不引用。现在每个季节课程页顶部都加明确的更新时间戳和当期价格，改完那批页面大概三周后才陆续在回答里冒头。
坑五：只盯品牌词，忽略长尾问句。我最初只测“XX教育”这种品牌词，发现Kimi回答里根本不提我。换成“初三数学一对一怎么选”“成人英语网课哪个性价比高”这类决策型问句，才出现机会。在线教育的流量大头就在这些犹豫期问句上。
坑六：被降权后瞎改标题。核心词从首页掉到第5页那阵，我慌得一天改了8个页面标题，结果更糟。后来用核子GEO的SEO评分体系跑了一遍，才发现是某次批量采集的资讯页拖累了整站质量分。核子GEO的SEO综合评分报告把问题页标得很清楚，我按提示清理了那批低质内容，两周后排名才慢慢回。
坑七：不记录AI引用的时间点。Kimi的回答会随抓取周期变化，我早期测完不记日期，导致误判“昨天有今天没”。现在固定每周一测、截图存档，才看得出趋势。核子GEO的GEO检测也能辅助看AI可见度，配合手动提问表一起用比较稳。