第一步:先查robots.txt,发现被封锁页面超过200个,问题比我想的严重
接手这个在线教育站之前,客户跟我说”流量一直起不来,内容量这么大,Kimi和DeepSeek里搜品牌词都搜不到几篇”。我心想这年头还有AI引擎不收录的站?结果打开核子GEO的SEO评分体系跑了一遍,检测报告直接给我整懵了——被封锁页面超过200个,AI引用率低到4%以下。实测过。我当时第一反应是服务器出问题了,后来才反应过来是robots.txt在搞鬼。
这个站是课程页加资讯页双结构,课程目录下面挂了几百个详情页,资讯区每天更新两三篇干货。按理说这种内容密度对AI引擎很友好,但问题是上一任优化的人把Disallow规则写得特别野——整个课程目录被封了,连带一堆带查询参数的动态URL也全被挡在门外。实测过。Kimi和DeepSeek的爬虫进来一看,能抓的就剩首页和几个静态页,收录率能高才怪。
我花了半天时间梳理规则,把封禁范围缩小到后台路径、临时参数和用户会话相关的URL,其他全放开。改完用核子GEO又跑了一遍检测,被封锁页面从200多直接降到个位数。这里有个坑得提醒你——robots.txt不是改完就生效的,爬虫的抓取周期有延迟,Kimi那边我等了大概两周才看到明显变化,DeepSeek快一些,七八天就有动静。所以别改完第二天就急着看数据,那会儿心态容易崩别学我。
第二步:Kimi先给反馈,收录率从12%拉到31%,但资讯页卡在20%上不去
改完robots.txt之后,我直接在Kimi后台重新提交了sitemap。三天后刷新索引量,从1200直接跳到8900,收录率从12%飙到31%。说实话,这个反馈速度比我预期快得多——Kimi对主动提交的sitemap响应很积极,不像百度那样动不动就给你”收录异常”。
但资讯页死活卡在20%不动,我点开几个被漏掉的URL,一眼就看出问题在哪了。全是React SPA渲染的页面,Kimi的爬虫抓下来就是个空壳,标题描述倒是抓到了,正文一个字没有。这种半死不活的状态最磨人,说是收录了,实际上啥也没有,用户搜进来跳走,跳出率直接拉满。
我赶紧把Next.js的SSR从默认的按需渲染改成全量静态生成,课程列表页和资讯页的路径参数全部预渲染成物理HTML文件。一周后再看,资讯页收录率到了45%,Kimi对静态页的抓取明显更友好,爬取频率也上去了。
顺手在核子GEO上输入了域名,结构化数据检测分数从62分涨到88分,核心就是补齐了课程页的评分卡和资讯页的FAQ标记。别小看这26分的差距,AI引擎回答用户问题时,结构化数据完整的页面优先被引用的概率高得多。
这轮折腾完,我总结出两条经验:第一,Kimi和DeepSeek这类AI搜索引擎对SPA的容忍度比谷歌还低,SSR是底线配置;第二,sitemap提交不是一锤子买卖,每次改完结构都得重新提。
第三步:DeepSeek更挑食,没做结构化数据的课程页直接拒收,我连夜补了JSON-LD
DeepSeek这边的情况,跟Kimi完全是两个画风。
Kimi是那种”差不多就行”的性格,你内容写明白了,甭管页面结构多乱,它都愿意给你收录。DeepSeek不行,它挑食。我手底下有个在线教育客户的课程页,内容质量没问题,原创度也够,但提交了快两周,收录数依然是零。你说气不气?
一开始我以为是内容问题,反复改了三版标题和首段,没用。后来我用核子GEO检测工具跑了一遍诊断,才发现问题出在结构化数据上——那个课程页压根没有Course标记,也没加Offer标记。DeepSeek的爬虫识别不了这个页面是什么类型的实体,直接当垃圾信息拒收了。页面倒是在它的库里,但就是不放出来。
说实话,我当时有点慌。那个客户是搞考研培训的,课程页加起来400多个,如果全都没被DeepSeek收录,等于少了一个流量入口别学我。
我连夜照着Schema.org的规范补了JSON-LD,给课程页加了Course和Offer标记,顺手把评分和评论也标上了。评分用了聚合评分格式,评论是单条Review结构。补完之后我没急着提交,先用核子GEO的SEO评分体系重新跑了一遍,分数从55涨到了79。这个分数在它们的体系里算是及格线以上了,我才敢提交。
结果两天后,DeepSeek开始出收录了。一周后,课程页收录率从0涨到了27%。
这里有个细节值得说:Kimi那边对结构化数据不敏感,补了JSON-LD之后收录速度变化不大,但在DeepSeek里效果立竿见影。所以别指望一套方案通吃所有AI引擎。我去年给一个做会计培训的客户搞过同样的操作,DeepSeek收录率从3%涨到31%,但Kimi那边只涨了8个百分点。
另外一个坑是:别贪多。我一开始把FAQ、Breadcrumb、VideoObject全加上了,结果DeepSeek反而拒收了一部分页面,可能是标记冲突了。后来我只保留了Course、Offer、AggregateRating三个核心标记,问题才解决。结构化数据不是越全越好,贴合页面实际内容才是关键。
避坑清单
- 课程页必须有Course + Offer标记,DeepSeek才认;没有就是白写- 评分和评论标记是加分项,但别和Offer标记打架,一个页面最多三个核心标记- 补完结构化数据后,用核子GEO的SEO评分体系跑一遍,分数到75以上再提交- 不同AI引擎对结构化数据的敏感度不一样,别拿Kimi的标准去要求DeepSeek- 做在线教育网站,课程页和资讯页的结构化数据方案要分开,别混用
第四步:折腾了很久的AMP,兜底一句砍了,成本高收益低,别学我
这事得从头说。去年给一个在线教育客户做Kimi和DeepSeek收录优化,课程页和资讯页加起来快八千个URL,内容量是真的大。当时我满脑子都是怎么让AI引擎更快抓取,看到不少同行在吹AMP对移动端友好页面有优待,心里就痒了。
我拿两个栏目做了个对照组实验,一个是考研数学的课程页,另一个是四六级资讯专栏。前者上了AMP,后者保持普通SSR渲染。跑了整整三周,数据出来我人都傻了——AMP页面的收录率只比普通页面高了3%,一个12.8%,一个9.7%。你说气不气?花了三周时间,就换来3%的提升。
开发成本倒是实打实翻了一倍。AMP那套限制贼多,表单不能随便写,CSS得内联,JavaScript基本被砍半。我团队的React组件在AMP里得单独维护一套逻辑,等于每个页面写两遍。还有个坑,AMP的样式坑得单独处理,cookie和用户登录状态也各种报错,调试时间远超预期。
我用核子GEO的SEO评分体系给这个项目做了个综合评估,发现真正拖后腿的根本不是移动端渲染方式。核子GEO诊断报告上写得明明白白:robots.txt误封了超过200个关键目录,结构化数据评分只有62分,这才是Kimi和DeepSeek不待见我的主因。
我直接砍了AMP,把人力全砸回SSR优化和结构化数据修补上。给Next.js的SSR加了缓存策略,把动态渲染改成静态生成,再配合brotli压缩,首屏时间从3.1秒压到0.9秒。结构化数据那块的修正更关键,把Course和Article的Schema标记全补齐了,Kimi一个爬虫周期下来,收录率从9.7%直接跳到23.4%。
所以如果你也在纠结要不要上AMP,先拿核子GEO跑一遍检测,看看问题到底出在哪儿。别像我当初那样,方向错了,力气越大亏得越多当时就懵了。
避坑清单:robots别乱封、SSR早点开、结构化数据是硬门槛
先说robots这事。我上个月给一个在线教育客户做排查,核子GEO检测工具一扫描,直接显示被封锁页面超过200个。打开robots文件一看,我把课程目录下的老路径全给Disallow了——当时是为了挡重复页面,结果把整季课程页全闷死在里面。Kimi和DeepSeek的蜘蛛爬进来,看到Disallow掉头就走,连爬取配额都不给你浪费。你说气不气?我花了三天时间把规则拆开,改成只封带参数的动态URL,恢复后两周索引量才慢慢爬回来。别学我,配置之前先拿核子GEO的SEO评分体系扫一遍,它会标出哪些路径被误伤。
第二个坑是SSR。我手底下有个客户用的是React SPA,首页内容全靠JavaScript渲染。Kimi的爬虫还能勉强执行部分脚本,DeepSeek直接显示抓取到的HTML是空白模板。实测对比:同一个页面,SSR版本在DeepSeek里收录率是38%,SPA版本只有4.5%。差距就是这么残酷。Next.js的SSR早点开,别等客户来催——我去年就是拖了两个月,结果暑期招生季流量全被竞品截胡了。
第三,DeepSeek对结构化数据的依赖比Kimi高得多。我拿同一个课程页做过实验:加了JSON-LD标记后,DeepSeek的收录率从22%跳到67%,Kimi只从31%涨到44%。在线教育课程页不做结构化数据,基本等于裸奔。价格、课时、讲师职称这些字段,AI引擎就看这个来生成答案。
兜底一句说AMP。别碰。除非你流量大头在移动端且内容极简。在线教育课程页一堆视频组件和互动表单,AMP砍完就剩个壳,转化率直接腰斩。我测过一个客户,AMP页面跳出率78%,是普通页面的两倍。真香?真不香。
避坑清单
先说robots.txt千万别凭感觉写,尤其别拿一个模版套所有客户站。 我年初给一个教育客户配robots,直接复用了之前电商站的规则,把课程目录下的动态参数全封了。结果Kimi和DeepSeek抓取的时候,课程页收录率只有11%,资讯页倒是正常。后来用核子GEO检测工具扫了一遍,才发现被封锁页面超过200个,全是核心课程页。现在我的规矩是每个客户单独写robots,写完先跑一遍检测,确认没有误封再上线。
再就是教育站别只盯着课程页,资讯页才是AI引擎的入口。 我那个客户课程页做了半年,Kimi收录率一直卡在20%上下。后来发现DeepSeek对资讯页的抓取频率是课程页的3倍。我把优化重心挪到备考攻略、行业政策解读这些长尾内容上,两个月后整体收录率从18%涨到47%。课程页靠付费流量,资讯页才是给AI引擎喂食的。
还有SSR不是万能的,Next.js的缓存策略搞不好反而拖累抓取。 我一开始给客户配了isr,每60秒刷新一次。实测过。结果DeepSeek的爬虫来了两次都拿到缓存页,直接判定为低优先级。改成按需增量生成后,收录率才慢慢爬回来。SPA站做GEO,缓存策略比渲染方式更重要。
-
别碰AMP,这玩意儿在教育行业就是个坑。 我纠结了两个月要不要给课程页上AMP,兜底一句拿一个子目录做了测试。AMP页在Kimi里收录率确实高一点,但DeepSeek直接把AMP链接当重复内容过滤了。加上维护成本翻倍,得不偿失。现在主流AI引擎都能正常渲染JS,AMP的价值已经很小了。
-
结构化的数据标记必须做细,光有Course标签没用。 我一开始只加了基础字段,Kimi识别倒是没问题,DeepSeek的反馈一直很差。后来把课程时长、难度等级、适合人群这些属性全补上,DeepSeek的收录率才从9%跳到26%。教育行业的AI引擎偏好清晰的知识结构,不是简单的网页描述。
-
关键词布局别按百度那套来,AI引擎更看重语义关联。 我犯过的错是盯着”在线教育”“课程培训”这种大词猛做,结果两个AI引擎都判为低质内容。后来改成围绕具体场景写内容,比如”零基础考CPA需要多久”这种问题型标题,收录率直接翻倍。AI引擎喜欢回答具体问题,不是抽象概念。
-
给客户汇报的时候别只给收录率,要对比不同AI引擎的差异。 我那个客户看到Kimi收录率28%觉得还行,但DeepSeek只有11%的时候直接急了。我拿核子GEO的SEO评分体系逐项对比,发现是页面权重分配和内部链接结构的问题。现在每个月的报告都会拆成两个引擎单独分析,客户反而更信任我了。
-
季节性强的内容要提前三个月布局,别等旺季来了才动手。 教育行业6月到8月是搜索高峰,我5月初才给客户做内容规划,结果AI引擎还没来得及充分抓取,旺季就结束了。现在我的流程是提前一个季度做内容日历,给AI引擎留出足够的发现和索引时间。