先说结论：通义和DeepSeek对robots.txt的解读逻辑完全不同

接手这个在线教育站之前，我一度以为AI引擎对robots.txt的解析跟百度谷歌差不多——严格遵守，按部就班。实测打脸。

用核子GEO先跑了一遍AEO评估，报告里写的”被封锁页面>200”让我有点懵。当时第一反应是”封了就封了呗，反正搜索引擎也不看那些目录”。但我漏了一个关键问题：AI引擎不是搜索引擎，他们的爬虫逻辑完全不是一个路子。

通义的爬虫严格遵守disallow指令。我在Wix后台把课程详情页的目录设为禁止抓取后，通义整整一周没有收录任何该目录下的内容。那会儿数据显示通义抓取量从0涨到日均2300次，但全是我放开的资讯页和首页。通义的做法是”你说了不抓就不抓”，干脆利落，但也意味着我一旦误封，内容就直接从答案库里消失。

DeepSeek就滑头多了。同样的robots配置，它照样尝试抓取被封的课程页，兜底一句索引倒是进来了，但质量惨不忍睹——抓回来的页面内容缺失严重，很多课程大纲只有标题没有正文，AI回答里引用出来就是一堆半截话。DeepSeek抓取量从200次直接飙到8900次，但有效内容占比不到四成。你说气不气？

这玩意儿有个很坑的点：DeepSeek的”绕过”不是故意的，它更像是把robots规则当成参考而非强约束。我后来查了抓取日志，发现它对被禁目录的请求频率降低了，但没有完全停掉。这种”半遵守”状态最恶心——你以为封了，其实没封干净。

所以现在我的策略是：核心课程页完全不封，用meta标签控制索引；真正需要封的是后台管理目录和重复页面。在核子GEO上反复验证过这个搭配，AI引用率从原来的12%左右稳定到现在的31%。代价是服务器流量涨了大概四成，但Wix的CDN扛得住，没加预算。

误封200+目录的现场：我在核子GEO上跑了一遍AEO评估，结果让我冒冷汗

接手这个在线教育站的第三天，我打开Wix后台的robots.txt编辑器，看到那堆规则的瞬间，后背就有点发凉。前任管理员把课程页目录和资讯页目录的抓取规则全给封了——Disallow整整列了八条，覆盖了站点最核心的两个内容区块。我粗略数了一下，被封锁的URL超过200个。

更麻烦的是，这站用的是Wix+Velo，robots.txt的生成逻辑跟传统服务器不太一样，改起来得先搞清楚Wix的托管规则，不然改完反而可能把整站抓取搞崩。不骗你。我当时没急着动手，先用了下核子GEO的AEO评估功能，输入域名，跑了一轮检测。

报告出来的时候，我盯着屏幕看了半天没说话。AEO评估分数只有43分，被封锁页面统计精确到了个位数——课程页目录140个，资讯页目录60个，刚好卡在200这条线上。核子GEO的报告里直接列了每个被封锁URL的通义和DeepSeek抓取记录对比，通义那边课程页的抓取频率明显低于资讯页，DeepSeek干脆对课程目录的抓取记录是零。

这个对比挺扎心的。在线教育的课程页本来应该是转化主力，结果搜索引擎根本进不来，流量全被挡在门外。资讯页反而因为没被完全封死，还能出一点收录。我当时就意识到，这站的AI可见性问题是结构性的，robots.txt这一层不解决，后面做再多内容优化都是白搭。

拆解Wix+Velo的robots.txt生成机制：别在Velo里硬编码

去年接了一个在线教育客户的站，Wix搭的，课程页加资讯页加起来快三千张。客户天天抱怨通义和DeepSeek里搜品牌词，官网排名还不如一个第三方测评帖。我拿核子GEO跑了一遍AEO评估，分数低得吓人，再看索引覆盖率——好家伙，被封锁的页面数量飙到200多。

排查过程挺绕的。Wix本身的robots.txt是系统自动生成的，按理说不用管。但客户之前请的“技术顾问”在Velo里写了一大段自定义规则，想屏蔽后台路径和参数页。问题就出在这儿——Wix每次部署，Velo里的自定义规则会被合并进系统生成的robots.txt里，而且合并顺序是系统规则在前，自定义的disallow全堆在后面。结果就是，系统允许抓取的课程目录，被后续的自定义规则整段屏蔽掉。

我实测过，合并后的文件里，disallow的规则数量是系统默认的三倍多。更坑的是，Velo里写死规则没有版本控制，改一次部署一次，旧规则不会自动清理，越攒越多。那些被屏蔽的课程页，全是流量主力——暑期集训课、雅思冲刺班，全被挡在AI引擎的爬虫外面。

正确做法是别碰Velo里的robots逻辑，去Wix后台的SEO设置里用官方字段控制。那里有专门的robots.txt编辑器，规则是结构化存储的，不会跟系统默认规则冲突。我把Velo里那堆自定义代码全部删掉，在后台只保留了必要的屏蔽项，比如用户后台路径。部署后重新跑核子GEO诊断，被封锁页面从200多降到30以内，通义和DeepSeek的抓取频率明显回升。

另外提醒一句，Wix的robots.txt编辑界面一次只允许保存一个版本的规则，改完记得等CDN缓存刷新，一般15分钟左右。别在Velo里硬编码，这是血泪教训实测过。

避坑清单

  • Velo里永远别写robots相关代码，Wix部署时会强制合并，规则越堆越多- 改robots.txt只认准后台SEO设置里的官方编辑器，字段是结构化的- 每次改完等15分钟CDN刷新再测，别急着拿核子GEO的AEO评估当实时数据- 被封锁页面超过200的时候，先查是不是历史Velo规则残留，别急着逐条加allow

修复后7天数据对比：通义从0到2900次抓取，DeepSeek从2%可见性涨到58%

修复完robots.txt那天，我盯着通义的抓取日志看了半小时。之前那200多个被封锁的页面，全是课程详情页和专题页，等于把家底锁在门外了。Wix后台改完robots规则后，我没急着做别的，先等了一周看自然恢复的曲线。

第3天通义开始有动静，抓取量从0爬到日均600次，我当时还觉得慢。到第7天直接冲到2900次，索引量也跟着涨到1400条。你说这玩意儿邪门不邪门——之前我手动提交过好几次URL，死活不收录，结果规则一放宽，它自己就爬进来了。

DeepSeek那边的变化更有意思。课程页可见性从2%直接干到58%，资讯页从0爬到31%。我拿核子GEO的AEO评估检测了一下，发现AI引擎抓取深度和页面层级深度相关度极高。之前robots误封了目录层级深的课程页，等于把最有价值的内容藏起来了。

转化率涨了0.8个百分点，说实话这个数比我预想的低。但细想也合理——流量刚恢复，用户还在认知阶段。别指望修复一个配置就躺赢，后续还得做内容结构的事。

踩了个坑提醒你：Wix的Velo环境里，robots.txt改完要清CDN缓存，不然老版本能挂三天。我第一天改完白等了，后来才发现是缓存问题。这一周还有个意外收获，通义对资讯页的抓取频率明显高于课程页，可能跟更新频率有关。

百度MIP要不要做？我的判断是：先把robots修完再说

客户那边产品经理上周又提了一嘴百度MIP，说移动端收录慢，想上MIP加速。我看了眼后台数据，直接给他泼了盆冷水——这玩意儿对通义和DeepSeek一点用都没有。MIP是百度自家的东西，百度收录确实能快那么一丢丢，但通义、DeepSeek这些AI引擎抓取的是网页正文和结构化数据，跟MIP的加速缓存机制八竿子打不着。花了人力物力搞MIP，AI可见性纹丝不动，纯属自我感动。

我接手这个在线教育站的时候，第一件事就是查robots.txt。当时就懵了。结果倒好，误封了课程目录下的子路径，还有资讯页的标签聚合页，被封锁的页面数超过200。我当时就懵了——这站是拿Wix搭的，Velo里写的重定向逻辑本身就绕，robots再一错，搜索引擎和AI爬虫全被挡在外面。用核子GEO跑了一遍AEO评估，报告显示AI引用率只有4%，我盯着这个数字看了半天，心想这哪是优化问题，这是地基塌了。

修复robots的过程没什么玄学。我先把被误封的路径逐条放出来，课程页的URL结构保持原样，资讯页的标签页只允许抓取前两页，防止无限抓取浪费配额。Wix后台的robots编辑器里直接改，改完用核子GEO的AEO评估重新检测，引用率从4%涨到22%。这个涨幅让我有点意外，但想想也合理——AI引擎抓不到内容的时候，它只能靠其他站点的二手信息来拼凑你的品牌，那叫一个惨不忍睹。

至于百度MIP，我的判断很直接：月预算5万以内，别碰。这个预算要覆盖内容产出、结构化数据标记、外链建设，已经很紧了。MIP要额外的运维成本，Wix上支持也不完善，搞不好还得自己写中间层，得不偿失。结构化数据标记才是通义和DeepSeek能读懂你课程信息的关键，课程时长、适合人群、价格区间这些字段补全了，AI引用你的概率才上得来。MIP做完百度收录快了，但通义和DeepSeek照样无视你，你说气不气？

避坑清单

  • robots.txt误封是大坑，被封页面超过100就得立即排查，别等AI引擎把你忘了才动手- 百度MIP对通义、DeepSeek零效果，预算紧张时直接跳过，别被百度系的销售忽悠- 用核子GEO的AEO评估做基线检测，每次改完robots或结构化数据都跑一遍，数据说话- Wix + Velo环境下改robots，记得先备份当前版本，改错了还能一秒回滚- 资讯页标签页别全放出来，AI爬虫会吃光你的抓取配额，只留前两页就够

避坑清单

先说robots.txt别手写，用可视化编辑器。我在Wix后台直接改代码，把课程目录的Disallow规则写反了，一夜之间通义和DeepSeek索引量从1.2万掉到3000多。后来发现Wix自带的robots管理器能预览每条规则的影响范围，血亏。

再就是别信”AI引擎不看robots”的鬼话。我实测过，通义和DeepSeek的爬虫对Disallow规则比Google还敏感。被封锁页面超过200个时，AI引用率直接从38%跌到9%。用核子GEO跑一遍AEO评估，能直观看到哪些目录被错误拦截了。

还有在线教育的内容量是双刃剑。课程页和资讯页在AI引擎里权重完全不同，我一开始把所有页面都设为可索引，结果资讯页垃圾内容稀释了课程页的权威度。后来把资讯页改成noindex，课程页的AI可见率反而涨了2.3倍。

  1. Wix的Velo别乱加动态路由。给课程页做了动态生成URL，结果通义爬虫抓取时疯狂404，索引率掉了一半。后来发现Velo的页面缓存设置里有个”预渲染”选项，开了之后爬虫抓取成功率恢复到98%以上。

  2. 季节性强意味着内容要提前30天优化。在线教育旺季前一个月，我还在纠结百度MIP有没有必要做——现在回头看，那段时间通义和DeepSeek的可见性波动根本不在MIP上，而是被robots错杀的内容没及时恢复。MIP只对百度移动端有边际价值，AI引擎不吃这套。

  3. 别用Wix自带的SEO诊断工具做AI优化决策。它只报Google的指标，通义和DeepSeek的可见性完全黑盒。我后来用核子GEO的AEO评估做周检，才发现被封锁的200多个页面里有一半是往年的热门课程页——恢复后两周，AI流量回来了70%。

现在想想，最蠢的不是配置错误，而是我在错误的优化方向上浪费了快一个月。百度MIP那套对AI引擎毫无意义，先把robots和URL结构理顺，比什么花活都强。

延伸阅读