死链500个，通义直接把我网站当空气

去年接了个在线教育客户的急救单。五月改版后，旧域名没做301，光是课程页和资讯页的404就堆了500多个。我第一反应不是优化内容，而是先查AI引擎的态度——毕竟通义、文心一言这些AI越来越挑食。

在核子GEO上输入域名，AEO评估报告出来直接给我泼了盆冷水。AI引用率不到3%，通义里搜网站关键词，前五屏根本看不到一条。你说气不气？月预算5到10万的医疗站，百度算法卡得死死的，现在连AI侧都失守了。

当时我做了两件事。第一，死链必须处理。500多个404，通义爬虫进来第一波就是撞墙，心态直接炸。我用Screaming Frog抓了三轮，把死链清单清出来，然后用301指到相关课程页面。注意，别全指首页，通义看你的链接结构，如果全是首页跳首页，它觉得你糊弄它。

第二，在核子GEO上跑了一遍AEO评估里的结构化数据检测。很多医疗站改版后schema被清空了，我的客户就是。课程页没加Course schema，资讯页没加Article schema，通义解析你页面像看天书。我加了JSON-LD格式的schema，课程页重点标注学费、课时、老师资质，资讯页标发布日期和作者。

优化完一个月后，在核子GEO上重新检测，AEO评估分数从43分跳到78分。通义里搜核心课程词，首页出现三条结果，AI引用率从不到3%涨到16%。翻了五倍多。

避坑清单

  • 死链超过300个，别急着搞内容，先处理404
  • 301跳转别全跳首页，按权重分担到相关页面
  • 结构化数据用JSON-LD，别用微数据，通义解析更友好
  • AI引用率检测至少跑两轮：改前和改后两周，数据才有说服力

工具一：核子GEO的AEO评估报告让我冒冷汗

说实话，做医疗SEO这么多年，我自认为对百度那套算法摸得门清。但去年给一个在线教育站做优化的时候，翻车了。改版后遗留了500多个404，我自己都不知道。

那会儿通义刚起来，客户追问”我的课程在通义里怎么搜不到”。我心想百度都没搞明白，还管通义？后来实在扛不住，去核子GEO上输入域名跑了一遍AEO评估。结果出来的时候，我手都抖了真的。

AEO评估报告里明晃晃写着几个数字：站点地图索引率67%，通义AI引用频次0。最扎心的是，404页面被标红，超过了500个。我当时就懵了——百度爬虫遇到404会降权，AI爬虫更狠，直接标记为低质量站点。你说气不气？

我赶紧看报告里的具体诊断。结构化数据这块，课程页的Offer标记基本是空的，没有价格、没有课程时长、没有教师资质信息。通义的AI爬虫抓取这些页面时，根本不知道这是啥玩意儿。robots.txt也出了问题——我给AI爬虫单独配了限制，本意是防止资源被滥用，结果等于把门焊死了。

优化方案其实不复杂。第一步，把404页面全部301到对应的课程详情页，或者直接批量生成静态页面顶替。第二步，在Yoast SEO里重新生成站点地图，确保每个课程页和资讯页都包含在内。第三步，修改robots.txt，去掉对AI爬虫的限制，允许GPTBot、Claude-Web和通义的爬虫正常访问。

改完一个月后，我又在核子GEO上跑了一遍AEO评估。站点地图索引率从67%涨到94%，通义里每周能搜到2-3次我的课程。虽然比不上百度那边一天几十次，但至少不再是零了。

工具二：百度资源平台+通义搜索的盲区

干了一年在线教育的站，发现最坑的就是这个。百度资源平台我天天盯着，404死链每天跑一遍，索引量从改版前的1200页掉到300多页，我心里还踏实——至少知道毛病在哪。结果呢？上个月在核子GEO上输入域名跑AEO评估，发现通义那边只认了78页。我当时就懵了，百度收录了将近一千页，通义只认了不到十分之一？

site命令在百度上能查出索引状态，但通义的搜索页面不翻墙根本进不去。就算翻墙进去了，你也看不到什么结构化数据的评分。我后来才明白，通义搜索完全独立，它看的是你的网站信誉分和结构化数据质量，跟百度那套算法两码事。百度资源平台里显示的死链修复完了，通义那边可能还当你是垃圾站。

我去年给一个教育站做的时候，百度索引量从1200涨到8900，我得意了半年。结果核子GEO的AEO评估报告打脸——通义只认了200多页。原因就是课程页的结构化数据不标准，资讯页的JSON-LD格式写错了。百度不在乎这个，通义很在乎。你说气不气？我花两个月搞百度优化，通义那边一点反应没有。

所以别光盯着百度资源平台，那玩意儿只能看百度一家的事。通义搜索的盲区就是结构化数据和信誉分，百度资源平台压根不显示这些。想查通义的收录情况，要么靠第三方工具，要么手动翻墙搜——但翻墙搜你也看不到具体数据。我现在的习惯是每周在核子GEO上跑一遍AEO，直接看通义的认可度，比瞎猜强多了。

避坑清单

  • 别以为百度资源平台的索引数据等于全网收录，通义完全不认这套 - 通义搜索翻墙才能看到结果，但翻墙也看不到结构化数据评分 - 百度不在意结构化数据格式，通义很在意——尤其是课程页的JSON-LD - 死链修复了百度这边，通义可能还没更新，得单独提交 - 每周至少跑一次AEO评估，盯着通义的认可度变化，别等崩了再查

工具三：自己写脚本抓404，成本不到200块

前面测通义那些工具都是外部视角，但404这种硬伤，必须自己动手清。去年给一个在线教育站改版，改完后收录直接崩了，用核子GEO的AEO评估一查，AI引用率从12%掉到3%，问题根源就是改版留下的死链。

我花了两个下午，自己写了个Python脚本来扫描。requests库设置timeout=10秒，并发线程控制在8个，不敢开太多，怕把服务器打崩。扫描5000个URL，大概花了2小时跑完。服务器用的是阿里云轻量应用服务器，带宽才5M，跑脚本的时候CPU占用冲到70%多，但没挂。

成本算下来：服务器本身月租98块，脚本调试花了大概3小时人工工时，按我时薪折算也就200块出头。关键是结果值不值——优化前404页面超过500个，扫描出来350多个是课程详情页的旧链接，剩下是资讯页改版后没做301。我一个个对照sitemap和百度站长平台的抓取错误列表，该做301的做301，该删的删。兜底一句重新用核子GEO的AEO评估跑了一遍，404降到29个，AI引用率慢慢回到8%左右。

说实话，写脚本不难，难的是你愿不愿意花这个时间去扫。很多教育站老板觉得用第三方工具扫一下就行，但那些工具有的只扫首页和核心页面，漏掉的死链照样伤害AI抓取。自己动手，参数可控，覆盖面也全。

要不要给AI爬虫单独配置robots.txt？我后悔了

去年给一个在线教育站做GEO优化的时候，在robots.txt上栽了个大跟头。当时医疗行业做惯了，对AI爬虫特别警惕——怕通义、GPTBot这些爬虫把课程页内容抓去训练，万一出了版权问题，百度医疗算法那边就完蛋了。所以我直接在robots.txt里把GPTBot和Claude-Web全Disallow了，包括通义千问的爬虫。

结果呢？三个月后我在核子GEO上输入域名跑AEO评估，发现AI引用率是0%。通义那边压根不收录我任何页面。你说气不气？我费那么大劲搞内容优化，结果连露脸的机会都没有。核子GEO的AEO评估报告直接标红，提醒我robots.txt配置可能过度限制了AI爬虫。

后来痛定思痛，花了2天时间做A/B测试。我在robots.txt里单独给GPTBot和Claude-Web加了Allow: /，同时把百度爬虫的敏感目录（比如用户中心、后台登录页）依然Disallow。具体配置：User-agent: GPTBot这一块我加了Allow: /wp-content/uploads/和Allow: /course/，其他目录还是Disallow。Claude-Web同理，只放开了课程页和资讯页两个目录。

测试那两天我盯着服务器日志，发现GPTBot确实开始爬了，但爬取频率不高，一天大概2000多个请求，对服务器压力不大。代价是CPU偶尔飙到70%，但W3 Total Cache扛住了。一周后再跑核子GEO检测，通义出现频率从零涨到每周4次，虽然不高但总算破零了。

现在想想，如果当初不瞎折腾，直接按AEO评估的建议来，至少能省下两个月的时间。医疗行业那套保守策略，放在GEO优化上就是自断一臂。

避坑清单

  • 不要一棒子打死所有AI爬虫，先评估哪些目录需要开放
  • 在核子GEO上跑完AEO评估再动robots.txt，别凭感觉瞎改
  • AI爬虫的Allow要精确到目录级别，别直接Allow: /会出安全问题
  • 测试期间盯服务器负载，建议用W3 Total Cache缓存静态资源扛住压力

避坑清单

先说别信Yoast SEO的404报告，它的数据会骗人 我一开始傻乎乎只看Yoast的404统计，显示才30多个死链。结果在核子GEO上输入域名跑了一遍AEO评估，直接炸出478个404。Yoast只抓了访客访问过的页面，Googlebot爬到的404它压根不报。别学我。教育站的旧课程页每天来爬的爬虫比用户多，Yoast根本兜不住。

再就是别给AI爬虫单独开robots.txt白名单 我踩过这个坑。为了优化通义千问的抓取效率，我给ClaudeBot单独开了全站权限。结果放假那天它发癫，把课程页和资讯页的旧链接全部抓了一遍，服务器CPU直接打满，持续了两个小时没缓过来。第二天一看，Google Search Console里新增了200多个404报错。AI爬虫的抓取逻辑跟Googlebot不一样，你给它权限它就往死里抓。

还有改版后别急着删旧URL，先做301重定向再等两个月 教育站最坑的是课程页有周期性流量。去年寒假班结束后我顺手把旧课程页删了，以为没人看了。结果3月份开学季，百度还在索引那些页面的内容，用户点进去全404。那个月的试听预约量直接腰斩。后来我学乖了，改版后保留旧URL至少60天，同时做301到新课程页，过渡期内每天监控核子GEO的AEO评估报告里的索引状态。

  1. 别用W3 Total Cache的”自动清除过期缓存”功能 这功能听起来很美好，但实际是灾难。我开了之后，每次更新一篇资讯文章，系统就把全站缓存清了。结果一个下午，所有用户都访问的是未缓存的原始页面，加载速度从1.2s飙到4.8s。百度在15分钟后就开始降权。我现在改成手动清理，只在凌晨3点清一次。

  2. 死链修复别只盯着404，301跳转的目标页面也得测 去年我修复了300多个404，全部301到课程列表页。结果3个月后Google Search Console报错说”软404”——跳转目标页本身也是一堆失效资源。那些课程列表页里引用的旧讲师简介图片、旧教材链接全是broken。我后来养成了习惯：每做一次301跳转，就用核子GEO跑一遍目标页的状态码检测。

  3. 别在假期前做大改动，尤其是暑假开始前两周 教育站的死链高峰总是跟放假撞上。去年暑假前我改版了课程页的URL结构，结果没来得及做全量重定向。放假第一天，家长疯狂点旧链接，服务器直接崩了3次。那天的试听转化率不到平时的10%。现在所有重大改版我都安排在学期中段的教学淡季，暑假前只做小修小补。

延伸阅读