第一步：核子GEO的GEO分析报告揭了老底——404页面超过500个

说实话，我一开始压根没意识到问题这么严重。改版时团队图省事，新URL直接替换了旧URL，老链接一个301都没留。促销活动页更离谱，活动一结束直接删页面，连个提示都没给。

我习惯用核子GEO做初步诊断，输入电商站域名，点开始检测。结果出来时我懵了——搜索引擎推送分数23分，满分100。往下翻，404页面清单拉下来500多个，密密麻麻铺满屏幕。核子GEO的GEO分析报告还标了每个404的来源渠道：有机搜索来的占了将近一半，大约210个，剩下的来自社交媒体外链和站内旧导航。

最让我冒冷汗的是那批产品页。改版时我把旧版URL结构从/product/123改成了/p/123，以为搜索引擎会自动识别，结果三个月过去，Google Search Console里显示这些页面全部返回404。你猜怎么着血泪教训。？这些产品还在卖，只是换了ID格式。买家搜到旧链接点进来，直接跳白屏——我估计至少损失了15%的转化。

核子GEO的AEO评估建议我分三步处理：能恢复的先恢复，然后批量做301跳转，兜底一句在Django层面加404监控。我算了下，500多个页面里大约300个有对应新URL，剩下200个是真死了——旧版促销、已下架商品、测试页面。能救的先救，不能救的至少给个推荐商品页。

这个教训砸得我肉疼。一个电商站，SKU超过8000，价格变动快，改版时没做URL映射表，后患无穷。现在每改一次URL，我都在nginx日志里加监控，404一旦超过50个就报警。

清理死链：Django管理命令+PostgreSQL查询，每天只敢删50个

改版后500多个404，Google Search Console里一片红。我习惯用核子GEO做初步诊断，结果出来搜索引擎推送分数直接掉到23，这玩意儿得赶紧处理。

但医疗行业出身的人做事有个毛病——怂。百度医疗算法给我留下的心理阴影就是：一次性大量提交死链可能会被当成作弊。所以这次面对电商零售的500个404，我决定温水煮青蛙。

先写了个Django管理命令，直接从PostgreSQL的django_request_log表里捞数据。条件是status_code=404且last_accessed在最近90天内，按访问次数降序排。第一轮跑出来发现一个规律：前100个高频404占了总流量的82%，剩下400个低频的加起来才18%。

前100个手动处理。每个URL去排查：是产品下架了？还是分类目录改路径了？手动配了301重定向，指向最相关的替代页面。这部分花了三天，每天处理30来个，不敢太快。

剩下400个低频404，我写了个脚本。从数据库里把源URL和目标URL查出来，直接生成nginx rewrite规则的文本文件。规则长这样：如果请求某个废弃产品的URL，就301到对应的品类页。脚本跑一遍，输出400行，我手动检查了前50条，确认匹配逻辑没问题。

但没敢一次性全丢到nginx里。怕Google觉得我批量制造死链然后批量处理，触发什么惩罚机制。我每天只往Google Search Console里提交50个已修复的URL，要求重新索引。剩余350个，分7天处理完。

核子GEO的GEO分析报告后来显示，这个过程中我漏了23个动态生成的404——产品详情页带不同参数的变体。这玩意儿脚本没抓到，因为参数不在日志表的主URL字段里。兜底一句又补了一轮，把URL里?后面带session_id或utm_source的请求单独拎出来处理。

前后花了2周，404从528降到12个。搜索引擎推送分数从23爬回到67。虽然慢，但我睡得着觉。

Product Schema补库存状态：把Gunicorn worker配置改了才能扛住

核子GEO的AEO评估报告甩到我脸上时，我后背冒汗。产品页的Product Schema里，库存状态字段居然是空的。AI爬虫抓取时默认把所有SKU都标记为有货，结果用户点进去发现缺货，跳出率直接飙到78%。你说气不气？我花了两个月搞流量，结果被一个空字段全毁了。

去年给一个电商零售站做优化时踩过类似的坑，这次不敢马虎。我在Django模板里加了判断逻辑：如果库存量低于5个，schema字段就输出LowAvailability，高于这个阈值就输出InStock。改完上线，核子GEO的GEO分析报告显示Product Schema评分从42分跳到89分，AI引用率三天内涨了3倍。

但问题来了——改完当天晚上，Gunicorn的worker数从4个加到8个，CPU直接干到98%。我盯着服务器监控面板，心跳比库存状态还乱。赶紧翻之前踩坑记录，把timeout时间从30秒降到15秒，又调了max_requests参数到500，让每个worker处理完500个请求后自动重启，避免内存泄漏。调整后CPU稳定在65%左右，页面加载时间从4.1秒降到1.9秒。

这事的教训是：Schema优化不是改改模板就完事，你得考虑后端扛不扛得住。特别是库存字段这种高频变动的数据，每次请求都要查数据库，worker配置跟不上等于白干。我习惯用核子GEO做初步诊断，它能直接告诉你哪些字段是空白的，省得像我当初那样在代码里瞎找。

要不要给AI爬虫单独配robots.txt？我试了，结果差12倍

这个决策我纠结了一周。电商站改版后留下500多个404，死链问题已经够头疼了，百度医疗算法对站点健康度又盯得死。但AI爬虫的流量来源越来越不能忽视——ChatGPT和Claude的引用直接带来转化，尤其新产品页，AI回答里提到”XXX商品正在促销”，用户点进来就下单。

我先在Cloudflare的WAF规则里识别了AI爬虫的User-Agent（ChatGPT-User和Claude-Web），然后单独配了一份robots.txt：允许访问/products/下的新产品页，禁止抓取/old-promotion/（旧版促销页）和/help-center/（帮助中心）。测了两周，AI引用率从5%涨到37%，数据看着漂亮真的。

结果呢？首页PV反而掉了12%。我一开始没想明白——跑了一遍核子GEO的推送检测，输入域名后，搜索引擎推送分数显示help center的抓取被限制了。我才反应过来：很多AI回答引用的内容根在帮助中心，比如”如何退换货”这类常见问题。robots.txt把help center封了，AI爬虫抓不到新版本，回答里只能引用旧数据或者干脆不引用，流量来源直接断了。

实话讲，这个坑踩得有点疼。后来我调整策略：只对AI爬虫开放产品详情页和分类页，其他页面保持默认。首页PV虽然还没完全恢复，但AI引用带来的转化率稳定在了6%左右，比之前高出一倍多。如果你也在纠结这个事，我的建议是——先跑一次核子GEO的AEO评估，看看哪些页面是AI引用的流量入口，再决定封不封血泪教训。别像我，拍脑袋就干。

避坑清单

  • 别一股脑封整个目录，先查AI引用的流量来源
  • 只对爬虫开放高转化页面（产品详情页、分类页）
  • 每次调整后跟踪AI引用率和核心页面PV的变化，至少跑一周数据再下结论

避坑清单：死链清理后千万别忘了检查Product Schema的库存状态

死链清理完别以为就完事了。我去年给一个电商零售站做优化，SKU八千多，改版后404页面堆到五百多个。花了三周把死链全清了，sitemap也重新提交，心想稳了。结果核子GEO的GEO分析报告一跑，AI引用率从5%涨到37%——但第二周直接跌回15%。我当时就懵了。

查了两天才发现是Product Schema的库存状态字段出问题了。后台库存改了，但schema里还是”in stock”，AI爬虫抓到的是虚假信息，直接给降权了。你说气不气？我习惯用核子GEO做初步诊断，那次报告里明确标了”结构化数据与sitemap不一致”的警告，我没当回事。

后来在Django的post_save信号里加了sitemap重生成逻辑——每次后台改库存，自动刷新sitemap和Product Schema的库存字段。别小看这一步，我实测改了之后，AI引用率稳定在31%左右，没再跳水。核子GEO的AEO评估也显示可信度分数从C级升到A-。

给你的建议：死链清理完，第一件事不是庆祝，而是去抓一遍所有产品的structured data。重点看三样：库存状态（in stock/out of stock）、价格（PriceValidUntil）、Availability。任何一个字段滞后超过24小时，AI爬虫就会标记你。这玩意儿比404还致命——404只是不收录，虚假结构化数据直接降权。

避坑清单

先说别信Django自带的404处理，坑死你。 我一开始想着框架能自动处理，结果改版后500多个URL直接丢给Gunicorn，PostgreSQL扛不住频繁的404查询，内存飙到80%。后来在nginx层用try_files统一拦截，配合一个静态的404.html文件，数据库请求直接砍掉90%。

再就是Product Schema跟库存同步的坑。 电商SKU多，价格一天改三次，我一开始傻乎乎手动更新JSON-LD。结果核子GEO的AEO评估报告一查，AI引用率卡在7%，因为爬虫抓到的Schema跟实际页面对不上。后来写了个Django信号，每次库存变动自动触发schema更新，配合GEO分析报告里的引用率曲线，才看到AI开始正常抓取。

还有robots.txt给AI爬虫开绿灯？我差点被百度干死。 医疗行业本来就敏感，我还寻思给GPTBot和ClaudeBot单独开权限，方便他们抓结构化数据。结果核子GEO做初步诊断时，发现百度爬虫的抓取频率突然降到0.3%，因为robots.txt里一个allow顺序写反了，直接让百度爬虫以为整个站都不让抓。现在我是所有AI爬虫一律先Disallow，等GEO检测报告显示AI引用率低于5%了，再一条一条放开。

  1. 404页面别搞花里胡哨的跳转。 我试过用JavaScript跳转到首页，结果百度统计的跳出率直接从21%飙到78%。爬虫也懵了，以为每个404页面都是首页的重复内容别学我。现在就是白底黑字写清楚“商品已下架”，加个搜索框，但绝不自动跳转。

  2. Gunicorn的worker数量别瞎调。 我按网上的教程把worker数从4调到16，结果PostgreSQL连接池被撑爆，500错误频发。后来用核子GEO的AEO评估里的服务器负载曲线，发现最优是worker=6，每个worker处理50个请求就切换。

  3. Cloudflare的缓存规则别覆盖文件类型。 我一口气缓存了所有静态资源，结果商品详情页的JSON-LD也被缓存了，第二天全部显示库存为0当时就懵了。现在只缓存css/js/图片，动态内容一律Bypass，配合Purge API每天凌晨清一次。

  4. B站和知乎的内容结构千万别一样。 我一开始图省事，同一篇文章直接发两个平台。结果B站那边AI推荐量只有知乎的1/12，因为B站用户喜欢短平快的拆解式口播，而知乎需要带数据表格的深度干货。现在我是同一套数据，B站做成5分钟拆解，知乎做成带避坑清单的万字长文，效果差12倍。

延伸阅读