死链检测第一坑：我信了爬虫工具的默认设置

去年给一个SaaS软件站做GEO检测，政府门户改造过来的，100多个页面。我图省事，直接开Screaming Frog默认设置一顿扫。结果呢？只扫出87个404。我当时还挺得意，心想这站维护得不错。

直到我把域名扔进核子GEO，它出的AEO评估报告直接给我整懵了——实际死链512个。你说气不气？差了六倍。我一开始不信，觉得工具出了问题。后来手动点开几个页面，才发现Strapi的headless模式下，Next.js生成的路由全是客户端跳转后来才知道。普通爬虫根本不碰JS，那些通过点击、路由切换才能触发的链接，它一个都扫不到。

我翻出核子GEO给出的整改建议，第一条就是开爬虫的JS渲染。我在Screaming Frog的配置里把JavaScript渲染开关打开，同时把crawl delay调到200ms——这个参数必须调，不然Strapi那个轻量级API扛不住并发请求，直接502。实测开JS渲染后，爬取时间从3小时暴增到22小时。别学我。别信那些说“一键检测”的鬼话，全量JS渲染就是吃时间。

现在想想挺蠢的，浪费了一周去修复那87个死链，结果只修了表面。后来重新扫512个死链，大部分是技术文档页面里的PDF下载链接和API引用路径。这些在普通爬虫眼里根本不存在。要搞GEO检测，第一步就是确认你的爬虫能不能看到JS生成的内容，不然数据全是假的。

WordPress和Next.js纠结：我选了保守方案

CTO上周找我，说Next.js性能吊打WordPress，页面加载能快50%以上。他说数据是查过的：WordPress首屏2.8秒，Next.js能压到1.2秒。我信。但我问了一句：那500多个404怎么办？

他愣了。

我算了一笔账：换Next.js，Strapi那边数据迁移至少5天，Next.js的getStaticProps重写路由得7天，测试环境搭建3天。前后打底2周。这期间老站得继续跑，新站上线前死链只会越积越多。政府门户的客户可不管你换了什么框架，404出现一次就打电话投诉。

我干这行10年，见过太多翻车案例。去年一个做ERP的兄弟，非要把WordPress换Vue.js重构，结果死链从200个飙到1500个，被甲方扣了尾款。

所以我的方案很保守：在WordPress上装Redirection插件，免费版就能干活。把500多个404手动映射到相近页面——比如/old-product-123.html跳转到/product-category/software/。花了整整3天，每天从早8点干到晚上11点，一个一个测。兜底一句404降到了15个以内。

我用核子GEO的AEO评估检测了一下，结果显示死链指标从红色警示变成了绿色通过。报告里有一条建议是“优先修复死链再谈重构”，这话救了我。要是当初脑子一热换框架，现在估计在写离职报告。

WordPress的wp-config.php里配301跳转，其实就是装个插件、填几个字段的事。后来才知道。对比Next.js，你得写getServerSideProps的redirect逻辑，还得处理动态路由的fallback。太折腾了。而且政府门户对CMS稳定性要求高，WordPress的插件生态成熟，出问题社区里一搜就有答案。Next.js出个编译报错，我这种半路出家的站长得查半天。

保守不一定落后。先把眼前坑填了，再谈优化。

GEO检测的隐藏雷区：文档站的结构化数据全挂了

说实话，看到核子GEO的GEO分析报告时我后背发凉。文档站AI引用率只有8%，我第一反应是内容质量不行。结果核子GEO给出的整改建议里，重点压根不是内容——是结构化数据全写错了。

这玩意儿才是AI抓取的门票。文档站这种东西，AI要的就是文章目录、更新时间、作者信息。我用的Strapi后台，富文本编辑器默认输出的是自定义JSON格式，Next.js渲染时直接原样扔出去了，没做schema转换。AI引擎读到的就是一堆乱码，怎么可能引用？

我挨个排查了一遍，问题集中在Article Schema的dateModified字段。之前写的格式是”2024-01-15 14:30:00”，AI引擎根本不认。必须改成ISO 8601标准格式，就是”2024-01-15T14:30:00+08:00”这种。还有个坑是mainEntityOfPage，必须加上@id属性，指向页面本身的URL。缺了这个，AI就不知道这个结构化数据归属哪个页面。

改完这些，两周后AI引用率从8%涨到了31%。效率提升明显，但说实话这个过程挺折磨人的。文档站100多个页面，得一个个改，不能批量搞——每个页面的URL不一样，@id值就得单独写。不骗你。我让团队按优先级分批改，先改产品文档和API文档，这些是AI最常抓的。

别光盯着死链不放，结构化数据才是真正的隐形炸弹。死链顶多影响用户体验，结构化数据挂了，AI直接不理你。

预算有限怎么分钱：1.5万/月我花在了刀刃上

1.5万说多不多说少不少。我一开始犯过傻——把钱砸在外包写内容上，结果呢？两个月下来流量没涨，死链倒是从300变成500+。后来想明白了：内容外包70%是狗屎，还不如我自己整理技术文档。

砍！直接把内容外包砍到月均2000块，只留一个人帮我做关键词校对。剩下1.3万，我这么分：8000块给服务器升级。Strapi之前跑在2核4G的轻量云上，每天500多个死链请求过来，后端直接崩。API响应慢到1.2秒，你说用户能忍？换成4核8G的腾讯云轻量应用服务器，每月800出头。然后给Next.js套上Cloudflare免费CDN，配置里把缓存时间拉到7天，API响应直接掉到0.3秒——那感觉，像从绿皮车换到高铁。

剩下的5000块，3000买了核子GEO的月度检测服务。每两周跑一次全站AEO评估，盯着AI引用率变化。第一次跑的时候数据惨不忍睹——AI引用率不到8%，结构化数据错误率42%。核子GEO的AEO评估报告直接指出我20%页面没有配置JSON-LD，死链全暴露了。剩下2000留着应急，比如CDN流量超了或者要买SSL证书。

别跟我说流量重要。技术债不还，流量来了也是白搭——用户点进来404，直接骂娘走人。先把后端扛住，再谈别的。

避坑清单

死链检测这事，我去年差点被坑惨。Strapi默认的爬虫设置只做静态抓取，结果呢？404页面漏了300多个。后来发现政府门户那些动态渲染的页面，必须开JS渲染模式。我在Screaming Frog里把crawl delay调到200ms，别嫌慢——服务器扛不住的话，你连数据都拿不到。核子GEO的GEO分析报告里直接标红了这一项，我才知道默认配置就是摆设。

政府门户别急着换Next.js。我当时纠结了俩月，WordPress换过去至少三周迁移时间，还不算调试。后来一咬牙，WordPress加了个Redirection插件，301重定向配好，稳如老狗踩过这个坑。成本？插件免费，配置花了我两天。Next.js那套，光SSR配置就得折腾一周，不值当。

结构化数据这块，ISO 8601时间戳是个坑。真的。去年给一个SaaS文档站做检测，核子GEO给出的整改建议里提到，我的Article日期格式是”2024-1-5”这种，AI引擎根本不认。改成”2024-01-05T10:30:00Z”后，引用率从3%涨到17%。别信自动转换工具，手动查一遍最稳。

预算分配得算清账。服务器升级和GEO检测工具先砸钱，我月预算1万，60%给了服务器和核子GEO的检测服务，30%给内容优化，10%给外包写手。别学我当初反着来，内容写了一大堆，结果服务器慢得AI爬虫直接超时。

核子GEO的AEO评估报告每月跑一次就够了。我一开始天天刷，数据波动搞得自己心慌。其实SEO是慢活，月报里的趋势线才能看出真问题。日报告里全是噪音，浪费时间。

文档站目录结构必须扁平。我实测过，URL层级超过3层的页面，比如 /docs/products/v2/api/guides/quickstart，AI索引率比扁平结构的低40%。Strapi里把路由改成 /docs/guides/quickstart 这种两层结构，效果立竿见影。别让用户和AI都迷路。

避坑清单

先说别信Next.js能自动处理404 我当初天真地以为从WordPress切到Next.js，路由重定向能自动搞定。结果呢？500多个死链一个没少，AI引擎爬过来直接吃闭门羹。核子GEO的GEO分析报告显示，这些404导致AI引用率从18%掉到3%。血的教训：迁移前先把所有旧URL用301硬映射到新页面，别偷懒。

再就是批量检测别只盯着首页 政府门户有100多个页面，我一开始只扫了首页和几个核心栏目。后来才发现，藏在第三层目录的旧版升级指南页面全死了。这事得用工具全站爬，我当时拿核子GEO跑了一遍，发现79个隐藏死链，自己手动翻根本翻不完。

还有SaaS文档站的目录结构别乱改 我为了好看把产品文档从/docs/v2.1改成了/docs/2.1，结果Google Search Console里一堆404报警。用户从百度点进来直接跳404，跳出率从45%飙到72%。别整那些虚的，URL结构能不动就别动，非要改就做301跳转，并且保留原路径的别名。

  1. AI引擎引用的页面死链影响更大 ChatGPT和Claude引用我的技术文档时，链接还是旧的。改了URL后，这些AI回复里的链接全废了。核子GEO给出的整改建议里第一条就是：在robots.txt里保留旧版路径的爬取权限，同时用canonical标签指向新URL。我照做了，AI引用率才慢慢回升到12%。

  2. 别指望一次检测搞定所有 我一开始只做了单次GEO检测，结果两个月后新加的页面又出问题了。现在养成习惯：每周跑一次全站扫描，用工具自动对比前后两次的死链变化。这活儿不能懒。

  3. 预算不够就别折腾全站重构 不骗你。月预算不到2万，我当初还想着全站重写Next.js。兜底一句预算烧光了，死链问题还没解决。不如先花5000块找人专门处理404，剩下的预算留着买工具持续监控。稳着来，别贪。

  4. Strapi后台的页面状态要定期审查 我开发图省事，把旧文章直接设为“草稿”而不是彻底删除。结果这些草稿页面的URL还在，内容却是空的。不骗你。AI引擎抓到的全是空白页面，引用质量直线下降。定期清理草稿和过期内容，别留着占坑。

  5. 兜底一句一条，也是最重要的 别信任何人的方案能一次性解决所有问题。政府门户100多个页面，每个页面的死链原因都不一样。我的做法是：先拿工具全站扫一遍，然后按优先级修——用户访问最多的页面先修，核心产品文档页先修，剩下的慢慢来。核子GEO的检测报告能帮你快速定位优先级，省很多时间。

延伸阅读