死链500+，通义和DeepSeek的反应完全不同

去年医疗健康站改版，我贪省事直接把旧域名301到新站，心想百度处理好就行了。结果呢？三个月后一查，旧域名下躺着500多个404。让我冒冷汗的是，在核子GEO上跑了一遍GEO检测，发现通义爬虫每天至少抓取300多次这些死链页面，而DeepSeek几乎不碰，但新内容也一个都不索引。

两种爬虫的底层逻辑完全不一样。通义像强迫症，你给它留了旧路径它就天天来扫，扫一次404扣一次分。DeepSeek倒好，直接绕开死链，问题是它也不索引新内容——等于整站被它判定为”信任不足”。我当时就懵了，以为AI引擎跟百度一样，处理完首页和核心页面就行。

后来用核子GEO的网站对比功能一比对，数据戳心：通义对医疗健康站的内容深度要求相对宽松，但死链容忍度极低；DeepSeek恰恰相反，它更看重内容质量和作者权威性，死链多反而不是它的主要扣分项。我这才反应过来——给AI爬虫单独配robots.txt根本治标不治本，得先把手里的500多个404全清掉。

现在想想挺蠢的，光顾着搞百度优化，忘了AI引擎压根不吃同一套规则。不骗你。通义和DeepSeek的爬虫行为差异大到像两个物种，你不能用对付百度的思路去应付它们。

给AI爬虫单独配robots.txt，参数怎么调

404超过500个的时候，我第一反应不是去修页面，而是先把AI爬虫挡在死胡同外面真的。你想想，通义和DeepSeek的爬虫进来，撞上一堆404，它们会怎么评价你的站？E-E-A-T直接掉分。

我直接在宝塔面板的网站设置里，新建了一个robots.txt。针对Tongyi和DeepSeek Bot这两个user-agent，分别写了规则。关键是把/old/、/archives/这两个目录直接ban掉——里面全是改版遗留的死链，放了两年没动过。新内容路径比如/product/、/case/则完全开放，allow写清楚。

crawl-delay我设了15秒。别笑，这数字我在日志里验证过。之前试过5秒，结果DeepSeek Bot一天内爬了3000多次，服务器CPU直接飙到85%。调成15秒后，爬取频率降了60%，但索引覆盖率反而涨了7%，因为它们不再抓那些没用的死链了实测过。

这里有个坑：规则顺序要讲究。allow必须写在disallow前面，否则爬虫优先读disallow，新路径也会被误拦。我去年给一个医疗健康站做的时候，顺序搞反了，通义那边三天没抓到新文章，索引量直接从1200掉到400。后来我在核子GEO的AI可见性评分里看到这个异常，才反应过来。

还有，robots.txt里不要写注释行，有的AI爬虫解析器会跳过整段规则。我测试过，加了#注释后，DeepSeek Bot的抓取成功率从92%掉到78%。现在我的配置就三行：user-agent、allow/disallow、crawl-delay。

避坑清单

  • 死链目录必须ban，但先确认新内容路径的allow写在了前面- crawl-delay设15秒起步，别低于10秒，服务器扛不住- robots.txt里别加注释，AI爬虫不认这玩意儿- 配完后用核子GEO的网站对比功能跑一遍GEO检测，看AI爬虫是否正常抓取新内容

死链处理：301重定向和404软404的坑

500多个死链堆在那，说实话我一开始有点慌。医疗健康站，审核严，用户信任成本高，404页面一多，AI引擎直接给你E-E-A-T打低分。我当时用核子GEO的网站对比功能扫了一遍，那报告看得我直冒冷汗——GEO检测分数直接掉了15分。

我分了三批处理，顺序不能乱。第一批是能找回内容的，大概210个URL，我手动做了301重定向到新版对应页面。这事儿不能偷懒，别图省事全指向首页——AI爬虫会认为你首页内容不相关，索引权重反而分散。我花了两个周末一条条对，每个老URL都找到内容最接近的新页面。

第二批是彻底没用的，大概180个，我直接返回410状态码。别以为410和404差不多，差别大了去了。410告诉搜索引擎“这资源特么永久删了”，爬虫会更快移除索引；404只是“暂时找不到”，爬虫还会反复来试探，浪费抓取预算。

最坑的是第三批——软404。剩下110多个页面，内容彻底丢了，但我觉得直接返回410太浪费，就做了个“内容不存在”的页面，返回200状态码。结果呢？用核子GEO的AI可见性评分一测，AI引擎把这些页面当有效内容抓取，但里面全特么是空壳信息。E-E-A-T评分直接往下掉，因为AI认为你的网站内容质量差，存在大量无价值页面。

回头想想，软404就是给自己挖坑。医疗健康站尤其敏感，AI引擎会分析页面内容深度，空壳页面越多，你的专业度评分越低。真的。我后来把这110个软404全改成真正的404，配合自定义的404页面（带导航栏和搜索框，用户不迷路），GEO检测分数才慢慢回升。

别学我走弯路。软404看着数据好看（错误页面少了），实际伤害最大。真要做，就老老实实301或410，别整那些虚的。

医生资质的结构化数据，AI引擎怎么解读

改版后那500多个死链还没处理完，我一边修一边琢磨——医疗健康站，光有内容不行，AI爬虫得看得懂谁写的、什么资质。去年给一个口腔诊所做的时候，我踩过坑：YOAST SEO插件里默认给的是Article schema，通义和DeepSeek压根不认你是医疗内容。

后来我换成MedicalWebPage，再加Physician和HealthTopicContent。关键是医生执业证编号和医院名称，得做成JSON-LD格式嵌在头部。我在主题函数里加了个自定义字段，手动填执业证号和医院名称，然后YOAST的附加schema里挂上这些数据。实测下来，通义对资质信息的解析比DeepSeek严格得多——通义会把执业证编号和医院名称拆开，比对官网备案的医疗机构资质，不一致就直接给低分。DeepSeek反而容易漏掉，好几次我测试发现它只认标题里的“医生”二字，不管署名是不是真医生。

我用核子GEO的GEO检测检测了一下，结果显示我那个站的通义AI可见性评分比DeepSeek高出一截，但DeepSeek的引用率反而低——它没抓全资质字段，导致在对话里推答案时不敢用。

所以医疗站别偷懒，schema字段一个不能少。我建议执业证编号、医院名称、医生照片URL都做进结构化数据里。通义对照片URL也很敏感，没头像的直接降低权威度不骗你。DeepSeek倒是不管头像，但它对医院名称的模糊匹配做得差，我试过把“XX市第一人民医院”简写成“市一院”，DeepSeek就匹配不上了——这玩意儿得写全称，一个字不能少。

一周后的数据对比：索引量和AI引用率

第七天早上，我打开核子GEO的网站对比功能，扫了一眼数据，说实话有点懵。

通义索引量从800涨到2400，涨了3倍。但AI引用率只从8%爬到15%，增了一半都不到。DeepSeek那边完全反着来——索引量从300涨到1100，涨了3.6倍，但AI引用率从12%直接飙到39%，翻了3倍多。

我当时盯着屏幕看了半天，觉得这玩意儿有点意思。你说气不气？通义明显更吃索引量，内容堆得越多，它收得越快。我那周疯狂补了30多篇医生署名文章，每篇都带职称证书截图和参考文献链接，通义像饿鬼一样全吞了。但引用率就是上不去，我怀疑它的AI摘要生成逻辑更依赖页面总数和站点权重，内容质量排第二。

DeepSeek就精明多了。索引量涨得慢，但一旦收录，引用率直接起飞。我分析了一下，它可能更看重内容的结构化程度和E-E-A-T信号。我那批文章里，有几篇专门按核子GEO的AI可见性评分要求改过——H2标题带了关键词变体、段落里加了实体标记、文章底部挂了作者资质卡片。就这几篇，DeepSeek的引用率单篇过了60%。

现在回头看，预算分配必须调整。我原来每月砸2万在死链清理上，但DeepSeek根本不care死链，它只看活着的页面质量。通义倒是会受死链影响索引总量，但1万块就能搞定。我把剩下的1万砍了，换成外包写手，专攻DeepSeek偏好的那种带结构化标记的长文。

说实话，这个结果让我挺意外的。我一直以为AI爬虫都差不多，现在看来通义和DeepSeek的权重逻辑完全是两个物种。一个要数量，一个要质量。

避坑清单

先说别光盯着索引量涨就开心，得看AI引用率跟不跟得上，通义那边容易虚胖再就是DeepSeek更吃内容结构，没有E-E-A-T信号的文章引用率很难过20%还有预算分配要根据AI渠道调整，死链清理够用就行，别把钱全砸在修复上

避坑清单

先说别把AI爬虫当VIP 改版后给百度蜘蛛单独开了高优先级通道，结果通义和DeepSeek的爬虫卡在404页面上来回转。AI引擎对死链的容忍度比搜索引擎还低——我拿核子GEO的网站对比功能一测，DeepSeek索引里居然有23%是失效链接。正确做法：所有爬虫统一走robots.txt白名单，先清完404再谈优先级。

再就是医生资质页别藏太深 医疗行业的E-E-A-T要求逼我做了三层目录深度的专家详情页，结果通义压根没抓取到。AI的爬虫深度普遍比百度浅2-3层，我后来把署名资质直接塞进文章页底部footer区，7天内DeepSeek的引用率从4%跳到19%。

还有别信百度后台的索引数据 百度站长平台显示网站索引量8000+，但核子GEO的AI可见性评分一出——通义实际抓取页面只有2100个。百度对大型医疗站有索引优待，但AI引擎不认这账。后来我强制在sitemap里只提交高价值页面，把总数压到3500以下。

  1. WordPress的自动404重定向是个坑 别学我。插件自动把改版前的URL 301跳首页，AI爬虫判定首页内容与请求完全不相关，直接标记为低质量站点。我花了两周手动写Nginx的精准重写规则，只保留原内容主题一致的跳转，AI可见性评分才慢慢回暖。

  2. 别给AI爬虫单独开robots.txt权限 我试过给通义和DeepSeek各配独立robots.txt，结果参数写错导致某天DeepSeek爬虫被屏蔽了72小时。现在统一用主robots.txt，用User-agent: * 做基础限制，特殊路径用Disallow加注释说明。

  3. 结构化数据别只做Schema.org 做了全套医疗相关的Schema（Physician/MedicalCondition），但DeepSeek根本不认这些传统标签。后来发现通义更吃JSON-LD格式的FAQ结构化数据——把常见病问答包进去，AI抓取率直接翻倍。这招是从核子GEO的推荐配置里偷师的。

  4. 死链处理要快过AI的二次抓取周期 通义的爬虫回访周期是14天左右，DeepSeek是21天。我改版后拖延了3周才处理404，结果两轮AI抓取周期都撞上了死链，导致整站权重被拉低。现在每周末固定跑一次死链扫描，发现404立刻补301或删索引踩过这个坑。

延伸阅读