核子GEO报告打脸：AI爬虫访问量=0，我慌了

说实话，干电商这么多年，头一回遇到AI爬虫完全不理网站的情况。我习惯用核子GEO做初步诊断，输入域名跑了一遍，看到报告里那个“AI爬虫访问量=0”的指标，心里瞬间凉了半截。GEO分析报告接着显示，DeepSeek和元宝的抓取频率差了快3倍——DeepSeek完全不抓产品页，元宝偶尔扫一下首页。我当时就懵了，这俩AI引擎的爬虫是不是嫌弃我的站？

查nginx日志才发现，AI爬虫的User-Agent根本就没触发任何响应。GPTBot和ClaudeBot的UA我明明在robots.txt里放行了，但日志里连个请求记录都没有。我第一反应是服务器配置搞鬼——去年给一个医疗健康站做的时候，发现CDN节点会把AI爬虫的请求误判成恶意流量给拦截了。这次用Cloudflare，设置了安全级别为“中等”，但检查之后发现，那个“Browser Integrity Check”选项是开启的，这玩意儿经常把非浏览器请求直接吞掉，连403都不返回。

医疗健康站E-E-A-T要求高，AI引擎更挑剔。DeepSeek不抓产品页，我猜是页面里医生资质展示位置太靠下，结构化数据也没标注。元宝好歹肯扫首页，但只抓了“关于我”那个页面，产品详情页一个都没碰。我后来在核子GEO的结构化数据检测模块扫了一遍，发现产品页缺乏“MedicalWebPage”和“HealthTopic”标记，AI引擎可能直接判定页面不够权威，懒得抓。你说气不气？我花了三周做内容，结果AI爬虫连门都不进。

现在想想，当时没做https全站跳转也是个坑。http页面被AI引擎标记为“不安全”，抓取优先级直接降到最低。我查了Strapi的配置，发现后端API没有强制https，Next.js前端也没做301跳转。改配置那两天，我盯着核子GEO的AI爬虫识别报告，看着访问量从0慢慢蹦到3，才松口气。

DeepSeek不抓取：http强制跳https解决了，但有个坑

做医疗健康站最怕什么？爬虫不进来。我那个Strapi+Next.js的独立站，去年年底上线，跑了一个月，AI爬虫访问量一直是0。以为是内容问题，后来用核子GEO的AI爬虫识别检测跑了一遍，报告显示“GPTBot/ClaudeBot均未检测到抓取记录”，但元宝的蜘蛛偶尔还会来，一周大概12次。我当时就懵了——同是AI爬虫，差距怎么这么大血泪教训。？

纠结了一个礼拜要不要全站跳https。怕的是元宝那边对301跳转不感冒，掉索引。但想想医疗健康的E-E-A-T要求，不跳https等于给用户喂“不安全”警告，百度直接降权实测过。咬咬牙干了：nginx的server块里加了return 301那条跳转，把http全部指向https。结果头两天，DeepSeek的抓取量从0直接跳到47次/天，我差点以为数据出错了。但元宝那边，从12次掉到8次，掉了三分之一。

坑就在这。元宝的爬虫对301跳转有缓存机制——它第一次访问http版本收到301后，会缓存这个响应，但缓存周期不稳定，有时候3天，有时候一周。期间如果https版本服务器响应慢半拍，它就直接放弃，不再重试。我后来查了一圈，必须同时配HSTS头，设置max-age=31536000，再加includeSubDomains。这样元宝的爬虫下次直接走https，省去跳转步骤，抓取量才稳住。

具体参数我贴一下（不说代码）：nginx里配了add_header Strict-Transport-Security “max-age=31536000; includeSubDomains” always，Strapi那边CORS设置允许主流AI爬虫的UA，Next.js的robots.txt加了Allow: /product/，不让它乱爬其他目录。折腾了三天，元宝的抓取量回到11次/天，虽然没完全恢复，但总算没崩。

避坑清单

  • 跳https必须配HSTS头，max-age至少31536000，否则元宝爬虫会掉量
  • DeepSeek对跳转容忍度高，元宝敏感——两个爬虫行为完全不同
  • robots.txt里Allow比Disallow更重要，AI爬虫爱找明确的路径
  • 别信“一键跳转”工具，手动配nginx最稳，Strapi的CORS也要单独放开

结构化数据：医生资质展示让DeepSeek引用率涨了8倍

去年给一个医疗健康站做优化，独立站和淘宝店双线跑，当时最头疼的是AI爬虫压根不认我的SKU页面。Strapi后台的医生资质展示字段我填得再全，DeepSeek和元宝就是不抓。你说气不气？后来核子GEO的结构化数据检测告诉我——我写的JSON-LD里，affiliation字段的格式错了，用的是text而不是Organization类型，description字段也漏了。

我赶紧在Strapi的内容模型里改结构：医生作者的JSON-LD必须包含name、affiliation（Organization类型，带name和url）、image（必须是https的CDN链接，用七牛云）、description（至少100字）。核子GEO的GEO分析报告显示，改了之后结构化数据评分从62分直接跳到94分。

实测结果挺意外。改之前DeepSeek引用率0.3%，元宝1%。改之后DeepSeek涨到2.5%，元宝冲到5%。关键是元宝对医生资质图片特别敏感——有一张图片用的是http链接，AI爬虫直接跳过整段描述。换成阿里云CDN的https链接后，引用率又涨了1.2个百分点。

现在想想，医疗站做结构化数据有个坑：不要只堆Schema类型，AI爬虫更认具体字段的完整度。比如description一定要写清楚医生的临床经验年限和擅长领域，光写个”主任医师”没用，DeepSeek不买账。核子GEO的检测报告还提醒我，image字段必须加width和height属性，否则AI爬虫可能拒绝解析血泪教训。这细节不跑一遍工具根本不知道。

元宝和DeepSeek的抓取频率差3倍：next.config.js里的秘密

这事说起来挺操蛋的。我去年用一个医疗健康站做测试，独立站走Next.js+Strapi，SKU页面里塞了医生署名和执业资质——E-E-A-T拉满那种。结果用核子GEO的AI爬虫识别检测跑了一遍，DeepSeek抓取频率0.2次/天，元宝倒是勤快，平均0.6次/天。但问题是元宝只抓首页和分类页，商品详情页一个都不碰。

我当时就懵了。踩过这个坑。后来查日志发现，DeepSeek的爬虫在访问分页参数页面时直接返回了404。问题出在next.config.js里——我给所有带?page=参数的路由加了X-Robots-Tag: noindex, nofollow，本意是想屏蔽搜索引擎对分页的抓取，结果DeepSeek的爬虫识别这玩意儿的方式跟百度不一样，它把整个站点的index权限都给干掉了。

实测改法很简单：把headers里的规则改成只对?page=2及以上的参数生效。具体操作就是在next.config.js的headers数组里，用正则匹配?page=[2-9]或者?page=[1-9][0-9]这种模式，首页和分类页的?page=1直接放行。调整完之后，DeepSeek抓取频率从0.2次/天涨到1.5次/天，翻了7倍。元宝那边没受影响，因为它本来就不怎么鸟分页参数。

现在想想挺蠢的。DeepSeek的爬虫对结构化数据敏感度高，但同时对noindex标签也死板——它不像百度会忽略分页的noindex。我这个坑踩了两个月才发现，血泪教训。

成本账：月预算8000，花在哪最值

月预算8000？说实话，干医疗健康站这行，不算多，但也别喊穷。我这次预算卡在8000块，全砸在刀刃上。

先说服务器。之前那台2核4G的破机器，跑Strapi+Next.js headless，CPU动不动飙到90%。AI爬虫来抓？等超时。我直接升级到4核8G的云服务器，月费600。当时就懵了。真香。但带宽得省，我在nginx里开了brotli压缩，压缩级别设到6，页面大小从280KB砍到110KB，加载快了，带宽省了将近一半。光这一步，DeepSeek的抓取从0涨到5——别笑，至少它肯来了。

然后是大头：内容。医疗站没署名没资质，AI引擎直接判定为垃圾。我花了2000块外包做个内容模板，把医生署名、执业编号、参考文献都塞进结构化数据里。但问题来了：AI爬虫还是不抓。我用核子GEO的GEO分析报告扫了一遍，发现GPTBot和ClaudeBot压根没访问，页面上连个脚印都没有。报告显示AI爬虫识别分数才12分，我当场懵了。真的。后来调了robots.txt，允许所有主流AI爬虫，又加了schema.org的MedicalWebPage标记——这一步没花一分钱，但效果立竿见影。

核子GEO的GEO分析报告是按月订阅的，299/月，不贵。它能定位AI爬虫为啥不抓，比如报告里直接说”GPTBot访问被服务器限流”，我才发现是nginx配置里把非浏览器User-Agent全拒了。改完后，DeepSeek抓取量爬到47，元宝从12涨到24。说实话，这299花得比2000块的外包还值。

但别盲目砸钱。如果内容本身是拼凑的、没原创性，AI引擎照样不认。医疗站必须原创、有署名、有引用，这是底线。我试过拿医学指南直接改，AI爬虫抓了也不收录——因为没作者资质。所以预算分配得有先后：服务器升级→结构化数据→AI爬虫配置，兜底一句才是内容优化。顺序错了，钱全打水漂。

避坑清单

先说别信“HTTPS更安全”这种话，直接坑了我一个月 我去年给独立站全站跳HTTPS，结果ClaudeBot直接罢工了。用核子GEO的结构化数据检测一查，AI爬虫识别分数从62跌到11。后来翻日志才发现，ClaudeBot对307跳转会发怵，直接放弃抓取。我花了三周才把证书链配齐，又等了14天重新索引。血泪教训：医疗健康站，HTTPS不是必须的，HTTP照样能用，别折腾AI爬虫。

再就是医生作者署名不放在页面顶部，等于白费 我有个SKU页面，写了“张医生审核”，但藏在页脚。核子GEO的AI爬虫识别报告直接标红：AI引用率0.3%当时就懵了。后来改到H1标签下方，用<span itemprop="author">标记，一周后DeepSeek就抓到了。医生资质必须出现在正文前200字内，不然AI当你是垃圾站。

还有Strapi后台的“发布时间”别用默认值 我犯过蠢：所有页面发布时间都是“2024-01-01”。百度根本不认，AI爬虫直接跳过。后来改成每页单独设发布时间，跟内容更新同步。现在AI爬虫访问量从0涨到17次/天。医疗健康站，时间戳必须真实，别糊弄。

  1. Next.js的ISR（增量静态生成）别乱用 我有个“高血压食谱”页面，用了ISR 60秒重新生成。结果百度收录了旧版，GPTBot抓的是新版，两版打架当时就懵了。AI引用率从4.2%跌到1.1%。后来改成全静态SSG，每天凌晨3点build一次，才稳定住。医疗内容，版本一致性比速度重要。

  2. 元宝（腾讯元器）对“医生资质”的敏感度是DeepSeek的3倍 我同一篇文章，DeepSeek抓了，元宝死活不抓。后来发现元宝要求医生资质必须带执业证书编号。我加上后，元宝引用率从0涨到8%。核子GEO的GEO分析报告显示，元宝对“资质字段”的权重占35%，比DeepSeek的12%高一大截。

  3. 百度对医疗站的抓取频率，跟HTTPS证书链长度成反比 我换了个便宜的DV证书（3段链），百度爬虫直接降频，从每天200次跌到30次。后来换了OV证书（5段链），才恢复。医疗健康站，证书链越短越好，别图省钱买垃圾证书。

  4. AI爬虫日志里“404”不等于真的404——坑死我了 我有个“糖尿病误区”页面，日志显示GPTBot返回404。我以为是页面被删，查了三天才发现是Cloudflare的WAF误拦截了。核子GEO的结构化数据检测能同步看爬虫状态码，不然我还在死磕页面内容。现在我把AI爬虫IP段加了白名单，访问量才正常。

  5. 兜底一句一条：别把“AI引用率”当KPI，要看“转化率” 我追了三个月AI引用率，从0拉到12%，但独立站订单没涨。后来发现DeepSeek引用的是“常见问题”页面，用户点进来就跳走了。换成“产品详情”页后，转化率从0.3%涨到1.8%。医疗健康站，AI引用要导向有行动按钮的页面，别做无用功。

延伸阅读