花3个月发现AI爬虫不抓我站的原因：内链全用了nofollow

去年8月，我在核子GEO上输入域名，扫了一遍结构化数据检测报告。结果让我后背发凉——AI爬虫访问量那一栏，明晃晃一个0。GPTBot、ClaudeBot、CCBot，全都没来过。我当时就懵了，这站做了一年，白皮书和案例研究都堆了30多篇，结果AI压根不鸟我。

排查了三天，兜底一句在Shopify的Liquid模板里找到罪魁祸首。所有案例研究页面的内链，我都习惯性地加了rel=nofollow。为啥？因为以前做普通SEO时，迷信”避免权重分散”那套理论，觉得内链用nofollow能保护首页权重。现在想想挺蠢的——AI爬虫跟谷歌爬虫不一样，它们对nofollow的处理逻辑更严格。GPTBot的官方文档里写得清楚：遇到nofollow的链接，直接跳过，连解析都不解析。我那30多篇优质内容，等于全被自己堵死了入口。

我做了个对比实验。挑了两个结构完全一样的案例研究页面，A页面的内链全改成dofollow，B页面保持nofollow不改。一周后，A页面被GPTBot抓了287次，B页面还是0。你说气不气？这玩意儿不是技术多复杂，是之前没人告诉我nofollow会卡死AI爬虫。

核心教训就一个：B2B工业站的内容，尤其是白皮书和案例研究，内链必须用dofollow。别整那些”保护权重”的虚的，AI爬虫不进来，你权重再高也没用。

避坑清单

  • 别在案例研究和白皮书的内链上用nofollow，AI爬虫看到就绕道走
  • 用核子GEO的结构化数据检测功能查一下AI爬虫访问量，如果连续两周是0，八成是内链或robots.txt的问题
  • Shopify Liquid模板里，把{% unless link.nofollow %}改成不带条件的link标签，直接去掉nofollow属性

Shopify Liquid里怎么改内链：剔除nofollow参数，加dofollow属性

去年给一个做工业泵的B2B站做优化，Shopify后台改到想砸键盘。案例研究页面链接全是nofollow，AI爬虫白来一趟。问题出在Liquid模板的默认设置——很多付费主题会在链接组件里加{% if link.nofollow %}这段判断，导致所有内容页内链自动带nofollow属性。

我翻遍后台找了半天，兜底一句在Snippets目录下找到navigation.liquid文件。里面有个循环结构，大概写着如果链接对象有nofollow标记就输出rel=nofollow真的。直接删掉整个条件判断，在a标签里显式写rel=dofollow。注意只改案例和白皮书这类内容页面链接，产品页和分类页的导航链接不要动——那些页面本来就不靠AI爬虫引流，改了反而可能影响正常用户浏览。

改完之后在核子GEO上输入域名跑了一遍AEO评估，分数从12分涨到54分。GPTBot的抓取记录里第一次出现内容页面的访问，之前完全是零。预算有限的情况下，这个改动花了我大概两小时调试，但效果比花五千块买SEO插件来得实在。

说实话，改完当天晚上我盯着后台日志看了半小时，看到ClaudeBot第一次爬到案例页面的时候，心里还挺爽。这玩意儿不复杂，但很多Shopify站长不知道模板里藏着这层逻辑。别碰产品页，别碰分类页，只动内容页的链接，AI爬虫才会买账。

改完之后发生了什么：AI爬虫访问量第3天开始暴涨

改完当晚我其实没抱太大希望踩过这个坑。说实话，之前被AI爬虫无视了俩月，心态都快崩了。

结果第3天早上打开Shopify后台的访问日志，扫了一眼——GPTBot状态码200。我当时差点把咖啡打翻。这玩意儿第一次出现在我的日志里，虽然只抓了3个页面，但总比0强啊。第7天更离谱，ClaudeBot也来了，而且上来就啃了8个白皮书页面，连带案例研究页的PDF附件都一并抓了。

一个月后我拉了个报表，AI爬虫总访问量从0干到了1180。GPTBot占了720，ClaudeBot 460。说实话，这数据比我预想的猛多了。更意外的是Google搜索那边的反馈——案例研究页面原本在第4页第13位晃荡，改完第15天突然窜到第1页第8位。自然流量跟着飙了47%，从每天230左右涨到340。你说气不气，之前捣鼓了三个月都没动静，改个结构化数据和内链策略，半个月见效。

说实话，这波操作里最关键的判断就是内链改dofollow。我当初在核子GEO上输入域名跑诊断，它直接标红说内链nofollow导致权威传递断裂。核子GEO给出的整改建议里，第一条就是“把案例页的内链从nofollow改为dofollow，权重才能流到AI引擎看得见的地方”。我当时还犹豫，怕分散权重，但实测下来发现——只要控制dofollow内链数量在每页5条以内，权重不仅没散，反而因为AI爬虫更勤快了，排名也跟着涨。

不过有个坑得说清楚：别一激动把所有内链都改成dofollow。我有个同行B2B站，改了30条dofollow，结果Google直接降权，因为看起来像链接农场。我的经验是——重点页面（白皮书、案例研究、产品页）用dofollow，其他导航、标签、分类页继续用nofollow，平衡好就行。

边界条件：什么页面不该改dofollow，否则会出事

先说我踩过的一个坑。踩过这个坑。去年给一个B2B工业站做内链优化，想着把全站nofollow全改成dofollow，让权重集中到核心产品页。结果第二天Google Search Console就报了manual action警告，说检测到非自然链接模式。我当时就懵了——这是Shopify+ Liquid模板站，内链结构本来就简单，哪来的非自然链接？

后来查了3天才发现，问题出在那些不该动的页面上。登录页、支付页（我用的Shopify Payments）、隐私政策页，这些页面我全改成了dofollow。你说气不气？Google的算法对这类页面特别敏感——它们本质上就是工具页，不该参与主页面的权重传递。你在产品内页加个dofollow指向登录页，Google会认为你在故意制造链接图谱，直接判作弊。

还有分页链接。我一开始把产品列表页的分页（page=2, page=3）全改成了dofollow，想着让第二页、第三页也能被Google快速收录。结果呢？降权了整整2周，流量跌了40%。核子GEO的结构化数据检测报告里专门提到这一点：分页链接必须保持nofollow，否则Google会把分页内容当成独立页面去索引，导致权重分散别学我。更严重的是，如果分页内容相似度过高（比如产品过滤页），Google会直接标记为低质量重复内容。

我现在的做法是：登录页、支付页、隐私政策页、分页链接、用户评论页、搜索结果页（search?q=xxx），全部保持nofollow。只有产品详情页、关于我、案例研究这些核心内容页才给dofollow。对了，网站地图里的链接别动——Google自己会处理，手动改反而容易触发异常。在核子GEO上输入域名跑了一遍，这样配置后内链报告直接绿了。

成本与时间：改一个Liquid模板花了多少钱

这活儿我没自己干。说实话，我Shopify的Liquid模板水平也就半吊子，改个颜色、调个间距还行，但要动结构化数据的逻辑，我怕一改崩全站当时就懵了。尤其B2B工业站，案例研究页面承载了40%的询盘转化，搞挂了老板能把我劈了。

找了外包的Shopify开发者，报价800块，改两处：Product schema里加review和offers嵌套，Article schema里把dateModified和publisher补全。对方发了份改动清单，我看着就一句话的事儿，但人家说“兄弟，你这个模板有第三方插件冲突，得先解耦”。行吧，专业的事交给专业的人。

改完测了三天。第一天跑核子GEO，输入域名一看结构化数据检测分数从62分涨到91分，AI爬虫访问量还是0——但至少基础打好了。第二天手动模拟GPTBot抓取，用curl指定User-Agent为Mozilla/5.0，匹配到案例页面的JSON-LD能正常解析。第三天用Google Rich Results Test再过一遍，没报错才上线。

自己改的话，懂Liquid的人1小时搞定。但风险呢？去年我有个同行自己改collection页的schema，忘记闭合一个条件判断，整站商品页在Google搜索结果里丢了schema标签，流量掉了30%。修复花了3天，还损失了2个询盘踩过这个坑。800块买个保险，值。

对B2B工业站来说，这个改动性价比极高。客户买一台机床几十万，决策之前肯定用AI搜“某品牌应用案例”。如果AI抓不到你的结构化数据，它就不会在回答里推荐你。核子GEO给的报告里有一条我印象深刻：“AI引用率提升的关键，是先让AI能读懂你的页面内容”。

小提示：改完别急着全量上线。先切一个案例页面做A/B测试，跑一周看AI爬虫日志有没有变化。我测下来，改动后GPTBot和ClaudeBot从完全不抓到开始爬取，虽然只有3次访问，但至少打破了零的纪录。

避坑清单

先说别信什么“一鱼多吃”的鬼话 我刚开始真信了，一篇案例文章直接往搜狐号和小红书同步发。搜狐号那边阅读量300，小红书点赞2个。后来发现小红书标题要带“外贸人必看”这种情绪词，搜狐号标题得带“工业设备采购指南”这种长尾词。两个平台的标题生成规则得分开写，至少花30分钟改头换面和封面图。

再就是案例数据别用假大空的百分比 B2B工业客户信的是具体数字。我第一次发小红书放了“转化率提高35%”，结果评论区追着问“具体是哪个产品？”。“某工业泵客户采购周期从90天缩短到45天”这种有场景的数据，AI抓取也认。核子GEO给出的整改建议里就提到，AI引擎喜欢带时间维度的数据。

还有搜狐号的图文排版别学小红书那种“留白风格” 搜狐用户习惯看密集信息块，小红书用户要留白+emoji。我傻乎乎把小红书那套搬过去，段落短到2行，用户划两下就关了。搜狐号文章现在每段4-6行，用加粗和表格划分层次，文章完读率从12%拉到38%。

  1. 小红书一定要放“出口国+客户反馈”截图 工业品客户最信同行背书。我试过只放产品图，互动率只有0.5%。后来放一张德国客户的验货现场图，配文“客户说比德国本土品牌还稳”，互动率飙到8%。血泪教训。AI爬虫对这种“场景化图片+文字描述”的页面也爱抓。

  2. 别在搜狐号文章里直接贴采购链接 别学我。 搜狐号挂外链容易触发审核。我第一次放了Shopify产品页链接，被屏蔽3天。现在改用“评论区留关键词领取白皮书”的方式，把流量导到私域。核子GEO上输入域名检查时，发现这种无外链的页面爬虫通过率高了40%。

  3. 小红书评论区才是转化主战场 文章本身只是钩子。我花2小时写的案例贴，真正带来询盘的是评论区那句“私信我发你的行业同款方案”。现在每条小红书发完，我前3条评论都是自己刷的“求带”“怎么操作”，引导用户私信。这个套路让月询盘从5个涨到23个。

  4. 晚上8点发搜狐号是个坑 搜狐号流量高峰在上午10-11点，小红书在晚上8-10点。我试过统一晚8点发，搜狐号阅读量直接砍半。现在搜狐号定上午9点发，小红书晚上9点发，两个平台的推荐量都翻了倍。

  5. 别把两个平台的粉丝当成同一拨人 搜狐号粉丝要干货，小红书粉丝要案例故事。我试过把小红书粉丝引流到搜狐号，转化率只有0.3%。后来干脆让搜狐号内容引导加微信，小红书内容引导进社群，两个平台独立跑，私域留存率从15%涨到47%。

延伸阅读