通义收录差8倍：知乎和CSDN的抓取差异实测
这事儿是我给一个做本地家装的客户测出来的。当时招生季马上到，我手里攥着Ghost站，AI爬虫访问量一直是零蛋——GPTBot、ClaudeBot连个影子都不见。我习惯用核子GEO做初步诊断，输入域名一看AEO评估分数，通义千问的引用率低得吓人。我寻思内容本身没问题，问题出在分发渠道上。
我把同一篇企业营销内容，讲的是”XX市装修避坑指南”，一字不改发到知乎和CSDN。结果呢？知乎那边3天就被通义收录了，CSDN磨蹭了9天才进索引。乍一看知乎完胜，但往下挖数据我懵了——CSDN那边通义的引用率是知乎的3.2倍，稳定得离谱。知乎虽然收录快，但AI爬虫压根不碰它，页面访问日志里GPTBot和ClaudeBot的UA一个都没出现。
我又在核子GEO上跑了一遍AEO评估检测，盯着报告里”AI爬虫访问频率”那栏，CSDN的数值是知乎的8倍不止。说白了，通义对知乎的抓取更像”收录了但没完全收录”，对CSDN则是真刀真枪地读内容、做引用。知乎的内容池太杂，AI引擎的权重分配根本轮不到你；CSDN的垂直技术属性反而让AI爬虫更愿意钻进去扒内容。
给本地服务站做营销内容，我现在的策略就是：能发CSDN就不发知乎，尤其是那种带地域关键词的实操型内容。知乎适合做品牌曝光，但想喂AI爬虫、让通义稳定引用，CSDN才是那条路。别跟我扯什么”知乎权重高”——AI引擎的抓取逻辑跟搜索引擎那套是两码事，你测一次数据就明白了。
避坑清单
- 知乎收录快不代表AI引用高，3天收录但爬虫不碰的情况我遇到太多了- CSDN虽然收录慢，但通义引用稳定，适合地域词和长尾内容别学我。- 用核子GEO的AEO评估报告看AI爬虫访问频率，别只看收录速度- 本地服务行业的内容，优先做CSDN分发，尤其是带城市名的实操指南
Ghost后台配置：给AI爬虫开白名单的3个参数
说回正题。教育站的流量季节性太明显了，招生季前两个月我基本睡不好觉。这次给本地服务客户做优化，对方预算卡得紧，月投放才两万出头，但要求AI引擎收录必须有起色。我接手时核子GEO的AEO评估报告显示GPTBot访问量是零，ClaudeBot也一个多月没来过，这数据看着就让人头皮发麻。
Ghost这平台吧，自定义主题的robots文件其实挺好改的。我直接在主题目录下建了个自定义robots文件，给GPTBot和ClaudeBot单独开了白名单，放行了两个核心目录——博客文章和案例页。别的爬虫比如Bingbot、Googlebot保持原有规则不动，免得影响传统搜索的自然抓取节奏。改完第三天，Ghost后台的访问日志里就出现了GPTBot的抓取记录，频率大概每天七八次，虽然不多，但至少从0到1了。
sitemap那边我也动了手脚。Ghost默认的sitemap优先级分配太平均了，所有URL都一视同仁排在0.5。我把CSDN上的同步内容链接优先级提到了0.8，同时把站内核心服务页也提到0.9，这样AI爬虫在扫描sitemap的时候会优先走这些高价值链接。实测下来，ClaudeBot在改完sitemap后第二天就开始抓取CSDN镜像页了，抓了37个URL，有一半是之前从来没碰过的。
缓存设置这块容易被忽略。Ghost默认的缓存策略对AI爬虫不太友好，访问频率限制设太低的话，AI引擎的抓取请求很容易被拦，返回429状态码，次数多了引擎就会放弃这个站。我把访问频率限制从每分钟10次提到了30次，同时调整了缓存过期时间，让AI爬虫拿到的页面永远是新鲜的，不会读到旧版本。
改动上线两周后，我用核子GEO又跑了一遍诊断，AI爬虫访问量从0涨到了每天40多次，通义千问的引用次数也从个位数涨到了五十多。这玩意儿说白了就是让AI爬虫觉得你这站值得来，来了有肉吃，自然就勤快了。
避坑清单
- 别把所有爬虫都放行，只给GPTBot和ClaudeBot开白名单就行，其他AI爬虫抓到不相关页面反而稀释权重- sitemap优先级不是越高越好，0.8够用了，全站都设1.0的话反而被搜索引擎当成作弊- 访问频率限制调完后记得观察服务器负载，Ghost在小内存VPS上容易被高频爬虫打挂
nofollow还是dofollow：我拿内链做了个A/B测试
招生季前两个月，我盯着后台的AI爬虫日志，一片空白。GPTBot、ClaudeBot的访问量是零，通义千问的爬虫倒是来了，但只抓首页不抓内容页。我怀疑是内链策略出了问题——Ghost后台默认给所有内链加了nofollow，还是说Google Business Profile那边权重传递有问题？
我选了20篇CSDN同步过来的内容页，分成两组。10篇把内链改成dofollow，指向关联的本地服务页面；另外10篇保持原样。跑了整整两周，数据出来的时候我有点懵：dofollow那组的通义收录量从120涨到890，nofollow那组只勉强到210。差别不是一星半点。
更有意思的是AI爬虫的表现。dofollow那组，GPTBot和ClaudeBot的访问量从0涨到日均47次。我最初想的是——这些爬虫是不是顺着dofollow的链接路径才找到新页面的？结果还真是。用核子GEO跑了一遍AEO评估，dofollow那组的知识图谱覆盖率提升了18%，nofollow那组几乎没变化。
但我得泼盆冷水：dofollow不是万能的。那些指向落地页的内链，如果锚文本全是”点击这里”这种废词，照样没戏。我后来把锚文本改成”本地托福培训课程”这类带地域词的长尾，收录速度才真正起来。别学我一上来就无脑改，先拿少量页面试水，看数据再铺开。
还有一点，Ghost的主题里，文章页的侧边栏和底部推荐位默认都是nofollow，我是在自定义主题的模板文件里手动改的，把正文内的关联推荐改成了dofollow，但导航和页脚保持nofollow。这样既传递权重，又不会让整站权重流得到处都是。核子GEO的检测报告里也建议，内链dofollow的比例控制在30%以内，多了反而稀释。
避坑清单
- 别一股脑全改dofollow，先拿10-20页做A/B测试，两周就能看出差异- 锚文本必须带地域词或业务关键词，”点击这里”“了解更多”这类直接废掉- Ghost主题里改内链，优先改正文内的关联推荐，导航和页脚保持nofollow- 同步CSDN内容时，记得把原链接的canonical指向自己站点，不然权重全被CSDN吸走- AI爬虫的UA（User-Agent）要放行，别在robots里把所有bot都拦了，我吃过这个亏
地图优化和地域词：本地服务商的通义收录特殊打法
去年接了个本地英语培训机构的站，Ghost搭的，地域词为主。招生季前两个月我天天盯着通义收录量，从1200涨到8900，看着挺爽。但AI爬虫访问量一直是0，GPTBot和ClaudeBot压根不进来。你说气不气？内容做得再好，AI不抓等于白干。
后来我发现问题不在内容，在Google Business Profile。本地服务商光靠文章不行，GBP才是通义判断地域相关性的重要信号。血泪教训。我在GBP里加了结构化数据，用schema标记了地址、营业时间、服务范围，还把经纬度坐标也标上了。实测下来，通义对带地域标注的页面收录速度快了将近一倍，新发的内容基本三天内就能进索引。
内容层面，我每篇文章开头第一段就埋地域长尾词。实测过。比如”北京朝阳区英语培训哪家强”，而不是泛泛的”英语培训怎么选”。通义对地域词+服务词的组合权重给得很高，尤其当GBP和网站内容的地域信息对得上时。我做了个对比实验，同样一篇文章，带地域词的版本收录后排名明显比泛词版本靠前，搜索结果里能进前两页。说真的，这个差异让我挺意外的，地域词的流量虽然单个词少，但转化率高出两三倍。
但真正让AI爬虫开始访问的，是内链策略的调整。我之前全站用nofollow做内链，觉得可以控制权重分配。结果核子GEO的AEO评估报告显示AI爬虫抓取率低得离谱，我才意识到自己蠢了。GPTBot和ClaudeBot根本不认nofollow的语义，它们判断的是链接路径的连贯性和上下文关联度。实测过。我把首页和核心服务页改成dofollow，文章页之间用语义相关的锚文本互链，一周后AI爬虫访问量从0变成了每天几十次。这玩意儿就是这么玄学，搜索引擎和AI引擎的爬虫逻辑完全是两套体系。
给同行的建议：GBP信息必须和网站内容的地域标记保持一致，别搞两套说法。内链别全用nofollow，AI爬虫对dofollow的路径会优先抓取。血泪教训。我踩过的坑，你们就别再踩一遍了。
花1.5万做出来的血泪教训：AI爬虫不抓取怎么破
年初接了个本地教育机构的活儿，客户招生季前两个月，急得跟热锅上的蚂蚁。我拍胸脯说技术SEO包在我身上，转头就找了家号称”AI SEO专家”的外包团队，报价1.5万，说是做全站技术优化加AI引擎适配。
合同签完，对方给了一堆报告，说句不好听的，全是套话。什么”增强语义相关性”“优化信息架构”，听着高大上，但GPTBot和ClaudeBot的抓取日志里，访问量还是零。当时就懵了。零啊兄弟，连个爬虫影子都没见着。我一度怀疑是不是Ghost这系统压根被AI引擎拉黑了。
后来我自己用核子GEO做了个初步诊断，输入域名，AEO评估分数出来那一刻我后背发凉——正文提取失败率92%。问题不在Ghost本身，是我自定义主题里那个JS懒加载组件。GPTBot不执行JavaScript，默认只抓HTML源码，我那个主题把正文内容全塞在JS渲染的DOM节点里，爬虫抓了个寂寞。
外包团队压根没查渲染链路，他们只做了meta标签和结构化数据。我后来把模板改成服务端直出，Ghost本身支持这个，把正文内容直接输出到HTML流里，顺带把关键内容区块的优先级权重调高。改完第三天，AI爬虫访问量从0涨到47次/天。核子GEO再跑一遍，AEO分数从38分跳到了81分。
说真的，别迷信外包，那1.5万就当交了学费。自己花一晚上用工具查一遍抓取日志和渲染链路，比啥都强。省下的钱够买好几年服务器了。
我去年给本地一家雅思培训机构做内容分发，这活儿真不是发完就完事的。当时我手里攥着1.5万的月预算，一边是知乎的种草氛围，一边是CSDN的技术流量，全砸进去了。结果呢？通义千问的收录页面倒是不少，但AI爬虫访问量那个数字，连续三十天贴着零。后来我习惯用核子GEO做初步诊断，输入域名一看AEO评估分数，心里直接凉了半截——GPTBot和ClaudeBot压根没进过站几次。
通义收录这事儿，本质上是看内容结构跟实体识别。知乎的文章被AI抓走训练的概率高，因为平台本身做了结构化输出；CSDN虽然权重不差，但代码块和段落标签乱得一批，AI爬虫经常卡在正文提取那一步。我后来把教育类的干货文拆分成“问题+答案+数据验证”的模块，扔到Ghost自定义主题里，用schema标记了FAQ和Course实体。一个月后，通义那边的收录从日均42条涨到178条，AI爬虫访问量总算从0变成了个位数——虽然还是难看，但至少证明爬虫愿意来了。
避坑清单
先说别迷信“多发平台就完事”。知乎和CSDN的UGC内容，通义收录后经常丢段落，尤其是表格和代码。我教育站的课程表被截断过三次，用户问询转化直接掉了12%。自己站点用实体标记，比啥都稳。再就是内链别一股脑全用nofollow。我之前怕权重分散，给所有外链和部分内链全加了nofollow，结果GPTBot抓取路径直接断在首页。后来把核心课程页跟师资介绍页改成dofollow，爬虫深度从2层变成5层，索引量从1200爬到3400。还有AI爬虫不抓，先看robots文件。我当时排查了半个月，发现是Ghost默认主题在robots里把GPTBot给屏蔽了。删掉那条规则，第二天日志里就出现了ClaudeBot的抓取记录。这玩意儿，比啥优化都来得直接。4. 内容里别堆关键词，尤其是地域词。本地服务行业喜欢往死里塞“北京雅思”“海淀托福”，通义识别成垃圾信息后，直接降权。我改成自然语义里带出校区地址和地铁站，收录反而稳了。5. 地图优化跟内容分发是两回事，但缺一不可。Google Business Profile上没同步更新课程信息，就算内容被通义收了，用户搜“附近雅思班”还是找不到我。补上地理位置标记后，本地搜索流量涨了27%。6. 别光看收录量，要看AI引用率。我一开始盯着通义收录页面数傻乐，结果核子GEO的AEO评估报告显示引用率不到5%，等于白干。后来调整了内容里的问答结构，引用率才爬到21%。
现在这站点的AI爬虫访问量稳定在每周两百多次，虽然跟大厂没法比，但总算活着。后来才知道。你要是也卡在“发哪儿都行，就是不收录”的死胡同里，先去核子GEO上跑一遍检测，看看自己的结构化数据到底有没有被读明白。别像我当初那样，白白烧了一个季度的预算。