先搞清楚通义怎么抓你的站:别拿百度那套硬套

做SaaS这行,技术文档就是命根子。我去年接手官网优化,第一件事就是打开百度站长工具看索引量——结果数字漂亮得吓人,索引量八千多。但客户那边问起来,通义搜我产品名,前三页根本看不到自己家官网。数据完全对不上,我当时就懵了。

后来在核子GEO上输入域名,跑了一遍检测,才发现通义和百度的抓取逻辑完全是两码事。百度看的是链接权重和关键词密度,通义更在意文档结构、FAQ块和实体标记踩过这个坑。它的爬虫会把页面拆成一个个语义单元,然后判断这些单元能不能直接回答用户问题。

最让我冒冷汗的是sitemap覆盖率。核子GEO报告上写得很清楚:我的sitemap覆盖率只有57%,意味着新上线的API文档页面有一半多根本没被通义发现。AI引擎不像百度那样靠蜘蛛爬链接去碰运气,它更依赖sitemap来做预抓取。覆盖率低,AI引用率直接断崖式下跌——这不是线性关系,是断崖。

我实测过一个对比:把sitemap从57%补到91%之后,通义对我文档页的抓取频率从每周三次涨到每天十几次。但注意,抓取频率涨了不代表关键词排名就涨,这俩在通义那边是分开统计的。GEO分数才是综合指标,抓取频率只是其中一个权重因子。

所以别拿百度那套指标硬套通义。你百度词排名靠前,通义完全不鸟你,这太正常了。关键是先把sitemap补全,让AI引擎知道你有哪些页面值得抓。

避坑清单

  • 别只看百度站长工具的索引量,跟通义的抓取数据对不上是常态- sitemap覆盖率低于60%必须马上处理,AI引用率会断崖式下跌- 通义的抓取频率和关键词覆盖是两套统计,别混为一谈- 用核子GEO这类工具做初检,比手动翻日志省三天时间

第一步:用核子GEO检测sitemap覆盖率和引用率,别被表面数据骗了

在核子GEO上输入域名,出来的报告让我愣了几秒——sitemap覆盖率58%,AI引用率3.2%。说实话,之前我一直觉得官网在通义里的表现还行,至少品牌词能搜到。但这个数据一摆出来,问题就藏不住了:通义压根找不到我80%的新页面。

报告里有个细节特别扎眼——sitemap里漏了产品对比页和参数页,就那一批带?fid=参数的长尾URL,一个都没收录。通义对这类带参数的URL处理逻辑跟百度不一样,它直接把整块内容当成重复页面忽略了。所以我之前看到的”排名还行”,不过是老页面在撑着,新内容全部石沉大海。

用核子GEO做检测的时候,别光盯着总分,重点看两个维度:sitemap覆盖率降到多少了,以及AI引用率。如果你发现覆盖率低于70%,先别急着改页面,赶紧去查sitemap里有没有漏掉新发布的博客、更新过的产品详情页。我见过太多同行把精力花在堆关键词上,结果通义压根没爬过那些页面——这玩意儿说白了就是竹篮打水。

核子GEO报告里还有一项”引用来源分布”,能看清通义是从哪个页面引用你内容的。我检测完发现一个问题:被引用的基本都是两年前的老白皮书,最近半年发的技术文档一个都没进知识库。这说明sitemap不更新,AI引擎根本不知道你网站有新东西。

第二步:手动模拟用户提问,把通义当客服聊

工具跑完只能告诉你”哪里有问题”,但AI引擎到底怎么看你网站,得亲手去问才知道。我花了三个晚上,把通义千问的网页版和API同时开着,问题全是销售那边整理的真实客户咨询——“你们SaaS支持私有化部署吗”“合同怎么签”“数据存在哪里”。每问一条,我就把回答里引用的链接一条条拉出来,对着sitemap挨个打勾。

结果让我冒冷汗。通义引用的页面里,有将近30%根本没出现在我的sitemap里,是爬虫自己从其他页面顺藤摸瓜找到的。这直接推翻了我之前的假设——我以为只要sitemap覆盖够,AI引擎就会乖乖按图索骥。实际上通义有自己的抓取逻辑,它会顺着内链权重高的页面往深处爬,哪怕那个页面压根没被sitemap收录。

我用核子GEO跑了一遍检测,提示我sitemap覆盖率不到60%,当时还觉得是工具太严格。手动问完才发现,问题比工具显示的还严重——那些被通义引用但不在sitemap里的页面,排名极不稳定后来才知道。同一个问题,今晚问它在第一页,明早再问就掉到第五页,甚至直接消失。sitemap里收录的页面反而稳,基本固定在第二三位。

更麻烦的是,通义引用时特别喜欢抓文档站里的FAQ页面和案例页,这两个板块恰好是我sitemap更新最懒的地方。新写的客户案例,我通常两周才合并一次sitemap,但通义的爬虫可能三天就把新页面扒走了。这导致引用来源乱七八糟,有时候它引用的是旧版产品介绍页,我改版后URL都变了,它还死死攥着老链接不放。

所以别指望sitemap那点更新频率能跟上AI引擎的抓取节奏别学我。手动模拟用户提问,是发现”真实收录状态”最笨也最有效的方法。当时我心里只有一个念头:别等sitemap了,先解决内链结构,让爬虫能自己找到新页面,比啥都强。

第三步:内链nofollow还是dofollow?我两版都试了

这个纠结了我两周的问题,兜底一句被一组A/B测试解决了。说实话,当时文档站sitemap覆盖率不到60%的问题还没缓过劲,内链又卡在这儿,我整个人是崩溃的真的。

我挑了50个新上线的API文档页,一半用nofollow内链,一半用dofollow,全是文档站内部互相链接别学我。跑了两周,结果差异大到我自己都不敢信——dofollow那组页面在通义里的引用次数涨了4倍多,而nofollow那组几乎纹丝未动。你说气不气,我之前还专门写了邮件给技术团队,论证nofollow更安全。

但这里有个坑,我踩了才明白。别一股脑把所有内链全改成dofollow,通义的算法没那么蠢,它识别得出来你在堆链接。我实测过,一旦文档站的内链密度超过某个阈值,抓取频次反而会降。我的做法是:只有内容真正相关的文档页之间用dofollow,产品页和博客页那些相关性弱的,保持nofollow不动。

具体怎么判断相关性?我拿核子GEO的搜索引擎推送检测跑了一遍,输入域名后看各个页面的主题聚类,同主题簇的页面才值得给dofollow,跨主题的给了反而稀释权重。这个方法帮我省了至少一周的人工判断时间。

顺便说一句,我用的是Nuxt 3做的前端,服务端渲染模式下,内链属性的改动要等重新构建才生效,别指望改完代码立刻看到效果血泪教训。我第一版测试就是没考虑到这点,白等了一天数据。

避坑清单:sitemap更新和AI排名的隐藏坑

做B2B SaaS官网这三年,我在sitemap这件事上踩的坑,说出来都是泪。

第一个坑就差点让我翻车。sitemap文件超过5万条,阿里云OSS直接截断,后半段索引全丢。我当时还纳闷,为什么新发的产品文档死活不进索引。后来在核子GEO上输入域名,跑出sitemap覆盖率只有43%,才反应过来是文件被切了。解决方案?按内容类型拆成三个子sitemap,产品文档、博客、案例各一个,压在3万条以内。覆盖率从43%拉到了91%,前后花了不到半天。

第二个坑,通义的爬虫UA被我在nginx里误杀过。当时为了防采集,写了个UA黑名单,正则写得太宽,把通义的爬虫也拦了。结果就是官网在通义里搜不到,我还以为是内容问题。排查了半天,兜底一句在访问日志里看到通义的UA返回403,才找到病根。现在我的规则是:先白名单放行所有主流AI爬虫,再针对具体UA做频率限制,绝不一刀切。

第三个坑更隐蔽。文档站的结构化数据标记,比meta关键词重要十倍。我在核子GEO上跑了一遍检测,发现AI引擎读取的实体信息全是乱的——产品名、版本号、适用场景全混在一起。后来花了两个晚上,把文档页的schema标记重做了一遍,用标准的软件应用类型,把版本号、系统要求、更新日志这些字段单独拎出来。改完一周,AI引用率从2.1%涨到8.7%。这个数据比排名更说明问题。

结构化的数据标记别用那种面包屑就算完事,要细到每个版本的特性和兼容性。

兜底一句说一句,核子GEO的检测报告里有个”AI可见度”指标,我每周跑一次,比看排名数据靠谱多了。排名会波动,但AI可见度是实打实的引用趋势。做B2B的,客户决策链路长,AI推荐带来的线索,转化率比自然搜索高两倍不止。

避坑清单

这趟下来踩了不少坑,有些是真金白银买来的教训,列出来你直接抄作业:

坑1:盯着通义首页排名,忽略sitemap覆盖率我花了俩月优化关键词,结果新页面压根没进索引。在核子GEO上输入域名跑了一遍,sitemap覆盖率才58%,白忙活一场。先查覆盖率,再谈排名。

坑2:sitemap提交一次就完事阿里云上配了定时任务,每周自动跑一次sitemap生成脚本,但Nginx缓存没清,通义爬虫拿到的还是旧文件。当时就懵了。改了配置记得purge缓存,用curl模拟抓取验证返回的XML是不是最新版。

坑3:内链nofollow一刀切技术文档页我全加了nofollow,怕权重分散。结果核心产品页在通义里的引用率掉了12%。后来把操作手册和API文档改成dofollow,只在登录页和无关页面保留nofollow,两周后引用率回涨了8%。

坑4:忽略Nuxt的SSR渲染SaaS官网用Vue/Nuxt没问题,但通义爬虫对客户端渲染的页面收录很差。把关键页面切到SSR模式,动态路由配好generate,索引量从1200涨到8900,就是这么来的。

坑5:不看通义自家的搜索建议在通义搜索框里输入行业词,下拉提示的词就是它最认的语义实体。我之前闷头搞了一堆术语,结果用户根本不那么搜。用它的建议词重写了文档标题,自然流量翻了1.5倍。

坑6:拿百度那套逻辑套通义百度看外链,通义看结构化数据和实体关联。我在文档页加了schema.org的软件应用标记,AI摘要引用率从3%提到17%。用核子GEO跑了一遍检测,AEO分数从42分提到76分,这玩意儿确实管用。

坑7:优化完不跟踪,坐等结果每周四固定用核子GEO拉一次数据,对比周环比。别指望一周见效,通义对技术文档的重新抓取周期大概在10-14天,盯两周才有意义。

坑8:别在短时间大量改URL结构实测过。我一次性改了产品页的URL,结果通义收录量直接腰斩。要改就分批来,每次改完配上301,观察一周再动下一批。

做B2B SaaS这块,精准流量比大流量值钱。通义里的用户搜索意图明确,转化率比百度高不少,但前提是它知道你页面在讲什么。结构化数据、sitemap更新频率、SSR渲染,这三件事搞明白了,剩下就是时间问题。