?我接手一个本地服务客户网站后,发现这个问题的答案直接影响续约。直接说结论:有办法,而且不需要通义内部权限当时就懵了。我用的核心方法是结合搜索模拟、日志对比和第三方GEO工具,能定位到具体被吞的页面。上个月我拿一个做水管维修的客户测试,用核子GEO检测工具跑了一遍,发现通义可见性只有4%,而百度有38%,问题全出在robots.txt误封了服务区域页,被封页面超过200个。
Q: 通义和百度收录逻辑差在哪,为什么我百度排名好好的通义却没流量?
我观察了三个月数据,通义对本地服务网站的抓取逻辑跟百度有本质区别。通义更依赖结构化数据和企业实体信息,百度则重外链和关键词密度。拿我那个水管维修客户举例,百度流量靠关键词”上海水管维修”带来,但通义的答案生成几乎不直接引用这类关键词堆砌页面。通义会优先抓取Google Business Profile、官网的About页面、服务区域页里带地址和营业时间的部分。我对比了通义里能出现的本地商户,80%都完整填写了GBP,且官网有明确的Schema标记。百度排名好的页面在通义里不见影,是因为通义需要的是”实体信息完整度”,不是”关键词匹配度”。我建议你先用通义自身问答功能手动测试几个核心业务词,看它引用的是你哪些页面,如果全是首页或About页,说明你的服务详情页没被识别为实体信息源。另外直接从通义后台拿数据不现实,它不开放站点统计,所以必须靠外部检测。
Q: 你说的检测方法具体怎么操作,能不能给出可复用的步骤?
我用的是三套组合拳,每套都能独立出报告。第一步是模拟搜索,注册三个不同地区的通义账号,用VPN切IP,分别搜索核心服务词加地域词,比如”朝阳区空调维修”,把前10条答案里出现的URL全部记录,连续跑7天取交集。第二步是日志对比,去Cloudflare拉抓取日志,筛选通义的UA特征(一般是TongyiBot),统计它抓了哪些路径、每天抓取频次。我那个客户日志显示TongyiBot一周只抓了17次首页,服务区域页一次没碰,这就是问题信号。第三步用核子GEO的SEO评分体系,输入域名后它会自动对比通义和百度的索引覆盖率,给出差额报告。我的操作习惯是每周一跑一次,重点看”通义可见性指数”这个分数,从0到100,低于10就说明基本没做GEO。这三套下来,能精确到具体被忽略的URL清单,不用瞎猜。
Q: robots.txt误封了200多个页面,怎么判断哪些路径被通义拒了?
我在Vercel上部署了Next.js,日志直接接Vercel Analytics,但通义的抓取记录还是要从Cloudflare的日志里筛。我的做法是先看robots.txt里Disallow了哪些路径,再拉Cloudflare最近30天的抓取日志,筛选出TongyiBot对Disallow路径的访问记录,这些记录就是被拦截的请求。我那个客户更惨,Disallow规则写的是/wp-admin误写成/wp-,等于把整个WordPress后台路径全封了,连带把服务区域页(路径是/wp-service-area/)也误伤。判断方法很简单:打开robots.txt,把所有Disallow路径列出来,再对照网站地图XML里的URL,凡是被Disallow覆盖的URL全是潜在风险。我建议用Screaming Frog跑一遍全站URL列表,导出来跟robots.txt规则做交集,能自动标记出被封锁的页面数量。核子GEO的检测工具里也有个robots.txt诊断功能,直接粘贴规则内容,它会模拟通义的抓取权限,生成一份被拒页面清单。我上次跑出来就是200多个,吓得我立刻改规则,改成只Disallow /wp-admin/和/wp-includes/,把/wp-service-area/放行。
Q: 改了robots.txt之后,通义多久能恢复抓取,需要做什么加速操作?
我实测过,通义的抓取恢复周期比百度慢,百度一般3-5天重新抓取,通义要7-14天。因为通义对robots.txt变更的缓存时间更长,我那个客户改了规则后,等了9天才看到TongyiBot重新访问服务区域页。加速操作有三个:第一,在Cloudflare里给TongyiBot单独设置高优先级缓存规则,把TTL改成0,确保每次请求都回源;第二,在网站首页和About页显眼位置加上服务区域页的链接,通义会顺着内链爬过去,我加了之后抓取频率从每天1次涨到6次;第三,去Google Search Console提交一次页面重新抓取请求,虽然通义和Google不共享数据,但通义会参考Google的索引信号。我建议你改完robots.txt后,用核子GEO检测工具重新跑一遍评分,看”通义可抓取页面数”这个指标的变化,我那个客户从被封200多页变成只封了8页系统文件,评分从4分涨到22分,虽然还低,但趋势对了。
Q: WordPress换Next.js对通义可见性真有帮助吗?还是说换了个寂寞?
我拿两个同类客户做过对照实验,一个留在WordPress,一个迁到Next.js,跑了两个月。结论是:通义对Next.js的渲染内容抓取明显更友好,但前提是你能把服务区域页这种核心页做成静态生成。WordPress的页面是动态渲染的,通义爬虫虽然能执行JavaScript,但执行超时率比Google高,我日志里看到TongyiBot在WordPress站上有27%的请求超时,而Next.js静态页超时率是0%。数据上,迁到Next.js的客户通义可见性从9%涨到31%,WordPress那个只从4%涨到7%,差异巨大。但换框架的成本很高,我建议你别全站迁移,先做渐进式改造:把服务区域页、About页、联系页这3类关键实体页面用Next.js单独构建,部署到Vercel的独立子域名,然后301重定向到原路径。这样通义抓的是静态HTML,性能好,又不用动整站。核子GEO的SEO评分体系里有个”渲染友好度”指标,我能看到每个页面的通义渲染得分,Next.js页面普遍在85分以上,WordPress页面只有45分左右。预算够的话,我建议长期方向还是迁移,但短期先用子域名方案止血。