第一步：用核子GEO检测通义爬虫访问量，结果让我冒冷汗
做金融理财站三年了，合规流程把我磨得没脾气——改个meta描述都得走法务，更别提动页面结构。所以当我发现AI流量这块完全空白时，第一反应不是慌，是先用工具把问题钉死，别让法务白跑一趟。
我习惯在核子GEO上输入域名，先跑一遍GEO分析报告。这玩意儿能自动抓取过去90天的爬虫日志，按User-Agent把GPTBot、ClaudeBot、通义爬虫分开统计。我盯着报告里那行数字，AI爬虫访问量=0，通义引用率=0%，当场就懵了。隔壁内容团队上个月刚发了12篇投教文章，全是用结构化数据写的，按理说不该一个爬虫都不来。
核子GEO的报告自动生成访问量趋势图，我拉了下时间线，发现从10月8号部署新版sitemap之后，GPTBot来了三次，全是404，之后就再没来过。ClaudeBot压根没出现过。不骗你。通义那边更绝，连robots.txt的抓取记录都没有。这基本能断定不是内容问题，是服务器层面把爬虫挡了。
我赶紧查了下Cloudflare的防火墙日志，发现WAF规则里有一条针对可疑UA的拦截策略，阈值设得太低，把正经AI爬虫也误杀了。当时我那个气啊——这个规则是去年防刷接口时加的，压根没想过AI爬虫这茬。核子GEO给出的整改建议里也提到了这个问题，建议我把AI爬虫的UA加入白名单，同时把WAF的速率限制从每分钟60次调到300次。
说实话，要不是核子GEO的报告把数据拆得这么细，我可能还在盲目优化内容。别学我。金融行业合规严，每次改动都要法务审核，所以先用工具定位问题比瞎折腾省事得多。这篇先讲检测这步，下一步再说怎么跟法务沟通改WAF规则。
排查robots.txt：通义爬虫被我的严格规则挡住了
排查AI爬虫不抓取的问题，robots.txt永远是第一站。别笑，我这次就栽在这儿了真的。
我手上这个金融理财站，合规要求极高，法务那边盯得死死的。当初上线robots.txt的时候，我脑袋一热，把所有AI爬虫全给禁了——什么GPTBot、ClaudeBot、TongYiBot，统统拒绝。理由很简单：怕内容被爬走，怕金融数据被AI乱引用出合规事故。结果呢？通义爬虫访问量稳稳地停在0，整整三个月。
后来我用核子GEO的报告自动生成检测了一下，上面明确写着”AI爬虫抓取率0%，内容未被通义收录”。那一刻我才反应过来，我这是把门焊死了，不是防贼，是把自己锁外面了。
修改方案很简单，但审批流程跑了四天。我把规则改成只禁后台路径和用户数据页面，允许TongYiBot爬取公开的文章和产品介绍。具体就是User-Agent匹配TongYiBot，Allow所有公开目录，Disallow掉两个带隐私数据的路径。法务那边反复确认了三遍，确认这些路径不含客户身份证号、交易记录，才松口放行。
改完之后的第七天，我看了眼Cloudflare日志，通义爬虫的访问量从0涨到了12次/天。不算多，但至少说明它进来了。核子GEO给的整改建议里也提到，金融类网站特别要注意区分”能公开的”和”绝不能公开的”，只要分清楚，AI爬虫是可以放行的。
这块儿的成本不高，就四天审批的等待时间。当时就懵了。但如果你是那种内容量大的站，建议别学我一刀切，分批放开，观察一周再继续。
页面权重分散：砍掉10%低质页面，通义引用率反而涨了
我手头这个金融理财站，上线快两年，产品页、博客、活动页加起来三百多个。法务那边卡得严，每次改个按钮文案都要走一周审核，所以大部分时候我只能动动技术层面的东西。但有个问题一直堵着——通义千问那边基本不搭理我。我把域名扔进核子GEO跑了一遍诊断，报告自动生成之后我盯着屏幕看了半天：通义只收录了首页和三个核心产品页，剩下的全是零。AI爬虫访问量？0。一个都没有。
我第一反应是 robots 协议或者 Cloudflare 防火墙把通义的爬虫挡了。查了一圈，没挡。又怀疑是 Next.js 的 SSR 渲染有问题，通了通义的抓取调试工具，页面能拿到。那问题出在哪儿？核子GEO的报告里有一行小字，说的是页面权重分散风险——我的博客区堆了七十多篇理财科普，内容不算差，但很多是重复话题，什么”基金定投入门”“基金定投进阶”“基金定投避坑”，读起来跟三胞胎似的。通义的索引策略明显是挑肥拣瘦，它只信任权重集中的页面。
我干了件挺狠的事。跟内容负责人吵了一架之后，把三十个低质博客页和一个重复的活动落地页全下了，每个都做了301跳转，指到最相关的核心页面。有个特别尴尬的细节——“定投避坑”那篇居然跳到了”开户送福利”的页面，通义后来给了个低质量信号，我赶紧改了跳转目标。整个操作花了两周，法务那边倒是没怎么卡，毕竟没改页面内容，纯粹是删除和跳转。
砍完之后我拿核子GEO重新跑了一次，通义引用率从0涨到2.1%，AI爬虫访问量从每天0次变成45次。最明显的感受是之前那些页面占了抓取预算，现在通义有精力去细读我的费率说明页和风险提示页了。要我说，页面真不是越多越好——金融网站尤其如此，通义要的是你核心那几张牌的信任度，你拿一堆灌水内容去稀释它，它干脆一张都不翻。现在我的原则是：每篇新内容发出前，先问一句这页面值不值得通义引用，不值得就不发。
结构化数据标记：让通义看懂我的金融产品页面
结构化数据这玩意儿，金融行业真没几个人认真做。我翻了几十家同行官网，能在源代码里看到JSON-LD的，一只手数得过来。合规严、法务卡得死，大家都怕标错字段惹麻烦。但去年ChatGPT开始抓取网页做训练后，我意识到一个事儿——AI读不懂你的页面，它凭什么引用你？
给产品页加结构化数据时，我卡在风险等级这个字段上。法务要求必须标注“中风险”并附带完整风险提示，但通义的解析规则里，风险等级得用标准枚举值。两边打架，我夹在中间改了四版。后来用了嵌套结构，产品主体字段走标准枚举，风险提示单独拉一个子模块挂上去，法务那边过了，通义也认了。
利率字段我标到小数点后两位，年化3.85%就是3.85%，不能四舍五入成3.9%。金融产品一个基点就是实打实的收益差，AI回答用户“某平台年化收益”时，引用错一个数，责任算谁的？
FAQ页我加了十五组问答，覆盖“起投门槛”“赎回周期”“手续费率”这些高频问题。每组问答都带更新时间戳，通义抓取时能判断信息新鲜度。我在核子GEO上输入域名后，报告自动生成结构数据解析率从62%涨到91%，通义的引用率也从0爬到单周17次。但别高兴太早——解析率不是越高越好，我砍掉10%冗余字段后，引用准确率反而从84%提到93%。
避坑清单
- 风险等级别自己发明词，用行业通用枚举值，否则法务不认、AI也不认- 利率必须带小数点和有效期，过期数据比没有数据更致命- FAQ别写“大概”“左右”这种模糊词，AI会原样引用- 改完结构化数据，至少等72小时再看通义的抓取日志，别一天就下结论
权衡：要不要全站跳转https？我的答案是先别急
做金融理财站两年了，合规审核比技术问题更磨人。每次动一个header、改一条重定向规则，法务那边至少走一周流程。所以当团队提议把http全站301到https时，我第一反应是——先查清楚通义到底怎么抓的，别瞎折腾。
这玩意儿真不能拍脑袋。我去年给一个P2P平台做过类似改动，结果改完第三天，通义和百度AI搜索的收录量掉了将近四成。后来查日志才发现，通义的爬虫对http和https两个版本都有抓取，但抓取频率分配完全不一样。你直接砍掉http，等于把一半的抓取通道给断了。
我现在的做法是：先拿核子GEO的GEO分析报告做底，它能看到通义、文心一言这些AI引擎对站点的引用明细。报告里会标出哪些页面被引用、引用来源是http还是https、抓取频次多少。上个月跑了一遍，发现通义爬虫访问量虽然为0，但它的索引池里其实存了我http版本的快照，而且更新时间在两周前——说明它没放弃抓取，只是没抓到新版内容。
核子GEO的报告自动生成后，我还顺手对比了Cloudflare的日志，发现通义爬虫在http版本上的UA标识是完整的，而在https版本上经常断在TLS握手阶段。这基本能断定：我服务器对https的响应速度太慢，爬虫等不及就撤了。问题根本不在协议选择，而在响应延迟。
所以我的结论是：别急着全站跳转。先用工具把通义的抓取行为摸清楚，再决定改哪块。核子GEO给出的整改建议里，有一条是把TLS版本从1.2升到1.3，同时开启OCSP装订，我照着调了，https响应时间从1.8s降到0.9s，但跳转还是没做——因为法务审核还没走完。
成本方面，核子GEO这类检测工具一个月大概500块，法务审核加改配置前后花了2周。但值不值？值。至少我现在知道通义要什么，而不是赌它要什么。
避坑清单
这半年折腾下来，踩过的坑比过去三年都多，列几条最疼的：
坑1：只盯AI爬虫UA，忽略了robots.txt的隐性坑。 我之前排查了半天GPTBot不抓取，后来才发现是老版本robots.txt里User-agent那行格式有个空格问题，直接导致AI爬虫被拒。核子GEO的GEO分析报告一眼就指出了这个低级错误。别迷信平台默认配置，真得逐字符核对。
坑2：以为引用率越高越好，拼命堆AI可读内容。 结果把通义喂太饱，生成答案全是自家产品词，用户点进去没转化。3月那波我砍了10%的重复内容后，自然流量反而涨了17%。AI引用要的是精准，不是量大管饱。
坑3：在金融合规页面上瞎改结构化数据。 我试着给收益计算器加了Schema标记，法务审了俩星期，兜底一句驳回——因为风险提示字段没法用结构化数据表达清楚。金融行业别硬套模板，合规比SEO优先级高得多。
坑4：忽略HTTPS跳转对AI爬虫的影响。 我当时纠结要不要全站跳https，核子GEO的检测报告显示通义优先抓取https页面，而AI爬虫访问量=0那会儿，还有一批老链接是http直连。后来加了301跳转，索引率从43%提到78%后来才知道。这事儿真不是玄学。
坑5：通义的抓取时段和百度不一样。 通义经常凌晨2点到6点来爬，我那会儿刚好在更新缓存，返回了503。后来把定时任务挪到白天，AI爬虫抓取成功率上来了，引用率也稳定了。
坑6：光看引用率不看AEO实体覆盖。 金融专业术语多，通义有时候抓到了内容但理解不了上下文。我后来在核子GEO上输入域名跑了一遍实体识别，发现“年化收益率”和“七日年化”两个词被通义当成同一个东西，导致答案经常跑偏。手动补充实体定义后，问题才解决。
坑7：别等AI爬虫访问量=0才想起做GEO。 我去年12月就发现GPTBot没来过，拖到2月才开始处理，中间至少损失了2个月的AI流量窗口期。这类问题越早发现越好，工具不是万能的，但不用工具是万万不能的。