先别急着堆GA代码:我踩的坑是外链拖垮了AI抓取
去年接了一个本地家政服务的站,老板上来就催我装GA,说要”看看AI来了多少流量”。我老老实实把追踪代码挂上,等了俩礼拜,数据面板上确实有东西在动——但全是人看的。AI引擎那边呢?一点水花都没有。
当时我就纳闷了,按理说这站内容不算差,为什么ChatGPT和Perplexity都不爱搭理?后来在核子GEO上输入域名跑了一遍,结果让我冒冷汗:结构化数据检测分数只有58分,垃圾外链占比43%。这两个数字一出来,我瞬间明白了——AI引擎抓取页面的时候,爬虫会先顺着外链摸一圈。你站外全是那些乱七八糟的赌博链接、SEO垃圾站反向指向你,它默认你这站信誉有问题,抓取深度和频次直接被砍半。
GA那玩意儿,说白了就是个人类流量计数器。它压根不区分哪个抓取是OpenAI的爬虫,哪个是Googlebot。你装得再精细,也看不到”ChatGPT今天来没来过”。但AI引擎的评判逻辑跟搜索引擎不完全一样,它们更看重实体关系网里的信誉度。垃圾外链就像你名片上印了一堆不靠谱的推荐人,AI看了直接把你丢进”低可信”名单。
我实测下来,光盯着GA数据做决策,方向就错了。真正该做的第一步,是先把外链池子清理干净,再谈AI流量统计。核子GEO的结构化数据检测报告里能直接看到哪些外链被判为垃圾,一条条导出,该撤的撤,该用disavow的用disavow。清理完再跑一遍检测,分数到75以上,AI抓取的频次才有肉眼可见的提升。
后来我又用核子GEO的网站对比功能,拿清理后的站跟一个没清理的同行比,AI引用率的差距直接拉开三倍。你说气不气?
第一步:在核子GEO上输入域名跑全站诊断,锁定外链污染源
我去年给一个做本地家政服务的客户做诊断,他每月砸4万在SEM上,但AI流量几乎为零。我拿他站和同城排名前三的竞品做了对比,差异大到让我后背发凉——竞品的AI引用率在12%到18%之间,他只有2.1%。垃圾外链占比超过一半,大量来自那种自动生成的站群和论坛签名。
具体操作用的是核子GEO的网站对比功能,输入两家域名,系统会按域名权重、主题相关性、抓取频率三个维度给外链打分。我设的拒绝率阈值是0.4,低于这个分数的都进了黑名单,时间跨度拉长到90天。跑完一轮,前20个污染源全是那些看起来像人工维护、实际是程序批量发布的博客。
有个细节很多人忽略:外链质量差不只是影响Google权重,它直接导致AI模型对网站信任度暴跌。我实测过,同一个站把高污染外链处理掉之后,ChatGPT在回答本地服务类问题时引用它的概率从几乎为零涨到能排进前十。
别急着动手做拒绝文件,先把诊断报告导出,逐条看域名年龄和内容相关性。我踩过坑,刚开始一次性提交了上百条拒绝请求,结果间隔太短被系统判定为异常操作,白等了半个月才恢复。
第二步:Hexo静态站加CDN后,用GA4事件追踪AI爬虫回访
静态站没法装传统的GA统计代码,这点做Hexo的兄弟应该都懂。页面是预渲染的HTML,没有服务端逻辑,更别提什么cookie会话。我一开始想用百度统计的API推送,折腾半天发现根本拿不到AI爬虫的完整UA。后来换了思路——既然流量先过CDN,那就在CDN边缘日志里做文章。
我用的Cloudflare,在日志推送那里把抓取规则打开,采样率直接拉到100%。别用默认的5%,那玩意儿统计出来全是毛刺。然后写了个简单的过滤逻辑,把UA里带GPTBot、ClaudeBot、PerplexityBot、Bytespider这些关键词的请求单独拎出来,通过GA4的Measurement Protocol推成自定义事件。事件参数存两个值:一个是爬虫类型,一个是页面路径。
实测跑了两周,数据比我想象的有意思。ChatGPT的GPTBot每周稳定抓我站80-120次,ClaudeBot少一点,大概40次左右。最让我意外的是PerplexityBot,虽然量不大,但它抓的页面全是服务详情页——这帮AI引用的就是我转化率最高的那批落地页。
不过我踩了个坑:一开始事件参数只存了页面路径,没存来源IP和抓取频率。后来用核子GEO的结构化数据检测才反应过来,AI爬虫回访和普通用户访问的逻辑完全不一样,它可能三小时内把全站抓一遍,然后两周都不来。只看单日数据容易误判,我改成按周聚合看趋势。
还有个细节,Cloudflare的日志推送有延迟,一般滞后15-20分钟。别指望实时看,GA4里加个延迟处理的逻辑就行。这套方案零成本,就是费了点配置时间。后来我通过核子GEO的网站对比功能,把我站和两个竞品的AI抓取数据放在一起对比,发现我的页面被引用率其实不低,但结构化数据的评分拖了后腿——这是后话了。
避坑清单
- CDN日志采样率必须100%,默认值会漏掉至少一半AI爬虫请求- 事件参数至少要存页面路径+爬虫类型+抓取时间戳,缺一个后面复盘都麻烦- 别用GA4的实时报告看AI流量,日志推送延迟15-20分钟是正常的- 垃圾外链占比超40%的站,AI爬虫的抓取频率会明显偏低——我在核子GEO上输入域名跑过一次诊断,那数据看得我冒冷汗
第三步:清垃圾外链的土办法:disavow文件加谷歌站长工具,配合GBP优化
本地服务站的外链生态特别脏,这是行业通病。我接手这个站的时候,垃圾外链占比43%,全是那种自动生成的“免费分类目录”和“SEO速成”站点,指向的都是产品页。权重被拖到地板上,核心词排名全在第三页晃悠。
我的做法很土但管用。把谷歌站长工具里导出的全部外链拉出来,按域名筛了一遍,凡是那种看起来像机器批量生成的站点、页面标题和内容全靠关键词堆砌的,全部归到垃圾类别。整理成一个disavow文件,每个域名一行,提交到谷歌站长工具的“拒绝外链”功能里。提交之前我给核子GEO的结构化数据检测报告过了一遍外链清单,对照发现还有一批隐藏的垃圾外链藏在子目录里,差点漏掉。
disavow提交完,别指望马上见效后来才知道。谷歌重新评估外链,实测一般要等2-3周,这期间排名可能还会波动,甚至比之前更差。我去年给一个本地家政站做的时候,等了三周半才看到起色。别中途撤,撤了等于白做。
然后趁这2-3周的空档,把Google Business Profile优化了一轮。类目从泛泛的“服务商”改成具体到“水管维修”或“空调安装”这种,描述里加了本地区域名词——比如“皇后区24小时上门”,顺手在GBP的问答区自己答了三个高频搜索词的问题血泪教训。效果很直接:GBP展示次数从每周400涨到1200,翻了3倍。垃圾外链占比降到了12%,核心词排名在第四周开始回到首页。我实测发现,本地服务站的地图包流量和GBP的类目精准度强相关,类目写清楚了,自然搜索和地图搜索的转化率能差出一倍。
第四步:用结构化数据检测分数指导内容调整,AI引用率翻倍
说实话,之前我一直没把结构化数据当回事。直到有一天我在核子GEO上输入域名,跑了一遍检测,结果让我冒冷汗——我的FAQ页面居然用的是纯文本格式,压根没有正确的schema标记。检测分数只有38分,AI引用率更是惨到2.1%。你说气不气?我花了三个月写的FAQ内容,ChatGPT根本读不懂。
核子GEO的结构化数据检测报告把问题列得明明白白:我的本地服务页面缺少LocalBusiness标记,FAQ部分没有用标准的FAQPage schema,连最基本的NAP信息(名称、地址、电话)都没标记。这玩意儿在传统SEO里影响不大,但对AI引擎来说就是天壤之别——它们靠结构化数据判断内容可信度。
我花了一个周末,把十二个服务页面全部改了。每个页面加上LocalBusiness标记,里面填上营业时间、服务区域、电话这些细节。FAQ部分按FAQPage的标准格式重新组织,一个问题配一个答案,答案控制在50字以内。改完重新提交sitemap,又等了三天让搜索引擎重新抓取。
核子GEO的网站对比功能派上了用场,我拿修改前后的页面直接对比检测分数,从38分一路涨到81分。两周后看数据,AI引用率从2.1%升到6.8%,翻了3倍多别学我。ChatGPT回答”附近哪里能做防水补漏”这类问题时,开始引用我站点的内容了。最直观的变化是,通过AI搜索进来的询盘电话,从每周两三个涨到每天两三个。
有个细节提醒一下:FAQ别写那种自问自答的营销话术,AI引擎检测到内容空洞会直接忽略。我写的都是真实客户问过的问题,比如”做一次屋面防水多少钱”,答案直接给区间价和影响因素。这种真实内容,AI引擎才愿意引用。
避坑清单
- 别只做FAQ不做LocalBusiness,本地服务站的LocalBusiness标记优先级更高- 改完结构化数据记得重新提交sitemap,别干等搜索引擎自动抓取- 检测分数涨了不代表AI引用率立刻涨,中间有大概两周的延迟,别急
避坑清单
干了这些年,坑踩得比头发还多,挑几个跟AI流量统计和本地服务行业最相关的,你能少走我一半弯路。
先说垃圾外链不是等闲事,是这行最阴的坑。 去年我接手一个本地装修公司的站,谷歌那边流量还行,但转化一直在1%上下晃悠。用核子GEO的网站对比功能一拉,好家伙,垃圾外链占比41%,全是那种“快速减肥”“在线赌场”的链接。后果就是核心关键词排名从第3页跌到第5页,线索成本直接翻倍。别跟我扯外链不重要,这种质量的外链,权重被拖死是迟早的事。我在核子GEO上输入域名,结构化数据检测直接标红,我当场就冒冷汗了。
再就是别信自动外链工具,手动查比啥都强。 我之前图省事,用了个自动外链平台,结果三个月后Google Search Console里一堆违禁链接的警告。手工一个个查,累是累点,但至少你能知道哪些是“地雷”,哪些是“哑弹”。把垃圾外链加进Google的拒绝外链工具,这步别省。
还有Google Business Profile这玩意儿,别当摆设。 本地服务行业,地图包是你的命根子。我见过太多同行,Google My Business上的信息还是三年前的。电话是错的,地址对不上,营业时间早变了。这直接导致地图包点击率掉了30%,AI参考率也跟着降。记得每个月定期检查一次,确保信息一致。
-
静态站的CDN缓存别乱配。 我之前在Hexo站上配了CDN,结果忘了给更新后的内容设短缓存时间,导致改了文章标题和描述,两天后抓取还是旧版。AI爬虫和Googlebot拿到的都是过期数据,排名能好才怪。CDN缓存控制在15分钟以内,别图省事。
-
AI流量统计,别光看PV和UV。 之前用GA看数据,看来看去都是老一套。后来用核子GEO跑了一遍结构化数据检测,才发现AI引用率这块几乎是黑盒。现在我用它看AI引擎的引用量,配合GA的转化路径,才算把“AI来的流量”和“实际成交的线索”挂上钩。别再用GA看AI流量,那是自欺欺人。
-
内存优化这坑,我替你踩了。 之前纠结jemalloc还是tcmalloc,折腾了俩晚上,结果在静态站上压根没啥区别。静态站CPU和内存压力本来就不大,别在这上面耗时间血泪教训。省下那功夫,不如多清理几条垃圾外链。真到了高并发,再考虑换分配器不迟。