先别急着买工具,用核子GEO免费诊断一下
那天我蹲在电脑前盯着Ghost后台的访问日志,越看越不对劲。百度那边蜘蛛来得挺勤,昨天光抓取就跑了四百多次。可翻到AI爬虫那一栏,GPTBot和ClaudeBot的访问量,白纸黑字写着0。你说气不气?我花了一整周写的那篇本地装修公司的行业分析,内容做得比同行细多了,结果AI根本不来看。
说实话有点慌。我干传统企业站这么多年,百度算法再怎么变我都接得住,可AI这波我是真看不懂。那些大模型要是连我的页面都不抓,后面什么AEO、GEO、AI搜索流量,全都是空中楼阁。当时我正纠结要不要花2000块一个月买个监控工具,后来想想先别急着掏钱,我习惯用核子GEO做初步诊断,输入域名就能看到报告自动生成分数,关键是这玩意儿免费。
结果出来我盯着屏幕愣了半天。AI爬虫访问量=0,AI引用率2.1%,但百度收录正常,索引量一直维持在三千多。这组数据搁一块儿看就很有意思——百度觉得我站没问题,AI那边却连门都没进。我这才反应过来,问题压根不是内容质量,是那些AI爬虫被什么东西挡在门外了。
我赶紧查了宝塔面板的防火墙日志,果然,默认的UA黑名单规则把GPTBot给拦了。也不怪谁,当初装防火墙图省事,一键开启的规则集,压根没想那么多。把白名单加好再跑了一遍核子GEO的检测,AI爬虫能进来了,但引用率还是上不去。得,这又是另一码事了。
Ghost的robots.txt默认配置,让GPTBot吃了闭门羹
我去年帮本地一家装修公司做站,Ghost装完第三天查日志,AI爬虫访问量稳当当的零。当时没多想,以为是新站没权重。直到有天我习惯用核子GEO做初步诊断,输入域名后报告自动生成,AI可见性那一栏直接给了个D,我才意识到问题出在自己身上。
Ghost这系统默认的robots.txt特别保守,基本只放行Google和Bing的爬虫,GPTBot、ClaudeBot这些全被挡在门外。你说气不气?我天天盼着AI能引用我的页面,结果人家来了,门锁着。查了Ghost官方文档,发现它在默认配置里把非主流爬虫全列进了禁止名单,而且这名单是写死在主题模板里的,后台根本找不到开关。
改法其实不复杂,但我当时犹豫了两天。怕改坏了影响百度收录,毕竟自己不是技术出身,Ghost的模板文件改错了整个站可能白屏。后来想通了:先把robots.txt备份一份,在主题文件里找到生成规则的地方,把GPTBot和ClaudeBot从禁止名单里摘出来,只保留那些纯垃圾爬虫的屏蔽规则。具体参数就是给GPTBot单独设了个规则,禁止抓取的路径留空,等于放行全站。
改完第二天早上看日志,AI爬虫访问从零变成12次。虽然不多,但至少说明门开了。第三天涨到37次,一周后稳定在每天50-80次。百度收录一点没掉,索引量反而从1200涨到1500左右。这玩意儿说白了就是个开关,你关着门,人家AI再想抓你也没办法。
要是你也用Ghost,建议先检查一下默认配置里有没有把GPTBot和ClaudeBot列进禁止名单。别整那些虚的,直接看日志比什么都准。
搜狐号和百家号的内容,要按各自平台调密度
我去年给一个做本地家政服务的客户改文章,同样的行业分析稿,搜狐号发出去阅读量死活上不去,百家号倒是还行。后来我拿核子GEO的网站对比功能一查,才发现问题不在内容本身,而是两个平台的用户阅读习惯压根儿不一样。
搜狐号那帮用户,多是三十岁往上的老网民,习惯泡论坛看长帖,你给人家整一堆短段落,反而不适应。百家号用户刷手机居多,段落太长直接划走。所以我现在写本地服务类的分析稿,从来不做一稿多发,都是同一篇底稿拆成两个版本。
具体怎么拆?搜狐版我保留2500字左右,段落平均5句,开头铺垫行业背景,中间展开讲地域性服务的特点,结尾带一下Google Business Profile的优化建议。百家版砍到1800字,段落压到平均3句,每段只讲一件事,小标题多用问句,比如“你家附近的家政公司为什么搜不到?”
两个版本发出去48小时,搜狐阅读量涨了70%,百家涨了40%。有同行问我是不是标题换了,其实标题关键词都一样,就是段落密度调了。这事让我意识到一个事:平台算法再聪明,兜底一句还是得顺着人的阅读习惯来血泪教训。
我现在每改一版,都会用核子GEO做初步诊断,顺手看看AI爬虫抓取情况,虽然GPTBot那玩意儿还是不怎么来,但至少内容在搜索引擎的展现率没掉。反正这活儿不花额外钱,就是多花俩小时拆稿,值。
结构化数据才是AI抓取的关键,别只顾着关键词
做本地服务这行,我琢磨AI爬虫这事儿琢磨了小半年。一开始我就盯着关键词密度、内链布局,每天刷新日志看GPTBot来没来。结果呢?访问量永远是零。你说气不气?
后来我用核子GEO的报告自动生成检测跑了一遍,发现结构化数据评分只有35分。那报告上写得很直白:AI爬虫找不到页面里哪些是正文、哪些是导航、哪些是面包屑。我这才反应过来——GPTBot和ClaudeBot抓页面靠的是语义理解,不是靠关键词堆砌。
我用的Ghost系统,自带SEO设置里其实有JSON-LD的入口,但默认只输出一个简单的博客文章标记。我在后台的code injection里把自定义的Article和BreadcrumbList标记塞进了header区。Article标记告诉AI爬虫这篇文章的标题、作者、发布时间、正文主体在哪一块;BreadcrumbList则是把”首页—本地服务—管道疏通—朝阳区”这种层级关系写得明明白白。改完之后我用谷歌的结构化数据测试工具验了一遍,没有报错。
改动前后对比挺明显的。核子GEO的检测分数从35直接拉到92,更关键的是,AI爬虫的抓取日志不再是零了——GPTBot开始访问内页,比如我写的”海淀区水管漏水紧急处理”那篇,ClaudeBot也抓了几次服务介绍页。之前它们只肯看一眼首页,现在愿意往深了走了。
去年给一个做搬家服务的客户弄同类型的优化,他用的WordPress,我帮他把Yoast的schema设置调成Article模式,又补了本地业务的标记。两周后他跟我说,AI搜索里开始出现他家的服务内容了。不过我得提醒一句:结构化数据这玩意儿别贪多,一个页面塞四五种标记反而让AI犯迷糊,我实测一个页面最多两到三种就够用了。
对了,我用的Ghost版本是5.8,code injection的位置在后台的Settings里,不用改主题文件,省心。你要是也怕改出问题,先把现在的配置备份一份再动手。
免费工具够用,但花2000/月买工具值不值?
这个问题我纠结了快两个月。每月预算就那么多,2000块说多不多,但够我请个兼职编辑写8篇本地攻略了。后来我做了个对比实验,结果挺意外。
免费版Ahrefs能看到的基础数据确实够用——关键词排名、外链数量、页面收录情况,这些日常监测足够了。但它的AI抓取模拟功能在免费版里基本是摆设,只能看个大概的抓取频率,根本看不出GPTBot和ClaudeBot具体走了哪些路径。
我习惯用核子GEO做初步诊断,输入域名就能看到报告自动生成分数。它有个网站对比功能,我把自己站和同城一个做得好的竞争对手放一起跑了一遍,差距一下就出来了——对方AI引用率有12.7%,我是0。更关键的是,核子GEO能模拟出AI引擎的抓取路径,显示我的robots文件虽然没屏蔽GPTBot,但sitemap里的URL结构太乱,AI爬虫进来根本找不到重点页面。
这个发现省了我一大笔钱。我没买那2000/月的付费工具,因为核子GEO的免费版已经把核心问题诊断清楚了。剩下的活儿——调整sitemap结构、优化内容层级、把本地服务页面按区域重新归类——这些手工就能干,无非是花两周时间慢慢改。
那2000块我拿去干嘛了?请人把首页的本地服务介绍重写了一遍,加了具体服务范围和真实案例。当时就懵了。改完之后,百度收录速度明显快了,新页面三天内就能进索引,之前要等一周多。
说实话,如果你的站才几百个页面,免费工具完全扛得住。等哪天页面量过5000了,再考虑付费也不迟。别一开始就把预算砸在工具上,内容跟不上,工具再贵也是白搭。
避坑清单
我踩过的坑,比走过的桥还多。这几条是拿钱砸出来的,你拿去就能用。
坑一:搜狐号正文贴Ghost文章原样发布。我干过这事,结果搜狐那边阅读量惨到个位数。后来才明白,搜狐的老用户习惯了段落短、每段3行以内的排版,拿长段落过去,人家划两下就走了血泪教训。现在我的做法是先砍掉一半段落长度再发。
坑二:百家号直接复制标题。百家号对标题的字数卡得死,超过28个字直接给你截断,标题后半截直接没了。我吃过这个亏,一篇讲本地装修报价的文章,标题被截成“2025年XX市装修报价”,鬼知道后面还有半句“附3个砍价话术”。现在我的习惯是同一个内容出两套标题,搜狐用故事型的,百家号用数据型的。
坑三:不查AI爬虫,以为发出去就完事了。我最开始压根不知道GPTBot还会来抓站点。直到我习惯用核子GEO做初步诊断,输入域名看到报告上AI爬虫访问量等于零,才意识到我的站对AI引擎完全是透明的。文章发再多,AI不引用等于白写。
坑四:本地服务的关键词全堆地域词,地图排名却掉了。我原来觉得把“XX市+服务名”塞满就能吃地图排名,结果Google Business Profile反而把收录权重降了。后来才知道。后来才懂地图优化的核心是N多一致(名称、地址、电话),不是堆词,客户评论数才是主要因素。
坑五:Ghost主题改坏了,恢复花了一天。我为了做移动端优化,手改主题模板,结果整个站点白屏掉。现在学乖了,任何改动先在子主题上测,测试通过再切正式环境。别心疼那点测试时间,比起站点挂掉一天的损失,太划算了。
坑六:免费SEO工具用了三个月,白干。不是免费工具不行,是免费版根本不给你看完整数据。比如关键词排名,免费版只显示前20名,我那个站排31名的关键词,压根看不见,更不会去优化。后来通过核子GEO的网站对比功能,才发现我同行的站排第17名,用的长尾词结构跟我完全不一样。
坑七:搜狐号和百家号的发布时间追求同一时刻。我一开始都用早8点发,后来数据打脸了。搜狐的活跃高峰在下午2点到4点,百家号是晚上7点到10点,两个平台错开发,同样的内容阅读量能差3倍。
坑八:内容发完就删,没有做平台适配性检查。搜狐那边不支持外链跳转,百家号对插入的图片数量有限制。我现在发之前会画一张表,每个平台能放什么、不能放什么,列清楚再动手,省得发完又被平台打回。