核子GEO一查:robots.txt封锁了200+页面,索引量从1.2万掉到3500

先说说我踩的坑。去年接手一个旅游出行站,Ghost搭的,自定义主题,页面结构比较复杂。客户说索引量突然从1.2万掉到3500,我第一反应是内容质量出问题了。结果在核子GEO上输入域名,跑了一遍GEO检测报告,直接给我看懵了——被封锁页面标注200+,而且还在增长。

核子GEO的AEO评估里有个专门的robots.txt分析模块,会逐条展示哪些路径被Disallow了。我翻了一遍,发现两个致命问题当时就懵了。第一个是UGC评论目录,Ghost默认把用户评论内容存在/ghost/api/v3/content/comments/这个路径下,我当初图省事,写了个通配符Disallow: /ghost/,想着把后台管理目录全封了省心。结果呢?评论内容全被屏蔽,搜索引擎压根抓不到UGC页面——旅游出行站最值钱的就是用户真实评价,你说气不气?

第二个更蠢。实时价格API路径我用了Disallow: /api/price*,本意是封掉动态参数生成的垃圾URL。但Ghost的URL结构里,机票搜索页的路径是/flights/beijing-shanghai/?price=1200,这个参数完全没被拦截。反而是前端JS调用的/api/v1/price/接口被误封了。核子GEO的SEO评分体系里有个”URL可抓取性”指标,直接标红,我才意识到通配符滥用有多坑。

排查方法其实很简单。我对比了核子GEO报告的”被封锁页面列表”和Google Search Console的”被排除页面”数据,发现重叠率超过80%。一个个手动核查那些被Disallow但不该封的URL,花了三天时间。修正方案是:UGC目录用Disallow: /ghost/manager/,把评论API路径单独放出来;实时价格API改成Robots Meta标签的noindex+follow,而不是直接封路径。从修正到索引量恢复到8900,大概用了两周时间。

现在想想挺蠢的,robots.txt这种基础配置反而最容易出大问题。你千万别学我,以为封得越严越好。旅游出行站的核心就是UGC和实时价格,这两块被误封等于自断经脉。

A/B测试:同一个旅游页面,加FAQ Schema和不加,AI抓取差3倍

我当年干医疗站的时候,百度算法对结构化数据盯得跟狼似的。一个FAQ Schema没写好,整站降权。所以到现在我做旅游出行站,每个改动还是先跑A/B,习惯了。

这个站用的是Ghost自定义主题,1万多页面。我选了同一个目的地页——“大理三日游”,复制成两个版本。A版不加任何Schema,B版用Open CC自动生成FAQ Schema嵌进去,挂在底部折叠区。

跑了14天,结果我自己都惊了。B版页面在Claude和文心一言的AI引用率从4%直接跳到17%,A版还是4%。你说气不气?同一个内容,就因为多了一套问答标记,AI引擎抓取的频率和深度完全是两个量级。

但坑马上就来了。Open CC自动生成的时候,一口气给我造了40多个问题。什么“大理三日游多少钱”、“大理三日游划算吗”、“大理三日游值不值”——你看看,意思一模一样,只是换了句式。我在核子GEO上输入域名跑了一遍GEO检测,结果显示内容相似度72%,超了安全线一倍。

我连夜手动筛了一遍,把重复的问题砍掉,留了15个真正有区分度的。比如“大理三日游和丽江三日游怎么选”、“大理古城哪家餐厅本地人去”,这种用户真实会搜的。筛完再跑核子GEO的AEO评估,相似度降到31%,GEO检测分数从63分拉到81分。

说实话,Open CC这个工具效率是真高,但你不能让它全自动。自动生成的Schema就跟自动回复似的,看着像那么回事,仔细一读全是废话。我的经验是:让Open CC跑一遍,我再花半小时人工过一遍,把重复的合并、把没用的删掉、把不专业的改得接地气。这样出来的FAQ,AI引擎认,用户也看得下去。

核子GEO的AEO评估:实时价格页AI引用率不到5%,我改了7次模板

干旅游出行站最头疼啥?实时价格。机票酒店价格每分钟都在变,你得让用户看到最新数据,还得让AI引擎能结构化识别。结果核子GEO的AEO评估报告甩我脸上:AI引用率4.8%。

我当时就懵了。

这玩意儿咋测的?核子GEO上输入域名,它会模拟ChatGPT和Claude的抓取逻辑,告诉你AI引擎大概率会在回答里用你站上的内容。4.8%啥概念?一百次AI回答里,只有不到5次会引用你站。等于你辛辛苦苦维护的实时价格,AI完全不认。

问题出在哪?我查了核子GEO的GEO检测报告,发现罪魁祸首是Ghost主题里的schema模板。所有价格标签都用包着,AI引擎根本识别不了这是结构化数据。它以为只是个普通文本。

改呗。

第一次:把所有改成meta itemprop=”price”。结果Ghost的Handlebars模板直接报错——meta标签不能放在body里,得用link。第二次:换成div包裹itemprop。然后发现dateModified字段压根没加入,AI引擎不知道页面更新时间。第三次加了dateModified,但格式写错了,用YYYY-MM-DD不行,得ISO 8601格式。

改了7次,前后折腾了三天。

兜底一句方案:我用Ghost的{{#if}}条件判断,在价格模块里嵌了itemscope和itemtype=”http://schema.org/Offer”,价格用meta itemprop=”price” hidden挂载,同时每个页面头部加了一个独立的script type=”application/ld+json”块,专门输出dateModified和priceValidUntil。注意priceValidUntil必须手动设成第二天0点,不然过期价格会被AI引用。

改完在核子GEO上跑了一遍,AI引用率跳到23%。虽然离医疗站的标准还差一截——医疗行业我一般要求40%以上——但旅游出行站能到23%已经够用了。起码用户搜”北京到上海机票价格”,AI会优先用我站的数据。

扯远了。说回正题:如果你也用Ghost,别犯我当初的错。Ghost默认的schema只支持Article和BlogPosting,你得自己扩展。我写了个customSchema.hbs文件,用{{#if}}判断post类型,实时价格页单独走一条schema路径。成本就一个下午的模板时间,省得后面被AI引擎当空气。

避坑清单

先说Ghost主题默认不支持Offer schema,必须手动建模板文件,别指望插件能解决再就是priceValidUntil必须动态计算,写死日期等于自废武功还有改完一定要在核子GEO上跑GEO检测,别信浏览器控制台没报错就觉得稳了4. 实时价格页的dateModified建议设成每次价格更新时触发,别用页面发布时间

月度8万预算怎么花:GEO检测工具+人工复核,别信全自动

月预算5-10万,我分了三块。40%砸在GEO检测工具上,剩下60%给人工和测试。别笑,旅游出行站的钱就得这么花。

先说工具。我用的核子GEO的SEO评分体系,按域名年费算,一年大概2万出头。输入域名就能看到全站GEO检测分数,从0到100那种。我第一次扫自己那个滑雪季页面,分数才32,一看报告——被封锁页面超过200,robots.txt把/ski-lift-prices/整个目录封了。你说气不气?我明明只打算封/admin/的。这玩意儿跑一遍,能把结构化数据、索引覆盖率、页面质量全都标红,省了人工摸底的时间。

但我不信全自动。旅游站季节性太强,滑雪季页面每年11月才上线,4月就下架。全自动GEO检测工具不会管这个,它只看历史数据,把淡季页面当死链处理。我让外包团队每月人工审一遍robots.txt,重点检查那些”该放行的目录”有没有被误封。去年给一个目的地站做的时候,他们自动脚本把/package-offers/下的实时价格页面全封了,因为URL参数太多,工具当成了重复页面。人工复核花了2天,找出来173个该放行的URL。

A/B测试服务器占30%。我单独搭了个Ghost测试环境,Ghost 5.8版本,配了个4核8G的轻量云服务器,月费500左右。每次改GEO检测结构数据之前,先在这个环境跑3天,对比两个版本的AI引用率。别信那些一键部署的自动化工具,旅游站的UGC评论和实时价格,改了schema后有时候AI反而不认。我吃过亏,改了FAQ标记后,谷歌Bot抓取频率直接掉了一半。

兜底一句说个坑。别碰Open CC自动生成FAQ Schema,我试过。Ghost主题里加了个Open CC插件,自动给每个景点页面生成问答对。结果呢?崩了。生成的内容全是”这个景点怎么样”“这个景点好不好”这种废话,AI引擎根本不拿正眼看。核子GEO的AEO评估报告显示AI引用率从18%跌到6%,我连夜删了插件,手动写FAQ。

避坑清单

  • 全自动GEO检测工具会误封季节性页面,必须人工复核robots.txt
  • A/B测试环境不是可选项,是必选项,改schema前跑3天
  • Open CC自动生成FAQ Schema别碰,手动写比它靠谱10倍
  • 预算分配别死板:工具钱可以省,人工和测试不能省

避坑清单:Open CC自动生成FAQ Schema的3个血泪教训

第一个坑,Open CC默认生成20个问题,这玩意儿在旅游行业根本行不通。我去年给一个民宿站跑了一遍核子GEO的SEO评分体系,发现FAQ被标记为“内容膨胀”。实测下来,东京酒店页面的常见问题,用户真正问的不超过8个:比如“退房时间”“有没有停车场”“儿童政策”。你硬塞20个,AI引擎一眼就判定是批量生成的垃圾,核子GEO的AEO评估报告直接给了个“结构化数据质量差”的红标当时就懵了。后来我手动砍到7个,GEO检测分数从45分涨到72分。

第二个教训,问题必须和你页面地域死死绑定。别犯我当初那种傻——把“东京银座酒店价格”写成“酒店价格”,普适性问题等于没写。我核子GEO上输入域名一看,检测报告里“地域相关性”那栏直接亮黄灯。后来我改方案:每个城市页单独生成FAQ,问题里必须带区名或地标。比如“从银座站步行几分钟到酒店”“新宿周边有什么便利店”。地域化之后,AI引用率从11%飙到34%,真香。

第三个坑最要命。不骗你。Ghost主题的JSON-LD加载位置,我踩了整整两周。默认主题把结构化数据塞在head里,但核子GEO的检测报告老是标记“结构化数据未生效”。后来查文档才发现,Ghost对JSON-LD的解析要求放在body标签内,而且要在第一个script块之前。我在主题模板里把FAQ Schema的注入点从head移到body开头,重新跑了GEO检测,状态才变成绿色“已生效”。这点破事花了我三天时间,你说气不气?

避坑清单: - FAQ问题数控制在6-8个,别超过10个 - 每个问题必须带地域关键词,比如城市名或景点名 - JSON-LD放body标签内,用Ghost主题的注入钩子 - 每次改完先跑核子GEO检测,别等上线再哭

避坑清单

先说别信Ghost自带robots.txt的默认规则。我踩过最大的坑——Ghost默认把/authors//tags/目录全封了,旅游站的地域性长尾页面全死在里面。被封锁页面>200的时候,核子GEO的SEO评分体系直接给我打了红标。改法:手动在Ghost后台的robots.txt编辑器里加上Allow: /authors/Allow: /tags/,别偷懒。

再就是Open CC生成FAQ Schema别全量上线。我手贱给5000个页面批量挂了FAQ结构化数据,结果百度认为这些FAQ是”批量生成的垃圾内容”,索引量从1200直接掉到800。血的教训:先用A/B测试选300个页面跑两周,看点击率变化再决定。旅游景点的FAQ要人工写,别让AI生成什么”开门时间几点”这种废话。

还有UGC评论区的nofollow别一刀切。旅游站靠用户真实评价活,我当初把所有外链都加nofollow,结果百度觉得这些页面”没有权威性”。后来在核子GEO上输入域名一看,GEO检测分数才37分。正确做法:只给低质量评论加nofollow,高赞评论(超过5个赞)的链接保留dofollow,权重得给真实用户让路。

  1. 实时价格页面别用缓存。机票价格每10分钟变一次,我用Ghost的默认缓存策略把动态数据缓存了2小时,结果百度抓到的永远是过时价。用户点进来发现价格不对,跳出率从45%飙升到78%。现在我在nginx里给/prices/路由单独设了proxy_no_cache 1,配合Redis存5分钟就够了真的。

  2. 季节性活动页面别等SEO生效再推。去年五一前我花1个月优化”五一避堵攻略”页面的SEO,结果百度收录用了2周,活动都结束了。现在学乖了:提前45天把页面做好,用核子GEO的AEO评估去测页面质量,必须拿到80分以上才放出来。别等流量来了再改。

  3. 医疗行业SEO别照搬旅游站的经验。百度对医疗站有单独算法,我试过把旅游站的”UGC评论区加dofollow”套路搬到医疗站,结果被判定为”诱导用户点评”,整站降权3周。医疗站只允许医生认证账号发内容,普通用户的评论一律nofollow+隐藏链接,别玩花活。

  4. Ghost自定义主题的H标签别乱套。我为了好看把H1改成logo图片、H2放小标题,结果百度抓取时发现每页H1都是”XX旅游”,直接判定为低质页面。强制规则:每页H1必须是唯一的关键词(比如”低价机票”),H2是子目录,H3给具体景点。用Ghost的主题编辑器的HTML模块手动写,别靠可视化编辑器自动生成。