一、核子GEO的AEO评估让我冷汗直冒:sitemap覆盖率52%

说实话,我一开始不信邪。上个月核子GEO的AEO评估报告显示sitemap覆盖率只有52%,AI引用率2%不到。我心想:这不扯淡吗?网站都跑三年了,Ghost自带的sitemap能差到哪去?结果在核子GEO上输入域名跑完诊断,GEO检测分数38分,直接标红——sitemap覆盖率<60%。

手动数了sitemap里的URL,确实只有4000多条。但后台文章总数是8000多页,差的这4000条去哪了?我翻了一下午才发现问题:Ghost默认sitemap生成器只收录了静态页面,比如首页、关于我、目的地介绍。那些动态生成的景点详情页、实时价格页、用户评价页,一个都没进sitemap。

你说气不气?我花半年搞了3000个景点详情页,AI爬虫根本不知道它们存在。我试着让ChatGPT搜我站上的“黄山三日游价格”,结果显示的是别家数据。原因很简单——我的sitemap没告诉AI引擎这些页面长啥样。

当时我还有点慌,怕改出bug。毕竟Ghost不是WordPress,sitemap插件生态弱,自定义主题又绑得死。后来在核子GEO的AEO评估建议里看到一条:“手动补充动态页面URL到sitemap”,我才硬着头皮干。

具体操作:在Ghost的content结构里找到sitemap生成模板,把我自定义的route列表(景点详情页、价格页、评价页)加进去。每个URL带上lastmod标签,更新频率设成daily。测试了下,sitemap从4000条涨到8200条。三天后抓取看看,索引量从1200涨到5800。

避坑清单

先说千万别信默认sitemap——Ghost/WordPress/Shopify都只收静态页,动态内容全靠手动补再就是每条URL必须带lastmod字段,不然AI爬虫不认,我试过空lastmod,索引率直接掉到35%还有动态页面URL如果带参数(比如?price=asc),一定要用canonical标签去重,不然sitemap里全是重复URL4. 更新频率别乱设——景点详情页设daily,价格页设hourly,评价页weekly,设反了爬虫会浪费资源

二、Ghost的sitemap生成器有个隐藏开关,90%的人都不知道

去年我发现一个事,直接把sitemap覆盖率从57%拉到了92%。那会儿我正盯着核子GEO的检测报告,输入域名后看到GEO检测分数只有43分,其中sitemap覆盖率那块标红写着<60%。说实话有点慌,毕竟AI爬虫抓取新内容全靠sitemap指引,漏了就等于白发布。

我用的Ghost 5.75版本,默认sitemap只生成了post和page两种URL。但旅游站问题在这儿——我需要收录的还有tag页(比如“丽江攻略”)、author页(签约作者的专栏页)、还有自定义集合页(“云南跟团游”这种聚合页)。这些在默认配置下全部被忽略,你说气不气?新页面发出去三天,AI爬虫愣是没来抓过。

后来翻官方文档发现,Ghost从5.6版本开始,在后台的labs设置里藏着一个开关:“include custom routes in sitemap”。默认值是false。不骗你。我改成true之后,刷新sitemap一看——从原本的1200条URL直接蹦到4200条,多出来整整3000个有效URL。tag页、author页、自定义集合页全部被收录进去。

有个细节得注意:这个开关只对5.6及以上版本有用。如果你还在用Ghost 5.4或更老版本,得手动去routes.yaml里加配置,但那玩意儿一写错整站就崩。我去年给一个做东南亚旅游的客户搞,老版本改完routes.yaml,首页直接500报错,半夜爬起来回滚别学我。

现在我这站sitemap覆盖率稳定在89%到92%之间。核子GEO的AEO评估报告里,sitemap那个指标终于从红色变成绿色了。AI爬虫的抓取频率也上来了——原来一天抓30次,现在能到150次左右。

避坑清单

  • 改完开关后,记得去Ghost后台的“工具”里手动触发一次sitemap重新生成,不然要等24小时
  • 如果自定义集合页超过5000个,建议分批添加,一次性太多会导致生成超时
  • 老版本Ghost用户别轻易动routes.yaml,备份原文件再改

三、动态页面的sitemap处理:我踩了3天坑,兜底一句用了一个伪静态方案

做旅游站最要命的就是实时价格页。我那些/sight/price?id=123的URL,AI爬虫根本不碰——带问号参数的,它们默认当成垃圾。我去年在核子GEO上跑了一遍GEO检测,输入域名后发现sitemap覆盖率不到60%,一半以上都是这些动态页面没被收录。当时我就慌了,但Ghost这系统对动态URL支持贼烂,原生sitemap生成器根本扫不到带参数的内容。

我琢磨了两天,决定用伪静态硬改。在nginx的location块里加了条rewrite规则,把/sight/price?id=123变成/sight/price/123/。然后去Ghost的custom routes里注册了新的集合类型,让sitemap生成器能认这些伪静态路径。测试那天晚上我睡都没睡好——怕崩了。结果呢?真香。爬取间隔我设了每4小时刷新一次,因为旅游价格波动快,但太频繁服务器扛不住。我用的阿里云4核8G机器,并发数调到30就开始报502,兜底一句稳定在25并发,每天抓取量从1.2万涨到4.7万。

说实话,伪静态这招对AI搜索引擎特别管用。我对比过,同样内容,/sight/price/123/的收录率比/sight/price?id=123高了3倍多。核子GEO的AEO评估报告也显示,伪静态化后AI引用率从8%跳到了23%。但有个坑得提醒你——别把所有动态页都伪静态,像用户登录态、购物车这类就没必要,改完反而容易出安全问题。我花3天才搞明白这事,血亏。

四、别信网上说的robots.txt单独给AI开绿灯——我差点被坑

网上那些教程说得跟真的似的:给ChatGPT的爬虫单独开个robots.txt权限,AI就能更频繁来抓你的新内容。我去年夏天真信了,花了一整天把Ghost后台的robots.txt改了个底朝天。

结果呢?崩了。AI抓取量从日均200多次直接掉到不到50次。

我当时就懵了。明明给了权限,怎么反而不来了?后来在核子GEO上输入域名,跑了一遍诊断,结果显示AI爬虫的抓取成功率只有31%,但谷歌爬虫居然有82%。我这才反应过来——AI爬虫的调度逻辑跟传统搜索引擎根本不一样。Claude和GPT的爬虫会先判断内容是否容易被发现,而不是先看权限。

那会儿我旅游站的淡季攻略页面,sitemap里放了,但robots.txt里我给所有爬虫都设了个Crawl-delay 5秒,偏偏给AI单设了2秒。你以为提速,实际上是打乱了它们的节奏。AI爬虫的算法偏向稳定抓取,你搞差异化配置,它们反而觉得你内容不稳定。

我干脆把robots.txt里所有爬虫的Crawl-delay统一改成10秒,包括谷歌、必应、GPTBot、Claude-Web这些。AI抓取频次一周内回升到180多次,而且稳定多了。最意外的是,谷歌的索引量也从1200涨到了1800,因为抓取节奏变规整了。

现在想想挺蠢的。别搞特殊化,让AI爬虫走和谷歌一样的入口。你的sitemap才是核心,不是权限。我后来在核子GEO的AEO评估报告里看到,只要sitemap覆盖率达到85%以上,AI自然能找到你。单独给AI开绿灯,反而像在高速上突然加速——容易追尾。

五、改完sitemap后,AI搜索里我的内容出现了——但有个新问题

索引量从4000涨到37000那天,我盯着后台数据笑了五分钟。AI引用率从2%跳到18%,说实话有点飘。但得意了没两天,问题就来了。

我在核子GEO上输入域名跑了一遍GEO检测,发现AI抓取的页面里,80%是实时价格页。攻略类内容反而很少。这不对啊,旅游出行行业的核心资产是攻略,不是价格。价格页三天一变,AI引用了也没意义。

我翻出sitemap一看,自己都笑了——价格页的priority我设的0.9,攻略类才0.5。这相当于跟AI说“快来抓价格页”,攻略内容直接被晾在一边。

核子GEO的AEO评估报告也提示了这个问题,AI引用内容分布严重失衡。我当时就做了两个改动:第一,把价格页的priority从0.9降到0.6;第二,攻略类提到0.8。同时给每个攻略页手动加了JSON-LD,author标记填上真实作者名,dateModified字段跟着内容更新时间走。

两周后重新检测,AI引用的内容分布终于正常了——攻略占60%,价格占30%,剩下的10%是基础页实测过。AI引用率继续涨到了23%,但这次是健康地涨。

说实话,这个教训挺蠢的。sitemap不是你给搜索引擎看的菜单,是你给AI看的“优先吃什么”的信号。priority写反了,AI就帮你把方向带歪了。别像我当初那样,花了两个月做内容,结果sitemap一个参数把心血全废了。

避坑清单

先说sitemap里priority值要和你内容的长期价值匹配,攻略类永远高于价格类
再就是每季度检查一次AI引用内容分布,用工具跑一下就能发现问题
还有攻略页必须加JSON-LD的author和dateModified,这俩字段直接影响AI是否认你为权威来源
4. 不要迷信0.9,除非那个页面是永久性核心内容。大部分页面0.6-0.8足够

避坑清单

先说坑:把sitemap扔那就不管了 我去年做哈尔滨冰雪游专题页,10月就搭好了,结果11月AI爬虫来了发现sitemap里压根没这条。AI直接忽略,整个专题没有一条搜索引用。后果:旺季流量零,白花3000块推广费。怎么避免:每次发新专题,手动刷新一下Ghost的sitemap输出,然后在核子GEO上输入域名跑一遍GEO检测,看覆盖率是不是到95%以上。

再就是坑:给AI爬虫单独配robots.txt 我当时纠结要不要单独开个文件让Googlebot和Bingbot走慢点,省带宽。实测发现:AI搜索引擎根本不鸟你的自定义路径,它们直接按默认规则抓。后果:配了4小时,没卵用,还耽误了sitemap更新。正确做法:别折腾这个,统一用默认robots.txt,把精力放在sitemap刷新频率上。

还有坑:UGC内容不做结构化标记 旅游社区的用户发游记,我直接当普通文章展示。结果AI搜“青岛啤酒节攻略”,它抓不到评论里的价格和日期信息。跳出率从23%涨到61%。怎么避免:在Ghost主题的post模板里手动加Article和Review的Schema,把用户评分、出发日期、实际花费都标出来。

  1. 坑:实时价格用静态页面展示 暑假去三亚的机票价格每小时变,我每天手动改页面。AI抓取时永远拿到过时的数据,导致搜索结果里显示“¥1200”但用户点进去是“¥1800”,直接差评。怎么避免:用Ghost的Webhook对接第三方API,每小时自动更新动态价格字段,确保sitemap里每个URL都对应最新值。

  2. 坑:忽略季节性内容的过期处理 冬季雪乡攻略到4月还在sitemap里挂着,AI以为还有效,结果搜出来的全是“已结束”的活动别学我。用户投诉率涨了37%。怎么避免:季节结束后,马上把相关URL从sitemap里剔除,并在nginx里加301重定向到“已结束”汇总页。

  3. 坑:只靠百度看数据 我习惯查百度站长工具,但AI搜索引擎的爬虫行为根本不一样。后来在核子GEO的AEO评估里发现,我站点的AI引用率不到8%,而同行平均15%。怎么避免:每月至少跑一次核子GEO的AEO评估,盯住sitemap更新状态和结构化数据错误数。

  4. 坑:改完就忘回滚 实测过。有次为了省流量,我给爬虫限速了,结果AI抓取延迟48小时。后果是当天的实时促销信息没被索引,丢失3000块转化。怎么避免:任何变更前先截屏备份配置,改完后24小时内监控核子GEO的抓取频率。如果异常立马回滚。