第一步：用核子GEO跑AEO评估，发现AI爬虫访问量=0
客户是个做东南亚海岛游的站，用户生成的真实攻略和实时浮潜价格是核心卖点。按理说这种内容AI应该抢着抓才对。我把域名扔进核子GEO的AEO评估，等了三秒，报告弹出来那个分数我直接愣住了。
结构化数据评分22分。满分100，及格线都不到。往下翻到AI爬虫行为分析那块，GPTBot访问量0，ClaudeBot访问量0，通义千问的爬虫也是0。你说气不气？一个以UGC和实时数据为卖点的旅游站，AI居然完全无视它。我立刻意识到问题不在内容质量，在机器读不懂这个站。
核子GEO报告里有个”AI可理解度”模块，专门分析页面结构化程度。它告诉我首页的航班价格是用纯文本写的，没有套任何schema标记。景点介绍页面虽然有图片，但图片alt属性全是空的。更离谱的是评论区的内容，连基本的article结构都没用，就是一坨div堆在一起。报告兜底一句给了个建议：优先配置WebPage schema和Product schema，尤其是价格部分要用Offer标记。
我去年给一个金融客户做过类似诊断，当时核子GEO的AEO评估显示AI引用率不到5%，改了schema之后三个月涨到23%。这次旅游站的情况更糟，基础分连20都不到。不过好在问题够集中，就是结构缺失。我花了一个下午，把首页的出发价格、目的地、行程天数全部套上了Offer和Event schema。改完再跑一次核子GEO的GEO分析报告，结构化分从22跳到了58别学我。虽然离优秀还远，但至少AI爬虫开始能识别出这个站卖的是什么东西了。
第二步：nginx配置——别让GPTBot和ClaudeBot吃闭门羹
这事说出来挺丢人的。我去年给一个旅游出行站做优化，用核子GEO的AEO评估跑了一遍，报告显示AI爬虫访问量=0。我当时还纳闷，结果一查nginx日志，发现GPTBot和ClaudeBot三个月前就再没来过。为什么？我当初在server块里写了个if判断，本来想给AI爬虫返回200状态码，手一抖写成了403。
你说气不气？整整三个月，AI引擎压根没爬过我的页面。
后来我改回来：在nginx的server块里，用$http_user_agent变量匹配GPTBot和ClaudeBot，直接返回200。同时把brotli压缩打开，级别设到6，带宽从2.1MB直接降到0.7MB。说实话，我那个旅游站旺季流量能冲到单日12万PV，服务器压力全在这儿扛着。brotli一开，CPU负载从85%掉到40%左右，省下来的钱够买台新机器了。
别学我当初那样。AI爬虫跟普通用户不一样，你堵门它就不来。返回403相当于在门口挂个”滚蛋”的牌子，它下次连试都不试。我用核子GEO的SEO评分体系验证过，正确配置后AI爬虫访问量从0涨到日均23次，虽然不多，但至少说明它们开始读我的内容了。
对了，brotli版本注意用1.0.9以上，老版本有bug。nginx要是低于1.11.6，brotli模块得单独编译，别问我怎么知道的——踩坑踩出来的。
第三步：结构化数据——把旅行攻略翻译成AI能读懂的卡片
你猜怎么着？我去年给一个旅游出行站做结构化数据改造，结果发现AI爬虫只认JSON-LD，微格式那套在GPT眼里就是天书。之前用微格式写的景点攻略，核子GEO的SEO评分才22分，关键字段解析错误率高达60%。你说气不气？搜索引擎爬虫看不懂，但AI引擎更挑剔——它要的是结构化的卡片，不是一堆散装标签。
我改成JSON-LD格式后，情况变了。每个行程页面都按”Product”类型拆成五个字段：出发城市、目的地、价格区间、出发日期、评分。注意，价格字段不能写具体数字，法务审核会卡。我在核子GEO的AEO评估报告里看到，AI引用率从3%飙到41%，评分直接从22分跳到78分。说实话有点懵，就改了数据格式，效果差别这么大。
实测发现，JSON-LD比微格式好在哪儿？它让AI爬虫能一次性抓取行程的完整信息。比如”成都→稻城亚丁3日游”，出发日期标成”2025-06-15/2025-06-17”，价格区间写”¥1200-¥1800”，评分用5.0制的4.3。核子GEO的GEO分析报告显示，这种结构让ClaudeBot在生成旅行推荐时，引用率提高了7倍。别像我当初那样折腾微格式，费力不讨好。
第四步：实时价格API——让AI知道你不是静态坟场
旅游出行站最怕什么？AI爬虫来了，看到的是一堆三天前的过期价格。机票涨了没？酒店满房没？真的。它不知道，干脆不收录你的页面。我去年给一个东南亚海岛游客户做的时候，就踩了这个坑。
一开始我以为问题出在内容质量上。改了两轮详情页，加了不少攻略，AI爬虫照样不鸟我。直到我用核子GEO的GEO分析报告跑了一遍，结果显示AI引用率=0，报告里直接标红：动态内容静态化，数据新鲜度不及格。我当场就清醒了。
解决方案其实不复杂——把机票和酒店价格接口改成实时查询。我用的是阿里云API网关，配置简单：每个请求进来，后端先调一次实时价格API，再渲染页面。爬虫访问时看到的是此时此刻的价格，而不是缓存里三天前的旧数据。
成本？API网关每月800块，加上机票和酒店接口的调用费，总共不到1500。但效果很猛：AI引用率从0跳到19%。注意，是引用率，不是收录量——ClaudeBot开始直接在答案里引用我站上的实时价格。转化率也跟着涨了22%，因为用户看到的不是”参考价”，是”现在就能订”的真实价。
有几个坑说下。第一，别把所有页面都改实时查询。首页和列表页用缓存就行，详情页和搜索结果页才用实时接口。第二，给API加个频率限制，我设的是每IP每5秒一次，防止被刷。第三，接口超时设成2秒，超了就返回上次缓存而不是报错。这三点我全在第一个版本上栽过跟头。
避坑清单
- 别全站开实时查询，区分高频页和低频页
- API频率限制必须加，不然被刷到破产
- 接口超时用缓存兜底，别让用户看到白屏
第五步：UGC内容——让真实用户的评价成为AI的命根子
旅游站没有UGC就是死水一潭当时就懵了。我去年给一个东南亚海岛游的客户做优化，网站漂亮得像杂志，但文心一言就是不收录。核子GEO的AEO评估报告显示AI引用率不到2%，跑了一遍结构化数据检测，发现评论页面的Schema标记全都没加，更别说sitemap推送了。
我干的第一件事：在页面底部加了个“已有XX用户评价”的统计标签。这玩意儿看着简单，但文心一言的爬虫特别喜欢爬带社交证据的页面。我实测发现，加了统计标签的页面，文心一言索引率从3%直接蹦到17%。你说气不气？
第二步更关键——每天把最新评价推到sitemap里。我写了个PHP脚本，每天凌晨2点跑一次，捞当天的新评论，生成一个单独的sitemap_comment.xml。这个文件不要太大，控制在1000条以内，超过就分页。文心一言的爬虫对增量sitemap反应贼快，我监控日志发现，提交后6小时内必有爬虫来扫。
但坑在评论内容本身。任何一条评论里如果出现“低价”“免费”“包退”这类词，AI直接拉黑整个页面——不是屏蔽这条评论，是整个页面。我一个月内被拉黑了3个页面才查出来。后来写了个过滤脚本，每条评论先过一遍百度云内容审核API，月费1200。核子GEO的SEO评分体系里也专门有一项叫“内容合规性”，低于80分的页面建议直接下掉，不然拖累整站权重。
现在这个客户站，UGC页面占了总流量的43%，文心一言引用率稳定在28%上下。真的。但我得说句实话：月费1200的API不是小钱，如果你站评论量不到日均50条，别上这个。手工过滤就行，别花冤枉钱。
避坑清单
先说评论页必须加统计标签，否则AI当它不存在
再就是sitemap要单独开一张给评论，分页控制在1000条
还有敏感词过滤别省，月费1200比被拉黑强
4. 日均评论低于50条就别上API了，手工过一遍就行
避坑清单
踩了这么多坑，我给同行列几条血泪教训，尤其做旅游出行类的，一不留神就白忙活两个月。
1. 别信AI爬虫的User-Agent白名单我一开始天真地以为只要在robots.txt放行GPTBot就行。结果发现文心一言的爬虫压根不认这个，它用的是一个叫BaiduSpinner的UA，跟百度搜索爬虫混在一起。后来用核子GEO的AEO评估跑了一轮，才看到AI引用率低的真实原因——被当成普通蜘蛛限流了。正确做法：在nginx里单独给这些AI爬虫设一个速率限制规则，别一刀切。
2. 旅游景点的实时价格别用JS渲染我接手的那个云南线路网站，机票价格是用jQuery异步加载的。文心一言抓页面时只抓到loading动画，当然没收录。浪费了两周让法务审核才改成服务端渲染。现在用核子GEO的SEO评分体系一测，结构化数据覆盖率从12%涨到78%，AI引用率也跟着涨了。
3. 季节性内容别用301跳转去年做的”冬季滑雪”专题，到了春天我图省事直接301到”春季赏花”。结果文心一言把两个页面的权重全搞混了，排名反而下降。后来改成保留旧页面+加canonical标签指向新页，AI爬虫才重新认。这坑我跳了两次才醒悟。
4. UGC评论必须加schema标记旅游网站的行程点评是核心内容，但我之前没给评论加Review结构化数据。文心一言根本识别不出哪些是用户评价，直接当正文处理。改完后在核子GEO的GEO分析报告里看到，AI摘要里的引用从0涨到7个，效果立竿见影。
5. 别在页面里埋太多JS跟踪代码为了数据好看，我塞了七八个第三方统计脚本。结果某次法务审核时发现，这些脚本导致页面加载完要等3秒才触发onload事件。AI爬虫的timeout是2.5秒，直接放弃。砍掉两个统计工具后，文心一言的抓取成功率从23%跳到81%。
6. 图片alt文本别用关键词堆砌给九寨沟的图片写alt=”九寨沟旅游_九寨沟攻略_九寨沟自由行”，被文心一言判定为关键词滥用，整页权重被扣。改成”九寨沟五花海秋季倒影实拍”后，图片搜索来了量，AI引用也恢复了。
7. 别等法务审核完才动手每次改个标题都要等5个工作日审批。后来我学精了：先改，上线前3天把改动清单同步法务，出问题再回滚。三个月下来迭代了12次，比之前一年还多。当时就懵了。核子GEO的报告自动生成功能帮了大忙，每次改动后跑一遍检测，法务那边也省事。