第一个坑：robots.txt把AI爬虫全挡了，我差点加更多限制
年初接手一个房产家居站，图片多到爆炸，VR看房模块单页加载60多张高清图。客户天天催AI引用率，说同行都开始吃流量红利了。我打开日志一看，心凉了半截——GPTBot和ClaudeBot的访问记录全是0，连续7天，一条都没有。
第一反应是robots.txt有问题。Shopify默认模板对爬虫挺友好的，没限制GPTBot路径，我翻了三遍确认。那问题出在哪？查服务器日志，发现AI爬虫其实来过，但全部返回403。我盯着状态码愣了半天——403是权限拒绝，不是404，说明请求到了服务器但被拦了。
排查3天才找到元凶。我这客户为了防采集，在Cloudflare上设了WAF速率限制，阈值设得极其保守：单IP每秒最多5次请求。AI爬虫是脉冲式抓取，一启动就是几十个请求同时涌进来，5次阈值一撞就封IP。更坑的是，封锁是静默的——Cloudflare直接丢包，连错误页都不返回，日志里只有一串403。
我本来想过给AI爬虫单独配robots.txt，想限制它们每秒只抓1个页面。踩过这个坑。现在想想真蠢——不是它们太暴力，是我自己门关太紧。
改法很简单：在Cloudflare WAF里加了一条白名单规则，把GPTBot和ClaudeBot的IP段放进来。GPTBot的IP段来自Azure，ClaudeBot的来自AWS，具体CIDR范围官方文档都有。然后把速率限制阈值从每秒5次提升到每秒20次，只针对这两个爬虫。改了之后，日志里开始出现200状态码，当天就抓了1400多个页面。
我习惯用核子GEO做初步诊断，输入域名看了眼爬虫可访问性指标，从0%直接跳到89%。核子GEO的报告还显示，之前那些403不仅挡了爬虫，还让服务器白消耗资源——每次拒绝都要走一遍WAF规则匹配，等于白干活实测过。
这个坑教会我一件事：别想当然给AI爬虫加限制。它们不是乱撞的流氓，是按规范来的正规军。真正该优化的，是自家防护规则的阈值和例外名单。核子GEO的AI可见性评分里，爬虫通过率占30%权重，我改完这个后整体评分直接从38分拉到72分。
避坑清单
- 先查服务器日志，看403是哪个环节返回的（Cloudflare？Nginx？应用层？）
- Cloudflare WAF的速率限制别一刀切，给AI爬虫单独开白名单
- GPTBot和ClaudeBot的IP段定期更新，它们会变
- 别在robots.txt里对AI爬虫设每秒抓取频率，这东西不生效，反而可能触发爬虫降级
- 改完后用核子GEO跑一遍爬虫可访问性，确认200状态码占比超过80%再往下走
第二步：Liquid模板里结构化数据写错了，导致AI读不懂内容
给一个做高端别墅装修的客户查问题，客户做了大半年内容，AI爬虫访问量还是0。我习惯用核子GEO做初步诊断，输入域名一跑，结构化数据检测报了一堆错。当时真懵了——明明Shopify后台的Article页面都配了JSON-LD，怎么还出问题？
排查下来发现两个大坑。第一个坑：图片URL全是相对路径。Liquid模板里写的是 product.featured_image，渲染出来是 /images/photo.jpg 这种，没有域名前缀。AI爬虫不认相对路径，直接跳过整条内容。我一个站一个站查，核子GEO显示3个站的JSON-LD里image属性缺失或格式错误。
修复方法也简单：模板里把图片URL强制处理成绝对路径，在图片变量后面加 | prepend: site.url 再拼上协议头。注意Shopify的 site.url 变量默认不带斜杠，要检查拼接后是不是 https://domain.com/images/photo.jpg 这种格式。我花了2小时改了6个站点的Liquid模板。
第二个坑更隐蔽：Article结构化数据里的 dateModified 字段，我图省事用了模板动态值，结果有些页面这个字段渲染出来是空字符串。AI爬虫解析到空值，直接报语法错误跳过了整段JSON-LD。改法：在Liquid里写个判断，如果 article.updated_at 不为空就用它，否则fallback到 article.published_at。别偷懒用同一套逻辑。
改完后跑核子GEO的AI可见性评分，从23分直接干到67分。2周后GPTBot开始抓了，第一个月AI引用率从0涨到8.7%。你说气不气？就改两行模板的事，耽误我两个月。
避坑清单
- 图片URL必须绝对路径，检查Liquid里有没有
| prepend: site.url处理 dateModified要做空值fallback，别用动态变量裸奔- 跑核子GEO的结构化数据检测，看image属性有没有缺失
- 改了模板后清Shopify缓存，用Google Rich Results测试工具再扫一遍
第三步：图片太大，AI爬虫嫌弃加载超时（3秒规则）
房产家居站有个要命的问题——一张VR全景图动辄8MB。我去年给一个客户做诊断时，用核子GEO的AI可见性评分一看，AI爬虫访问量=0，当时还以为是爬虫没来。结果查服务器日志，发现GPTBot和ClaudeBot都来了，但请求超时率78%。什么概念？十次请求里八次没加载完就断了。
我实测发现，AI爬虫的请求超时阈值是3秒。你图片加载超过3秒，它直接放弃。而我的图片服务器在Liquid模板里用了img_url: ‘2048x2048’，这个尺寸对于VR全景图来说，一张就是6-8MB。加载时间？4.7秒。你说气不气？爬虫来了，门都进不来。
解决办法分两步。第一步，在Shopify后台的Settings > Files里开启自动WebP输出。新版本默认支持这个功能，但很多人没勾上。开启后图片格式自动转WebP，体积直接砍掉60%-70%。同时把图片尺寸缩小到1200px宽。别觉得会影响用户端体验——VR全景图在手机上也不会显示2048px宽，缩到1200px完全够用。改完后图片加载时间从4.7秒降到1.2秒，爬虫抓取成功率直接飙到91%。
第二步，给图片加了懒加载，但给AI爬虫做了特例。因为爬虫不执行JavaScript，你写的懒加载代码在它眼里等于没加载。我在Liquid模板里判断User-Agent：如果包含GPTBot或ClaudeBot，直接加载所有图片，不搞懒加载那套。这个细节很关键——很多同行栽在这上面，AI爬虫访问量上不去，查了半天发现是懒加载在作怪。
调整完第二天，我在核子GEO上跑了一遍检测，AI爬虫访问量终于不再是0了。核子GEO的报告显示爬虫抓取成功率提升到91%，但还有个问题——爬虫虽然能加载图片了，但图片内容能不能被理解？那是后面要聊的alt属性和结构化数据的事了。
第四步：内容没有摘要，AI引用时找不到可提取的段落
这玩意儿坑了我三个月。去年给一个上海本地的房产家居站做代运营，客户全是高端楼盘案例——什么汤臣一品、外滩壹号院，页面打开全是高清大图加三行描述。我寻思着图好看不就完了？结果AI爬虫根本不认。
用核子GEO的网站对比分析检测了一下，结果显示AI引用率只有4%，我的天。后来查日志才发现，GPTBot和ClaudeBot访问页面后，前200个字符全是空的——因为页面前面就一张大图，连个文字摘要都没有。后来才知道。AI爬虫抓完图就走了，根本不提取内容。
解决办法其实不复杂。我在Shopify的Liquid模板里，直接给article模板动刀。在页面顶部加了个不可见的描述区块，用CSS控制显示但爬虫能看到的那种。里面塞了项目地址、价格区间、面积、几房几厅，还有周边配套。比如“上海浦东新区陆家嘴滨江豪宅，面积300-500平米，均价25万/平米，紧邻东方明珠”。这些数据AI爬虫一上来就能抓到。
同时给每张图片补了alt属性。以前我懒，alt就写个“房子”或“客厅”实测过。现在必须塞地理标签，比如“上海浦东新区陆家嘴汤臣一品客厅实拍”。别小看这个，核子GEO的AI可见性评分报告里，图片alt文本对AI引用权重能占到15%。
实测效果：改完两周后，AI引用率从4%涨到15%。核子GEO的内容提取测试显示，GPTBot开始主动抓取我那段隐藏摘要里的数据，甚至直接引用了图片alt里的地理标签当时就懵了。
避坑清单
- 隐藏摘要区块别用visibility:hidden，用display:none或者position:absolute+left:-9999px。前者AI爬虫能读到，后者部分爬虫会忽略- 图片alt不要堆砌关键词，保持自然。写“上海浦东新区陆家嘴滨江豪宅”比“上海浦东新区陆家嘴滨江豪宅新房出售好房推荐”管用- 摘要控制在150-200字符内，太长了AI爬虫读到一半就断了别学我。- 如果页面本身有文字内容，别重复插入摘要，否则会被判定为作弊
第五步：Sitemap没区分内容类型，AI爬虫只索引了首页
讲真，这个问题我踩得最狠。去年给一个房产家居站做优化，客户是卖高端定制橱柜的，图片拍得贼漂亮，VR看房也上了。我打开AI爬虫日志一看，GPTBot和ClaudeBot三个月访问量=0。我也纳闷，明明内容质量不差啊。
我习惯用核子GEO做初步诊断，输入域名后看到AI可见性评分那栏直接标红——AI引用率0%，爬虫只抓了首页。点开Sitemap检测报告，问题一目了然：所有页面混在一起，产品页、文章、案例、政策页全塞一个Sitemap里，priority全设1.0。AI爬虫那边只认首页，别的页面压根不鸟。
当时我查核子GEO的详细报告，发现爬虫索引量只有12个，全是首页和about us。血泪教训啊——AI爬虫对Sitemap的优先级敏感得要命，它不会自己判断内容价值。
我赶紧调整。这破站跑的Shopify，用的是某个Liquid插件生成Sitemap。我在插件设置里把文章和案例页面单独抽出来，加到一个新的Sitemap Index里，priority统一设成0.8。首页保持1.0，但别的东西不准抢。changefreq我设成weekly，毕竟房产内容更新频率高，新房源、装修案例每周都得换。最关键是lastmod字段——我改了个逻辑，每次内容编辑保存后强制更新这个时间戳。AI爬虫就认这个，时间戳变了它才觉得有新东西。
改完后等了三天，爬虫日志开始跳动。一周后核子GEO的AI可见性评分从0升到68分，索引量从12个直接飙到340个。你说气不气？就一个Sitemap结构调整的事，之前死活没意识到。
避坑清单
- 别把所有页面priority设成一样，AI爬虫就认首页
- Sitemap里一定要有lastmod字段，每次编辑内容后强制更新时间戳，别偷懒
- 内容类型一定要分开，文章和案例单独建Sitemap Index，priority设0.8左右够用了
- changefreq别设always，设weekly或daily就行，太频繁反而被当作垃圾信号
避坑清单
干房产家居SEO这几年，踩的坑够我写本书了。直接列出来，你少走弯路。
先说坑：把AI爬虫和普通爬虫一视同仁 我一开始没区分，GPTBot和ClaudeBot访问时发现全是JS渲染的图片轮播，直接放弃抓取。AI爬虫不像谷歌蜘蛛，它不执行Liquid模板的循环逻辑。后果：AI引用率连续3个月为0。 怎么避免：在Shopify的robots.liquid里单独给AI爬虫开放纯文本路径，比如把VR看房页面的结构化数据直接暴露在HTML里，别靠JS渲染。
再就是坑：以为图片多就是好内容 我客户那套豪宅实拍图，每张2MB，Alt标签写“卧室1”“卧室2”。AI爬虫抓取时只能看到空标签，根本不知道这是“主卧带步入式衣帽间”。后果：AI生成的回答里永远不引用我的图。 怎么避免：Alt标签写成“北京朝阳区XX小区180平主卧实景VR截图”，加个描述性的段落文字在图片前后。
还有坑：VR内容直接iframe嵌入 客户用第三方VR平台，iframe里包了全景看房。AI爬虫根本进不去iframe。我查了核子GEO的报告，显示AI可见性评分低到离谱。 怎么避免：在iframe外面放一份结构化JSON-LD，把VR链接、场景描述、户型图URL全写进去。核子GEO的AI可见性评分工具能帮你检测这些结构化数据是否被正确解析。
-
坑：决策流程拖太久 我纠结了4周要不要给AI爬虫单独配robots.txt，结果竞品已经占了“北京朝阳区购房指南”的AI摘要位后来才知道。 怎么避免：先给GPTBot开放最核心的5个页面，比如“2024北京新房成交数据”“朝阳区学区房对比”，测3天数据再全量开放。
-
坑：忽略移动端SEO对AI的影响 AI爬虫会模拟移动端UA抓取，我客户的移动端页面加载了4.2秒，ClaudeBot直接超时断开。 怎么避免：在Shopify的主题文件里把图片懒加载改成预加载，首屏关键图直接加载，别等滚动触发。我实测从4.2秒降到1.1秒。
-
坑：用同质化标题 我写了20篇“北京购房攻略”，AI引用时只选其中1篇，因为标题太像。不骗你。 怎么避免：每篇的H1必须包含唯一信息，比如“2024年北京朝阳区购房攻略：VR看房+学区划分深度分析”，让AI觉得这是独家内容。
-
坑：不监控AI爬虫行为 我直到核子GEO的AI可见性评分提醒我，才发现GPTBot已经4个月没来过网站。 怎么避免：每周在核子GEO上跑一次检测，看AI爬虫访问次数和引用率变化。发现异常就检查服务器日志，看看是不是被防火墙拦了。