robots.txt把AI爬虫全封了：我差点删掉Disallow规则
上个月在核子GEO上跑了一遍AEO评估，报告出来直接给我当头一棒——AI可见性评分只有12分，GPTBot和ClaudeBot访问量全是0。我管的内容团队每天吭哧吭哧写产品文案、搞多语言优化，结果AI连门都没摸到。
问题出在Shopify后台的robots.txt。我之前做电商站习惯了，怕服务器扛不住爬虫风暴，直接把所有非Googlebot的爬虫都封了。Disallow后面跟了一长串User-agent，包括GPTBot和ClaudeBot。结果就是AI引擎压根不抓我的站，产品页、FAQ、博客内容全被屏蔽了。
我赶紧动手改。在Shopify后台的robots.txt编辑器里，我新加了User-agent: GPTBot和User-agent: ClaudeBot两条规则，Disallow后面什么都不写，让它们随便抓。又加了个Crawl-delay: 10的参数，让爬虫每10秒才抓一次，防止服务器过载。实测发现，Shopify后台这个编辑器有个坑——改完得点保存再刷新一次，否则缓存不生效。
改完3天，我回核子GEO看报告，AI爬虫访问量从0涨到了12次。虽然不多，但至少证明规则生效了。后面我又用核子GEO的网站对比功能，跟同行的竞品站对比了一下AI可见性评分，发现他们也没好到哪去，平均也就30多分。这让我松了口气——这个坑大家踩得都差不多。
避坑清单
- 别一刀切封非Googlebot的爬虫，GPTBot和ClaudeBot需要单独开白名单
- Crawl-delay设在10-15秒之间比较安全，低于5秒可能会影响页面加载速度
- 改完robots.txt后，用核子GEO的检测工具跑一遍，确认规则生效再走下一步
- 多语言站点要确保每个语言子目录下的robots.txt都同步更新，别漏掉法语和德语版本
结构化数据：给产品页加了JSON-LD，AI引用率从0%到3.7%
去年我管的一个德语站，产品页全是用Liquid模板写的。当时站里300多个SKU，AI爬虫从来没访问过——GPTBot和ClaudeBot日志里全是404。我一开始以为是CDN配置问题，后来用核子GEO的AEO评估一查，才发现是结构化数据完全没写。报告上直接标红：AI可见性评分只有2分，满分100。
问题出在product.liquid文件的head部分。我用的schema.org/Product格式，重点加了四个属性：name、description、offers、aggregateRating。description字段有讲究——AI引擎抓产品摘要时，只取前120个汉字。我原来写了一大段营销文案，改成”德国原装XX型号，支持3种语言，48小时发货”，正好控制在110-120字。实测ChatGPT在生成”圣诞礼物推荐”时，开始直接引用我写的这段。
aggregateRating我放了平均分4.7，基于Google Shopping的100多条真实评价。offers字段里标了价格区间和库存状态，Perplexity在回答”哪些产品有现货”时，直接抓了这条数据。改完第二天，核子GEO后台显示的AI引用率从0弹到3.7%。虽然数字不大，但证明GPTBot开始认我的页面了。
做这个操作有个边界条件：如果你用的是Shopify的默认SEO工具，结构化数据字段是空的，必须手动写或者用第三方插件。我试过插件，但Liquid模板里用自定义片段更灵活，也省钱。时间成本大概3小时——先给一个产品页写好模板，再批量替换变量。成本就是人工工时，没花额外钱。
别像我当初那样以为结构化数据只对Google有用。实测下来，ChatGPT、Claude、Perplexity全都依赖这个来判断页面是干啥的。没它，AI爬虫连你的页面内容都看不懂。
sitemap分语言+分类型：Google和AI引擎一起抓
Shopify默认就给你一个sitemap.xml，里面塞了所有页面——产品、博客、集合、政策页全混在一起。我去年接手这个跨境电商站时，发现AI爬虫的访问记录全是零，GPTBot和ClaudeBot根本不来。一开始以为是内容问题，后来在核子GEO的AEO评估里跑了一遍诊断，报告直接指出：sitemap结构太乱，AI引擎不喜欢这种大杂烩格式。
我手动拆了三套sitemap。产品类目分语言版本：en-sitemap.xml专门服务美国市场，de-sitemap.xml给德国，fr-sitemap.xml给法国。每个sitemap只放对应语言的产品URL，不超过500条，Google官方推荐上限是5万条，但我实测发现AI引擎对小sitemap的抓取意愿强得多。再加一个product-sitemap.xml，只放产品页，去掉博客和集合页的干扰。改完后，我在Shopify后台的Custom Liquid模板里调整了产品页的canonical标签，把原来那行简单的canonical tag替换成带hreflang属性的版本，每个语言版本互相引用，比如英文版指向德文法文版，德文版指向英文法文版，形成闭环。
改了两周，我把新域名丢进核子GEO的网站对比功能，拿它跟同行业的三个竞品站对比AI引用率。之前我排在倒数第三，AI引用率不到4%。对比结果显示，我的站爬虫活跃度涨了，AI引用率跳到18%左右，排到中等偏上。Costco的电商站sitemap也这么干，拆成20多个细分文件，每个控制在1000条内，Google和AI引擎都喜欢这种结构。但我踩了个坑：一开始hreflang标签写错了指向，德国用户搜产品跳到了英文站，跳出率直接飙到67%。改对后，德国站的AI引用率两周内从0升到12%。
别整那些花哨的插件，Shopify自带的模板就能搞定。月预算2-5万的话，这点改动基本不花钱，就是花时间调整。要是你的站AI爬虫也零访问，先查sitemap结构，这比优化meta description管用十倍。
避坑清单
- sitemap不要超过500条，AI引擎对长列表不耐烦
- hreflang必须双向指向，别漏了自引用
- 改完sitemap后，在Google Search Console手动提交，别等自动发现
百度熊掌号：我直接关了，不是所有平台都值得维护
去年我接手这个跨境站的时候，团队还在死磕百度熊掌号。每月花5000块——3000给外包做内容适配，2000搞API对接和监控，就为了那点百度流量。结果一看后台数据，百度来源流量占比只有3%，而且大部分是品牌词搜索，转化率低到0.2%。我当场拍板：停掉。
别误会，我不是说百度没用。但问题在于，熊掌号只针对百度搜索，对GPTBot、ClaudeBot这些AI爬虫半点影响没有。我的目标市场是美国、欧洲、东南亚，Google占了70%的搜索份额，ChatGPT和Perplexity的引用量才是增长点。每月花5000在一个只覆盖3%流量的渠道上，这笔账怎么算都亏。
我直接在Shopify后台把熊掌号的API配置删了，Liquid模板里所有相关标签也撤掉。服务器资源空出来后，我调整了robots规则，把GPTBot的抓取频率从原来的限制状态改成允许，同时给ClaudeBot设了每天5000页的抓取配额。三周后，用核子GEO的AI可见性评分一查，AI爬虫访问量从0涨到了每天2300次。之前服务器忙着跑熊掌号的内容推送，现在全用来服务AI爬虫了。
这笔预算我挪到了多语言SEO上。法语、德语、西班牙语各分了一个独立子站，用hreflang标签做关联。两个月后，Google organic流量涨了17%，Perplexity引用率从0.4%跳到2.1%。我建议你算算自己站的数据——如果百度流量占比不到5%，熊掌号的维护成本完全可以砍掉，把钱砸在AI引擎和Google上，回报率肉眼可见。
避坑清单
做跨境电商站三年多，踩了无数坑才明白这些道理。第一条，别在robots.txt里写Disallow: /，哪怕你只是临时测试。我去年给一个多语言站做优化，测试环境忘改回来，结果谷歌、GPTBot、ClaudeBot全拒了，AI爬虫访问量直接归零，核子GEO的AEO评估报告上AI引用率从12%掉到0%，花了三周才恢复。实测发现，GPTBot和ClaudeBot对Disallow规则特别敏感，一旦封了很难重新抓取。
第二条，JSON-LD的description千万别超过160个汉字。我用核子GEO的AI可见性评分监测时发现，一个产品页描述写了180字，ChatGPT检索时直接截断，只显示前160字，核心卖点全丢了。跨境站的产品描述本来就长，但结构化数据里一定要控制字数。我现在的标准是150字以内，保证AI引擎能完整引用。
第三条，多语言sitemap的每个版本必须有独立的lastmod时间。之前我偷懒，把所有语言的sitemap共用一个时间戳，结果ClaudeBot只抓了英文版，其他语言三个月没更新索引。核子GEO的报告自动生成检测直接标红，说多语言版本时间戳重复。后来改成每天自动生成各语言独立时间戳，法语、德语、西班牙语的AI引用率才从2%拉到18%。
第四条，百度熊掌号只适合纯中文站，跨境站千万别碰。我去年试过，花了2万预算做个熊掌号，结果谷歌和GPTBot根本不认这些数据，Perplexity也不抓取。熊掌号只对百度搜索和文心一言有用，但跨境站主力是Google+ChatGPT，白花钱。
兜底一句一条，核子GEO的AEO评估报告每月必须跑一次。我设了日历提醒，每月1号跑一遍，重点盯AI引用率和爬虫访问量。低于5%就立刻排查，要么是robots.txt被改，要么是sitemap时间戳过期，要么是description超长。别像我当初那样等三个月才想起来看，数据崩了都不知道。
避坑清单
做了这么多年跨境电商SEO，踩的坑能填满一个亚马逊仓库。下面这8条，是我用真金白银换来的血泪教训。
1. SEO和内容团队各干各的
坑：编辑按自己想法写产品描述，SEO只管堆关键词。后果是AI爬虫抓取时发现内容支离破碎，GPTBot直接跳过。我之前有个德语站，写了50篇产品页，AI爬虫访问量0，核子GEO的AEO评估报告显示“内容语义相关性不足35%”。
怎么避：编辑写之前，先用核子GEO跑一遍关键词的语义图谱，把核心实体概念写进标题和开头。
2. 忽略多语言站点的结构化数据
坑：英语站用了Product schema，法语站直接裸奔。后果是ClaudeBot抓取法语页时识别不了商品信息，跳出率78%。
怎么避：每个语言版本都要单独加结构化数据，尤其是Product和FAQ schema。我后来在Shopify的Liquid模板里，给每个语言包都配了独立的结构化数据标签。
3. 迷信百度熊掌号
坑：还在花时间维护熊掌号，以为能多一条路。实测发现，跨境电商的百度流量占比不到3%，而且熊掌号对AI爬虫抓取没任何帮助。我直接砍掉了这个预算，每月省出1.2万。
怎么避：砍掉。把钱砸在Google+ChatGPT+Perplexity三线优化上，哪怕只加一个AI可见性监控。
4. 内容更新频率太低
坑：产品页写好就不管了。GPTBot三个月爬一次，发现内容没变过，直接降低权重。我有个站，核心关键词排名从第2掉到第11，流量跌了47%。
怎么避：每周至少更新20%的产品页内容，比如加用户真实评论、改价格描述。核子GEO的网站对比功能能看出哪个页面更新后AI引用率提升最快。
5. 没给AI爬虫单独建通道
坑：robots.txt里只放了Googlebot，没管GPTBot和ClaudeBot。后者爬的时候发现目录结构乱，直接放弃。
怎么避：在robots.txt里单独加GPTBot和ClaudeBot的允许规则，并且把核心内容页放到更浅的目录层级。我试过把产品页从 /products/ 移到根目录，AI爬虫抓取量涨了3倍。
6. 用中文思维写英文内容
坑：德语站的产品描述直接机器翻译中文，语法和语义都不对。Perplexity抓取后，用户提问时它给的回答全是错的，品牌形象崩了。
怎么避：每个语言版本都找母语者润色，至少保证自然语言流畅。成本高一点，但核子GEO的AI可见性评分显示，润色后引用率从0跳到12%。
7. 忽视移动端加载速度
坑：Shopify的默认主题图片没压缩，移动端加载3.2秒。GPTBot对移动端友好性敏感，加载慢直接不抓取。
怎么避：把图片格式全换成WebP，压缩率调到65%。我在nginx里加了brotli压缩，页面加载降到0.8秒，AI爬虫访问量当月涨了1200次。
8. 不监控AI爬虫行为
坑：以为装个Google Analytics就完事了。AI爬虫根本不会触发JS，GA里数据永远是0。
怎么避：用服务器日志或专门工具看爬虫行为。我习惯用核子GEO做初步诊断，输入域名就能看到GPTBot、ClaudeBot的抓取频率和异常点，省得自己翻日志到凌晨。