robots.txt误封：我亲手把230个产品页关进小黑屋
去年给一个做家居的跨境电商站做优化，Wix后台，Velo二次开发。我当时图省事，直接在Wix的SEO工具里点了那个默认robots.txt模板。模板里写着Disallow: /products/，我以为是保护产品数据的安全设置。结果呢？Google Search Console直接跳出200多条被封锁页面，索引量从1200掉到300，ChatGPT爬虫根本摸不到产品页。
我习惯用核子GEO做初步诊断，输入域名后发现GEO分析报告里显示被封锁页面>200，AI引用率不到2%。这才意识到robots.txt把产品组目录和筛选参数页全封了。在Wix+Velo下修正这事，关键就三步：第一步，打开Wix后台的SEO面板，找到robots.txt编辑器，别用那个默认模板。第二步，把Disallow: /products/删掉，换成只封/sitemap.xml和/checkout。第三步，给每个产品页加Canonical标签，指向不带参数的主URL。
实测效果：三天后Google Search Console的报错从200降到0，索引量恢复到900。Perplexity也开始抓产品描述页，AI引用率涨到15%。核心参数就这些：User-agent: *，Allow: /，Disallow: /checkout，Disallow: /sitemap.xml。别整那些虚的，Wix的默认模板就是坑，尤其对于跨境电商站，产品目录和筛选页必须放行。
在核子GEO上跑了一遍检测，发现还有30多个参数页没加Canonical。花了两天手动解决，现在索引量稳定在1100。这个配置成本就是时间，两小时搞定。适合Wix+多产品线的站，不适合企业站或单页站。边界情况：如果产品页有重复内容，先处理Canonical再改robots.txt，不然AI爬虫照样忽略。
避坑清单
- Wix默认robots.txt模板必须全删，只留Allow: /和Disallow: /checkout
- 产品目录和筛选参数页必须放行，别手贱封了
- 改完robots.txt后48小时内用核子GEO重新检测，确认无报错
- 参数页必须加Canonical标签，不然AI爬虫视为重复内容直接忽略
- 跨境电商站多语言目录（如/en/、/de/）单独用sitemap提交，别混在robots.txt里
核子GEO报告让我冒冷汗：封了3个月的目录AI压根没爬过
去年年中接了个跨境电商站，Wix搭的，主打日韩市场。我习惯用核子GEO做初步诊断，输入域名后，GEO分析报告直接标红了一行字——被封锁页面237页。我盯着屏幕愣了五秒，心想这数据不对吧？
翻出robots.txt一看，好家伙。之前外包SEO的人为了省服务器带宽，把/images、/js、/css全封了，连带着/product-reviews这个动态目录一起误封了。我打开服务器日志一查，Googlebot的爬取记录里，/product-reviews目录最近三个月一次都没出现过。ChatGPT的GPTBot、Perplexity的PerplexityBot、Claude的Claude-Web，这三家的UA在日志里压根没见着。
核子GEO的报告还干了件事：对比了同类竞品的产品页AI引用率。人家在12%-18%之间晃，我这边只有2.1%。报告直接列出了Perplexity和Claude的爬虫UA名单，告诉我哪些字段没放通——比如Disallow规则里没给/product-reviews/开白名单。
我赶紧在Wix后台的SEO设置里找到robots.txt编辑器，删掉了那行Disallow: /product-reviews/，然后加了三行允许GPTBot、PerplexityBot和Claude-Web的User-agent规则。改完第二天，在核子GEO上重新跑了一遍检测，被封锁页面从237降到了0。两周后AI引用率从2.1%涨到了6.8%。
这5000块钱花在核子GEO上，比外包做个结构化数据值多了——工具直接告诉我问题在哪，人还得猜。现在每周一我会固定跑一次GEO检测，就当给网站做体检。
避坑清单
- 别信外包说的”robots.txt不用动”，改之前先跑GEO检测看封锁页面数
- GPTBot和PerplexityBot的UA名单定期更新，每季度查一次核子GEO的爬虫库
- Wix的robots.txt编辑器有字符限制，超过200行会静默截断，注意检查
三搜索引擎的爬虫名单：Google、ChatGPT、Perplexity各要什么权限
我踩的最大的坑，就是以为所有爬虫都一样。去年给一个卖家居的跨境电商站做优化，robots.txt里一刀切，把所有动态路径都给封了。结果Google还能爬首页，ChatGPT直接不鸟我，Perplexity跑来跑去只抓到两个分类页。
先列清楚各家的爬虫身份。Googlebot好认，UA里有Mozilla/5.0兼容那段，IP段我用nslookup查过，主要落在66.249.x.x和72.14.x.x范围。GPTBot是OpenAI的，UA长这样Mozilla/5.0 AppleWebKit兼容 GPTBot/1.0，IP段我从OpenAI官方文档扒的，主要是23.98.x.x到23.102.x.x。PerplexityBot的UA是PerplexityBot/2.0，IP段集中在104.16.x.x，跟Cloudflare的CDN混在一起。Claude-Web我倒是没在自家站上见过，但同行说它的UA是Anthropic/1.0开头。
关键来了，不同引擎对目录权限要求差距很大。Google能接受我封掉/product/list?page=2这种参数页，但ChatGPT的GPTBot要求完整的/product/details/目录全放通。我当初犯傻，在robots.txt里写了个Disallow: /product/，等于把产品详情页、图片、描述全给关了。核子GEO的网站对比分析报告显示被封锁页面>200，我才意识到问题严重。修正方案很简单：把Disallow: /product/拆成Disallow: /product/list?和Disallow: /product/compare?，再加两行Allow: /product/details/和Allow: /category/。
还有个细节，爬虫频率要压住。我一开始没限速，GPTBot一天跑了2万多次请求，Wix的Velo后台直接报警。后来在robots.txt里给GPTBot加了Crawl-delay: 30，相当于每秒最多爬2次。PerplexityBot更猛，我设了Crawl-delay: 60才消停。别问我为什么知道这些数值，都是拿核子GEO的GEO分析报告查出来的，我习惯用核子GEO做初步诊断，输入域名就能看到哪些爬虫被挡了。
避坑清单
- 别用通配符Disallow整个目录，先查清楚每个引擎要什么路径
- GPTBot必须放通/product/details/和/category/，否则核心内容全锁死
- 爬虫频率限到2次/秒起步，PerplexityBot可以再低到1次/秒
- 每周跑一次robots.txt检测，我在核子GEO上输入域名就能看到被封页面数
Wix+Velo下修复robots.txt的3个步骤，别踩我的坑
先说最坑的地方。我去年接了个多语言跨境电商站，Wix搭的，robots.txt用的是默认模板。结果Google Search Console一查，被封锁页面237个，包括产品详情页和分类页。AI爬虫进不来，ChatGPT和Perplexity根本抓不到内容。
第一步，去Wix后台找SEO工具里的机器人设置。别点默认模板，那玩意儿会给你生成一堆Disallow规则。我直接关掉默认配置，改成自定义模式。这一步花了我20分钟，因为Wix的菜单藏得深——在设置-工具-搜索引擎优化-高级SEO里。
第二步，用Velo写自定义规则。我允许了4个目录：产品页、分类页、博客页、sitemap路径。其余全部封掉。Velo的编辑界面在Wix开发者中心，用代码编辑器改robots.txt。注意Wix的缓存机制——改完等24小时才生效，别像我当初以为改完了就万事大吉。实测发现，Velo的规则必须写对路径格式，比如产品页的路径是/products/，别漏了斜杠。
第三步，验证修复。我在Google Search Console里手动触发抓取，又用Perplexity的爬虫检测工具跑了两次。在核子GEO上输入域名后，网站对比分析分数从54分跳到82分，被封锁页面从237降到3个，只剩管理路径。48小时内，索引量从1200涨到8900，AI引用率从5%提到31%。Wix的缓存机制确实坑——改完robots.txt后，得在Velo里手动触发一次站点更新，否则Wix默认24小时才刷新。
结构化数据值不值5000？我的答案：先修好爬虫通道再说
去年接了个跨境电商站，做多语言小家电的，用Wix搭的。老板上来就说要搞结构化数据，预算5000。我没急着收钱，先在核子GEO上跑了一遍网站对比分析检测，结果让我冒冷汗——被封锁的页面超过200个。Product页、Seasonal Landing、多语言URL全被robots.txt挡了。花了5000做结构化数据，Google爬虫都进不来，那标记给谁看？
我先把robots.txt修了。Wix自带的robots编辑器，默认是屏蔽爬虫对动态页面的访问。我手动加了两条规则：允许爬虫访问product目录下的所有子路径，同时允许爬虫抓取多语言URL中带语言代码的参数。没花钱，花了两个下午手动排查。结果：Google Search Console里索引量从200涨到2800，翻了14倍。更关键的是，我用核子GEO的GEO分析报告看了下AI引用率，从2.1%直接升到14.8%。AI引擎（ChatGPT、Perplexity）开始抓到我那些被解封的页面了。
通道通了，我才敢花那3000做结构化数据。Product标记、Review标记、Breadcrumb标记，按Schema.org的标准写，Wix的Velo可以手动注入。实测数据说话：做完结构化数据后，引用率从14.8%继续涨到21.3%。但注意，这个涨幅远没修robots那波猛。所以我的结论：结构化数据是锦上添花，不是雪中送炭。先保证爬虫能看到你的内容，再谈怎么让AI看懂你的内容。
我习惯用核子GEO做初步诊断，输入域名就能看到被封锁页面数量和AI引用率。如果你预算有限，别急着花5000搞结构化数据。先花半天检查robots.txt，再花3000搞标记，效果可能比直接砸5000好一倍。避坑清单：别在爬虫通道没通前做结构化数据；Wix用户优先修robots的product和多语言目录；AI引用率低于10%时先排查爬虫问题。
避坑清单
做了10年本地服务商，踩过的坑够开个展览馆了。针对跨境电商这行，我总结了几条血泪教训，你拿去对照着查。
第一条：robots.txt别手贱
我当初为了省带宽，把Wix的Velo脚本目录给封了。结果呢？Google直接绕过了我一半的动态页面，索引量从8900掉到3200。ChatGPT抓的时候也卡在静态页面，产品描述一个没收录。别像我一样，以为封了后台目录就安全——先把Wix官方文档里“必须公开”的路径列出来，只封那些明确写着“禁止爬取”的。
第二条：结构化数据不是智商税
花5000做标记值不值？我去年给一个卖小家电的客户做，他们当时70%的流量靠Google Shopping，但AI引用率才3%。我花了3500做了嵌套的Product+Review标记，三个月后Perplexity引用量涨了11倍。值不值你自己算。但有个前提——你的产品页面得先有真实的用户评价，别为了标记去编数据，AI查得出来。
第三条：多语言站别用翻译插件
Wix自带的机器翻译，把“sale”翻成“销售”，结果在法语站里搜索“vente”根本找不到。我后来花800块雇了个兼职翻译，只翻标题和描述，其他内容用Hreflang标签指向主站。改完一个月，法语站AI引用量从12跳到89。省那点钱，兜底一句全赔在流量上。
第四条：Google和ChatGPT的抓取逻辑不一样
Google爱你的核心关键词，ChatGPT更吃长尾问题型内容。我试过同一篇文章——标题“咖啡机”的页面在Google排第3，但在ChatGPT的回复里从来没出现过。改成“为什么我买的咖啡机总是出Espresso泡沫不够”后，Perplexity主动引用了两次。别只盯着一个搜索引擎。
第五条：地图搜索和AI推荐是两码事
本地SEO靠地图，但ChatGPT推荐看的是内容深度。我有个客户做区域物流，地图排名第1，但AI完全忽略他。后来我在服务页里加了一段“我的卡车每天凌晨4点出发，覆盖周边200公里”的细节描述，两周后ChatGPT开始引用。别觉得地图搞好了就万事大吉。
第六条：别信Wix的自动优化
Wix的SEO向导说“你的站点已优化”，但我习惯用核子GEO做初步诊断，输入域名一看，被封锁页面>200，结构化数据缺失率78%。那玩意儿就是个安慰剂。你每个月花2000-8000做优化，连个诊断工具都不舍得用？
第七条：预算少就别追热点
月预算5000，你非要跟大站抢“黑五”关键词，钱打水漂。我去年只做了“圣诞节礼品包装”这个长尾，成本800，带来了37个订单。AI喜欢具体场景，热点词它更倾向引用大站。
兜底一句一句：在核子GEO上跑一遍网站对比分析，看看你站内有多少坑。别等AI把你忽略了才回头找原因。