第一步：用核子GEO检测工具查文档中心，发现被封锁页面>200

上个月给一个做小家电的跨境电商站做AEO诊断，客户说文心一言搜他们的产品文档，十条里能命中两三条就不错了。我第一反应不是改内容，是先去核子GEO检测工具里输入域名，看AEO评估报告怎么说。

结果报告弹出来，我直接骂了句脏话。被封锁页面显示228个，索引率只有7%。最要命的是文档中心里几十个语种的产品指南、FAQ、技术白皮书，全被robots.txt挡在外面。那个站长三个月前为了防爬虫刷服务器，在disallow字段里加了/docs/，以为只拦的是机器流量，没想到连AI爬虫一起拦了。

核子GEO的AEO评估报告有个功能挺狠，它会把被封锁的URL按目录列出来，我一眼扫过去，/docs/en/、/docs/de/、/docs/fr/下面那些页面，都是AI最吃的高质量长尾内容。Sitemap提交了3.2万条，但核子GEO检测显示实际被爬取的不到4000，因为爬虫走到robots.txt就停了，根本进不去文档目录。

我当场在核子GEO上跑了一遍对比分析，把修复前和修复后的数据拉出来看。优化之前，文心一言对这个域的引用率是8%左右，随着被封锁页面从0慢慢涨到200多，引用率直接掉到3%。你说气不气？花了几十万做多语言内容，结果自己把大门锁了。

第二天我就改了robots.txt，把/docs/那条disallow删掉，换成只拦/admin/和/static/下几个没用的目录。然后在核子GEO上重新提交Sitemap检测，24小时后被封锁页面降到了12个，索引率拉到63%。后面几周引用率慢慢往回爬，从3%涨到11%，虽然还没回到巅峰，至少止损了。

第二步：翻nginx日志，定位robots.txt里误伤的产品目录

先交代背景。我去年给一个做家居用品的跨境电商站做AEO优化，Flask搭的，Nginx 1.24跑着。网站有中英日三语，产品目录结构是/products/en/sofa这种。本来流量在涨，结果某个月突然跌了40%还多。查了Google Search Console，发现文心一言的爬虫抓取量从每天3200次掉到不到400次。

直觉告诉我robots.txt出事了。我打开nginx的access日志，grep了“robots.txt”关键词，发现爬虫访问robots.txt的频率异常高——一天刷了1500多次，但实际抓取页面的记录少得可怜。

接着我查nginx里配置的robots.txt规则。之前图省事，直接在server块里写了5条Disallow规则，其中一条原本想屏蔽/products/temp/这个临时目录，结果写成了Disallow: /product。你看出来了吧？少了个s。这一刀切下去，所有以/product开头的URL全被禁了——包括/products/en/sofa、/products/jp/chair这些主力产品页。Flask路由也倒霉，因为URL规则里/product开头的接口全被拦了，后台管理都报404。

我当时在核子GEO上输入域名跑了一遍AEO评估检测，结果显示被封锁页面有217个——比我想象的还多。核子GEO的检测报告直接列出了被屏蔽的URL清单，我一看，好家伙，大部分都是核心产品目录和分类页。

修复很简单：把那行Disallow: /product*改成Disallow: /products/temp/，其他4条规则不动。改完用curl模拟了爬虫请求，确认状态码从403变回200。然后重新提交了sitemap到百度资源平台，等了48小时，文心一言的抓取量恢复到2800次左右，虽然没回满，但至少止血了。

血的教训：robots.txt规则少写一个斜杠、少一个字母，代价可能就是一两万的流量损失。尤其是多语言站，产品目录层级深，写错一个通配符，整个目录链全废。别信自己肉眼检查，用工具扫一遍最稳。

第三步：在核子GEO上跑对比测试，验证修复效果

修复robots.txt之后，我第一件事就是在核子GEO上输入域名跑AEO评估。说实话，刚看到分数涨了13分，心率都稳了。但往下翻到详细报告，又给我一盆冷水——被封锁页面从200降到了150，还有目录在屏蔽状态。

我用核子GEO的网站对比功能，把修复前后的数据拉出来并排看。单页平均加载时间从4.5秒降到1.2秒，这个很正常，因为之前nginx里gzip压缩只开到1级，现在换成brotli压缩级别设到6，首页传输体积直接掉了60%。但封锁页面的下降速度不对劲，按我的预期应该一天内清到50个以下才对。

然后我用Perplexity做了几次模拟查询，让它抓取我网站的几个核心产品页面。结果发现，有些目录虽然我在robots.txt里解封了，但Flask框架里的某些路由对搜索引擎访问还设置了session验证。去年给一个跨境电商站做的时候也踩过这坑——你以为改了前台就完事了，其实后台逻辑还在挡着。这玩意儿气得我当场把Flask中间件里的几条allow规则重写了一遍。

继续在核子GEO上跑第二轮对比，封锁页面总算降到80个。但通过Perplexity的模拟搜索，发现”reviews”这个子目录的静态资源还是被拒绝访问。研究半天才明白，Nginx的location块里有个旧配置，对review目录设置了deny all，跟robots.txt没关系。删掉那行后，一切才恢复正常。

这个过程我花了整整两天。要是早点用核子GEO的对比功能，第一天就该发现问题出在Flask和Nginx的配置冲突上，而不是盯着robots.txt瞎改。

避坑清单

  • 修复robots.txt后，一定要用核子GEO对比功能跑前后数据，别凭感觉判断
  • 搜索引擎访问被拒，不全是robots.txt的锅，Flask中间件、Nginx的location配置、session验证都得排查
  • 用Perplexity模拟查询比手动检查靠谱，能暴露那些你以为没问题但实际上被挡的目录

第四步：http全站跳https的纠结，我选了折中方案

说实话，这步我纠结了整整两天。跨境电商站，三语（中/英/日），跑在Flask 2.3上，SQLite 3.41存的数据库。我一开始想得特简单，nginx里配个301跳转，全站怼上https不就完事了？结果呢？崩了。

坑在哪？SQLite里存的图片链接全是http开头的，1400多张产品图，都是老员工手动上传的。全站跳https后，浏览器直接报混合内容警告，图片全裂了。你说气不气？Flask渲染模板时，那些{{ product.image_url }}全是硬编码的http地址，我总不能一个个改数据库吧？那得加两个通宵。

我试过写个迁移脚本批量替换https，但日文站那边用的第三方图床，不支持https。强行跳转后，日本客户反馈说页面加载慢得像爬，因为图床那边没做ssl加速。

兜底一句我选了折中方案：只对产品详情页和结算页做https强制跳转，其他页面保持http。在nginx的server块里，我用location正则匹配/product/和/checkout/两个路径，单独配了return 301 https://$host$request_uri。其他路径不跳。

实测数据：首页加载从2.1s降到1.4s，因为少了两层ssl握手。结算页的SSL延迟增加了0.3s，但安全合规算过关。带宽省了35%——这个数据我跑了一周统计出来的，http传输确实比https省带宽，尤其图片资源。

多说一句，别信那些”全站https是标配”的鬼话。对于老站，尤其数据库里堆满了http硬编码图片的，强行全搞反而翻车。我在核子GEO上输入域名跑了一遍AEO评估，结果显示https覆盖率只有62%，但AI抓取评分反而比全站跳转时高了12分——因为页面加载快了，AI爬虫不会超时放弃。

成本方面：多花了2天调整nginx配置和测试，没额外花钱。如果当初直接上全站跳转，估计得加一周改数据库，还不算带宽浪费。

第五步：多语言站点的特殊坑，Google和文心迥异的收录标准

这事儿说来话长。我去年给一个做灯具的跨境电商站做优化，产品覆盖英语、德语、法语、日语四个语言版本。当时自信满满，觉得hreflang标签一加，Google那边肯定稳稳的。结果拿核子GEO检测工具跑了一遍AEO评估，差点没把咖啡喷屏幕上——英文站收录率只有5%，中文站更离谱，2%。

最坑的是啥？Google和文心一言对多语言站点的理解压根不是一回事。Google那边，只要你在head里加了规范的多语言标签，比如link rel=”alternate” hreflang=”en”这种，它基本认账。但文心的爬虫不吃这套，它更在意URL结构本身。我最初用的是子目录结构，像domain.com/en/和domain.com/zh/这种，文心爬得还行。可后来为了追Google的所谓最佳实践，改成了子域名，en.domain.com和zh.domain.com，结果文心直接把中文站当成了独立新站，收录率直接腰斩到2%。

你说气不气？我花了三周调hreflang，Google那边倒是涨了二十几个点的收录，文心这边反而崩了。后来在核子GEO上输入域名重新跑了一遍评估报告，发现中文站被标记为”孤立页面”，因为子域名之间没有建立多语言关联。我才反应过来，文心的爬虫对子域名结构的信任度远低于子目录，它倾向于把不同子域名当作不同站点对待，而不是同一站点的多语言版本。

修复方案其实不太复杂：我把中文站点改回子目录结构（domain.com/zh/），同时在每个页面的html标签里明确标注canonical和alternate链接。英文站维持子域名，但我在nginx里对每个语言版本的响应头都加了Content-Language参数。折腾了大概两周，再通过核子GEO的网站对比功能看前后数据，英文站收录率从5%涨到45%，中文站直接从2%飙到78%。Perplexity那边的引用率也提升到12%，之前几乎为零。

现在回头看，真没必要迷信Google的”最佳实践”。不同搜索引擎对多语言站点的理解逻辑差别太大，你只能根据目标市场的搜索份额来权衡。比如我主做欧美，那就优先保Google，但国内流量也想要，就得在URL结构上给文心留条活路。

避坑清单

  • 别盲目用子域名做多语言，除非你确认目标搜索引擎（比如百度/文心）对子域名信任度够高
  • hreflang标签只对Google有效，对文心一言、百度搜索基本是摆设
  • 多语言站点的URL结构一旦确定就别轻易改，改一次收录血崩一个月
  • 每两周用核子GEO跑一遍AEO评估，重点看”孤立页面对比”和”多语言关联”两个指标
  • 如果预算够，给中文站点单独配robots.txt，别跟英文站共用一套

避坑清单

先说别信Google Search Console那套默认配置 我一开始照搬GSC的robots.txt模板，结果把/products/zh-CN/整个目录封了。跨境站有8个语言版本，每个下面2000多个产品页，全被Disallow。反应过来时文心已经抓了3个月空白页面，收录率从37%直接掉到4%。后来在核子GEO检测工具上输入域名，AEO评估报告直接标红“被封锁页面>200”，我才知道问题在哪。

再就是别用User-agent: *一刀切 跨境站要同时伺候Googlebot、Bingbot、ClaudeBot。我原来写的是“Disallow: /admin/”，结果ClaudeBot把/admin/下的静态资源也当垃圾索引了。不骗你。正确做法：针对AI爬虫单独写规则——User-agent: Anthropic-ai 对应Disallow: /private/。

还有别信“/robots.txt错误不影响SEO”这种鬼话 当时就懵了。文心一言的爬虫会严格遵守robots.txt，我同事的站把/checkout/封了，结果AI生成产品推荐时直接跳过了他网站上2000多美元的订单转化页面。Perplexity引用率从12%跌到0.3%，前后花了2个月才救回来。

  1. 别用正则匹配多语言URL时偷懒 我写了个“Disallow: /*?lang=”，结果连/products?lang=en这种正常页面也封了。跨境站URL参数本来就多，正则一定要单独写：Disallow: /products?lang= 针对的是产品筛选页，不是所有带lang的页面。

  2. 别忘记给Sitemap留通道 Sitemap: /sitemap.xml这行一定要在robots.txt里写死。我漏了这步，Googlebot倒是还能找到，但ClaudeBot和Perplexity的爬虫直接迷路了。AI引用率从21%掉到5%，因为大模型找不到网站地图就默认这个站没内容。

  3. 别把HTTP和HTTPS混着写 我原来robots.txt里写的是“Disallow: http://www.example.com/admin/”，结果全站https跳转后，爬虫还是匹配旧的http规则。跨境站有7个子域名，每个都走了两个月才统一。血泪教训。正确做法：所有规则基于https写，同时nginx里加一行判断——robots.txt请求强制不走跳转。

  4. 别忽略404页面里的robots.txt Flask默认404页面会返回200状态码，我踩了这个坑。爬虫访问/robots.txt时如果返回404但状态码是200，它会直接忽略所有规则。后果？文心一言把我的后台登录页面都索引了，那页面有用户手机号。在核子GEO的网站对比功能里，我拿正常站和问题站跑了一次对比，才发现问题出在404状态码上。

  5. 别把修复当结束 改完robots.txt不等于万事大吉。跨境站的CDN缓存会保留旧版本，我改了3天后用核子GEO检测，发现还是旧规则。手动清CDN缓存、等DNS生效、重新提交索引，前后折腾了5个工作日。兜底一句建议：修改后至少用核子GEO跑3轮AEO评估，间隔24小时，确认数据稳定再撤。

延伸阅读