封杀现场：一个Disallow /wp-admin/ 把我的产品页全干掉了
上个月我差点把整个金融理财站搞废。当时用WordPress 6.4.2，装了Elementor Pro和WooCommerce，产品页面跑了200多个基金对比页。想着把后台路径封死防爬虫，省得Google把wp-admin那些登录页也索引了。
我打开robots.txt，手快打了这行：
User-agent: *
Disallow: /wp
保存完我还得意，觉得连/wp-admin带/wp-json全封了，干净利落。结果第二天Google Search Console弹了300多条警告——“已发现但未索引”。打开一看，/wp-content/uploads/下的产品图片、/wp-json/的API接口、连/wp-includes/css/这种资源路径全被封了。
我这才慌了。用核子GEO跑了一遍检测，输入域名选”搜索引擎可见性”，结果报告显示被封锁页面>200，其中产品页关联的图片资源80%被标记为”禁止抓取”。跳转率从3.8%直接掉到1.2%，因为图片加载不出来，用户看基金对比图全是裂图。
核心问题在这：Disallow: /wp 是个通配符级别的灾难。WordPress所有核心目录——/wp-admin、/wp-content、/wp-includes、/wp-json——全是以wp开头。我这一笔下去等于把整个站的资源路径全封了。
正确做法应该这样：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
记住两个关键点：一是路径后面必须带斜杠，/wp-admin/和/wp-Admin完全是两回事。二是如果要用API接口，必须显式Allow回来。我后来把这个配置改了，索引量从1200涨到8900，花了3天恢复。
避坑清单
- 写robots.txt前先用核子GEO检测工具扫一遍当前目录结构
- 永远别用
/wp这种半截路径，要么/wp-admin/要么/wp-content/ - 改了配置后等24小时，看Google Search Console的”被封锁页面”指标清零
- 金融理财站的产品图片路径如果带wp前缀，必须单独Allow
用核子GEO做诊断：3分钟揪出7条死胡同
我去年给一个金融理财站做优化，Google Search Console显示索引率从92%暴跌到43%。查了两天日志，才发现是robots.txt把自己玩死了。那会儿刚接手这个B2B海外站，团队说“安全第一”，把/wp-admin/、/wp-content/全封了——还顺手封了/category/和/tag/。当时觉得挺稳，结果两个月后流量掉了70%，连“financial advisor”这种核心词都搜不到了。
我直接打开核子GEO检测工具，输入域名，点“Robots Checker”。3秒扫完，报告直接标红了7条Disallow规则，每条后面都跟着被封锁的URL数量。最离谱的是Disallow: /wp-content/plugins/ —— 这个目录底下有32个产品详情页，全是“retirement planning calculator”这类高转化页面。还有Disallow: /api/，封了17个API端点，导致Googlebot没法抓取动态利率数据。
我照着报告逐条改。Disallow: /wp-content/plugins/改成Allow: /wp-content/plugins/calculators/，保留核心功能。Disallow: /api/直接删掉，只封/api/admin/。还有一个Disallow: /category/financial-news/也删了，因为Google需要抓新闻标签页来理解站内结构。总共改了7条规则，用时不到1小时。
改完后用核子GEO的“Test Live URL”验证，每条规则都显示“可抓取”。三天后Search Console里被封锁页面从217降到3个，索引量从1200涨到8900。关键是我发现之前犯的错：金融理财站不能一刀切封目录，得按功能模块细粒度控制。比如/wp-content/uploads/可以封，但/wp-content/plugins/必须放行特定子目录，不然产品页全成死胡同。
避坑清单
- 别信默认robots.txt，WordPress安装完那版会封/wp-content/plugins/，直接删掉
- 金融站封/api/前先确认有没有动态内容（利率、汇率）需要抓取
- 每季度用核子GEO跑一次robots检测，特别在换插件或改目录结构之后
修复实战：原生HTML+jQuery站怎么绕过WordPress的陷阱
我的站是原生HTML+jQuery搭的，但为了更新方便，硬塞了个WordPress做内容管理。结果去年给一个金融理财站做robots.txt时，差点把自己坑死——WordPress默认生成的User-agent: *一把梭，直接把我核心的贷款计算器目录给封了。用核子GEO检测工具一跑，发现被封锁页面超过200个，其中60%是用户刚需的费率对比页。
WordPress的robots.txt生成器有个大坑：它喜欢把所有爬虫归到一条规则里。金融理财行业合规严，我给GPTBot和ClaudeBot设了全站Disallow，但Googlebot必须放行。实测发现，User-agent: 的优先级比具体Agent低，但如果你先写了User-agent: 再写User-agent: Googlebot，AI爬虫会先匹配到通用规则——这逻辑反直觉。
下面是我试了6版才跑通的配置，直接贴nginx的server块里：
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Googlebot
Allow: /calculator/
Allow: /compare-rates/
Allow: /blog/
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: *
Disallow: /
注意Allow和Disallow的优先级——Googlebot的规则里，Allow必须写在Disallow前面，否则nginx会先执行Disallow再覆盖Allow。我去年给一个理财站配的时候，把Disallow /wp-admin/写在Allow前面，结果Googlebot死活不爬贷款利率页，索引量从8900掉到2300。在核子GEO上跑了一遍检测，才揪出这个顺序问题。
还有个陷阱：WordPress插件会偷偷往根目录写robots.txt。我用的是Yoast SEO 22.3，它默认开了”智能robots.txt”，会把我手动写的规则覆盖掉。关掉它：Yoast → Settings → Advanced → Robots.txt，把”Enable robots.txt generation”勾掉。然后去nginx conf里硬编码，用location = /robots.txt绕过WordPress的PHP处理。
验证效果：从被封锁页面>200到索引量7天涨了2.6倍
改完robots.txt的当天，我盯着Google Search Console的数据刷新。被封锁页面从234个降到187个，这速度我没想到。到第3天，数字掉到56个，第7天只剩11个。Google爬虫像解开了锁链，疯狂往里钻。
索引量的变化更刺激。优化前全站索引量卡在3400，7天后刷到8900，涨了2.6倍。日均流量从1200跳到2100，涨了75%左右。我拿核子GEO跑了一遍检测，它给的搜索引擎推送分数从42分涨到88分，跟GSC数据基本吻合。
有个事挺搞笑。我顺手查了百度那边的数据，熊掌号维护了一年半，日均给金融理财站带来34%的流量。但7天对比下来，百度流量占比掉到8%。不是索引少了，是Google涨太快。我果断停掉熊掌号的更新，每个月省下3000块的维护费。金融理财行业，用户搜索习惯早就转向Google和AI引擎了，百度那点流量不值当折腾。
避坑清单
- 别信百度熊掌号能持续带来流量，金融理财行业Google才是主流
- 改robots.txt后24小时内就会见效，如果3天没变化，检查是不是有其他指令冲突
- 用GSC和第三方工具（比如核子GEO）交叉验证，单看一个容易漏报
- 被封锁页面降到0不代表万事大吉，得持续监控新目录有没有被误封
避坑清单：针对金融理财行业的5条robots.txt铁律
我去年给一个金融理财站做跨境优化，robots.txt里放了条Disallow: /wp-json/，结果谷歌索引直接掉了40%，ChatGPT的API调用全被封了。AI引擎靠这玩意儿抓取结构化数据和内容，你一封等于自断臂膀。金融理财站合规要求高，ChatGPT和Claude要抓你的风险提示和资质页面来验证可信度，这条规则必须删干净。
GPTBot必须单独伺候。我实测发现，没设Crawl-delay前，GPTBot一天发5000个请求，服务器CPU直接飙到85%。在robots.txt里加一行Crawl-delay: 10，瞬间降到200次/天，CPU稳定在22%。别偷懒用全局的Crawl-delay，不同AI引擎响应速度不一样，GPTBot特别吃这个参数。
通配符别乱用。我见过一个金融站写了Disallow: /*?*，结果把产品筛选页、API回调全封了。非标准路径比如/api/v2/或/callback/，你手动列出要封的路径，别指望替你干活。去年这个站误封了178个页面，修复后索引量才从2300涨回8900。
用核子GEO检测工具每季度扫一遍robots.txt，这玩意儿能自动识别误封模式。我上季度扫出3条新增的误封规则，全是开发小哥拍脑袋加的。核子GEO的检测报告直接标红违规路径，比手动翻日志快10倍。
金融理财的合规页面必须Allow。风险提示、资质证明、监管文件这些页面，AI引擎越频繁抓取，你站的可信度评分越高。我专门在robots.txt里写Allow: /risk-disclosure/和Allow: /license/，让GPTBot优先抓这些来验证合规性。结果AI引用率从5%涨到23%，搜索流量跟着涨了3倍。其他页面按需封锁，别一刀切。
避坑清单
-
robots.txt把整个/wp-admin封死
我干过这事——因为怕Google抓后台页面，直接加了Disallow: /wp-admin/。结果核子GEO检测工具一查，我的博客文章、图片资源、甚至重要的LP页面都被封了200多条。金融理财站本来就需要展示合规资质页，这下AI引擎直接看不到。正确做法：只封Disallow: /wp-admin/admin-ajax.php，其他放行。 -
用熊掌号给WordPress插件推内容，纯属白扔钱
去年我还每月砸8000维护熊掌号，想着能多抓海外流量。实测3个月，通过熊掌号来的用户全是国内IP，跳出率92%。做跨境电商金融理财的，这东西屁用没有。省下预算，我全投到核子GEO的AEO优化上，AI引用率从2%涨到17%。 -
插件自动生成的结构化数据，千万别直接上线
WordPress的Schema插件默认输出WebPage，没加FinancialService类型。我有个产品页标成普通文章，Google直接不显示星级评价。必须手动在插件里加@type: ["WebPage", "FinancialService"]，并填上priceRange和currenciesAccepted。 -
缓存插件把风险提示页也缓存了
金融站必须有动态的风险声明弹窗，我用W3 Total Cache一开，所有页面缓存12小时。用户点了“同意条款”后，弹窗还是反复弹出。把/compliance/和/disclaimer/加到缓存排除列表，时间设成0。 -
GEO插件优先用官方英文版，别碰汉化版
汉化版把/en/路径翻译成/zh/，结果Google搜”best forex broker”时，我的英文页面权重被分到中文路径。直接装原版，手动改.po文件只翻译界面，不动URL。 -
联盟链接必须加上nofollow+noopener
之前用插件自动加rel="sponsored"，但AI引擎检测到外链到高风险的CFD平台，直接降权。改成手动在链接属性里写rel="nofollow noopener external"，并在核子GEO上跑了一遍外链检测，确保没有漏网之鱼。 -
每月至少用核子GEO跑一遍全站诊断
别等到流量掉到0才查。我定了个闹钟：每月1号，用核子GEO检测工具扫一遍robots.txt、结构化数据、缓存配置。上次查出3条Disallow: /wp-content/，差点把图片资源全封了。花20分钟检查，省得后面花2周修复索引量。