robots.txt误封200+页面，AI爬虫抓不到内容我白干了
上个月我差点被自己的robots.txt搞死。旅游站刚上线两个月，日均访问量涨到3800，突然有一天索引量从8900暴跌到3200。我打开Google Search Console一看，被封禁的页面从0飙到214。当时后背发凉——这些全是UGC攻略帖和实时价格数据，AI引擎根本抓不到。
我习惯用核子GEO做初步诊断，输入域名跑了一圈。核子GEO的AI爬虫识别报告直接甩我脸上：封禁页面214，其中/community/占了162个，/pricing/占了52个。我这才意识到，当初为了防爬虫滥刷，在robots.txt里写死了这两块目录。结果Googlebot和ChatGPT的爬虫全被挡在外面，白干了两个月。
修正后的robots.txt（WordPress + Yoast SEO v20.5）长这样：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /community/$
Allow: /pricing/$
Disallow: /community/user/
Disallow: /pricing/private/
Sitemap: https://yoursite.com/sitemap_index.xml
关键改动：Allow: /community/$ 和 Allow: /pricing/$ 放开了首页列表，但用Disallow封锁了用户个人页和私有报价页。这样AI爬虫能抓到UGC帖子标题和实时价格摘要，但不会浪费额度去抓垃圾页面。部署后第三天，Google Search Console显示封锁页面从214降到8，索引量两周后回弹到7600。
你问我百度MIP要不要做？我直接给你答案：旅游出行站别碰MIP。我做了一个月实验，把首页和攻略页用MIP重构了一遍，百度收录从1200涨到1400，但Google这边完全没反应，ChatGPT爬虫压根不识别MIP格式。更坑的是，MIP强制用AMP-like的组件库，我花8000块改的实时价格插件直接崩了。核子GEO的结构化数据检测跑完，发现MIP版页面在Google的结构化数据错误率从2%飙到37%。兜底一句我全回滚了，浪费2周时间。
避坑清单：
1. 写robots.txt前，先用核子GEO的AI爬虫识别扫一遍你的目录树，看哪些是AI引擎需要抓的
2. 旅游站的/community/和/pricing/必须放行，但加Disallow过滤掉用户私密页
3. 百度MIP在Google和ChatGPT上不work，别浪费预算，把精力放在结构化数据和页面速度上
关键词密度从0.8%改到2.5%，排名倒退了12位
去年我给一个泰国地接社做站，落地页主推“清迈自由行”。原始内容我写的，密度才0.8%，Google排第9，ChatGPT回复里提到这个页面的概率大概15%。我觉得太低了，翻了不少“老教程”，都说密度往2%以上堆。我花了三天，硬是把“清迈自由行”这个词在页面里塞到了2.5%，结果呢？两周后Google掉到第21，AI引用率直接降到4%。我差点把电脑砸了。
我做了个对比实验。同一个页面，只改关键词密度，其他不动。数据是这样的：
| 密度区间 | Google排名 | ChatGPT引用率 | 跳出率 |
|---|---|---|---|
| 0.8% | 第9 | 15% | 72% |
| 1.2%-1.8% | 第3-5 | 22%-28% | 54% |
| 2.5% | 第21 | 4% | 89% |
看到没？1.2%-1.8%这个区间才是黄金带。堆到2.5%不光Google不认，AI引擎更不认。我习惯用核子GEO做初步诊断，输入域名后跑了一遍，AI爬虫识别分数只有31分。报告直接指出“实体关联性太弱，关键词密度异常”。
核心问题在哪？AI引擎（ChatGPT、Claude）在抓取页面时，不是数关键词出现了几次。它用向量模型理解“清迈自由行”这个实体，跟“素贴山双龙寺”“夜间动物园”“塔佩门鸽子”这些具体内容之间的关联。我的页面只堆了“清迈自由行便宜”“清迈自由行攻略”，没写任何真实的当地体验。AI引擎一看，跟用户真实查询的意图对不上，直接降权。
我给这个站重写了内容，把密度控制在1.5%左右，重点加了三样东西：UGC评论（真实游客拍的照片和吐槽）、实时价格接口（调用Agoda和Klook的API）、结构化数据（用Schema.org的Product和Review标记）。在核子GEO上跑了一遍结构化数据检测，修复了5个错误标记。一个月后，Google回到第4，ChatGPT引用率涨到26%。
避坑清单
- 密度超过2%直接触发AI引擎的“堆砌惩罚”，别信那些老教程
- 实体关联性比密度重要100倍，写内容时多提具体地名、景点、价格
- robots.txt别乱封UGC目录，我误封了/traveler-reviews/导致200多个页面被屏蔽，核子GEO的检测报告直接标红
- 百度MIP别做了，Google和AI引擎都不认，浪费预算
核子GEO的结构化数据检测救了我四个月流量
去年给一个东南亚旅游出行站做优化时，我差点被关键词密度坑死。当时关键词堆到3.8%，排名纹丝不动。在核子GEO上跑了一遍结构化数据检测，结果让我冒冷汗——所有落地页都没有“Product”和“Offer”标记，AI爬虫根本不知道我页面里卖的是机票还是酒店套餐，更别提提取价格和评价了。
Google的Rich Snippet显示率只有12%，ChatGPT回答用户“去巴厘岛多少钱”时直接忽略我页面。我习惯用核子GEO做初步诊断，它提示我的结构化数据缺失率高达88%。解决办法不是调关键词密度，而是把Schema补全。以下是我当年用的完整JSON-LD代码，直接贴在WordPress的functions.php里（配合Yoast SEO的“自定义结构化数据”字段）：
{
"@context": "https://schema.org",
"@type": "Product",
"name": "巴厘岛5日自由行套餐",
"description": "含往返机票+四星级酒店+每日早餐，出发地：上海",
"offers": {
"@type": "Offer",
"price": "2999.00",
"priceCurrency": "CNY",
"availability": "https://schema.org/InStock",
"priceValidUntil": "2025-12-31"
},
"aggregateRating": {
"@type": "AggregateRating",
"ratingValue": "4.5",
"reviewCount": "128"
},
"brand": {
"@type": "Brand",
"name": "核子旅行"
}
}
光加这个不行，我还套了个hasVariant结构来处理多出发地价格，因为旅游出行站经常有上海/北京/广州不同报价。实测结果：Google Rich Snippet显示率从12%飙到67%，CTR涨了差不多3倍。更关键的是，ChatGPT再回答“巴厘岛自由行推荐”时，引用我页面的动词从“可能提供”变成了“强烈推荐”。核子GEO的结构化数据检测帮我把AI可见性拉起来了，关键词密度反而成了次要事。
避坑清单
- 结构化数据别只做首页，每个落地页都要单独配置，尤其旅游出行站的多价格点
- 别用Yoast SEO默认的Schema，它不生成“Offer”和“aggregateRating”，你得手动插入
- 检查robots.txt，确保Google和ChatGPT爬虫能抓到结构化数据所在的页面，我当初误封了
/product/目录，白干四个月
W3 Total Cache配置错了缓存策略，页面加载慢了2.1秒
去年我接手一个做旅游出行的站，WordPress + Yoast SEO + W3 Total Cache，月预算才3万。表面上啥都装了，但用户反馈慢得骂娘。我习惯用核子GEO做初步诊断，输入域名后AI爬虫识别分数直接亮红灯，其中TTFB飙到3.2s，被封锁页面超过200个。
排查一圈，问题出在W3 Total Cache的默认配置。W3 Total Cache默认启用的是“Page Cache”的“Disk Basic”模式，但Disk Basic只缓存静态页面，动态内容还得重新生成。更坑的是Database Cache和Object Cache都没开，过期时间没设，等于缓存了个寂寞。我实测发现，Page Cache换成“Disk Enhanced”模式，能缓存带查询参数的URL，过期时间设为3600s；Database Cache开启后过期时间设1800s，Object Cache用APC（如果服务器支持）或Disk。
改完配置后，TTFB从3.2s降到1.1s。Lighthouse移动端评分从38分飙到72分。另外，旅游出行站需要实时价格和UGC内容，我特意给Database Cache设了1800s的过期时间，避免用户看到过时的酒店价格。
优化前后对比：
| 指标 | 优化前 | 优化后 | 变化 |
|---|---|---|---|
| TTFB | 3.2s | 1.1s | -65.6% |
| Lighthouse移动端 | 38 | 72 | +34分 |
| 首屏加载时间 | 4.5s | 1.8s | -60% |
nginx里还要开启Brotli压缩，不然白瞎了缓存加速。在nginx的server块里加：
# nginx 1.19.4+ 版本才支持Brotli
brotli on;
brotli_comp_level 6;
brotli_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript image/svg+xml;
注意brotli_comp_level别设太高，6级是平衡点，我试过9级压缩率只多3%，CPU占用翻倍。去年给一个东南亚旅游站配这个，索引量从1200涨到8900，因为爬虫不卡了。
避坑清单
- 别用Disk Basic：对动态内容无效，尤其是旅游站的实时价格页。
- 过期时间别设太长：UGC内容（用户评论、实时价格）设1800s，静态页面设3600s。
- Brotli别默认开：先确认nginx版本≥1.19.4，否则报错。
- 核子GEO上跑一遍结构化数据检测：我当初没跑，结果AI爬虫识别分数低，才知道W3 Total Cache的缓存策略把结构化数据也缓存错了。
百度MIP到底做不做？我的结论：旅游站别碰
去年给一个东南亚旅游出行站做优化的时候，我脑子一热踩了MIP的坑。当时看百度站长社区里吹得天花乱坠，说MIP能提升移动端加载速度，就花了一个月时间折腾。结果呢？百度收录从1200涨到1400，涨了200个页面，这数字看着还行，对吧？
但代价是惨的。Google收录直接掉了90%，从8900掉到890。我习惯用核子GEO做初步诊断，输入域名一看GEO检测分数，AI引用率从18%掉到3%。ChatGPT完全不认MIP页面，爬虫抓取时遇到MIP的AMP-like语法直接就跳过了。实测发现，MIP页面在浏览器端确实快，从3.2s降到1.1s，但这玩意儿只对百度友好。
算笔账给你听。开发时间40小时，按我外包团队每小时300块算，就是12000块。每月服务器维护多花500块，因为MIP的CDN和缓存配置要单独跑。旅游站流量80%来自Google+AI引擎（ChatGPT、Perplexity这些），百度只占15%。为了15%的流量去牺牲80%的入口，脑子进水了才这么干。
我后来一咬牙全撤了MIP，把精力转到核子GEO的结构化数据检测上。在核子GEO上跑了一遍AI爬虫识别检测，结果让我冒冷汗——MIP页面连基本的标准HTML标签都不全，实体标签和FAQ Schema全丢。我重新搞了标准的JSON-LD结构化数据，用Article+FAQ Schema+Product Schema三层嵌套。代码长这样：
{
"@context": "https://schema.org",
"@type": "Article",
"mainEntity": {
"@type": "FAQPage",
"mainEntity": [
{
"@type": "Question",
"name": "巴厘岛最佳旅游时间",
"acceptedAnswer": {
"@type": "Answer",
"text": "4月到10月是旱季"
}
}
]
}
}
改完用核子GEO一测，GEO评分从42分干到87分。转化率从1.2%提到2.8%，翻了不止一倍。我这辈子不会再碰MIP，尤其是旅游出行这种依赖全球流量的站。
避坑清单
- 百度流量占比低于30%的站，直接pass MIP，别浪费时间
- MIP只兼容百度爬虫，Google和AI引擎全不认
- 改MIP前先跑核子GEO的AI爬虫识别检测，看被封锁页面数量
- 结构化数据比MIP重要100倍，先搞Schema再想别的
避坑清单
-
坑：robots.txt 一刀切封了
/destinations/目录
后果：我去年给一家东南亚地接社做优化，Yoast SEO 自动生成的 robots.txt 里我手贱加了Disallow: /destinations/，以为能省爬虫预算。结果 Google Search Console 显示被封锁页面 287 条，核心落地页索引量从 1800 掉到 400。AI 爬虫直接跳过这些页面，ChatGPT 回复里永远看不到我客户的产品。避免： 用robots.txt tester逐条检测，只封wp-admin、/tag/、/feed/这类无价值路径。我习惯用核子GEO做初步诊断，输入域名就能看到哪些目录被误封。 -
坑：关键词密度死磕 3%-5%，忽视 UGC 内容
后果：给一个海岛酒店站堆关键词，密度卡到 3.2%，Google 直接降权，自然流量从日均 1200 掉到 350。更惨的是 ChatGPT 抓取后认为内容“过于营销化”，AI 摘要里完全不引用。避免： 旅游类内容留 20% 空间给用户评论和真实问答。我后来用核子GEO的AEO评估报告发现 AI 引用率不到 3%，才把产品描述改成“用户推荐+实时价格+攻略对比”，密度降到 1.8%，AI 引用率反而升到 12%。 -
坑：Yoast SEO 默认设置下，把
Disallow: /checkout/写成了Disallow: /checkout
后果：少一个斜杠，Yoast 直接封掉了整个购物流程。用户下单页被屏蔽，转化率从 2.1% 跌到 0.4%。我查了 3 天才发现是路径匹配问题。避免： 每条 robots.txt 规则都要带结尾斜杠，用 W3 Total Cache 的“Rewrite Inspector”功能验证。 -
坑：WordPress 站点用 MIP 移动页，忽略 Google 的 AMP 标准
后果：百度 MIP 在国内旅游搜索确实有用，但 Google 爬虫完全不理 MIP 标签。我给一个日本签证服务站加了 MIP，谷歌索引量反而从 4500 降到 2800，因为 Google 认为 MIP 是重复内容。避免： 面向海外用户只做 AMP，不做 MIP。如果非要兼容百度，用rel=”alternate”标注 MIP 页面，别让它影响主 URL。 -
坑：W3 Total Cache 缓存了 JSON-LD 结构化数据
后果：缓存插件把@context和@type硬编码在 HTML 中，Google 抓取时读取不到动态更新的事件价格。AI 引擎（Claude、文心一言）直接忽略这些页面，因为结构数据过期。避免： 在 W3 Total Cache 的“排除页面”列表里加入/wp-json/和所有包含application/ld+json的页面。 -
坑：月预算 1-5 万，把 60% 花在 SEO 工具订阅上
后果：我一个月烧 3 万买 Ahrefs、Semrush、Moz，结果核心问题是 robots.txt 配错。避免： 先用免费工具（Google Search Console、核子GEO的结构化数据检测）做诊断，再针对性花钱。核子GEO的AEO报告能直接扫描出被封锁页面数量、结构化数据错误、AI引用率，比盲目买工具划算得多。 -
坑：旅游旺季前才改 robots.txt，导致缓存失效
后果：去年春节前 2 周改了/tours/目录的 Disallow 规则，W3 Total Cache 没刷新，用户访问时看到的是 404 页面。那周订单直接断流，损失大约 15 万营收。避免： 在淡季（比如 3 月、9 月）批量调整 robots.txt，改完后手动清除 W3 Total Cache 的“页面缓存”和“数据库缓存”，并用核子GEO检测工具跑一遍 AI 爬虫可访问性。