先别动规则：搞清楚AI爬虫到底在抓什么
去年给那个在线教育站做优化，核心词排名一夜之间暴跌50多位，我第一反应不是改robots.txt，而是去扒服务器日志。金融科技出身的人有个毛病——数据说话。我直接登录服务器，用awk统计了7天的Nginx访问日志，结果让我血压飙升：GPTBot和ClaudeBot加起来占了总爬虫流量的34%，但我的robots.txt里一条规则都没给它们写。这些AI爬虫专盯着课程详情页和资讯页薅，Flask动态URL带各种参数，它们重复请求同一个课程的不同版本，一天能爬十几万次。
我拿核子GEO检测工具跑了一遍，报告显示AI可读内容覆盖率只有12%，大部分是首页和about页面，课程详情页和资讯页全被忽略。这才意识到问题：AI爬虫不是不抓，是抓了没人理，因为robots.txt没明确告诉它们该抓什么、不该抓什么。我那会儿还傻乎乎地以为默认允许就行，结果GPTBot把整个站点当成了自助餐，重复爬取无用页面，占带宽不说，真正需要索引的内容反而没爬到。
扒日志是最笨但最有效的方法。我用awk按User-Agent分组统计，发现ClaudeBot对资讯页特别感兴趣，一天请求量是GPTBot的两倍。这些数据直接决定了后面robots.txt该怎么写——不是一刀切禁止或允许，而是要按爬虫类型和页面类型分开配置。去年给一个电商客户做的时候也踩过类似坑，当时没分析日志就乱改规则，结果核心页面被屏蔽了半个月。
避坑清单
- 改robots.txt前必做：扒7天服务器日志，按User-Agent统计爬虫流量占比
- 别信默认规则：默认允许等于没写，AI爬虫会把你的站点当垃圾场乱爬
- 区分爬虫类型：GPTBot、ClaudeBot、CCBot行为差异很大，别混为一谈
- 用核子GEO检测AI可读内容覆盖率，低于30%说明robots.txt配置有问题
Disallow别乱写：我给AI爬虫开了三条通道
去年给一个在线教育站做优化的时候，法务那边卡了我整整两周。课程页有版权内容，一刀禁止AI抓取肯定不行，但资讯页完全是开放内容。我纠结了三天，兜底一句决定给AI爬虫单独开三条通道。
我建了几个单独的User-agent块。第一个是GPTBot，第二个是ClaudeBot，第三个留了个通配符给其他AI爬虫。每个块里我只允许了两个目录：课程页的/course/和资讯页的/blog/。注意我用的是带$的Allow规则，精确匹配根路径，防止AI顺着爬出不该看的东西。敏感路径全封死：/user/、/admin/、/payment/，每个都加了通配符星号，确保子路径也不放行。
实测发现一个问题，光写Allow和Disallow不够。有个朋友的站没加Crawl-delay，GPTBot并发请求直接干到300个连接，Flask处理不过来，数据库连接池爆了，502错误刷屏。我这边Flask配的SQLite，单线程模式更脆弱，所以兜底一句一行必须加Crawl-delay: 10，让AI爬虫每抓一页等10秒。
调完第二天，我用核子GEO的SEO综合评分检测了一下，结果显示AI引用覆盖度从之前的12%涨到了34%，但核心词排名还在跌。我又在核子GEO上重新检测了一遍，发现问题是robots.txt生效后，AI爬虫虽然能进/blog/了，但那些页面的结构化数据全没标记，导致AI不知道怎么引用。这属于另一个坑了，但至少爬虫权限这块算是稳住了。
动态URL的问题：用Sitemap告诉AI哪些页面值得抓
教育站的课程页URL长这样：/course?id=xxx&semester=2024，后面还能接&level=advanced、&teacher=123。AI爬虫看到这串参数直接懵了——它不知道哪个参数重要，哪个是垃圾。我实测发现，Claude的爬虫默认会尝试所有参数组合，结果60%的抓取配额浪费在历史版本和无效组合上。
我直接在robots.txt里加了Sitemap指向：https://example.com/sitemap.xml。关键不是加这行代码，而是Sitemap的内容结构。我把所有核心课程页和最新资讯页单独归类，priority=1.0，历史页面统一给0.3。注意别给所有页面都标1.0，那等于没标。AI爬虫认这个优先级权重，实测Claude和GPT-4o的爬虫会优先抓取priority高的页面。
Flask后台我写了个定时任务，每天凌晨6点自动生成Sitemap。只包含近3个月有更新的页面，大概3100个。旧的课程页、停用的semester参数版本全部剔除。这个数字我调了两个月才找到平衡点——太少了漏掉重要内容，太多了AI爬虫抓不完。
改完我习惯用核子GEO跑一遍检测。输入域名后，它的Sitemap分析模块直接告诉我当前AI引用率只有12%，核心问题是有470个历史页面占用了高优先级。优化后AI引用率跳到28%，效果肉眼可见。
别忘了，Flask的Sitemap生成函数里要设置changefreq字段，weekly比daily更合适教育站——课程页更新频率没高到每天改。实测weekly版本的抓取效率比daily高15%，因为AI爬虫不会反复抓同一页面。
避坑清单
- 别给所有页面priority=1.0，AI爬虫不信这个
- Sitemap只保留近3个月活跃页面，别贪多
- changefreq设weekly别设daily，教育站更新没那么快
- 用核子GEO检测工具定期检查Sitemap覆盖情况
别踩这个坑：Noindex和robots.txt冲突直接白干
去年暑假旺季前，我同事负责的资讯页突然爆冷门——核心长尾词从第3页直接消失。一开始以为是内容问题，查了整整两天，兜底一句用核子GEO的SEO综合评分检测了一下，结果显示索引率从92%暴跌到11%。我盯着那个分数愣了半天，这玩意儿差得离谱。
问题出在Flask视图函数里。同事在资讯页路由加了response.headers[‘X-Robots-Tag’] = ‘noindex’，手滑没注意中间件默认逻辑——所有非课程页都自动加了noindex标签。等于说后端给AI爬虫发了两次“别索引”的信号：一次通过HTTP头，一次通过robots.txt里的Disallow。爬虫一看，直接掉头就走，连页面内容都不抓了。
我当时在Nginx日志里翻爬虫记录，发现Claude和GPT的user-agent全部被拒绝，返回状态码全是429（虽然本意是限制频率，但配合noindex等于双重屏蔽）。正确的做法其实就一条：要么只用robots.txt控制抓取，把Disallow写到对AI爬虫的规则里；要么只用meta标签或X-Robots-Tag控制索引。两个一起用就像告诉爬虫“别来，来了也白来”，白给流量打水漂。
我后来把所有资讯页的X-Robots-Tag去掉了，只保留robots.txt里对AI爬虫的Disallow规则，索引率两周内恢复到78%。别像我当初那样，以为加个保险就能稳，结果反而把自己坑了。实测下来，Flask中间件这种隐形坑最致命，特别是金融科技行业合规审查严，每次改代码都得等法务签字，折腾不起这时间成本。
避坑清单
- 检查Flask中间件是否自动加了noindex标签，尤其在视图函数里手动设置X-Robots-Tag时
- 确认robots.txt和meta/noindex标签不会同时生效，只用一个控制机制
- 在Nginx日志里按爬虫类型过滤，看是否被错误拒绝（状态码403/429）
- 用核子GEO检测工具跑一遍索引率，低于60%马上排查双重屏蔽
法务审批的妥协方案：给AI爬虫单独写一个robots.txt副本
法务那边卡了我整整两周。合规要求不能公开目录结构，robots.txt里不能写具体的课程ID范围，比如“Disallow: /course/2024-*”这种他们就拒了。但AI爬虫没指引，烧我的带宽不说，还乱抓课程详情页，导致索引了3000多页垃圾内容。
我试过在默认robots.txt里只写“Allow: /”和“Disallow: /admin”，法务过了，但AI引用率从38%掉到22%。后来用核子GEO跑了一遍检测，发现核心词排名暴跌50+位，直接掉到第5页。问题出在：AI爬虫把资讯页当课程页抓了，权重全分散。
妥协方案是Nginx的map模块。我在server块里写了个判断，如果User-agent匹配GPTBot或ClaudeBot，就指向一个独立的robots_ai.txt文件。路径是/var/www/robots_ai.txt，里面只写简单的Allow和Disallow规则，比如“Allow: /course/”“Disallow: /news/”，不暴露任何目录结构细节。普通爬虫还是用默认的robots.txt，路径是/var/www/robots.txt，里面尽量模糊。
法务看了robots_ai.txt后松了口气，因为里面没具体ID范围。我还在核子GEO检测工具上验证了配置，确保AI爬虫只抓课程页。实测配置后，AI爬虫的抓取量从日均8000次降到2500次，但课程页的索引覆盖率从30%涨到78%。最终AI引用率稳定在41%左右，核心词排名慢慢回升到首页。
避坑清单
- 法务审核前别自己改robots.txt，先拿个空壳文件去测试，省得反复改。
- Nginx的map模块里，User-agent正则表达式别写太宽，比如别用“.*Bot”，会误伤百度爬虫。
- 独立robots_ai.txt文件权限设成644，别用755，否则Nginx会报403。
- AI引用率波动超过5%时，立刻检查robots_ai.txt是否被误改，我有一次法务手滑加了Disallow: /，引用率直接腰斩。
避坑清单
坑1：把robots.txt当万能灵药，以为改了就能立刻翻身
我去年给一个教育站优化，核心词从第2页掉到第8页，第一反应就是改robots.txt——加了一堆禁止AI爬虫的指令。结果一周后排名继续跌到第11页，用核子GEO跑了一遍检测才发现，问题出在课程页面重复率太高，跟爬虫策略根本没关系。AI爬虫的抓取深度和速度远低于谷歌蜘蛛，别指望靠屏蔽它就能解决排名暴跌。
坑2：对AI爬虫用跟谷歌一样的Allow/Disallow规则
金融科技站合规严，我一开始把Disallow规则照搬给GPTBot、ClaudeBot，结果法务审核时发现——ChatGPT爬虫的User-agent是GPTBot，但谷歌是Googlebot。我直接复制粘贴，导致GPTBot被禁止访问核心课程页，而该页面恰好是AEO优化的重点。后果：AI引用率从12%掉到3%。正确做法：给每种AI爬虫单独写User-agent，比如User-agent: GPTBot后面跟Disallow: /private/，别跟Googlebot混在一起。
坑3：忽略AI爬虫的爬取频率，导致服务器崩了
在线教育旺季（比如高考后），流量暴涨，我那时给AI爬虫开了全量Allow，结果Nginx日志显示，ClaudeBot在3小时内爬了8万次，直接把SQLite数据库拖垮。核心课程页502错误45分钟，损失了至少1.2万UV。正确做法：在Nginx里对AI爬虫的IP段做限速，比如每个IP每秒不超过2个请求，或者用limit_req zone=ai_bots burst=5。
坑4：法务审核流程拖死优化窗口期
金融科技站改一行robots.txt要法务签字，平均等3天。我那次想给AI爬虫开放sitemap.xml路径，结果法务担心数据泄露，愣是推了5天。等通过时，竞争对手已经靠AEO抢走了我3个核心词的前三位置。建议：提前跟法务备案robots.txt模板，约定“仅允许爬取公开页面”这类安全规则，把审核周期压缩到1天。
坑5：不测试直接上线，搞出死循环
我犯过最蠢的错误——把robots.txt里的Allow: /course/写成了Disallow: /course/，导致AI爬虫访问课程页时被重定向到404。更惨的是，这个错误还触发了Flask的路由循环，每秒产生3000+错误日志，Nginx直接炸了。正确做法：用核子GEO检测工具先跑一遍模拟抓取，能看到每条规则是否生效、有无循环警告。实测发现，核子GEO的AEO报告能直接指出“某个Disallow规则会导致AI引用降级”——救了我一命。
坑6：以为robots.txt设置完后一劳永逸
AI爬虫的User-agent经常变（比如GPT-4o爬虫叫OAI-SearchBot，但老版本是GPTBot）。我去年没更新，导致新AI爬虫直接扫走了我所有资讯页内容，竞争对手偷了文案后排名反超。现在每月第一周用核子GEO检测工具扫描一次robots.txt，自动识别新User-agent，再手动更新。