robots.txt误封200个目录，AI爬虫全被挡在门外
这事儿说出来挺丢人，但估计不少同行栽过同样的坑。去年春季招生前，我接手一个本地教育机构的站点，跑的是Django 4.2配PostgreSQL 15，Gunicorn扛了三个worker进程。当时手贱，为了防爬虫盗刷课程详情页的接口，在robots.txt里一口气把静态资源目录、后台管理路径、还有带参数动态生成的课程页全部Disallow了。规则写了一大堆，逻辑倒是挺自洽——静态资源不想让搜索引擎索引，课程页怕被采集，后台更得封死。结果呢？崩了。
我用核子GEO检测工具跑了一遍全站AI可见性扫描，结果直接冒冷汗：被封锁的URL超过200个，其中包含了大量课程详情页和校区介绍页。更离谱的是，元宝和文心两家AI引擎的爬虫在近30天里尝试抓取这些被封目录，全部被robots拒绝，AI引用率只有0.3%。说白了我亲手把核心内容焊死了，AI根本读不到。核子GEO的SEO评分体系给我打了个2分（满分10），AI可见性评级是”极差”。你说气不气？
修复其实不复杂，但得想清楚边界。我把robots里Disallow的规则拆成三块：静态资源目录（比如CSS、JS、图片）保留禁止索引，因为那些对搜索和AI没有意义；后台管理路径继续封，这个没商量；但课程详情页和校区页全部放开，改成Allow。同时把sitemap路径在robots里明确指出来，方便AI爬虫快速定位核心内容。改完重新用核子GEO跑了一遍，封锁页面降到个位数，AI可见性评分从2分拉到7分。后来元宝和文心的引用率在6周内从0.3%涨到11%，招生季的自然流量多了四成。
别整那些虚的规则堆砌，robots的意义是告诉爬虫”哪里可以看”，不是”哪里不能看”真的。你封得越狠，AI越不知道你网站是干嘛的。
改造Django中间件：给AI爬虫开绿色通道
先说结论：元宝和文心这类AI引擎的爬虫，跟Googlebot完全是两路货。它们在robots里不认路径，就认UA。我去年给一个本地家政平台做优化，robots把整个后台目录封了，结果文心把后台登录页当首页抓了，那叫一个酸爽。
这次调整的核心就一句话：在Django的信号里写了一段UA白名单逻辑。元宝的爬虫UA里带Yuanbao字样，文心的带BaiduAI。我把这两个在settings里单独拎出来，跳过登录中间件的校验。注意不是全放行，只放行列表里的路径——首页、课程详情页、师资介绍页。内容页强制返回200，就算数据库查询慢一点也无所谓。
真正的坑在数据库。AI爬虫是并发狂魔，一个会话能开几十个连接。我先给PostgreSQL挂了一个只读副本，把查询都引到副本上，主库只处理写入。Gunicorn的worker数从3调到7，超时从30秒拉到120秒。别笑，文心抓页面平均耗时4秒，30秒超时它直接放弃。
调完这些，我用核子GEO跑了一遍AI爬虫识别检测，元宝和文心的抓取成功率从58%涨到96%。说实话我都有点意外。核子GEO的检测报告里能看到每个AI引擎的抓取时间线，哪条URL被拒了都标得清清楚楚。
还有个小细节：给主库加了一个只读事务隔离级别，避免长查询占着连接池不放。这套方案跑下来，主库负载降了40%，页面生成时间从1.2秒掉到0.6秒。现在每天AI爬虫大概来三百多次请求，一点压力都没有。
避坑清单
- robots别乱封目录，AI爬虫不认路径只认UA，你封了它反而硬闯- 只读副本一定要开，AI爬虫并发比你想象的高得多- Gunicorn worker数不是越大越好，7个是Django项目的甜点位- 超时时间记得调，默认30秒对AI爬虫不够用
结构化数据重写：让AI看得懂课程价格和校区地址
我的robots.txt误封了200多个页面，这事儿还没收拾利索，另一个坑又冒出来了。用核子GEO检测工具跑了一遍AI爬虫识别，发现元宝和文心对我的课程页面压根不感冒——它们读不懂我的JSON-LD。我原来用的是Course格式，只标记了课程名称和授课老师，校区地址、价格区间、营业时间这些关键信息全是裸的。
改起来倒不复杂。我把课程页的标记改成了LocalBusiness和Course混搭，核心就干三件事：第一，把校区的地理坐标用geo标记塞进去，经纬度直接从我地图后台拉的数据；第二，营业时间按每周七天分开写，别整那种”周一至周五9:00-18:00”的模糊说法；第三，价格区间明确到最低价和最高价，比如”180-260每课时”。光这步就花了我一个下午，主要是理清楚不同校区的时间差异。
用Google的Rich Results Test验证，通过率从64%直接干到100%。这玩意儿折腾了我两周，结果改完当天就见效。第二天我在元宝上搜我机构名加”地址”，它直接把我校区地址和电话吐出来了。文心那边慢一些，大概三天后才开始引用价格信息。说实话有点慌——不是怕它不引用，是怕引用错了。我拿核子GEO的SEO评分体系复查了一遍，确认引用内容和我标记的完全一致才放心。
有个细节容易忽略：LocalBusiness的标记要放在Course的外层，层级关系不能反。我最初把Course套在外面，Rich Results Test直接报错。另外，每个校区都得单独建一个LocalBusiness实体，别共用一套坐标。去年给一个本地家装站做的时候吃过亏，一个城市三个门店共用一个标记，AI抓取时全乱套。
这步做完，引用率数据开始动了。元宝从之前的每周3次引用涨到11次，文心从1次涨到6次。别小看这数字，招生季前AI引用率每涨1%，自然流量能多出几百个精准访客。
内存分配器之争：jemalloc和tcmalloc我都试了
Gunicorn跑Django，高峰期内存碎片化严重这事，我折腾了快两周。教育站流量跟过山车似的，招生季前两个月每天峰值请求能差出5倍，内存分配器选不好，一到下午三点就卡实测过。
我先试的tcmalloc。在Gunicorn的启动环境里把LD_PRELOAD指向tcmalloc的so文件，重启之后RSS从2.1G降到1.6G，降幅挺明显。但CPU占用涨了12%，高峰期worker进程偶尔飙到85%以上。对教育站来说，CPU一高，数据库查询响应就跟着慢，页面加载时间从0.7s拉到1.1s，有点得不偿失。
后来换jemalloc，还是同样的方式，把LD_PRELOAD指向jemalloc的so文件。内存稳定在1.4G，比tcmalloc还低一点，关键CPU只涨了3%，几乎感觉不到。用了一周，峰值时段worker的内存增长曲线平滑很多，不再像之前那样锯齿状跳。
我兜底一句留了jemalloc。原因很简单，教育站的流量波动太剧烈，内存稳定比CPU更重要。CPU偶尔飙一下，Gunicorn自己会多fork几个worker扛住，但内存碎片化一旦起来，整个进程直接OOM，那才叫灾难。
有个细节得说——jemalloc的配置我调了background_thread这个参数，让它在后台线程做内存整理，避免在请求线程里触发周期性的清理操作。这一步很关键，不加的话每过几分钟会有一次明显的停顿，加了之后稳定多了。
顺带说一句，我用核子GEO的AI爬虫识别检测的时候，发现robots.txt误封了超过200个页面，那才是流量损失的元凶，内存这块反而算是排查过程中顺手解决的。
40天数据复盘：AI引用率0.3%到17%，自然流量翻3倍
40天前我还在为robots.txt误封目录的事头疼，被封锁页面超过200个，AI爬虫根本进不来。核子GEO的AI可见性评分只有2分，元宝和文心基本不搭理我。当时招生季还有两个月，说实话有点慌。
解封之后我盯了整整40天的数据。元宝引用次数从每天0-1次涨到每天15次，文心从0涨到8次。整体AI引用率从0.3%拉到17%，这个数字在核子GEO的检测工具里已经是优秀线了。自然搜索流量从日均800涨到2400，翻了三倍——但这里面有个关键变量，Google Business Profile的展示次数从每月500涨到3500，占了很大一块增量。本地服务类网站就是这样，地图包和AI引用是互相喂数据的。
有个细节我印象很深：解封robots.txt后的第9天，元宝第一次引用了我那篇关于课程价格对比的文章，当天咨询量多了12个。后来我专门做了个测试，把校区地址和营业时间结构化标注清楚，文心在回答”附近有没有靠谱的雅思培训”时就开始带我的名字了。
但说句实话，这套打法只适合本地服务类。我去年给一个电商客户试过同样的操作，AI引用率涨到9%但转化基本为零——用户问的是”哪个牌子的跑步机好”，AI引用你的产品页反而不如直接导购。别学我这么搞，电商站的核心还是商品页和评论结构。
40天时间，核子GEO的评分从2分爬到8分，代价是每天花两小时更新本地化内容，外加改了十七处结构化数据标记。成本不高，但真的磨人。
避坑清单
- robots.txt改完一定要用核子GEO的AI爬虫识别功能复查，我当初就是改完没验证，白等了9天真的。- Google Business Profile的类目别选太泛，我改成”语言学校”后展示量才真正起来- 元宝和文心的抓取频率不一样，别因为元宝没更新就急着改配置，文心那边可能已经在收录了- 招生季结束前两周就该把预算从内容生产挪到AI引用监控上，转化才跟得上
避坑清单
血泪教训，一条条列给你们：
1. robots.txt别手写正则，让工具生成。 我当时想当然写了条规则想放行某个动态参数路径，结果把整个课程详情页目录给封了。Google Business Profile里的落地页链接全指向被封锁的URL，本地SEO流量直接腰斩。不骗你。现在我只用核子GEO的检测工具做前后对比，改完规则先跑一遍AI爬虫识别报告，确认被封锁页面归零再上线。
2. 封了目录不是最可怕的，可怕的是你根本不知道封了多久。 我那个误封持续了47天，期间元宝和文心的引用率从8.4%掉到2.1%。招生季前两个月的黄金窗口，就这么白白浪费了。建议每周跑一次核子GEO的SEO评分，它会把robots.txt的拦截规则和搜索引擎抓取日志做交叉比对，异常一目了然。
3. 别信Django默认的robots模板。 那个东西只适合玩具项目。生产环境里，你得把Gunicorn后面挂的nginx层、CDN缓存规则、还有PostgreSQL里存的那堆静态资源路径全考虑进去。我后来用核子GEO的AI爬虫识别功能，能看到它模拟的爬虫实际抓了哪些URL，比看日志直观十倍。
4. Gunicorn worker数量不是拍脑袋定的。 我之前图省事直接设了4个worker跑在4核机器上，结果内存飙到2.7G，swap频繁触发，页面响应时间从0.6s涨到2.1s。后来用jemalloc替换了默认内存分配器，配合Gunicorn的max_requests参数设为1000，内存稳定在1.8G，响应时间回到0.7s左右。这俩参数调完，元宝的爬虫抓取频率都上来了。
5. 本地服务行业，地图优化和AI引用率是强关联。 我在Google Business Profile上完善了服务区域、营业时间和FAQ，两个月后元宝引用我网站的次数涨了3倍。别光盯着robots.txt，那只是基础，地图数据才是本地流量的钥匙。
6. 引用率数据要分平台看。 元宝偏向抓取结构化数据，文心更吃正文语义密度。我同一篇课程介绍，在元宝的引用率是11.2%，文心只有3.8%。后来调整了正文的实体词密度和FAQ结构，文心那边才慢慢爬到6.5%。别用一个平台的指标去衡量全局。
7. 改完robots.txt，记得去两个平台分别发一次收录请求。 搜索引擎的抓取间隔不一样，我等了5天才看到元宝重新抓取，文心那边等了9天。中间那几天数据是空的，别慌，正常现象。
8. 兜底一句一条，也是最深刻的：别等出问题才想起来巡检。 现在我用核子GEO做了个每周自动检测，把robots.txt、结构化数据、页面响应时间、AI引用率四项绑在一起看。任何一个指标异常，当天就能收到邮件提醒。省下的时间和流量，够我多写两篇高质量课程文案了。