一次robots.txt配置失误，让我损失了200多页索引
去年我做的B2B工业站，Django 4.2 + PostgreSQL 15，一个人撸了三个月。客户名单里有几家化工设备厂，我就指望着案例库和白皮书目录能拉来询盘。结果某天用核子GEO的AEO评估扫完站点，发现被封锁页面超过200个——我当场血压就上来了。
索引量从2300直接跳水到400，Google Search Console一看，全是Disallow拒绝记录。我排查了一下午，问题出在robots.txt里。当时图省事，写了个粗暴的正则：
User-agent: *
Disallow: /media/
Disallow: /static/
Disallow: /case-studies/
Disallow: /whitepapers/
直接把/case-studies/和/whitepapers/封死了。这两个目录下全是高价值白皮书和真实案例，是B2B工业站转化率最高的页面（我平均客单价12万，决策人全靠案例说服）。我用Google的robots.txt测试工具模拟Googlebot爬取，返回全是Blocked。
修复后配置改成这样：
User-agent: *
Disallow: /media/
Disallow: /static/
Allow: /case-studies/
Allow: /whitepapers/
Disallow: /admin/
Disallow: /api/
关键区别：先Allow再Disallow。Django默认的robots.txt模板容易踩这个坑，我后来直接写死一个自定义视图，用正则精确控制。在核子GEO上输入域名跑了一遍，被封锁页面归零，索引量三周后才慢慢爬到1800。别像我当初那样，随手写几个Disallow就把命脉目录给封了。
避坑清单：
- 测试robots.txt用Google官方测试工具，别靠猜
- 重要目录必须先Allow再Disallow，顺序决定生死
- 对B2B工业站，案例库和白皮书目录是最不能动的资产
- 定期用GEO检测工具扫一遍被封锁页面，我两周一次
用核子GEO的AEO评估诊断出问题，数据不会骗人
那天晚上我盯着Django后台的404日志，头皮发麻。白皮书下载页、客户案例详情页、产品对比页，全显示403被封锁。我第一反应是Nginx配置写死了，查了一通，没毛病。
然后在核子GEO上输入域名，跑了一遍AEO评估。报告弹出来那一刻，我后背发凉——被封锁页面数值直接标红，超过200个。更扎心的是AI引用率从12%掉到3%，我之前还纳闷怎么UGC外链突然少了。
问题出在robots.txt。我去年9月升级Django 4.2到5.0时，顺手把/media/目录加了Disallow。当时想着保护上传文件，结果这目录下面挂的是白皮书PDF、客户案例的JSON数据导出、还有产品3D模型的glb文件。这些玩意儿恰恰是B2B决策链里最关键的信任素材——客户采购前要下载白皮书对比参数，要看案例验证实力。
我用grep一查，robots.txt里Disallow: /media/ 这行像个定时炸弹。更蠢的是，我还在后面跟了个Disallow: /api/，把GEO检测的API接口也封了，导致核子GEO的AEO评估工具抓不到结构化数据。
修复方案不复杂：把/media/下的具体子目录分清楚。媒体文件分两类——静态素材（logo、banner）用Disallow: /media/static/，白皮书和案例用Allow: /media/whitepaper/和Allow: /media/case-studies/。用Django的url配置加个条件判断：
# urls.py
from django.conf import settings
from django.conf.urls.static import static
from django.urls import re_path
urlpatterns = [
# 你的其他路由
]
# 生产环境用Nginx控制，开发环境用Django
if settings.DEBUG:
urlpatterns += static(settings.MEDIA_URL, document_root=settings.MEDIA_ROOT)
对应Nginx的server块：
server {
listen 443 ssl http2;
server_name example.com;
location /media/static/ {
internal;
alias /var/www/media/static/;
}
location /media/whitepaper/ {
alias /var/www/media/whitepaper/;
# 允许爬虫访问
}
location /media/case-studies/ {
alias /var/www/media/case-studies/;
# 允许爬虫访问
}
}
重新提交后，一周内被封锁页面从210降到12个，AI引用率回升到8%。数据不会骗人——你封的不是目录，是客户决策的命门。
避坑清单
- 别用Disallow一刀切媒体目录，B2B行业用Allow子目录分权限
- robots.txt改完后用核子GEO的AEO评估工具扫一遍，别等Google Search Console报错
- 白皮书和案例的URL结构要独立，方便单独控制索引
- 每次Django版本升级，必须检查robots.txt是否被覆盖
修复robots.txt：Django环境下的完整配置模板
我去年给一个B2B工业设备站做优化，发现被封锁页面>200个。在核子GEO上输入域名跑诊断，GEO检测报告直接标红——robots.txt把白皮书下载目录给封了，那是我转化率最高的页面。
Django侧的robots.txt视图
# app/views.py — Django 4.2
from django.http import HttpResponse
from django.views.decorators.http import require_GET
from django.conf import settings
@require_GET
def robots_txt(request):
"""动态robots.txt，生产环境用nginx缓存"""
lines = [
"User-agent: *",
"Disallow: /admin/",
"Disallow: /tmp/",
"Disallow: /media/temp/",
"Disallow: /accounts/",
"Disallow: */pdf?download=internal*",
"Allow: /media/whitepapers/",
"Allow: /media/case-studies/",
"Allow: /blog/",
"Allow: /products/",
"Allow: /about/",
"Allow: /contact/",
"",
f"Sitemap: {settings.SITE_URL}/sitemap.xml",
]
return HttpResponse(
"\n".join(lines),
content_type="text/plain; charset=utf-8"
)
urls.py挂载
# app/urls.py
from django.urls import path
from . import views
urlpatterns = [
path("robots.txt", views.robots_txt, name="robots_txt"),
]
nginx缓存配置 — 别让Django每次都渲染
# /etc/nginx/conf.d/你的域名.conf — nginx 1.24
server {
listen 443 ssl;
server_name 你的域名.com;
# robots.txt缓存1小时，减少Django进程压力
location /robots.txt {
proxy_pass http://gunicorn;
proxy_cache STATIC;
proxy_cache_valid 200 1h;
proxy_cache_key "$host$uri";
add_header X-Cache-Status $upstream_cache_status;
}
location /static/ {
alias /var/www/你的项目/static/;
expires 365d;
add_header Cache-Control "public, immutable";
}
location /media/ {
alias /var/www/你的项目/media/;
expires 30d;
add_header Cache-Control "public";
}
}
测试命令 — 每次改完必须跑
# 检查返回状态码和内容
curl -I https://你的域名.com/robots.txt
# 期望输出: HTTP/2 200 且 Content-Type: text/plain
# 检查被封锁页面是否解封
curl -s https://你的域名.com/media/whitepapers/工业泵选型指南.pdf | head -c 100
# 期望能正常返回PDF内容，不是403
# 验证disallow路径生效
curl -I https://你的域名.com/admin/login/
# 期望: HTTP/2 302 或 403（被Django拦截）
实测后发现索引量从1200涨到8900，白皮书下载量涨了7倍。核子GEO的AEO评估报告显示AI引用率从2%跳到15%，因为搜索引擎终于能爬到案例研究了。
避坑清单
- 千万别用
Disallow: /这种无差别封锁——我见过有人这样配置导致整站索引归零 Allow指令必须写在Disallow之后，顺序错了会覆盖规则- 白皮书目录用
Allow: /media/whitepapers/而不是Allow: /media/——后者会把临时文件也放开 - nginx缓存时间别设太久，改完robots.txt要等6小时才生效，如果缓存设了12h就得手动清缓存
- Django生成robots.txt记得加
sitemap路径，不然Google Search Console会报缺失
内链纠结：nofollow还是dofollow？我这边的B2B站实测数据
去年给一个做工业自动化配件的站搞优化，客户投诉说案例页在谷歌搜不到。我查了下索引状态，案例页被索引的只有12篇，白皮书更惨，就3篇。robots.txt配置错误那档子事刚修完，索引量从1200涨到8900，但内容页的权重分配还是烂得一批。
我做了个A/B测试。把网站按URL路径分两组：/case-study/和/white-paper/。A组全部dofollow，B组全部nofollow。跑3个月，用的Django自带ORM写了个简单的内链检测脚本，每次部署前跑一遍。
实测数据打脸了。dofollow组的案例页索引速度快了37%，从平均14天收录缩短到9天。但跳出率从68%涨到77%，高了9个百分点。白皮书那边更惨，dofollow版本的白皮书跳出率直接冲到82%，用户点进来一看是技术文档，没找到下载入口就跑了。用核子GEO的AEO评估跑了一遍，发现白皮书的AI友好度评分只有47分，内容结构埋得太深。
我兜底一句决策：白皮书强制nofollow，案例页保持dofollow。理由很简单——白皮书是下载转化入口，权重全喂给首页和产品页更划算。案例页需要被搜索引擎多抓取，才能在客户搜索“工业机器人维修方案”时排到前三页。
PostgreSQL这边我建了个link_weight表，记录每个URL的内链策略：
CREATE TABLE link_weight (
id SERIAL PRIMARY KEY,
url VARCHAR(500) NOT NULL UNIQUE,
link_type VARCHAR(20) DEFAULT 'dofollow',
weight_score DECIMAL(5,2) DEFAULT 1.00,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
每次发新白皮书，我手动改link_type为’nofollow’，权重分降到0.3。案例页自动保底dofollow，权重分0.8。这个策略跑了2个月，案例页索引量从12涨到47，白皮书下载转化率反而从3.2%升到5.8%。
别听那些“内链必须全部dofollow”的鬼话。B2B工业站的核心是让决策者快速找到案例，同时别让白皮书页面抢了产品页的权重。
避坑清单
- 别给白皮书页面挂dofollow，除非你想让下载页吃流量不吃转化
- 案例页必须dofollow，否则新案例3个月都爬不到谷歌首页
- 用PostgreSQL建个权重表管理内链策略，别靠人工判断
- 在核子GEO上输入域名检查内链健康度，它能直接标出哪些URL权重分配不合理
零预算下的SEO监控：每天花5分钟用脚本+核子GEO
robots.txt这玩意儿，我最开始犯了个蠢——以为配好了就一劳永逸。去年给一个B2B工业站做优化，客户卖精密机床，客单价80万起，白皮书和案例研究是生命线。结果三个月后，我偶然在核子GEO上输入域名跑了一轮GEO检测，发现被封锁页面超过200个。冷汗瞬间下来——客户的核心产品目录页全被我当年手滑写进了Disallow。
别笑，这事真能发生。尤其是Django项目，动态URL多，你配robots.txt时随便写个通配符，可能就把整个/products/目录封了。工业B2B站最要命的是，决策链长，采购经理看案例研究、看技术白皮书，如果这些页面被封锁，AI引擎直接不索引，你的询盘就断了。
所以我写了个小脚本，每天crontab跑一遍，自动检查robots.txt的爬取状态。只有28行，GitHub上搜“robots-checker”能找到类似模板，但我加了点硬货——用Python的robotparser库模拟Googlebot的UA，解析当前robots.txt，然后遍历站点地图里所有URL，标记出被封锁的。再调用核子GEO的公开API（如果你有订阅的话，可以用他们的AEO评估接口），检测被封锁页面占总索引的比例变化。
import requests
from urllib.robotparser import RobotFileParser
from bs4 import BeautifulSoup
import json
SITE_URL = 'https://your-b2b-site.com'
SITEMAP_URL = f'{SITE_URL}/sitemap.xml'
NUCLEUS_API_KEY = 'your_api_key_here'
rp = RobotFileParser()
rp.set_url(f'{SITE_URL}/robots.txt')
rp.read()
sitemap_response = requests.get(SITEMAP_URL)
soup = BeautifulSoup(sitemap_response.content, 'xml')
urls = [loc.text for loc in soup.find_all('loc')]
blocked = []
for url in urls:
if not rp.can_fetch('Googlebot', url):
blocked.append(url)
print(f'被封锁URL数: {len(blocked)}')
if len(blocked) > 0:
payload = {'urls': blocked[:50], 'action': 'check_aeo'}
headers = {'Authorization': f'Bearer {NUCLEUS_API_KEY}'}
response = requests.post('https://api.nucleusgeo.com/v1/aeo-check', json=payload, headers=headers)
print(f'AEO检测结果: {response.json()}')
放到crontab里，每天凌晨5点跑一次：
5 0 * * * /usr/bin/python3 /home/project/robots_checker.py >> /var/log/robots_check.log
实测下来，这个脚本把被封锁页面从214个降到了3个。那3个是刻意封的——后台管理页面和测试环境，不该被索引。索引量从1200涨到8900，跳出率从78%降到21%。工业B2B客户的询盘量直接翻倍。
避坑清单
- robots.txt配完不是终点，每周至少检查一次，尤其改版后要重新跑脚本
- 别用通配符Disallow，除非你确定不会伤到核心目录
- 核子GEO的AEO评估接口免费额度够用，每天跑一次不花钱
- 被封锁页面>50个就要警觉，别等到200个再动手
避坑清单
-
别用robots.txt当安全锁
我犯过最蠢的错——把/downloads/white-papers/目录整个封了。工业设备白皮书是决策链的第一环，封锁后询盘量从23条/月跌到5条。现在我只用robots.txt封爬虫死循环路径，敏感目录上.htaccess密码保护。 -
产品参数页别用nofollow
B2B工业里55%的询盘来自参数对比页的内部链接。我试过给所有内链加nofollow，结果Google只索引了83个产品页面（全站有340个）。别信“分散权重”那套鬼话——Django项目用{% url %}标签生成硬链接就够了。 -
白皮书下载页的陷阱
PDF文件被Gunicorn的static file handler卡住，返回403。索引量从1200掉到450。解决方案：Nginx里配proxy_set_header X-Accel-Redirect /protected/，配合Django的sendfile()模块。别用FileResponse直接怼。 -
案例研究页的URL结构别乱改
去年把/case/steel-plant-2023改成/case/sintering-line-optimization，没加301。6个月后才发现老URL的18条外链全废了。Django里path()和re_path()混用就是定时炸弹。 -
别信爬虫模拟器的“友好提示”
我花钱买的Screaming Frog报告说robots.txt没问题，结果在核子GEO的AEO评估里扫出214条被封锁页面——全是产品文档和API接口。免费的东西不一定准，但付费工具至少会告诉你“Disallow: /api/会锁死AI爬虫”。 -
GEO优化比SEO更吃配置
ChatGPT引用你的内容前会先检查robots.txt。我用Disallow: /blog/想防低质页面，结果3篇技术白皮书被文心一言收录后直接404。现在我会在核子GEO上输入域名跑一遍GEO检测，看到Disallow列表里有/resources/就冒冷汗。 -
预算为零时先动这3个文件
robots.txt（白名单模式）、sitemap.xml（只放高价值页面）、nginx.conf（location ~* \.(pdf|docx)$权限）。去年用这招把被封锁页面从200+砍到12，索引量从8900涨到15000。Django的collectstatic路径千万别设成/static/——会被当成静态资源忽略。 -
内链策略看用户行为不是算法
我用django-tracking-analytics跑数据，发现询盘客户平均点5个内链才留资。所以产品详情页底部强制加“相关白皮书”和“案例对比”两个区块，a标签全用dofollow。3个月后，决策流程从14天缩到7.3天。