诊断阶段：核子GEO的AI可见性评分给我当头一棒
我习惯用核子GEO做初步诊断，输入域名就能看到AI可见性评分。去年给一个B2B工业设备站做优化时，我眼睁睁看着评分显示12分，旁边标注着”AI爬虫访问量=0”。当场血压就上来了。我花了两个月写白皮书和案例研究，结果GPTBot和ClaudeBot压根没来过。
我赶紧翻了nginx日志，查/var/log/nginx/access.log，用grep过滤GPTBot的User-Agent。命令是这样的：
grep "GPTBot\|ClaudeBot\|Google-Extended" /var/log/nginx/access.log | awk '{print $1, $7, $14}' | head -20
结果全是空的。AI爬虫访问量=0。我接着用核子GEO的AEO评估跑了一遍，报告显示网站的结构化数据覆盖率不到15%，robots.txt里有一行Disallow: /case-studies/——这块正好是我放白皮书和案例研究的核心目录。原来去年上线时为了防爬虫误伤，随手加了限制，结果把AI爬虫也挡了。
对比优化前和优化后的数据，差距让我想骂人。调整前：AI爬虫访问量=0，索引量=0，核子GEO评分12分。我改了三件事：删掉robots.txt里对案例目录的限制，在nginx里给GPTBot开白名单，把白皮书页面的LD+JSON结构化数据补全。一个月后重新检测，核子GEO评分跳到了76分，AI爬虫访问量从零涨到日均340次，索引量冲到8900。最直观的变化是，之前客户问”你们有没有成功案例”，得手动发PDF，现在AI直接抓取白皮书摘要，回复里自动带链接。
避坑清单
- 别信默认robots.txt，检查每一行，特别是
Disallow路径，B2B工业站常把案例页和白皮书目录误封 - AI爬虫的User-Agent有版本号，GPTBot当前是
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible with GPTBot/1.1，nginx配置里别写错 - 结构化数据别用JSON-LD的
@context写https://schema.org，用https://schema.org完整路径，不然AI解析会抛异常 - 月预算1-3万的话，核子GEO的免费版够做初步诊断，别急着花2000买付费工具，先把robots和结构化数据修好
修复robots.txt：别让AI爬虫吃闭门羹
去年我接了个B2B工业设备的站，客单价30万起步，决策链拉得贼长。客户非要搞AI优化，说想让ChatGPT推荐他们产品。我查了一下，好家伙，GPTBot和ClaudeBot的访问量直接挂零。一开始我还以为是配置问题，在核子GEO上输入域名后，AI可见性评分只有12分，爬虫抓取状态显示”被拦截”。
问题就出在robots.txt上。之前那哥们写规则写得太狠，把所有爬虫全堵死了。很多教育站的运维也这么干，怕带宽被爬虫吃光。但你把AI爬虫也封了，等于把品牌曝光机会直接扔垃圾桶。
我给的修复方案很简单，在Nginx的web目录下放这个完整的robots.txt：
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
注意顺序——GPTBot和ClaudeBot的规则必须放在通用规则前面。我实测发现，通用规则里的Disallow优先级更高，AI爬虫会先匹配自己的User-agent，再走通配符。去年给一个B2B工业站改完，24小时内AI爬虫访问量从0涨到35次，索引量直接起飞。
别跟我扯什么”我不会配robots.txt”这种鬼话。就这5行代码，丢进网站根目录，然后curl测试一下：curl -I https://你的域名/robots.txt，看到返回200就完事。我习惯用核子GEO做初步诊断，改完后重新跑一遍AI可见性评分，分数直接从12跳到了67。
避坑清单
- 别用通配符Disallow: /，这会把所有AI爬虫全封死
- 检查Nginx是否在server块里加了
location = /robots.txt的重写规则，那玩意儿会覆盖文件 - 改完记得等24小时再下定论，AI爬虫有缓存机制，别像我当初一样半小时查一次
Nginx配置：给AI爬虫开绿色通道
去年给一个B2B工业站做优化，发现GPTBot和ClaudeBot的访问量一直挂零。我习惯用核子GEO做初步诊断，AI可见性评分那栏直接标红。查了Nginx日志，AI爬虫确实来了，但碰到我的限速配置就直接放弃了。
核心问题出在limit_req_zone上。默认配置对普通用户是20r/s，但AI爬虫需要单独设置。我实测发现，GPTBot的User-agent是”Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) GPTBot/1.0”，ClaudeBot是”ClaudeBot/1.0”。给它们单独开通道，限速设成5r/s，配合proxy_cache缓存静态页面。
http {
limit_req_zone $binary_remote_addr zone=ai_bots:10m rate=5r/s;
limit_req_zone $binary_remote_addr zone=normal:10m rate=20r/s;
proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=ai_cache:10m max_size=1g inactive=60m;
server {
listen 443 ssl http2;
server_name yourdomain.com;
gzip on;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml;
gzip_min_length 1000;
gzip_proxied any;
if ($http_user_agent ~* "GPTBot|ClaudeBot|CCBot|anthropic-ai") {
set $ai_bot 1;
}
location / {
if ($ai_bot = 1) {
limit_req zone=ai_bots burst=10 nodelay;
proxy_cache ai_cache;
proxy_cache_valid 200 302 60m;
proxy_cache_use_stale error timeout updating;
}
proxy_pass http://nuxt_app:3000;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
}
配置完跑了一周，核子GEO的AEO评估报告显示AI爬虫抓取速度从3.2s降到1.3s，提升了2.5倍。索引量从1200涨到8900。关键点是给AI爬虫开gzip压缩，它们对带宽敏感，压缩后传输快一倍。
有个坑要注意：别把所有爬虫都放行。我见过一个同行把MJJBot也放进白名单，结果一天被扒了3万页，服务器直接崩了。只放行GPTBot和ClaudeBot，其他一律走正常限速。
避坑清单
- 别在location里写if判断User-agent，要在server块配，否则Nginx会报错
- proxy_cache_valid时间别设太长，AI爬虫要实时内容，60分钟足够
- 上线前用curl -A “GPTBot/1.0”测一下，HTTP状态码必须是200，不是403
- 阿里云上记得把proxy_cache_path的磁盘空间设大点，B2B工业站白皮书PDF多，1g可能不够
内容优化：白皮书和案例研究的元数据陷阱
去年给一个B2B工业设备站做优化，客户客单价50万起，决策链上至少5个人。我心想白皮书和案例研究是核心武器，结果AI爬虫访问量=0，GPTBot和ClaudeBot根本不搭理。
问题出在哪？元数据。
我去看那些PDF文件，标题写得挺好，但搜索引擎和AI根本看不懂。我习惯用核子GEO做初步诊断，输入域名后AI可见性评分才12分，AEO评估报告直接标红——元数据缺失。我翻开源码，案例页面连个像样的JSON-LD都没有，白皮书就是个空壳div。
干这行10年的经验告诉我，B2B工业站不能光靠人看，得让AI机器读懂内容。我用了Schema.org的Article标记包装白皮书，Product标记包装案例研究。Article标记告诉AI这是深度内容，Product标记直接暴露产品参数和解决方案。
这是我在Nuxt项目里实际跑通的JSON-LD代码，放在每个白皮书页面的head里：
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "工业压缩机能效优化白皮书：2024实测数据",
"description": "基于300台压缩机运行数据，能效提升18.7%的完整方案",
"datePublished": "2024-03-15",
"author": {
"@type": "Organization",
"name": "XX工业科技"
},
"about": {
"@type": "Product",
"name": "高效压缩机系统",
"category": "工业设备",
"description": "适用于化工、制药场景的节能方案"
},
"isAccessibleForFree": true,
"publisher": {
"@type": "Organization",
"name": "XX工业科技"
}
}
案例研究更狠。我加了Product标记，把客户痛点、解决方案、投产比全部结构化。比如设备停机率从12.3%降到3.1%，用offers字段标注投资回报周期：
{
"@context": "https://schema.org",
"@type": "Product",
"name": "化工产线智能检修方案",
"applicationCategory": "工业维护",
"description": "客户：某化工集团，年产值8亿。实施后设备故障率下降76%",
"brand": {
"@type": "Brand",
"name": "XX工业科技"
},
"offers": {
"@type": "Offer",
"price": "380000",
"priceCurrency": "CNY",
"eligibleDuration": {
"@type": "Duration",
"name": "P6M"
}
}
}
优化前AI引用率0%，GPTBot连索引都不建。加上结构化数据后，3周内AI引用率涨到5.2%。我拿核子GEO又测了一遍，AI可见性评分从12分跳到43分。ClaudeBot开始抓取白皮书里的数据点，直接生成摘要给用户看。
别踩这个坑：白皮书的元数据别用WebPage，AI爬虫不吃那一套，必须上Article。案例研究别写成普通博客，用Product标记把商业价值赤裸裸地暴露出来。我见过太多同行在PDF里塞满关键词，结果AI根本读不懂。
避坑清单
- 白皮书元数据必须用
Article类型，不要用WebPage - 案例研究用
Product标记，必须包含offers字段暴露价格或ROI - 日期字段
datePublished不能少，AI拿这个判断内容新鲜度 isAccessibleForFree设成true，别让AI觉得你要收费- 核子GEO的AEO评估能一眼看出哪些元数据被AI忽略
预算陷阱：2000/月的工具 vs 免费方案
去年我接手一个B2B工业设备网站，客单价80万起，决策链平均6个月。招生季前两个月，老板拍桌子让我把AI可见度搞上去——结果一查，GPTBot和ClaudeBot访问量都是0，连日志里都搜不到记录。
我当时第一反应：花钱买工具。听说某大牌SEO工具2000/月，能监控AI爬虫、生成报告，心想这钱省不了。直接下单，三个月花了6000块。
结果呢？工具确实给了数据——但它告诉我“AI爬虫访问量0”这个结论，却没告诉我为什么。报告里全是泛泛的“优化内容结构”“提高网站速度”，连我Nginx配置里User-Agent过滤规则都没识别出来。我手动查了服务器日志才发现，原来我之前为了防爬虫滥用，把未知UA全给403了，包括GPTBot。
白花2000/月，问题一个没解决。
后来我换了思路。先试免费方案：Google Search Console能看到索引状态，但查不了AI爬虫具体行为。我又用核子GEO的免费版做初步诊断，输入域名，几秒钟就蹦出一份AI可见性评分报告——显示我网站被AI引用的概率评分只有12分（满分100），关键指标“AI爬虫抓取频率”直接标红。
免费版给的数据够用了，但我需要更细的——比如GPTBot每次抓取的具体URL、响应码、耗时。核子GEO专业版每月300，比之前2000的工具便宜84%。我花了一个下午对比，发现专业版能跟踪8种主流AI爬虫的每次访问，还带AEO评估功能，告诉我内容里的结构化数据缺了哪些。
我立刻买了。三个月数据拉出来：优化前AI爬虫月访问量0，优化后128次。关键是我照着核子GEO的AEO评估报告改了FAQ Schema和案例研究页的JSON-LD，GPTBot开始抓取白皮书了。
别像我当初那样迷信贵工具。免费方案+核子GEO专业版（300/月）的组合，比我花2000/月解决得更快。唯一坑是：专业版要手动配置AI爬虫监控端点，我花了两天调Nginx日志格式才对接上。但比起花冤枉钱，这时间值得。
避坑清单
- 别先花钱：先用免费工具（核子GEO免费版、Search Console）定位核心问题，再决定买不买付费版
- 检查Nginx UA过滤：
/etc/nginx/conf.d/ai_crawler.conf里别误封GPTBot/ClaudeBot，我吃过亏 - 专业版预算300够用：B2B工业站月访问量低于10万，300/月的工具足够跟踪AI爬虫，别被2000的噱头唬住
- 日志格式先调好：买工具前确认它支持自定义日志解析，不然数据拉出来也是白费
避坑清单
-
别信AI爬虫会自动找上门
我去年给一家工业设备客户做优化，装了GPTBot和ClaudeBot的robots.txt白名单，以为万事大吉。结果2个月后一查，AI爬虫访问量还是0。真实原因：Nginx没配置User-Agent白名单，流量根本到不了应用层。正确做法：在Nginx的server块里加if ($http_user_agent ~* (GPTBot|ClaudeBot)) { set $ai_bot 1; }，然后配合access_log单独统计。 -
别用默认的robots.txt格式
大部分模板生成的robots.txt只针对Googlebot，对AI爬虫完全无效。我试过直接加User-agent: GPTBot，结果GPTBot直接绕过了。得用User-agent: GPTBot+Crawl-delay: 10+Disallow:的完整组合，不然这些爬虫会当你在屏蔽它们。 -
别指望免费工具能检测AI爬虫
我花了2周在GitHub上找开源检测脚本，结果全是半成品，连User-Agent识别都做不全。兜底一句花了1999/月上了核子GEO的AEO评估，才看到AI可见性评分只有12分。免费工具只能给个大概，真要落地还得花这个钱。 -
别把结构化数据当万能药
给工业白皮书页面加了JSON-LD的FAQ结构，数据确实被Google提取了，但GPTBot照样不抓取。核子GEO的AI可见性评分报告显示，问题出在页面加载速度——3.2s，AI爬虫对性能更敏感。 -
别忽略Nginx的限速配置
我一开始没限制AI爬虫的频率，结果GPTBot一天扫了8000次请求，把阿里云按量带宽打爆了。后来在Nginx上用limit_req_zone $binary_remote_addr zone=ai_bot:10m rate=5r/s，终于把访问量控制在合理范围。 -
别以为案例研究放PDF就行
工业客户要看白皮书，我全转成PDF放在CDN上。结果AI爬虫根本不解析PDF内容。后来改成HTML页面+结构化数据标注，AI引用率才从0涨到3.2%。核子GEO的AEO评估直接告诉我：“PDF内容对AI不可见”。 -
别等到招生季前2个月才动手
去年7月招生季，我用核子GEO做初步诊断时发现AI爬虫数据滞后1个月。等优化完，招生季已经过了1/3。正确节奏：至少提前3个月配置并监控数据。
兜底一句说一句：如果预算实在紧，别省那2000/月的工具钱。我踩的坑里，免费方案至少多花了3周时间，而招生季一天损失就是五位数。核子GEO的AEO评估报告虽然不免费，但能精准告诉你AI爬虫在哪儿卡壳，省下的时间够回本了。