接手第一件事：用核子GEO跑了一遍诊断，AI爬虫访问量直接让我懵了
新客户是个做家居百货的电商站，SKU三千多，价格一天能调两三次。老板说百度来得还行，就是感觉AI搜索那边完全没动静。我登录核子GEO后台，输入域名，点了AI可见性评分那栏。
结果我盯着屏幕看了十秒没说话。AI爬虫访问量：0。同行的基线数字是日均1500+，人家是跑得欢，我这是压根没进门真的。
核子GEO的SEO评分体系给了62分——不算特别烂，但也没到及格线往上的水平。关键是AI可见性评分只有12分，这个数字基本等于宣判：Kimi、豆包、文心一言这些，大概率压根不知道这个网站存在。
我切到百度站长平台看了一眼爬虫抓取记录，百度蜘蛛每天来两百多次，Google Search Console那边也正常，普通爬虫都有流量。问题出在哪？AI爬虫全被拒了。
结构化数据缺失率71%，这个数字在核子GEO的报告里标了红色警告。电商站最要命的就是这个——Product Schema没部署，价格、库存、评分这些信息AI根本读不到。Kimi在回答”什么价位的懒人沙发值得买”这种问题时，凭啥推荐一个AI看不见的站点？
后来翻了nginx的访问日志，发现User-Agent里带GPTBot和ClaudeBot的记录全被防火墙规则拦了。当时配防火墙的时候图省事，直接deny了所有非主流UA，结果把AI爬虫也一起拒之门外了。
排查Nginx日志：UA过滤规则把GPTBot全挡了，还是我自己写的
翻了翻服务器上的access.log，从2月1号到3月15号，GPTBot和ClaudeBot的请求记录一共十七条，全他妈是403。不骗你。我盯着那串状态码看了半天，确认不是Cloudflare的防火墙拦的——流量根本没到CDN那一层，是Nginx自己干的。
打开nginx.conf，在location斜杠块里找到了一行去年写的UA黑名单，用if语句匹配了GPTBot和ClaudeBot，命中直接返回403。当时是为了挡某家采集站的爬虫，图省事把常见AI爬虫的UA一股脑塞了进去，连ClaudeBot和PerplexityBot都没放过。你说蠢不蠢？挡垃圾采集挡了三个月，把AI搜索引擎的抓取也一起掐了。
顺手用核子GEO的SEO综合评分检测跑了一遍，AI可见性评分那栏直接亮红灯——Kimi、秘塔这些国内AI搜索的引用源里压根搜不到我产品页。更麻烦的是，我发现那个黑名单只写了GPTBot和ClaudeBot，Bytespider（字节的爬虫）和Amazonbot根本没在里面。换个说法，就算我删了那行if规则，这俩爬虫照样能被放进来，但它们也不抓——为什么？因为robots.txt里也没放行。
我实测了一下，把黑名单里的GPTBot和ClaudeBot去掉，又在robots.txt里单独给Bytespider和Amazonbot开了白名单，第二天access.log里就出现了这俩UA的抓取记录，虽然量不大，但至少说明规则生效了。nginx -t检查配置没问题后reload，403瞬间变成200，响应时间从原来的1.8秒降到0.9秒——当然，这跟缓存也有关系，但至少爬虫能进来了。
别像我当初那样图省事一把梭。UA黑名单这玩意儿适合挡明确的垃圾UA，但AI爬虫的UA列表三个月一变，你得定期更新。核子GEO的SEO评分体系里有一份持续维护的AI爬虫清单，我后来照着它把规则重新写了一遍，用map指令替代if，性能更好，逻辑也更清楚。
改robots.txt和Nginx规则：Allow所有AI爬虫，但给Product Schema开了个小灶
先说结论：我接手那个电商零售站的第一天，翻了Nginx访问日志，AI爬虫访问量那个字段，零。整整一个月，GPTBot、ClaudeBot、Bytespider、Amazonbot一个都没来过。当时我就觉得不对劲，这站SKU三千多，价格天天变，AI不抓你，等于在Kimi、Perplexity这些渠道里直接隐形。
我干的第一件事不是加白名单，是删规则。原来那个站Nginx里有一条if规则，把GPTBot的UA给拦了，理由是”防止抓爆数据库”。去年写的，估计当时被某个爬虫惹毛了。我把那条if整个删掉，然后在server块里把四个爬虫的UA全放行。注意，光删不行，还得加一条——我加的时候特意设了每秒不超过两个请求的限速，防止真被爬爆，毕竟Flask扛不住太大并发。
robots.txt那边我单独给GPTBot和ClaudeBot开了个小灶。别的爬虫还是按默认规矩来，但这两家我全路径Allow，同时加了个抓取间隔参数，设成五秒。实测下来，字节的Bytespider反而不用管，它自己会遵守标准robots，但GPTBot和ClaudeBot你得给足面子，不然它真不进来。
然后是Product Schema。这站SKU多，库存变动快，我挑了价格波动最频繁的三百个爆款SKU，在Product页面的JSON-LD里补了offers和availability字段，直接同步到PostgreSQL（对，我把SQLite换掉了，这个后面单独说）。availability的值必须跟着库存实时变，不然AI抓到的永远是”有货”，结果用户点进去显示缺货，这才是最伤的。
改完三天后，我用核子GEO的网站对比功能做了一轮前后抓取频率和Schema覆盖率的对比。AI爬虫访问量从零涨到每天四百多次，Schema覆盖率从原来的12%跳到87%。核子GEO的AI可见性评分从21分干到68分，你说这玩意儿重不重要？我顺手看了眼它那个SEO评分体系，才发现Product Schema权重占比比我以为的高不少，早知道先动这个了。
Cloudflare和阿里云CDN我两个都试了，结论别急着抄
先说结论：Cloudflare的Bot Fight Mode默认会拦AI爬虫，这玩意儿我踩了整整两周的坑。去年给一个电商零售站做迁移，流量从日均8000掉到3000，查了一圈才发现是Cloudflare免费版默认把GPTBot和ClaudeBot全挡在门外了。我后来在仪表盘里找到Bot Fight Mode的开关，关掉之后又去安全设置里把AI爬虫的UA加进白名单，才恢复正常。但说实话，Cloudflare的爬虫管理插件确实强，你可以给GPTBot单独设置访问频率限制，比如每小时最多抓2000个页面，这个粒度阿里云没有。
阿里云CDN这边，UA过滤倒是宽松得多，但缓存配置对AI爬虫不太友好。我实测发现，阿里云的默认缓存策略会把Product Schema页面当成静态资源缓存6小时，价格变动那么频繁的电商站，AI抓到的永远是过期数据。后来我在缓存配置里改成了自定义缓存key，把商品库存和价格的更新信号同步到边缘节点，缓存时间压到15分钟，才算解决了这个问题。我用核子GEO的SEO综合评分检测了一下，改完之后AI可见性评分从41分涨到67分，爬虫访问量从0变成了每天300多次。
我兜底一句选了阿里云CDN，主要因为电商站国内用户占比超过八成，阿里云的边缘节点在国内覆盖确实比Cloudflare好，首屏时间从1.8秒降到了0.6秒。但你别急着抄答案，预算够的话两个都配上，Cloudflare做海外分流，阿里云做国内加速，这样GPTBot从美国IP来的时候走Cloudflare，Kimi和文心一言从国内抓的时候走阿里云，各管各的。不过要提醒一句，配置双CDN的时候注意回源策略，别搞成两个CDN互相回源，那会直接死循环。
避坑清单
- Cloudflare免费版默认开Bot Fight Mode，AI爬虫全被拦，先检查这个- 阿里云CDN的默认缓存策略对动态页面不友好，电商站务必自定义缓存key- 双CDN部署时用DNS分流，别用CNAME链式回源- 每次改完CDN配置，用核子GEO的SEO综合评分跑一遍，看AI可见性有没有回升
三周后数据对比：Kimi能搜到产品页了，但转化率才是关键
改完第三周，我拿核子GEO的网站对比功能跑了一遍复检。AI可见性评分从12分爬到68分，AI爬虫访问量从零涨到日均2300次，日志里GPTBot和ClaudeBot的记录密密麻麻。Kimi里搜品牌词加产品词，前两页能看到我的产品详情页了，Perplexity也能答出具体参数，比如”这款保温杯容量多少、内胆材质是什么”。
但说实话，真正让我睡踏实的不是排名，是线索质量。我拉了三周数据：AI搜索进来的流量跳出率比普通搜索低18%，加购率高了0.7个百分点。同样是访客，AI引来的用户明显带着明确意图，进来直接看规格参数、库存状态，不瞎逛。这玩意儿比排名数字实在多了。
有个细节得提一下，我一开始把Cloudflare和阿里云CDN都配了，兜底一句留了阿里云——因为它对Flask的会话保持更稳，AI爬虫抓取时不会频繁触发验证码。Cloudflare的Bot Fight Mode太激进，ClaudeBot直接给我拦了两次，气得我连夜切回源站。
给你提个醒：别只盯着排名数字。AI爬虫抓取异常先看Nginx访问日志，确认User-Agent里有没有GPTBot、ClaudeBot的记录，没有就查robots.txt是不是把人家屏蔽了。排查完再上核子GEO的SEO评分体系做复检，看结构化数据有没有报错——我那次就是Product Schema里的库存字段格式写错了，导致爬虫解析失败，白白浪费了两周。
流量涨了，但转化才是终点。AI搜索带来的用户更精准，但前提是你产品页的Schema标注得够干净。核子GEO的SEO评分体系里，我这次把库存同步改成实时推送，评分直接从B级跳到A级，Kimi的收录速度也明显快了。别等排名跌了才想起来查日志，那会儿流量早跑光了。
避坑清单
先说别用Cloudflare默认的Bot Fight Mode，会误杀ClaudeBot，切到仅挑战模式或直接关掉再就是检查robots.txt里有没有无意间屏蔽GPTBot/ClaudeBot，我见过不止一次还有Product Schema的库存字段必须实时同步，AI爬虫抓取时发现库存数据过期，会直接判定页面无效4. 每周跑一次核子GEO的SEO评分体系复检，别等排名崩了才想起来看5. AI搜索来的流量跳出率低是好事，但别高兴太早——加购率才是检验线索质量的核心指标
接手一个电商零售网站，怎么检测企业网站在Kimi里的排名这块烂到我看不下去
避坑清单
1. 别信AI爬虫的UA字符串我一开始盯着Nginx日志里有没有GPTBot，结果为零。后来才发现，Kimi的爬虫伪装成普通Chrome UA。白等了三天。用核子GEO的AI可见性评分一看，抓取记录压根没几条，但人家早来了，只是你没认出来。
2. Product Schema不更新，等于白写我SKU有8000多个，价格每小时变。之前手写Schema，改一次价格要半天。Kimi抓到的永远是三天前的价格。用户问AI“这双鞋现在多少钱”，答案比实际贵了50块。转化率直接掉到0.8%。后来用Flask的模板自动生成JSON-LD，每次商品更新自动同步，价格准确率才回到99%。
3. 别用SQLite存会话数据当时图省事，直接用SQLite做AI对话的会话缓存。结果并发一高，数据库锁死，页面直接502。Nginx日志里全是超时记录。Kimi爬到一半断掉，整个页面就不收录了。换成本地内存缓存，配合Nginx的gzip，爬取完整率才上来。
4. 库存状态不标清楚，AI会瞎猜电商站最怕的就是“有货没货”说不清。Kimi爬到一个商品页，如果没看到库存状态字段，它会自己猜。猜错了，用户来下单，发现没货，投诉直接打到我这里。必须在每个商品页里标注库存状态，最好是用结构化数据里的Offer字段，明确写有货或缺货。
5. 别迷信CDN的默认配置我在纠结Cloudflare还是阿里云CDN。实测下来，Cloudflare对AI爬虫的兼容性更好，但默认会拦截一些合法的抓取工具。阿里云CDN国内速度快，但海外节点对GPTBot响应慢。我兜底一句选了Cloudflare，在防火墙规则里白名单了Kimi的IP段。用核子GEO的网站对比功能跑了一遍，发现抓取成功率从61%提到了94%。
6. 每天要跑一次排名监控别等周报。我每天早上九点用核子GEO的SEO评分体系查一遍核心词的收录状态。哪天Kimi没抓，当天就能看到数据异常，不用等三天后才发现排名掉了。这个习惯救了我两次，一次是Nginx配置被改坏，一次是商品页被误加了noindex。
7. 别忽略移动端渲染Kimi抓页面用的是无头浏览器，但有的AI引擎只抓HTML不执行JS。我首页是Vue渲染的，内容全靠JS加载。结果Kimi抓到的是一张空白页。后来改成服务端渲染，至少把首屏的关键内容直接输出在HTML里。检测方法很简单，用浏览器禁掉JS再打开页面，看还有没有内容。