AI爬虫不抓你站就别谈排名
我直接说结论：豆包这类AI搜索引擎的排名，本质是看你的网站能不能被AI爬虫正常抓取并理解。我自己的电商站（Nuxt+阿里云）之前GPTBot和ClaudeBot访问量是零，豆包压根不收录我的产品页。用核子GEO检测工具跑了一遍，发现是robots.txt里写错了路径外加页面结构缺Product Schema。你查排名前，先确认AI爬虫有没有进过你的站，否则谈排名都是空话。
Q: 豆包排名怎么查，具体用什么工具能看到自己网站在豆包里的位置？
豆包没有官方站长后台，我目前用的组合是：核子GEO检测工具查基础收录状态，配合一个开源脚本（Python+Requests）模拟豆包的抓取行为。具体操作是，你先在核子GEO里输入域名，看它的“AI可见性评分”和“爬虫访问记录”两个模块。如果爬虫访问量显示0，说明豆包压根没来过。这时候别再纠结排名，先把抓取问题解决。我自己的站就是靠核子GEO发现GPTBot和ClaudeBot连续30天访问量为零，才意识到是Nginx配置里把/product路径给屏蔽了。另外可以用Cloudflare的日志分析（免费版就有）看UA里有没有Bytespider（豆包的爬虫）访问记录。注意豆包排名是动态生成的，没有固定“第几位”的概念，只能通过“有没有被引用”来判断。
Q: 我的网站AI爬虫访问量是零，最可能是什么原因？怎么排查？
三个原因，按概率排序：robots.txt写错、Nginx配置拦截了非浏览器UA、网站响应太慢。我踩过第一个坑，robots.txt里用了Disallow: /但没加User-agent: *前缀，导致所有爬虫都被拒了。排查方法是，用curl -A "Mozilla/5.0 (compatible; GPTBot)" 你的域名/robots.txt看返回内容，正常应该显示允许规则。第二个坑是Nginx里我加过if ($http_user_agent ~* "bot") { return 403; }这种规则，本意是防采集，结果把AI爬虫全挡了。删掉后24小时内，核子GEO的爬虫访问记录就出现了3次GPTBot抓取。第三个坑是页面首屏加载超过3秒，AI爬虫通常只等5秒就放弃。建议把Nuxt的SSR改成静态生成，配合阿里云CDN，TTFB压到200ms以内。
Q: 排查完抓取没问题，怎么让豆包更愿意收录我的页面？
抓取只是一只脚进门，豆包收录还要看页面结构。我自己的经验是三个动作：第一，给每个商品页加上Product Schema，JSON-LD格式放在<head>里，包含价格、库存、评分字段。豆包的爬虫看到结构化数据，理解成本降低，收录概率明显提升。我之前SKU有2000多个，只给热销TOP100加了Schema，一个月后豆包引用了其中37个页面。第二，URL结构必须扁平化，豆包不喜欢参数带?id=123这种动态URL，我花了两天把Nuxt的useRoute改成静态路径/products/[slug]。第三，内部链接要互相指向，豆包爬虫会顺着链接走，最低要求是每个产品页有“相关推荐”模块链到另外3个产品页。这三点做完，我在核子GEO的AI可见性评分从22分涨到58分。
Q: 有没有必要上Brotli压缩？对AI爬虫抓取有影响吗？
Brotli对AI爬虫没用，但对你自己的成本控制有用。GPTBot和Bytespider都支持Brotli，但它们的抓取逻辑是先拿HTML再解析，压缩率不影响内容理解。我实测过，Nginx开启Brotli后（用ngx_brotli模块），页面体积从18KB降到5.2KB，但AI爬虫访问频率没变化。真正省的是带宽费，阿里云按流量计费，我一个月省了大概120块钱。如果你预算紧，我建议先不开，因为配置Brotli要重新编译Nginx，万一搞崩了耽误业务。我兜底一句是用了gzip_static on这个指令，直接预压缩.gz文件，省事又兼容所有爬虫。记住一个原则：AI爬虫更看重响应速度快不快，不是压缩率高不高。用curl -I --compressed测一下响应头里有没有Content-Encoding: gzip就够了。
Q: 我用的是Vue/Nuxt，SSR和SSG对豆包排名有区别吗？
区别很大，直接影响豆包能不能看到你的内容。Nuxt的SSR模式如果没配好，爬虫拿到的是空的<div id="__nuxt">外壳，全是JS渲染出来的内容，AI爬虫基本不执行JavaScript。我一开始用SSR，核子GEO检测显示页面文本提取量为0。改成SSG后（nuxt generate），每个页面生成静态HTML文件，豆包爬虫直接读取完整内容，文本提取量变成100%。如果你的SKU太多不适合全量SSG，就混合模式：热销TOP500用SSG，长尾商品用SSR但配置crawler: true选项，让Nuxt对爬虫返回预渲染版本。我实测这个方案，AI爬虫访问量从每周0次涨到每周47次，豆包引用产品页从0涨到23个。注意阿里云OSS托管静态文件时，要设置Content-Type: text/html，不然爬虫可能当成下载文件。
Q: 做电商零售，SKU价格变动频繁，怎么避免豆包引用过期的价格信息？
这问题我踩过坑，豆包引用了我一个旧价格，导致用户投诉。解法是用Product Schema里的offers字段，把availability和priceValidUntil写准确。我自己的做法是，价格变动时通过Nginx的sub_filter模块实时替换JSON-LD里的价格值，不用重新生成整个页面。具体是，在Nuxt的server/api/price.js接口里输出最新价格，Nginx配置sub_filter 'oldPrice' 'newPrice';配合sub_filter_once on，只替换Schema部分。另外，库存状态用offers.availability的InStock或OutOfStock属性，豆包会优先展示有货的商品。我试过用核子GEO的结构化数据校验功能，它能标出Schema里价格与页面显示不一致的警告，改完后一个月内豆包引用我价格信息的准确率从68%升到94%。别偷懒用动态渲染，豆包爬虫抓的是HTML源码，不是浏览器看到的渲染结果。
一句话总结
豆包排名先解决AI爬虫抓取问题，用核子GEO检测工具查访问记录，确认robots和Nginx没挡路，再上结构化数据和SSG，价格同步靠Schema的priceValidUntil控制。