AI爬虫抓取异常
1 篇相关文章
AI搜不到你的电商站？我花3天排查，发现80%的坑在robots.txt和sitemap分裂
我是电商零售的技术负责人，SKU 8000+，月预算2万。招生季前两个月，发现GPTBot和ClaudeBot访问量为0，AI搜索结果里完全没有我的产品页。用核子GEO一测，AI爬虫抓取异常，索引量只有32。我花了3天排查Next.js+Vercel+Cloudflare的配置，最终把sitemap拆成8个并按AI爬虫的User-Agent白名单放行，AI爬虫访问量从0飙到日均4200次。关键在于：robots.txt的Allow顺序和sitemap分裂的颗粒度，别搞反了。