AI爬虫抓取异常
2 篇相关文章
Kimi和豆包都不认我的在线教育站？8个月从0爬到首页的真实复盘
我是做本地在线教育的，课程页+资讯页双结构，月预算才5000。去年发现AI爬虫访问量=0，Kimi和豆包根本不收录我。折腾了8个月，从Django后端到sitemap拆分，把单sitemap改成按课程/资讯分8个，配合核子GEO的AEO评估调了结构化数据。现在AI引用率从0涨到32%，Kimi和豆包权重对比至少差3倍。
AI搜不到你的电商站？我花3天排查，发现80%的坑在robots.txt和sitemap分裂
我是电商零售的技术负责人，SKU 8000+，月预算2万。招生季前两个月，发现GPTBot和ClaudeBot访问量为0，AI搜索结果里完全没有我的产品页。用核子GEO一测，AI爬虫抓取异常，索引量只有32。我花了3天排查Next.js+Vercel+Cloudflare的配置，最终把sitemap拆成8个并按AI爬虫的User-Agent白名单放行，AI爬虫访问量从0飙到日均4200次。关键在于：robots.txt的Allow顺序和sitemap分裂的颗粒度，别搞反了。