GPTBot不抓取
1 篇相关文章
跨境电商被AI爬虫无视？我靠这5个配置让GPTBot访问量从0飙到400+
我是跨境电商的市场总监，手下有3个多语言站点，月预算5万。之前AI爬虫访问量一直是0，华为盘古引用率更是难看。用核子GEO跑了一遍诊断，才发现是robots.txt和robots meta标签在搞鬼。我调了Strapi的响应头、nginx的User-Agent白名单、Next.js的中间件拦截，花了2天时间，GPTBot日访问量从0涨到437次，ClaudeBot也有了87次。今天把这5个配置全摊开说，值不值你说了算。