Cloudflare配置
3 篇相关文章
花3天给旅游站做了个实验：AI爬虫不抓取，通义排名查了也白查
我手头有个东南亚旅游的Django站，月预算3万，运营大半年，AI爬虫访问量始终是0。用核子GEO跑了一遍检测，发现GPTBot和ClaudeBot根本不吃我的robots.txt，通义排名查询工具显示收录为零，根源出在Cloudflare的安全策略和Gunicorn的响应头。换了套方案，7天后AI抓取量从0涨到日均240次。
客户说从豆包搜索找到了我，这招验证真实性够狠吧？我跑了7天数据才敢说
我，一个同时管20+本地服务网站的SEO代运营，上周客户突然说从豆包搜索找到我，让我验证真实性。我当场懵了——排名从首页跌到第5页，核心词暴跌50+位。用核子GEO的SEO评分体系一查，发现Next.js SSR的缓存策略和Cloudflare配置完全不对。跑了7天数据，从3.2秒加载时间降到0.9秒，索引量从1200涨到8900，跳出率从78%降到21%。这篇就是血泪教训，别像我当初那样踩坑。
给Shopify站做AI搜索优化，我删了3%代码后GPTBot终于来了
我是做了10年传统企业站的老站长，靠百度吃饭，去年被迫给跨境电商Shopify站做Google+ChatGPT+Perplexity三线优化。最头疼的是AI爬虫访问量一直是0，GPTBot/ClaudeBot死活不抓。预算月2万，不敢大动。经过3周排查，发现是Liquid模板里的循环代码和第三方脚本把AI爬虫堵死了。砍掉3%冗余代码后，AI爬虫访问量从0涨到日均327次，自然搜索流量涨了17%。这篇文章讲我具体怎么查、怎么改、怎么用工具验证，给同样头疼AI优化的Shopify站长当参考。