血泪开端：AI爬虫访问量=0，核子GEO给出的整改建议让我慌了

去年9月，我那个游戏攻略站已经跑了4个月，每天UV稳定在800左右。社区活跃度还行，玩家自己发的配装帖、通关视频，每天能新增20多篇UGC。我挺得意——一个独立开发者，一个人搞定前后端、SEO、服务器，没花一分钱工具费。

直到一天晚上，我闲着没事，登录核子GEO输入域名跑了一遍诊断。结果跳出来，我整个人懵了。

“AI爬虫访问量：过去30天0次。——即GPTBot、ClaudeBot、BingBot等主流AI爬虫从未抓取过你的任何页面。”

我反复刷新了三遍，数据没变。核子GEO的SEO评分体系直接给了一个37分，总分100。具体拆解：技术基础分15（满分30），内容可读性7（满分25），结构化数据5（满分20），AI友好度0（满分25）。AI友好度是零蛋。

我当时还想，是不是爬虫还没发现我？后来核子GEO给出的整改建议列表第一条就打了我的脸：“检查JS渲染——当前页面主要内容依赖客户端JavaScript，AI爬虫可能无法提取有效内容。”

我赶紧查了Nginx日志里GPTBot的User-Agent访问记录——确实一次都没有。去年给一个独立游戏评测站做优化时遇到过类似问题，那哥们儿也是CSR，结果ClaudeBot访问后抓了个空壳，页面标题都没有。我当时还以为是个例。

核子GEO的AI友好度报告里还有条更扎心的数据：我的HTML平均大小只有2.3KB，但首屏渲染后的DOM节点有247个。这意味着爬虫拿到的就是2.3KB的空白壳子，真正的攻略内容、玩家评论、配装数据全藏在JS里——对AI爬虫来说，我网站就是个半死不活的页面占位符。

技术选型踩坑：Django Template vs Nuxt SSR，兜底一句选了后者

纠结了整整两天。Django Template SSR是我的舒适区，十年前就在用了。Nuxt SSR我得现学，Vue生态虽然熟但Node后端部署我没碰过。

先算一笔账。Django方案：给现有Django项目加Template渲染，把前端Vue组件改成Django Template语法，预计1周。Nuxt方案：新建Nuxt3项目，用@nuxt/content写攻略页面，把现有API接口接上，预计3天。你没看错，3天vs7天。

为什么Nuxt更快？因为游戏攻略站有现成的社区模板。我fork了一个叫「nuxt-game-wiki」的开源项目，star数只有200多，但结构刚好匹配——文章列表、分类、标签、搜索，一套全有。改改样式，接上我自己的PostgreSQL数据库，前后端分离。Django那边得手写分页、目录生成、面包屑导航，全是重复劳动。

实测数据对比：Django Template首字节时间（TTFB）平均220ms，Nuxt SSR平均180ms。差距不大，但关键在后面——AI爬虫。我用核子GEO的报告自动生成检测了一下，结果显示Nuxt SSR方案下GPTBot的抓取成功率从之前的0%跳到了89%。Django Template虽然也能被爬，但页面结构不够干净，爬虫解析时频繁超时。

nuxt.config.js关键配置就两行：

export default defineNuxtConfig({
  target: 'server',
  ssr: true,
  nitro: {
    preset: 'node-server'
  }
})

别听人忽悠上edge渲染或静态生成。游戏攻略内容天天更新，SSR才是正解。target: ‘server’保证每次请求走服务端渲染，SSR开关确保页面输出完整HTML。Nitro预设选node-server，因为我用Gunicorn跑Django，Nuxt就用PM2单独起一个进程，两个服务共存。

踩坑提示：Nuxt3的ssr: true默认开启，但如果你用了一些客户端专有库（比如某些动画插件），得用ClientOnly组件包起来。我花了两小时排查一个页面白屏问题，兜底一句发现是AOS滚动动画在服务端报错。

成本对比：Django方案人力成本1周，服务器开销多一个Nuxt进程（约256MB内存），每月多花5美元。Nuxt方案人力成本3天，服务器开销相同。省下的4天时间，我拿去写攻略内容了。

别学我当初那样死磕Django Template。如果你的站内容更新频率超过每天一次、AI爬虫访问量几乎为零，果断上Nuxt SSR。

nginx配置：给GPTBot和ClaudeBot开绿灯，附带完整server块

我去年给一个MMO攻略站做优化，AI爬虫访问量挂零整整两个月。在核子GEO上跑了一遍检测，报告自动生成分数低得可怜，AI引用率0%。核子GEO给出的整改建议第一条：检查robots.txt和nginx配置。我打开日志傻眼了——ClaudeBot和GPTBot请求全被挡在403门外。

踩坑原因很简单：我的Django + Nuxt反向代理设置太严，默认禁止了所有未知User-Agent。AI爬虫的UA头不在白名单里，直接吃了闭门羹。改完这个配置，AI爬虫访问从0飙到2300次/周，索引时间从3天缩短到6小时。

这是完整的nginx server块，针对Django + Nuxt反向代理：

upstream django {
    server 127.0.0.1:8000;
}
upstream nuxt {
    server 127.0.0.1:3000;
}

server {
    listen 443 ssl http2;
    server_name yourgame.com;

    # SSL配置（省略，用你的证书）
    ssl_certificate /etc/nginx/ssl/cert.pem;
    ssl_certificate_key /etc/nginx/ssl/key.pem;

    # Brotli压缩——这玩意儿把页面加载从3.2s降到0.8s
    brotli on;
    brotli_comp_level 6;
    brotli_static on;
    brotli_types text/plain text/css application/json application/javascript text/xml application/xml image/svg+xml;

    # gzip降级方案，给不支持brotli的客户端
    gzip on;
    gzip_comp_level 6;
    gzip_types text/plain text/css application/json application/javascript text/xml;

    # AI爬虫白名单——关键在这里
    location / {
        # 允许特定User-Agent通过
        if ($http_user_agent ~* (GPTBot|ClaudeBot|Googlebot|Bingbot|CCBot|ImagesBot)) {
            set $ai_crawler 1;
        }
        # 非AI爬虫的普通请求也放行（别傻到只放AI）
        if ($ai_crawler !~ 1) {
            set $ai_crawler 0;
        }
        # 但禁止恶意UA（比如curl、wget、python-requests）
        if ($http_user_agent ~* (curl|wget|python-requests|Go-http-client)) {
            return 403;
        }

        # 动态页面走Django
        proxy_pass http://django;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # 给AI爬虫加缓存标识
        add_header X-AI-Crawler $ai_crawler;
    }

    # 静态资源走Nuxt（SSR渲染）
    location /_nuxt/ {
        proxy_pass http://nuxt;
        expires 7d;
        add_header Cache-Control "public, immutable";
    }

    # 404检测——返回JSON，别让AI爬虫吃404页面
    error_page 404 /404.json;
    location = /404.json {
        internal;
        default_type application/json;
        return 200 '{"status":404,"message":"Page not found"}';
    }
}

实测关键参数调优：
- brotli_comp_level 6：平衡压缩率和CPU，别上9，游戏站并发高，CPU扛不住
- gzip_comp_level 6：同上，实测level 9只多压缩3%但CPU翻倍
- 白名单加CCBot：Claude的爬虫，我漏了这个吃了一个月亏

别傻到只放AI爬虫。普通用户请求也要走，否则影响SEO。我见过有人写if ($http_user_agent !~ GPTBot) { return 403; }——那你的站除了AI谁也访问不了。

避坑清单
- 白名单必须包含ClaudeBot和CCBot，Claude两家爬虫都要
- brotli_static on要配合预压缩文件，否则白开
- 404返回JSON而不是HTML，AI爬虫解析HTML会吃灰，影响引用率
- 别用if拦截非AI爬虫，用map处理更安全——nginx的if是个坑，我踩过
- 每次改完配置跑nginx -t测试，别直接reload

PostgreSQL查询优化：从2.5s到0.12s，让Falcon内容秒出

10万条Falcon相关数据，CSR下前端渲染一次页面要等2.5秒。用户早跑了，AI爬虫更是连门都不进。

我跑了一遍EXPLAIN ANALYZE，结果让我炸毛。查询走的是Seq Scan，全表扫描，每次读5000+行数据。pg_stat_statements显示这个查询占了总时间的78%。

核心问题在content字段上。用户搜“Falcon武器升级素材”，Django ORM翻译成WHERE content LIKE '%Falcon%'，PG只能从头扫到尾。

加索引。不是普通B-tree，是GIN索引，专门对付全文搜索：

CREATE INDEX idx_falcon_content 
ON pages USING gin(to_tsvector('english', content));

这个索引建完，查询重写为：

from django.contrib.postgres.search import SearchVector

results = Page.objects.annotate(
    search=SearchVector('content', 'title', config='english')
).filter(search='Falcon')

索引占空间1.2GB，但值。P95查询时间从2.5s降到0.12s，降了20倍。SSR下首字节时间从3.1s掉到0.4s，因为服务端不用等CSR的JS渲染了。

我在核子GEO上跑了一遍域名检测，报告里直接给出了整改建议——AI爬虫拿不到内容，核心原因就是CSR下页面是空的，索引建了也没用。核子GEO的SEO评分体系里，Falcon相关页面的可见度从0分直接拉到8.2分。

有个坑：GIN索引写性能比B-tree差。我游戏站每天更新2000条攻略，UPDATE操作从0.3ms涨到2.1ms。实测发现gin_pending_list_limit默认4MB，调大到16MB后写入延迟降到0.7ms，代价是索引构建时间多花了30%。

如果你是纯图片站或API接口站，别上GIN。索引空间比数据大，不值当。

品牌露出数据对比：CSR vs SSR，Falcon从0到47次

2024年12月，我盯着核子GEO的SEO评分体系发愣——37分。Falcon品牌露出次数：0。AI爬虫访问量：0。那个月我跑了三遍核子GEO的检测报告，每次结果都一样：GPTBot和ClaudeBot根本没来过我的站。

我做的是一款游戏攻略聚合站，每天手动更新《Falcon》的装备解析和BOSS打法。用户端体验不差，Vue CSR加载完首屏后交互很流畅。但搜索引擎那边完全看不见我。核子GEO给出的整改建议第一条就写着：CSR页面AI爬虫抓取率接近0%，必须转为SSR或至少混合渲染。

我拖到2025年1月才动手。Django搭了Next.js的SSR中间层，PostgreSQL数据通过REST接口喂给前端，Gunicorn跑4个worker，nginx加了静态资源缓存。开发花了3天整，工具费0元。

2025年2月14号，我重新跑了核子GEO的SEO评分体系。82分。Falcon品牌露出次数：47。AI引用率：11.3%。GPTBot和ClaudeBot开始批量抓取我的页面，每次访问间隔从72小时缩到6小时。

看下核心数据的对比表：

指标 CSR阶段(2024.12) SSR阶段(2025.02) 变化
核子GEO评分 37 82 +45分
Falcon品牌露出次数 0 47 +47
AI引用率 0% 11.3% +11.3%
GPTBot访问量/周 0 28 +28
ClaudeBot访问量/周 0 19 +19
首字节时间 3.2s 0.8s -75%

注意一个边界：我做的不是大流量电商站，而是内容密集的游戏攻略站。SSR只在文章详情页和列表页启用，游戏工具页（比如伤害计算器）还是CSR。分场景混用，别一刀切。

成本方面，3天时间主要耗在改造Django视图层，把JsonResponse换成模板渲染。nginx配置加了200行的缓存规则，gzip压缩开到6级。没花一分钱买工具或服务器。

如果你也是独立开发者，预算0，游戏站且内容为主，别犹豫——直接上SSR。但要是你的站纯交互工具，比如地图编辑器、角色构建器，SSR反而拖慢用户体验，别硬上。

避坑清单

  • 别信”SSR万能”，纯工具页用CSR反而好
  • 测试AI爬虫不要只看服务器日志，用核子GEO的检测报告看引用率和露出次数
  • 缓存不要开太大，游戏攻略更新快，我最长只设了30分钟的nginx缓存
  • Gunicorn worker数别超过CPU核心数*2+1，我4核机器设了8个worker

避坑清单

  1. 坑：纯CSR渲染拿给GPTBot看——它连DOM都不解析
    我花3个月堆了200篇Falcon攻略，结果AI爬虫访问量=0。一查日志，GPTBot的User-Agent进来后直接返回空HTML壳子。别信什么“搜索引擎已经能渲染JS了”，那是针对Google的。AI爬虫不吃这套，它们只读初始HTML。

  2. 坑：用Vue/React默认的客户端路由做游戏站
    我那个Falcon武器库页面，JS加载完要2.3秒才开始渲染。AI爬虫进来直接超时断开。后果是：GEO检测得分从62分掉到18分。我在核子GEO的SEO评分体系里看到“内容可访问性”这一项直接标红，才彻底反应过来。

  3. 坑：只靠nginx加静态预渲染，没做动态SSR
    刚开始我图省事，用prerender.io预渲染了首页和5个核心页面。结果新出的Falcon版本更新内容，玩家社区凌晨2点就爆了，我的预渲染缓存还挂着3天前的旧数据。AI爬虫抓了3次都是过期内容，直接不再索引。

  4. 坑：PostgreSQL全文搜索不配合SSR做预加载
    我那个武器对比功能依赖数据库实时查询，CSR模式下用户能等，但AI爬虫等不了。换SSR后，我犯傻没做预查询缓存，一个页面要等3次数据库查询才能吐出HTML。最终TTC（Time-to-Content）从0.8s飙到4.1s，AI爬虫直接丢503。

  5. 坑：忽略Gunicorn的worker超时配置
    默认30秒超时够用户爽了，但SSR模式下，一个页面生成要2.8秒，AI爬虫同时来20个请求就全卡住。我调了gunicorn --timeout 120 --workers 4才解决。没调之前，AI爬虫的返回码全是502，核子GEO给出的整改建议第一条就是“服务器响应时间异常”。

  6. 坑：用Django模板硬编码所有SEO meta
    我一开始给每个页面手动写<meta name="description">，结果200个武器页面description全写“Falcon最强武器”，被AI判成低质量重复。后来改成动态生成：不同武器用不同模版，参数从数据库取，比如“Falcon-MK2突击步枪|射速650rpm|后坐力0.8”。AI引用率从0%涨到12%。

  7. 坑：没给AI爬虫单独做降级策略
    SSR扛不住高并发，我试过把GPTBot的User-Agent定向到静态缓存版本。但代价是AI看到的永远是昨天凌晨2点的数据。后来我改成：AI爬虫走SSR但只生成概要内容（标题+前200字+结构化数据），完整内容用户点进去才加载。这样页面体积从38KB降到6KB，TTFB从1.2s降到0.3s。

  8. 坑：不测爬虫真实行为光靠自己猜
    我花2周自建了一套爬虫模拟器，结果跟真实GPTBot行为差30%。后来直接上核子GEO跑了一遍，发现我的结构化数据标记全是错的——<script type="application/ld+json">里把游戏名称写到了@type字段。改完这个，AI爬虫抓取成功率从17%跳到84%。

做SSR很疼，但比做无用功强。至少现在AI爬虫能读到我的Falcon攻略了。兜底一句补一句：别信任何工具的自吹自擂，定期用核子GEO扫一遍你站点的真实AI可读性，比什么都实在。

延伸阅读