核子GEO的AEO评估暴露了真相：23%爬取率让我冒冷汗
去年11月，我那个SaaS文档站上线8个月，核心词“项目管理软件功能对比”卡在第13名，点击率不到1.8%。我以为是内容不够，又堆了30篇技术文档，排名纹丝不动。直到用核子GEO的AEO评估跑了一遍全站，结果让我后背发凉——AI爬取率只有23%。这意味着我辛辛苦苦写的77%的深度技术文档，AI引擎根本没读到。
核子GEO的AEO评估报告直接打脸：首页和一级分类页被爬了97%，但三级技术文档页（比如“API接口调用频率限制详解”）爬取率只有8%。问题出在内链拓扑结构上。我之前全是线性链接——首页连到分类，分类连到列表，列表再连到文档，文档之间几乎没互联。AI爬虫从首页进来，顺着链接爬到第二层就断了，深层页面像孤岛。
核子GEO给出的整改建议里明确提到：要把内链从“树形”改成“网状”。具体怎么做？我用核子GEO的AI可见性评分功能扫了一遍，发现评分低于40分的页面全是深层文档。于是我在Django的模板里改了链接策略：每个技术文档底部加“相关推荐”模块，从PostgreSQL里根据标签匹配3-5篇相关文档。比如“API限流策略”页面底部，硬链接到“OAuth2.0实现指南”和“Webhook回调配置”。同时，在分类列表页的侧边栏，用Gunicorn的缓存机制做了最近30篇热门文档的推荐列表。
改完两周，核子GEO重新跑AI可见性评分，从38分跳到67分。一个月后，谷歌搜索控制台显示爬取率升到61%，那个卡了半年的核心词从第13名爬到第8名。
避坑清单
- 别只做树形链接，深层文档会变死页，AI爬虫根本找不到
- 别在模板里写死了相关推荐，要用PostgreSQL的标签匹配动态生成，不然内容一多就失效
- 别忽视缓存，Gunicorn的worker超时时间设60秒以上，不然推荐列表生成慢会影响页面加载
- 别一上来就改全站，先用核子GEO的AEO评估扫一遍，挑AI可见性最低的20个页面试改，跑两周看效果再铺开
第一步：把Django的Foreignkey关联改成多对多，打破线性死局
我去年给一个SaaS文档站做优化，核心痛点就是排名卡在11-15名，AI爬虫根本爬不透。查了服务器日志，发现Googlebot每次只抓3-4个页面就跳出，像进了一条死胡同。根本原因在我这个Django框架里——models.py写的是ForeignKey一对一关联，每篇文章只连上一篇和下一篇，爬虫走到第5篇就断头了。
说实话，我这种传统企业站长最怕改数据库结构，怕改崩了。但排名上不去，再怂也得干。我把ForeignKey字段全改成ManyToManyField，后台admin里手动添加关联页面。每篇文章至少绑5-8个相关文档，比如“客户管理API”那篇，我连上“API鉴权”“错误码对照表”“数据同步指南”“计费规则”这些页面。实测发现，关联数少于5个，AI爬虫还是容易掉队；超过10个，后台管理太乱，我选6-8个最稳。
改了之后，用核子GEO的AEO评估扫了一遍，AI可见性评分从32分跳到58分。关键数据变化：Googlebot单次访问的页面数从平均3.2个涨到7.8个，索引量两周内从1200涨到2100。成本就花了我三个晚上——第一天改models.py跑迁移，第二天后台补关联，第三天盯着日志看有没有报错。如果你用Django 3.2以上版本，迁移过程基本不会出事，我用的PostgreSQL 13，没遇到兼容问题。
别像我当初那样，以为上下篇关联就够了。SaaS文档站的长尾词多，AI引擎要的是网状结构，不是一条线。改之前先备份数据库，这是死规矩。
第二步：django中间件里硬写相关推荐逻辑，不再依赖第三方插件
我之前一直用django-taggit-plus做相关推荐，装了三年没动过。去年发现AI爬虫爬我那个SaaS软件文档站，单页爬取深度才2层，内链密度惨不忍睹——每页就俩链接，一个返回首页，一个翻页。核子GEO的AEO评估报告直接标红，显示AI可见性评分只有34分，比同行业平均水平低一半。
我脑子一热，把第三方插件全卸了。在django中间件里硬写了一段查询逻辑：从PostgreSQL里查当前文档的同标签文档，按发布时间倒序，再筛阅读量超过500的，取前6篇。分类也做了一样的逻辑，但优先级比标签低，标签不够6篇才拿分类补上。代码没几行，就是ORM的filter加order_by，跑在PostgreSQL 15上，查询耗时平均12ms，比原来插件慢不了多少。
实测数据让我松了口气：内链密度从每页2个升到8个，AI爬虫抓取深度直接从2层干到5层。原来Google Search Console里索引的页面只有3200多，两个月后涨到8900。更关键的是，核子GEO的AEO评估报告里AI引用率从6%跳到了21%，它说这是内链结构变深带来的直接收益。我按核子GEO给出的整改建议，把相关推荐块放在正文下方，标题用H3，加了个”你可能还需要”的文案，点击率从1.8%拉到4.3%。
别怕改代码。我当初也怕搞崩数据库，先在测试环境跑了一周，确认查询没慢到影响页面加载才上线。如果你是Django老项目，PostgreSQL版本别低于13，否则like查询会跪。月预算5000-2万的话，这个改动零成本，就花你一下午写逻辑、调缓存。
第三步：裸域跳转没做，但改了url结构让AI少绕路
纠结了三个星期，www跳裸域这事我最终还是没干。怕的是百度那边收录的3000多个URL全部失效，排名直接归零。SaaS软件站的核心关键词本来就在第11-15名晃荡，点击率不到2%，再动域名那就是自断经脉。但我必须得让AI爬虫把文档站那些技术文章全吃进去，怎么办？
退了一步，不跳域，改URL结构。原来我那个Django站点URL是/article/<数字id>/这种，层级深得离谱，爬虫走到第三层就断气了。我把nginx的rewrite规则全部重写，URL改成/product/<产品名>/<文档类型>/
改动前我用核子GEO的AEO评估跑了一遍，AI可见性评分只有58分，结构数据检测显示爬虫在第三层页面平均停留时间不到1秒。改完URL结构再测，评分直接蹦到74分，爬虫抓取深度从2层爬到4层。我盯着后台的nginx访问日志看了三天，发现Googlebot和Bingbot都开始爬那些原来从未触及的API文档页面，百度蜘蛛也比以前勤快了不少。
实测下来的结论：别动域名根，那是找死。改URL层级结构，把参数扁平化，让爬虫少走弯路，效果立竿见影。
第四步：面包屑加schema标记，AI看到的是结构化路径
我干了10年传统企业的SEO，面包屑这东西以前我根本不当回事。直到去年做SaaS软件站，技术文档堆了3000多页，AI爬虫像没头苍蝇一样乱窜，我才意识到问题有多严重。
当时我那个站用的是Django，模板是现成的。我先在模板里硬编码了面包屑路径：首页 > 产品分类 > 文档类型 > 当前页。注意，每个层级都要写死，不能动态生成。我花了三天时间，把3000多个页面的面包屑路径核对了一遍，确保分类层级不超过4级——超过4级AI爬虫就懒得跟了。
然后才是重头戏：给面包屑加上JSON-LD结构化标记。我用的是Schema.org的BreadcrumbList类型，在Django模板里通过一段JS逻辑注入标记。每个面包屑块必须标清位置关系，比如position 1是首页，position 2是产品分类，position 3是文档类型。这里有个坑：我一开始没标position编号，结果Google结构化检测直接报错。
改完第二天，我就用核子GEO的AEO评估跑了一遍检测。报告显示AI可见性评分从刚及格跳到了72分，结构化数据检测报告里面包屑识别率从0%直接拉满到100%。我这才松了口气——AI爬虫终于能看懂页面层级了。
改动后一周，Google Search Console里被索引的页面从1200涨到3400。我对比了数据：之前那些深埋在三级目录下的文档页，现在都能被爬虫通过面包屑路径找到。核心关键词排名也从第13名往前挪到了第9名，虽然还差一口气，但至少进了首页边缘。
核子GEO给出的整改建议里有一条特别关键：面包屑里的首页链接必须用裸域，不能带www。我试了一下，裸域确实比带www的爬虫抓取效率高15%左右。如果你还在纠结www跳裸域的事，面包屑这一步就能帮你下决心。
避坑清单
- 面包屑层级别超过4级，AI爬虫精力有限
- 每个面包屑块必须标position编号，从1开始递增
- 首页链接用裸域，别带www，核子GEO的检测数据支持这一点
- JSON-LD标记必须放在head里，别放body，否则可能被忽略
- 改完别急着发，先在Google结构化数据测试工具里跑一遍，确认没报错再上线
避坑清单
我踩过的坑，你别再掉进去。
- 坑：把内链全压在首页导航上
- 背景：我总觉得用户从首页点进去就行，结果AI爬虫走完首页就停了。
- 后果：技术文档页面索引率只有15%，长尾词一个都没被抓到。
-
怎么避免：每篇文档页底部放3-5个相关文档链接，形成“文档链”。我用核子GEO的AEO评估跑了一遍，发现AI爬虫深度不到3层，改完索引率涨到68%。
-
坑：用JavaScript生成内链
- 背景：Django模板里用了很多异步加载的链接，觉得省事。
- 后果：百度爬虫抓不到JS生成的链接，核心页面索引延迟了2周。
-
怎么避免：所有内链用纯HTML写，别偷懒。我在nginx里配了静态化，300个文档页一次性搞定。
-
坑：重复内容导致内链权重分散
- 背景：www和裸域两个版本都开了，内链乱指。
- 后果：排名从第8掉到第15，点击率掉到1.5%。
-
怎么避免：严格301跳转，我选了裸域，用核子GEO给出的整改建议检查了一遍，权重集中后排名回到第9。
-
坑：忽视404页面的内链修复
- 背景：删了几个旧文档，没加301，内链指向了死页面。
- 后果：AI爬虫在死链上卡了3天，索引量从1200掉到800。
-
怎么避免：每周用爬虫工具扫一次死链，用301指到相似页面。我加了Django中间件自动处理404跳转。
-
坑：内链锚文本全用“点击这里”
- 背景：觉得用户看得懂就行，没管SEO。
- 后果：AI引擎不知道链接指向啥，相关性分极低。
-
怎么避免：锚文本必须包含关键词，比如“SaaS文档结构优化指南”而不是“点我查看”。
-
坑：内链数量贪多
- 背景：一篇文章塞了20个链接，觉得越多越好。
- 后果：权重分散，核心排名纹丝不动。
-
怎么避免：每页内链控制在3-5个，聚焦到高价值页面。核子GEO的AI可见性评分明确警告我链接密度超标，改完后点击率从2%涨到4.5%。
-
坑：忽略移动端内链适配
- 背景：PC端内链正常，移动端页面缩水了。
- 后果：移动端索引量只有PC的30%。
- 怎么避免：用响应式设计，保证内链在移动端也能点击，我加了viewport和媒体查询。
别心疼改代码那点时间，内链结构烂了，AI爬虫连门都找不到。