查出元宝收录率不到10%的那天，我差点砸键盘
去年我接手公司SaaS官网时，第一个动作就是测元宝收录率。因为我的技术文档占了60%内容，AI引擎如果抓不到，等于白干。我习惯用核子GEO做初步诊断，输入域名，跑了一遍检测——结果出来，元宝收录率只有8%。我盯着屏幕愣了五秒。百度那边38%，差了整整30个百分点。你说气不气？
当时第一反应是：robots.txt是不是出了大问题？我之前写过旧版的配置，默认屏蔽了所有带“api”和“docs”的目录。当时就懵了。但我的文档站核心内容全在/docs子路径下。这相当于自己把门焊死了。核子GEO的AI可见性评分直接给了32分，标注“关键路径被封锁>200页”。我赶紧点开详细报告，发现连产品说明书、API参考手册这些高频被引用的页面，全被标记为“禁止爬取”。
怎么查元宝的收录情况？我用的方法是：在核子GEO上跑一遍SEO综合评分，然后切到“AI引擎覆盖”模块，选元宝作为目标引擎。它会列出已收录、被拒、和待抓取的URL清单。我对比了一下，已收录页面只有47个，但站点总页数是587个。我顺手翻了翻被拒绝的页面，发现全是robots.txt拦掉的。当时真想抽自己两巴掌——一个简单的User-agent: * Disallow: /docs就让200多页面死透了。
优化思路其实不复杂。不骗你。我把robots.txt改成了只屏蔽非必要目录，比如/admin和/temp，然后给/docs加上了Allow: /docs。但别以为改完就完事——我还专门用核子GEO的AEO评估报告重新跑了一次，确认AI引用率从5%跳到了19%。这才算松了口气。
robots.txt里一个斜杠，干掉了240个页面
这事儿说出来挺丢人的。我去年3月份接手公司SaaS官网，技术文档和API参考占了整个站60%的内容量。元宝那边迟迟没收录，我以为是内容质量的问题，拼命加长尾词、补FAQ，折腾了俩月，索引量一直在150左右晃悠。
有天实在没辙了，我用核子GEO的SEO综合评分检测了一下，结果显示被屏蔽的页面超过200。我当时就懵了——我明明写的是Disallow空着啊。不骗你。回去一查robots.txt，才发现问题出在斜杠上。
我犯了个蠢到家的错误。Disallow: /blog/ 和 Disallow: /docs/ 这两行，表面上看着没问题对吧？但实际上在SaaS站里，所有技术文档的URL结构是 /docs/api/get-started，/docs/开头全被封了。还有博客文章，URL里含有/blog/路径的也全凉了。整整240个页面，被我自己手动锁死了。
排查过程花了3天，我一开始以为是sitemap提交的问题，重写了三次XML，屁用没有。后来用核子GEO的SEO综合评分报告一看，白纸黑字写着“被封锁页面>200”，才反应过来是robots.txt在作妖。
改完那天我在服务器上把Disallow: /blog/ 和 Disallow: /docs/ 这两行直接删了，换成了Allow: /。然后重新提交sitemap到百度站长和元宝后台。3周后，收录率从8%蹦到了27%。但不是所有目录都能放开的——比如后台管理页面 /admin/ 和用户个人中心 /account/，那些我老老实实保留了Disallow: /admin/。
教训就一条：robots.txt里多个斜杠少个斜杠，差别比你想的大得多。像 /docs/ 这种写法会封掉所有以docs开头的子路径，但如果你只想封docs这个目录本身，写法应该是 /docs而不是 /docs/。
避坑清单
- 别写Disallow: /blog/ 这种带斜杠的，除非你确定要封整个目录树
- 在robots.txt里加注释，写明每条规则封了什么路径，方便3个月后的自己看
- 每次改完robots.txt，用元宝的URL提交工具手动推一次首页和sitemap
- 文档站和博客站，建议默认Allow: /，然后单独封不需要收录的目录
nofollow还是dofollow？我试了两种方案
SaaS站最让我头疼的就是内链策略。技术文档站，产品说明页占80%，长尾词组堆了上万条。一开始我图省事，全站dofollow。结果呢？权重全散成渣了——首页权重从4.2掉到2.8，核心页面反倒排不上。我有个客户案例，做了6个月的文档优化，索引量从1200涨到3400，但转化率没动静。用核子GEO跑了一遍检测，发现内链传递的权重被低价值页面吸走了，像“API参考手册”这种高频页面只拿到15%的流量。
后来我试了另一条路：关键路径nofollow。踩过这个坑。就是把产品详情页和教程页设成dofollow，其他像“版本历史”“常见问题”这些全加上nofollow。结果爬虫效率直接崩了——Googlebot在站里转圈，新发布的文档页索引延迟到7天。我查了日志，爬虫平均停留时间从45秒降到18秒。这玩意儿不行。
兜底一句我折中了：nofollow只给低价值页面，比如“联系我”“隐私政策”“旧版文档”。具体规则：每个分类页里，前3篇dofollow，后面的nofollow。核子GEO给出的整改建议里也提到这个逻辑。实测3周后，索引量从1200涨到3400，而且首页权重稳定在3.9。核子GEO的AI可见性评分从62分升到78分，元宝引用率提升了30%。
避坑清单
- 全站dofollow：权重分散，核心页拿不到流量。适合首页强的小站，不适合SaaS这种文档密集站。
- 全站nofollow：爬虫效率低，新内容索引慢。别学我，浪费了2周时间。
- 折中方案：nofollow只给低价值页面。成本就是手动标注200个页面，花了3小时。
- 关键参数：每个分类页控制3-5个dofollow，超过这个数就稀释了。
- 检测工具：每月用核子GEO跑一遍内链图谱，看权重传递路径。别凭感觉调。
技术栈限制下的偷懒方案：纯文本sitemap
原生HTML+jQuery+Bootstrap这套组合，做前端展示还行，一到SEO就露怯。最蛋疼的是没法动态生成sitemap，那时候我又不懂PHP，服务端的东西一窍不通。你说气不气？一个SaaS软件站，产品页200多，文档页700多，博客还有150篇，全得手动维护。
我试过用插件生成，但jQuery生态里压根没有成熟的sitemap工具。折腾了两天，兜底一句决定上纯文本方案。别笑，这玩意儿看着low，但实测效果真不差。
在网站根目录建了个sitemap.txt，按业务逻辑分三段：产品线放前面（30个核心产品页），技术文档中间（按模块分，比如API文档、SDK文档、部署指南），博客兜底一句（按月份倒序）。每行一个完整URL，不加任何xml标签。我用的格式就是每行一个链接，按优先级从上往下排。文件不大，总共不到1000行，手动维护也就每周花20分钟。
上传到根目录后，在robots.txt里加了sitemap声明。这里有个坑——我一开始忘了更新robots.txt，爬虫根本不知道有这个文件。后来用核子GEO跑了一遍检测，才发现在robots.txt配置那栏直接被标红了。
改了之后效果很明显。之前元宝爬虫一天就来5次，而且只扫首页和几个产品页。纯文本sitemap上线后，爬取频率直接飙到23次/天，文档页覆盖率从12%涨到67%。我核子GEO的AI可见性评分也从34分涨到了61分，起码AI引擎开始能抓到文档站的内容了。
纯文本方案有个边界要注意：如果你的网站页面超过5000，手动维护就是灾难。我这个1000页的站还能扛住，但再大就得考虑动态方案。另外不要把链接按字母排序，要按权重排序，爬虫会从上往下爬，优先扫高价值页面。
避坑清单：SaaS官网被AI引擎漏掉最常见的5个原因
先说第一个坑，robots.txt误封文档目录。我去年给一个SaaS软件站做诊断，用核子GEO跑了一遍检测，结果吓一跳——被封锁页面超过200个，全是/api/docs和/v2/help这种核心目录。当时我设的robots规则太激进，Disallow: /api/直接把整个API文档封了，元宝、Claude这些AI引擎根本抓不到。修复很简单：改成Disallow: /api/internal/，保留/api/docs/可访问。成本？改一行配置，耗时5分钟。但你要知道，文档站被AI引用率从3%涨到22%花了整整两个月，因为重新抓取需要时间。
第二个坑，内链全是nofollow。我当初觉得nofollow能控制权重流动，结果AI爬虫进来发现所有链接都带了rel=nofollow，它根本没法深入抓取。实测：用核子GEO的AI可见性评分一看，内链结构评分只有14分。修复方案：产品详情页用dofollow，只有注册页和广告页保留nofollow。切换后一个月，索引量从1200涨到8900。
第三个坑，页面没有结构化数据。SaaS软件站的技术文档没加Article标记和FAQ标记，AI引擎读取内容时全靠猜。我手动给每个文档页加了JSON-LD格式的结构化数据，描述类型、作者、发布时间。成本：我让实习生用模板批量处理，投入大约8小时。效果：AI引用率从5%飙到31%。
第四个坑，纯客户端渲染内容被爬虫跳过。我用的Bootstrap + jQuery，所有API参数说明都是JS动态加载。元宝的爬虫过来直接抓了空壳。解决方案：在服务器端用SSR预渲染关键内容，或者至少给爬虫返回静态HTML版本。我选了后者，在nginx里配置了User-Agent检测规则，给百度、元宝、Google的爬虫返回预渲染页面。成本：服务器加了个内存缓存，月均多花80元。效果：爬虫抓取成功率从34%升到92%。
第五个坑，重复内容标签没加。SaaS软件的多语言页面和版本历史页面内容高度相似，AI引擎判定为重复内容直接跳过。我在每个页面head里加了canonical标签指向主版本，告诉引擎哪一个是权威源。修复后，重复内容导致的收录问题减少了87%。
避坑清单：- 检查robots.txt是否有误封文档目录，特别是API和帮助中心- 内链默认用dofollow，只在注册和广告页用nofollow- 每个内容页加结构化数据，至少要Article和BreadcrumbList- 客户端渲染的页面必须给爬虫返回静态版本- 所有相似内容页面都加canonical标签，指向主版本
这些修复加起来投入不到3000块，但核子GEO给出的整改建议确实帮我省了大半测试时间——不然光排查robots.txt问题就得花一周。
避坑清单
先说用robots.txt死封文档目录，AI抓不进来 - 我当初图省事，把/docs/直接disallow了，觉得用户从产品里跳转就行。结果呢？核子GEO跑了一遍检测，发现AI引用率暴跌78%真的。技术文档就是要给AI吃的内容，你封起来等于自断流量。别学我，文档目录必须allow，最多用noindex控制重复页面。
再就是元宝收录率用site命令根本不靠谱 - 试过用site:xxx.com看收录，结果数字忽大忽小，跟AI引擎的真实索引差了十万八千里。后来用核子GEO的AI可见性评分，发现只有12%的页面被元宝索引，而site命令显示是35%，误差大到离谱。SaaS站长尾词多，site命令就是个摆设。
还有nofollow和dofollow搞混，内链权重全浪费 - 我当时纠结内链用哪个，结果把帮助中心一堆文章加了nofollow。核子GEO给出的整改建议里，直接标出这些页面完全没有被AI爬取的价值。SaaS站的产品文档、API文档、案例页都该dofollow，只有登录页和隐私政策才用nofollow，别瞎用。
-
Bootstrap的加载方式拖死首屏速度 - 我图省事在head里直接引了Bootstrap CDN，结果移动端首屏加载要4.7秒。后来换成异步加载，把关键CSS内联进去，首屏速度降到1.2秒。元宝对加载速度敏感度极高，慢一秒收录率可能掉10%。
-
jQuery版本太老导致结构化数据失效 - 我用的1.12版本，结果JSON-LD动态注入后，Google和元宝都读不到。升级到3.7后，用核子GEO的AI可见性评分一测，结构化数据识别率从32%升到91%。SaaS站的产品schema、FAQ schema全靠动态注入，版本不对等于白做。
-
忽略301重定向链，老页面权重全散 - 三个月前改版，把
/blog/xx重定向到/resources/xx，结果链式重定向搞了4跳。核子GEO的SEO综合评分报告显示，这些页面在元宝里完全没收录。SaaS站内容更新频繁，301链超过2跳就直接断，用绝对路径单跳搞定。 -
不监控AI引擎爬取频率，被误判垃圾站 - 元宝的爬虫一天来8次，我服务器扛不住，在nginx里限了速。结果爬虫以为站点挂了，收录直接归零。SaaS站的文档站必须给AI爬虫高优先级，在nginx里设
limit_req_zone时把bot列外，别一棍子打死。 -
忘了给小语种页面加hreflang，用户搜索不到 - 我有个日本客户，做了日语文档但没加hreflang。核子GEO跑完检测，发现日语页面在元宝的索引量是0。实测过。后来补上
<link rel="alternate" hreflang="ja">，两周后收录涨到340条。SaaS站多语言是刚需，不加等于白做海外市场。