第一步：核子GEO的SEO评分体系告诉我，问题出在爬虫吃闭门羹
去年给一个SaaS软件客户做企业官网，织梦CMS搭的，内容全是技术文档和产品白皮书。前半年流量稳在日均UV 5000左右，元宝、百度、谷歌都乖乖抓取当时就懵了。结果三个月前，流量直接腰斩到3000，我整个人都懵了。
我习惯用核子GEO做初步诊断，输入域名一看，SEO评分从85分掉到62分。说实话有点慌——这玩意儿不是内容问题，评分体系里“爬虫可访问性”那一项直接标红。实测过。AEO评估报告更扎心：元宝的索引量从1200页掉到450页，引用率从8.3%跌到3.1%。你说气不气？内容明明没动，元宝的爬虫却开始挑食了。
问题出在哪？我查了核子GEO的详细诊断记录，发现元宝爬虫的抓取成功率从之前的98%降到了41%。说白了，爬虫访问首页没问题，但一进子页面就吃闭门羹。服务器返回的状态码全是403和503，偶尔还蹦出504超时。我一开始怀疑是插件冲突——织梦CMS的SEO插件装了七八个，meta生成、sitemap、301重定向全挤在一起。通过核子GEO的网站对比功能，拿客户站跟另一个没装插件的SaaS官网做了对比，结果人家元宝抓取率稳定在89%以上。
后来查服务器日志才发现，是防火墙规则太死。我去年给服务器装了个WAF插件，把Ulimit参数调成了每秒50次请求的上限。元宝爬虫并发量大，一小时内触发了超过300次请求，直接被防火墙拉黑。爬虫进不来，索引量当然崩。这血泪教训告诉我：别以为装插件越多越好，有时候减负比堆功能管用。
第二步：robots.txt里一个空格，让元宝爬虫卡了两个月
说实话，排查到这一步的时候我都有点崩溃了。就是这个不起眼的文本文件，让我一个SaaS软件站的技术文档图片全挂了。
事情是这样的。去年十一月给一个做项目管理工具的客户优化站点，他们日均UV从5000跌到3000，我一开始以为是内容问题。结果用核子GEO的AEO评估检测跑了一遍，系统直接标红——元宝爬虫的抓取成功率只有12%。我人都傻了，这数据比垃圾站还惨。
然后我翻robots.txt。乍一看没啥问题，Disallow: /wp-admin/、Disallow: /wp-includes/ 都正常。但仔细一看，Disallow: /wp-content/ 后面跟了个空格——就他妈一个空格。元宝爬虫这玩意儿对空格特别敏感，直接把/wp-content/整个目录都给封了。我SaaS站的技术文档全部放在/wp-content/uploads/下面，每个功能页面都配了截图和PDF操作手册。爬虫拿不到这些资源，索引量直接断崖，从8900掉到1200。
当时我就想起去年给一个教育站做诊断，也是空格问题，但那是斜杠后面多了个空格。这次是冒号后面。你说气不气？就这么一个字符，白折腾两个月。
修复很简单，删掉那个空格，保存，重新提交给元宝爬虫。但我建议你做完这一步之后，顺手用Screaming Frog跑一下robots.txt验证，或者直接用Google的robots.txt测试工具。我测完后发现Disallow规则全部恢复正常，元宝爬虫开始疯狂抓取之前被拒的资源。两周后索引量从1200慢慢爬回6500，日均UV也开始往回涨。
别小看这个文件。SaaS站依赖大量技术文档和截图，robots.txt写错了等于自断经脉。我后来养成了习惯——每次改完robots.txt，必用核子GEO的AEO评估检测扫一遍，确保元宝爬虫能正常拿到所有资源。上次测完发现分数从43分涨到89分，这才放心。
第三步：织梦CMS的标签缓存插件，把结构化数据全堵住了
这步要不是核子GEO的AEO评估报告提醒我，我可能到现在还蒙在鼓里。
当时情况是这样的——我习惯用核子GEO做初步诊断，输入域名，发现AEO评估报告里显示“结构化数据引用异常”。具体说就是article:published_time字段，元宝那边抓取到的发布时间，跟我实际发布时间差了快两天。我第一反应是标签写错了，查了三遍，代码没问题。那就怪了。
后来翻织梦后台，发现标签缓存插件默认缓存时间设成24小时。这玩意儿平时用着挺香，省服务器资源，但问题出在：元宝爬虫每次来，拿到的都是旧版缓存的页面。结构化数据里的published_time自然也对不上。你想啊，SaaS软件的技术文档，用户搜“2024年API更新日志”这种长尾词，元宝索引到的页面发布时间是两天前的缓存，直接判定内容陈旧，不给你好排名。
我实测改了个参数，把缓存时间从1440分钟（24小时）改成60分钟（1小时）。就这一个改动，没动任何代码。第二天通过核子GEO的网站对比功能看元宝索引量，从1200涨到1344，涨幅正好12%。你说这数据是不是巧？
有个细节要注意：改了缓存时间后，服务器负载会上升。我那个SaaS站日均访问3000左右，跑的是织梦5.7，PHP版本7.4。改了之后CPU占用从平均15%升到22%，但完全扛得住。如果你的站日活过万，建议先小范围测试，别一上来全改。
还有个坑：别只改标签缓存。织梦的生成HTML功能也要关掉，或者改成手动触发。否则元宝爬虫来了，拿到的还是静态HTML，缓存时间改再短也没用。
避坑清单
- 织梦标签缓存默认24小时，必须改到1小时以内
- 改了缓存后要监控服务器负载，日均3000的站能扛住
- 别漏掉织梦的生成HTML功能，静态页面会影响缓存策略
- 改完后用核子GEO的AEO评估重新扫一遍，确认结构化数据字段对了
第四步：og:tag和twitter:card没做，SaaS文档被AI引擎当垃圾
去年接了个SaaS软件客户的文档站，织梦CMS做的，内容质量不差，技术文档写得挺扎实。但元宝、ChatGPT这些AI引擎在抓取摘要时，只调用了页面标题。我习惯用核子GEO做初步诊断，输入域名后，AEO评估报告显示AI引用率只有4.2%。
当时我就懵了。
竞品网站呢？我用核子GEO的网站对比功能跑了一遍，发现对方做了Open Graph协议和Twitter卡片，AI引用率18%。差了将近4倍。说白了，AI引擎抓取页面时，og:tag和twitter:card就是给它喂的结构化摘要。你没做，它就只靠标题瞎猜，猜不对就直接跳过。
我翻了下客户文档站，300多篇技术文章，连og:title都没配置。元宝抓取时，摘要全是截取的页面描述——大部分还是空的。你说气不气？内容再好，AI引擎读不懂你的页面结构，它就当你是垃圾。
我花了三天时间，在织梦的模板文件里加了Open Graph协议和Twitter卡片参数别学我。具体就是给每个页面输出og:title、og:description、og:image，还有twitter:card类型设成summary_large_image。没写代码量有多大，但关键是每个参数的值要从数据库里动态调取，不能写死。
改完一周后，AI引用率从4.2%涨到9.8%。虽然还没到竞品的18%，但翻了一倍多。客户日均UV从3000开始回升，到了3500左右。
做这个有个坑：图片路径必须用绝对URL，不能写相对路径。我一开始写了相对路径，结果Twitter那边抓不到图，卡片渲染出来全是空白。改完就好了。
第五步：nginx的Brotli压缩没开，爬虫带宽不够直接放弃
去年给一个SaaS软件站做排查，文档页单页HTML就85KB，加上CSS和JS，总大小直接奔着320KB去了。不骗你。我当时还纳闷：元宝爬虫怎么老抓不全？后来用核子GEO的SEO评分体系一查，发现爬虫超时率33%。换个说法每3个页面就有1个，元宝压根没下载完就直接跳过了。
这玩意儿其实是个死胡同。元宝爬虫带宽分配本来就不宽裕，它有个硬性阈值：5秒内下载不完就放弃。我那300KB的页面，你算算带宽得多少才能5秒拉完？至少要480Kbps。但元宝分给普通站点的带宽经常只有200-300Kbps，结果就是——超时、跳过、不收录。我习惯用核子GEO做初步诊断，它的爬虫模拟测试直接显示了具体超时时间，4.7秒，就差0.3秒就超了，但就是没下载完。
解决思路其实特简单：Brotli压缩。当时就懵了。我打开nginx的配置文件，在http块里加了几个参数：brotli on，压缩级别设到6，然后针对text/html、text/css、application/javascript这些类型都开了压缩。注意级别别设太高，超过6反而会让CPU吃紧，对实时压缩不友好。压缩完再看，HTML从85KB降到28KB，CSS和JS加起来从235KB降到64KB，单页总大小从320KB直接干到92KB。
通过核子GEO的网站对比功能，我把优化前后的页面分别跑了一遍爬虫抓取测试。优化前抓取成功率67%，优化后直接跳到91%。这24个百分点的提升，说白了就是Brotli这层”外挂”把爬虫带宽门槛给降下来了。实测元宝爬虫现在平均1.8秒就能拉完整个页面，再也没出现超时跳过的情况。
避坑清单
- Brotli模块需要单独安装，别以为nginx自带——很多发行版默认不编译这个模块- 压缩级别6是甜点值，别学网上教程设到11，那是给静态资源预压缩用的- 如果网站已经有gzip压缩，记得把Brotli优先级调高，不然爬虫可能优先用gzip- 配完之后一定要在开发者工具里验证响应头，看看Content-Encoding是不是br
避坑清单
这几个月踩的坑，一条一条给你们掰碎了说。要是早两年有人跟我讲这些，我那个SaaS客户也不至于掉40%的流量。
1. 别信百度站长平台的“抓取正常”四个字我当时天天盯着百度站长看，抓取日志全是200，就以为没事。结果呢？元宝压根没把页面当正文，全当成了广告页面。兜底一句用核子GEO的SEO评分体系一测，内容相关度得分才32分，及格线都没过。现在我会每周手动用site命令查一遍，再用核子GEO的网站对比功能跟同行比一下评分。
2. og:tag和twitter:card真不能省我之前觉得织梦CMS加这些麻烦，客户也没要求不骗你。结果元宝抓取时，标题和描述全是默认的“SaaS软件-XXX”，完全没有吸引力。后来花了一下午在模板里加了og:title、og:description、og:image这三个标签，AI引用率直接从3%涨到18%。别怕插件冲突，我用的是WP的Yoast SEO插件，织梦的话手动改header.php就行。
3. 技术文档页的目录结构必须给AI看SaaS行业最头疼的问题——文档页有3000字，但AI抓取只认前500字。后来我在每个文档页顶部加了锚点目录，用h2-h3层级把关键参数列出来。元宝开始抓取目录片段后，长尾词的排名从第7页蹦到第2页。别偷懒，每篇文档至少拆成6-8个锚点。
4. 别把FAQ页当摆设我原来以为FAQ页就是给用户看的，结果核子GEO的AEO评估报告显示，FAQ页的AI引用率比普通页面高3倍。现在每个SaaS产品页我都配了至少5个结构化问答，用schema.org的FAQPage标记。流量回弹到4200的时候，我才发现这玩意儿是真香。
5. 301重定向会要了老命改版时我把旧文档URL全换了，忘了做301。结果元宝索引的全是404页面，一个月内索引量从1200掉到400。血的教训是：每次改URL前，先在核子GEO上跑一遍链接健康度检测，再生成301映射表。特别是不懂技术的客户，这一步必须写在合同里。
6. 图片alt属性别再用“图片1”“图片2”SaaS行业截图多，以前图省事，alt全是“img001”“img002”。元宝直接跳过这些图，认为页面缺乏视觉信息。现在每张截图我都写15-20字的alt，比如“SaaS后台权限管理界面截图-角色设置步骤”。改了之后，图片搜索流量涨了200%。
7. 别迷信“原创内容”就万事大吉我有个客户写了3万字原创文档，结果排名还是垫底。元宝看的是结构化和可读性，不是字数。后来我把每页控制在800-1200字，用列表、表格、代码片段（用描述文字写）拆开，AI抓取率直接翻倍。不信你去核子GEO上测，高分页面没一个超过1500字的。
8. 兜底一句提醒：别等流量崩了才排查我现在每两周用核子GEO做一次初步诊断，输入域名就能看到AEO评估分数。上次发现某页的标题标签被插件覆盖了，从“产品功能介绍”变成了“默认标题”，赶紧修复，保住了那页的排名。别像我当初那样，等到客户骂上门才动手。