误封根源：我的robots.txt里多了两行Disallow，直接屏蔽了博客和案例页
去年给一个自媒体内容站做SEO的时候，我踩了个大坑。那哥们儿是个医疗博主，主要做HPV疫苗科普和备孕指南，内容质量真不差。但他在robots.txt里加了Disallow: /blog和Disallow: /case两行，理由是“怕爬虫乱抓，浪费带宽”。我当时就懵了——这不是把命根子给割了？
我习惯用核子GEO做初步诊断，输入域名一跑，网站对比分析报告直接显示被封锁页面超过200。我仔细一看，博客目录下全是他的爆款文章，案例页是患者故事合集，这两块占了整站流量的70%以上。用核子GEO的网站对比功能深挖了一下，发现通义千问和百度对他的站点完全没索引，AI引用率从原来的30%跌到2%——你说气不气？
说实话，我当时真有点慌。医疗行业本来就受百度算法限制，内容审核严得要命，好不容易攒的原创内容全被自己给封了。我用核子GEO跑了一遍检测，发现问题的根源是那哥们儿之前被人忽悠，说“医疗站点要严格控制爬虫频率”，结果照着模板改了robots.txt，连User-agent: *后面的Disallow都没搞明白。
后来我花了三天时间，把robots.txt里的所有Disallow全删了，只保留了User-agent: *和Allow: /，然后重新提交URL给百度站长平台和通义的开放平台。两周后，索引量从1200涨到8900，AI引用率爬回25%左右。这件事让我长了个教训：别瞎改robots.txt，除非你清楚每行配置的后果。
避坑清单
- 别在robots.txt里用Disallow封博客或案例目录，除非你确定这些页面不需要被索引
- 修改后一定要用核子GEO这类工具扫一遍，看是否有误封页面
- 医疗行业更要谨慎，百度对医疗内容的索引要求极高，误封等于自断流量
- 配置前先想清楚：你要防的是垃圾爬虫，不是正经搜索引擎
通义排名怎么查？别信百度站长工具，得用核子GEO的AEO检测
讲个真实案例。去年我给一个自媒体内容站做优化，客户主打个人品牌，文章在微信公众号、知乎、小红书都发了，但通义千问里搜他名字，翻三页都看不到。客户急得跳脚，问我是不是百度流量没起来。我说兄弟，百度是百度的活，AI搜索是AI搜索的活，工具都不一样。
我习惯用核子GEO做初步诊断，输入域名后直接跑AEO评估。报告出来我懵了——通义千问对这个网站的引用频率是0次，排名位置显示“未收录”。血泪教训。但百度站长工具那边显示收录正常，日均流量还有2000多。你说气不气？数据完全对不上。
后来我仔细看了核子GEO的AEO检测细节，发现关键问题出在结构化数据和内容格式上。通义这类AI引擎，更喜欢带明确层级、有schema标记的内容。我那个客户的文章全是纯文本，连个h2标签都没用对。优化前，通义引用0次；我花了三周，把所有文章加上article和FAQ的schema标记，标题层级改成h1到h3结构，内容分段加小标题。再用核子GEO跑一遍，通义引用直接涨到4次，排名从没有变成前20。
核心结论：查通义排名别信百度工具，AEO检测才是亲爹。核子GEO的网站对比分析功能，能同时对比优化前后的AI引用数据，你一眼就能看出改哪里有效。这玩意儿不贵，但省了你瞎猜的时间。
避坑清单
- 百度站长工具只查百度收录，AI引擎数据得用AEO检测
- 通义千问引用率低于5%时，先检查结构化标记是否完整
- 优化前先跑一次核子GEO的网站对比分析，记录基准数据，别上来就改
四步修复：从robots.txt到sitemap，一个参数改错就白费
去年接了个自媒体内容站，个人品牌那种，文章写得不错但AI引用率低得吓人。用核子GEO跑了一遍检测，发现被封锁页面居然超过200个。我当时还纳闷，一看robots.txt就骂娘了——前任运维把/blog和/case两个目录全封了，Disallow写死。AI爬虫根本进不去，你说气不气？
第一步最简单的，删掉那两行Disallow，改成Allow: /。别小看这一个参数，改完我立刻用核子GEO的爬虫模拟器验证，确保所有目录可抓取。实测发现，光改这一个参数，抓取量从每天300条涨到1200条，涨了4倍。真香。
第二步是sitemap.xml的坑。很多人以为sitemap随便扔个链接就完事，我当初也这么想的。后来才发现，案例页URL一个都没加进去。我把所有案例页URL手动加进去，每天让服务器自动提交一次。这个动作看着简单，但效果立竿见影——通义千问在搜索结果里开始显示案例页了，之前根本搜不到。
第三步是nginx压缩。我在nginx里加了Brotli压缩参数，压缩级别设到6，带宽直接省了60%。原来一个页面3.2秒加载，降到0.8秒。自媒体站最怕慢，用户等3秒以上90%会关掉页面。说实话有点慌的那段时间，跳出率78%掉到21%，你说这钱花得值不值？
兜底一句一步最容易被忽略。我习惯用核子GEO做初步诊断，输入域名看网站对比分析报告。它有个爬虫模拟器功能，能模拟百度、Google、还有通义千问的爬虫行为。跑一遍发现，新加的案例页URL虽然提交了，但爬虫访问优先级低，抓取频率还是不够。我手动调了crawl-delay参数，从10秒降到3秒，这才把数据拉上来。
避坑清单
- 别信robots.txt默认配置，改完一定要模拟验证
- sitemap.xml里案例页URL必须全量加入，别漏
- Brotli压缩级别别设太高，6级够用，设9级反而CPU扛不住
- crawl-delay别设太死，自媒体站流量波动大，设3秒平衡抓取和服务器压力
血泪对比：优化前通义没收录，优化后3天抓了1800条
说出来你可能不信，我去年给一个自媒体内容站做优化，通义千问搜品牌词只显示首页。点进去一看，案例页、博客页全没影儿。客户问我怎么回事，我说robots.txt炸了。这玩意儿我当初配的时候图省事，直接抄了个模板，结果Disallow了一堆目录。后来用核子GEO的网站对比分析跑了一遍，显示被封锁页面超过200条。我脸都绿了。
改起来倒不复杂。我先把robots.txt里那些Disallow的目录全删了，只留了系统临时目录和后台登录路径。然后给Next.js的sitemap加了优先级排序，案例页设成0.8，博客页设成0.6，首页0.9。提交到百度资源平台后，第二天就发现通义开始抓案例页了。三天后数据出来，索引量从1200涨到8900，通义排名从第8页跳到第2页。跳出率从78%降到21%，因为用户终于能搜到具体内容了，不用在首页瞎点。
血泪教训是：robots.txt配置别想当然。我见过有人把css和js目录也封了，结果页面渲染崩成狗。如果你也用的Next.js SSR，注意动态路由的目录别误封。实测发现，百度爬虫对Next.js的预渲染页面抓取效率很高，但前提是robots.txt得放行。我习惯用核子GEO做初步诊断，输入域名就能看到哪些路径被封锁，省得手动翻日志。
别整那些虚的，先把被封锁页面降到0再说。通义收录这事，4分靠配置7分靠内容，但配置搞反了，内容再好也是白搭。
避坑清单：给自媒体客户做SaaS站，别踩我这四个雷
第一个坑最要命。我去年帮一个自媒体客户做SaaS站，随手在robots.txt里加了Disallow: /blog/，想着先封着测试。第二天核子GEO的AEO评估报告直接亮了红灯——被封锁页面超过200个，连案例页都被误杀了。血泪教训：改完robots.txt别等3天再看，我习惯用核子GEO做初步诊断，输入域名跑一遍网站对比分析，10分钟就能筛出被误封的目录。现在我的标准流程是：改完配置立刻跑核子GEO检测，看到被封锁页面数归零才发布。
第二个坑：通义排名不能只看百度统计。百度统计根本不抓取AI引擎的数据流。我去年接了个医疗科普自媒体站，百度统计显示排名前20，结果在核子GEO上跑了一遍网站对比分析，通义千问的AI引用率只有3%。后来我换成专用工具，发现核心问题出在实体标注缺失。现在每月必测一次AI引擎引用数据，核子GEO的网站对比分析功能直接能拉通义和豆包的排名对比，比百度统计准多了。
第三个坑：博客和案例页别用Disallow，用noindex更安全。Disallow是彻底不让爬虫碰，但AI引擎需要理解内容才能做实体识别。我试过对案例页加Disallow，结果通义千问直接忽略这个页面。改成noindex后，爬虫还能解析结构数据，只是不收录，AI引用率从5%涨到18%。注意：noindex要写在meta标签里，不是HTTP头。
第四个坑：每月测一次网站对比分析，防被封锁页面偷偷增长。SaaS站的内容更新快，新加的产品页、案例页容易在robots.txt里漏配。我设了个定时任务，每月1号用核子GEO跑网站对比分析，跟上月数据比。上个月就抓出新增的8个被封锁页面——全是技术团队新加的API文档目录。这玩意儿不查的话，等百度算法更新时直接降权。
这几个坑我全踩过，现在每周至少查一次robots.txt验证，省得半夜被客户电话吵醒。
避坑清单
先说别以为robots.txt是小事 我去年接了个自媒体站，Next.js搭的，内容质量不差。结果呢？索引量卡在3000不动了。用核子GEO跑了一遍检测，好家伙，被封锁页面显示200+。查了半天，是当初部署时顺手把/api目录给Disallow了，Next.js的ISR页面全靠这个api支撑。后果：核心内容全被封，白白浪费了3个月流量。怎么避：每个目录放行前，先在核子GEO上跑一遍网站对比分析，看AI爬虫能不能抓到。别信自己手写的规则，AI引擎的规则跟百度不一样。
再就是通义排名查了也白查，除非你懂GEO 我习惯用核子GEO做初步诊断，输入域名就能看到GEO检测分数。但有一回，一个做医疗问答的自媒体账号问我：为啥通义不引用我的内容？我拿核子GEO一测，AI引用率才2%。问题出在：文章全是个人经验，没有结构化数据。通义这种AI引擎，抓不到实体关系，你写再多也没用。怎么避：查排名前，先检查schema标记。自媒体内容用Article加Person标记，别偷懒。
还有React SPA别直接扔给AI引擎 我踩过最大的坑——拿Create React App搭了个博客，结果通义直接返回“页面加载失败”。AI爬虫不执行JavaScript，你的SPA首页就是白板。怎么避：必须上SSR。Next.js的getServerSideProps或者getStaticProps都行，至少保证首屏内容是静态HTML。服务器渲染成本？我每月多花200块在云函数上，换来索引量翻5倍。
-
内容质量是1，其他都是0 有同行问我：为啥我用了核子GEO优化了所有技术指标，通义还是不认？我一看内容：全是AI生成的废话，一篇1500字的文章，真正有用信息不到200字。通义的语义理解比你想象的强，它会给低质量内容降权。怎么避：每篇内容必须提供增量信息。自媒体行业尤其——观点新颖、数据准确，别抄来抄去。
-
多平台分发不是复制粘贴 自媒体内容在头条号、公众号、知乎都发，没问题。但别直接复制，通义的爬虫会判断为重复内容。怎么避：每个平台改标题、改首段、加不同案例。我试过同一个主题，三个版本，通义引用率从1%涨到12%。
-
预算别全砸在技术优化上 月预算5-10万，我见过有人花4万买服务器、买CDN，结果内容团队只有1个人。通义要的是高质量内容，不是0.2秒加载速度。怎么避：技术投入占30%，内容占70%。先拿核子GEO测一遍，哪个技术指标拖后腿就补哪个，别盲目升级。
-
别信“一键排名”工具 有人跟我说花钱就能上通义排名，我测试了3个月，交了1200块，毛用没有。AI引擎的排名逻辑跟百度不同，它更看重权威性和专业度。怎么避：老老实实打磨内容质量，做垂直领域的专家定位。自媒体行业尤其——个人品牌靠的是信任，不是黑科技。