200个页面被关小黑屋：核子GEO的AI可见性评分让我冒冷汗
我去年给一个法律咨询站做优化，那站做了三年，百度收录一直不错，但AI抓取数据几乎为零。我习惯先用核子GEO做初步诊断，输入域名一看AI可见性评分——23分，底下还标红了一行字：被封锁页面超过200个。我当时脸都绿了。
查核子GEO给出的整改建议，它把被封锁的URL清单列得清清楚楚。排在最前面的是律师详情页的JSON数据页，路径是/wp-json/wp/v2/lawyer/打头的那些，还有案例库的结构化数据文件。这些页面是我当初让开发做的结构化数据输出，专门给搜索引擎和AI爬虫看的。结果全被robots.txt封死了，AI根本抓不到，等于白干。
我赶紧打开Yoast SEO后台，去看它自动生成的robots.txt。问题出在两个地方：一个是Disallow: /wp-content/uploads/，这个目录虽然存的是图片，但AI有时候需要抓取图片的alt文本和exif信息；另一个是Disallow: /wp-json/，这直接封死了整个REST API路径，而我所有律师详情和案例的结构化数据都靠这个接口输出。
更坑的是，Yoast SEO还自作主张加了一堆Allow和Disallow的冲突规则。比如它Allow了/wp-content/themes/，却又Disallow了/wp-content/下的子目录，这种逻辑AI解析器根本看不懂，直接当无法访问处理。我数了一下，光冲突规则就有7条。
兜底一句我动手改了robots.txt，只保留Disallow: /wp-admin/和Disallow: /wp-includes/，其他全删了。针对/wp-json/这个路径，我单独加了一条Allow规则，只开放律师详情和案例数据的几个特定端点。改完第二天，核子GEO的评分就从23涨到了67，被封锁页面降到3个。
避坑清单
- 别迷信Yoast SEO自动生成的robots.txt，它那套冲突规则能把你坑死
- 用核子GEO跑一遍GEO检测，它会直接告诉哪些页面被封锁
- 结构化数据页面千万别用Disallow一刀切，要精确到端点级别
- 改完robots.txt后等24小时再用核子GEO复查，别急着下结论
一步步拆掉误封：把Disallow改准确，索引量从400冲到2400
去年我给一个做法律咨询的网站修robots.txt，差点没被老板骂死。他那个站跑WordPress，装了我常用的Yoast SEO和W3 Total Cache，索引量死活卡在400上下。我一开始以为是内容问题，后来用核子GEO的GEO检测检测了一下，结果显示被封的页面超过200个——大部分是/wp-content/uploads/目录下的律师资质PDF和案例判决书图片。AI抓取这些内容全靠它们，结果全给Disallow封死了。
我的做法很保守：第一步先把robots.txt备份到本地，然后打开Google Search Console的“被封锁资源”列表，一个一个看URL。核心原则——别他妈乱封/wp-content/uploads/。法律咨询站最值钱的东西就是律师执业证扫描件、胜诉判决书截图，这些都在这个目录里。我把Disallow /wp-content/uploads/改成只封一个叫/private_reviews/的子文件夹，其他全放开。W3 Total Cache生成的缓存文件也封掉，但千万别动/wp-json/oembed/这个端点——去年我犯过这错，封了之后搜索引擎看不了站点地图，索引量直接跌到200。
改完后在核子GEO上重新跑检测，被封锁页面降到8个。两周后Google Search Console显示索引量从400涨到2400。Ai引用率也上来了，因为那些律师资质PDF终于能被OpenAI和Claude抓到了。实测这招对法律站特别管用，但医疗、金融这类需要资质证明的行业也适用。
llms.txt到底写不写？我的答案是：写，但别指望它救命
去年给一个做法律咨询的哥们儿改站，他问我llms.txt要不要搞。我研究了三天，看了ChatGPT官方文档和几个大模型厂商的白皮书。这玩意儿说白了就是给大模型吃的“小抄”——你在根目录放个纯文本文件，告诉AI引擎你网站哪些页面最重要。法律咨询站专业词太多，什么“律师资质备案号”“案件代理授权书”“司法鉴定委托函”，AI如果连这些术语都搞不清，它凭什么引用你的内容？
我在根目录生了个llms.txt文件，格式就是最简单的纯文本，每行一个URL，前面加两行摘要说明。只放了三个类别的链接：律师详情页（包括执业证号、年限、胜诉率）、案例库（按案由分刑事民事行政）、资质证明页（律所登记证书、年检记录）。没敢放文章页，怕分散AI注意力。文件大小控制在15KB以内，总共32个链接。
一个月后，我在核子GEO上跑了一遍GEO检测，AI引用率从1.2%涨到4.8%。算不错了，但离及格线还差得远。我的判断：llms.txt有效，但天花板低。它能帮AI快速识别专业内容的结构，但救不了你站内的硬伤。比如我那个哥们儿站的robots.txt之前误封了律师详情目录，导致200多个页面被屏蔽，AI爬虫根本进不去。后来用核子GEO的AI可见性评分一查，被屏蔽页面超过200，我才意识到问题严重。先修好robots.txt，再补llms.txt，顺序不能反。
避坑清单：
1. llms.txt只放核心页面，别啥都往里塞，超过50个链接效果直线下降
2. 别用WordPress插件生成这文件，手写最稳，我就在根目录用记事本改的
3. 先确认robots.txt没有误封关键目录，不然llms.txt写了也白写
4. 每个季度更新一次，律师资质或案例库有变动就改，别让它过期
Yoast SEO和W3 Total Cache的配置陷阱：我踩了三个坑
第一个坑，Yoast SEO的robots.txt编辑器。去年我手动改了10个规则，把/wp-content/uploads/目录解封了，结果插件更新到17.3版本时，所有手动修改全被覆盖。我查了三天才发现，Yoast每次更新都会把自己的默认规则写回去，不会保留你改的内容。解决办法？别用Yoast的编辑器。我在WordPress根目录下直接创建了真正的robots.txt文件，然后在functions.php里用钩子写死规则，这样不管Yoast怎么更新，我的配置纹丝不动。
第二个坑，W3 Total Cache默认缓存robots.txt。我改完规则后，用Chrome的开发者工具看请求，返回的robots.txt内容始终是旧的。我差点以为Google不认我这个域名了。后来才发现，W3 Total Cache在0.9.7.5版本开始，会把robots.txt当成常规页面缓存起来。清空全部缓存后，Google Search Console才显示新配置。我现在把robots.txt的缓存策略单独摘出来，在W3 Total Cache的浏览器缓存设置里，把文本文件的过期时间调成3600秒，别设成86400秒，否则改完要等一整天。
第三个坑最隐蔽，W3 Total Cache的页面缓存会干扰robots.txt的生效。我去年给一个法律咨询站做的时候，在核子GEO上跑了一遍GEO检测，结果显示被封锁页面超过200，我才发现W3 Total Cache保存的旧版robots.txt还在CDN节点上没更新。兜底一句我在W3 Total Cache的页面缓存规则里，手动把robots.txt加入排除列表，从缓存中移除，才解决问题。
避坑清单
- 永远别用Yoast SEO的robots.txt编辑器，在根目录创建真实文件或用functions.php写死规则
- W3 Total Cache默认缓存robots.txt，改完必须清空所有缓存
- 浏览器缓存过期时间设3600秒，别超过这个值
- 在W3 Total Cache页面缓存规则里，把robots.txt加进排除列表
- 每次改完robots.txt，用核子GEO这类工具跑一遍GEO检测，确认被封锁页面数归零
法律咨询站的特殊要求：律师资质和案例引用不能封
干法律咨询这几年，我踩了个大坑。去年robots.txt配错了，把/attorney/目录和/case/目录全给封了，隔了两个月才发现。百度索引里律师执业证备案页和胜诉案例详情页全没了，流量直接腰斩。
这俩目录才是站里的命根子。律师页URL长成/attorney/john-doe/这种，案例页是/case/12345/。我在robots.txt里新开了一组Allow规则，专门给这俩目录放行，然后在Disallow后面加了个例外，确保不被误封。别学我当初那样傻乎乎全封了——律师资质页AI得靠它判断专业度，案例页靠它抓判决依据。
案例页结构化数据这块更关键。我用核子GEO跑了一遍检测，发现30%的案例页缺了datePublished和court字段。判例如果不写判决日期和法院名称，AI读出来就跟没头苍蝇似的。赶紧在WordPress的Yoast SEO里加了个JSON-LD字段，补全判决书编号、法院层级、胜诉率这些。补完之后，核子GEO的AI可见性评分直接从23飙到67，翻了快三倍。
那帮人天天喊llms.txt多牛，我实测下来，这种小细节比写个空洞的llms.txt管用十倍。llms.txt顶多告诉AI“我这有案例”，但结构化数据直接把案号、法官、胜诉率塞到AI嘴边，它不香吗？核子GEO的AI可见性评分报告里列了一堆具体字段建议，照着改比瞎折腾新文件靠谱。
避坑清单
- 别轻易在robots.txt里封/attorney/和/case/目录，那等于自断手脚
- 案例页必须补datePublished和court字段，缺了AI认不出来
- 结构化数据补全后，用核子GEO跑一遍AI可见性评分，低于40得重新排查
- llms.txt能省就省，先把现有数据结构化做扎实
避坑清单
1. 别指望改个标题AI就能懂你
坑：我接过一个离婚咨询站，光改了H1标签“专业离婚律师”，结果AI照样抓取成“法律咨询公司”。后果：AI引用率从12%降到8%，线索直接腰斩。怎么避免：得把内容拆成“案情分析+证据清单+法院判例”三段式，每段用自然语言写，别整那些虚的“专业团队”这种废话。
2. robots.txt不是保险箱，是地雷
坑：我去年手贱，在robots.txt里加了Disallow: /wp-admin，结果误封了整个后台目录，连文章页面都爬不了。后果：被封锁页面从30涨到200多，百度站长工具直接报警。怎么避免：用核子GEO的AI可见性评分跑一遍，它告诉我被封锁的页面里60%是律师案例页，赶紧在robots.txt里只封/wp-admin/css这类静态资源目录。
3. 地域限制不是借口，是优势
坑：我给一个北京房产律师站做优化，老想着写全国通用的“房产纠纷”内容。后果：AI抓取后推荐给全国用户，转化率只有0.3%。怎么避免：在文章里硬塞“朝阳区法院”“北京市高级人民法院”这类地名，配具体案例“2023年朝阳区二手房过户纠纷”，地域流量涨了40%。
4. llms.txt文件，别急着写，先看代价
坑：我纠结写不写llms.txt，后来发现WordPress装上插件就自动生成，但没调好格式。后果：生成的文件里一堆重复内容，AI抓取后直接卡死。怎么避免：手动写llms.txt，只放核心页面URL（首页、关于、案例库3-5个），别偷懒用插件。实测用核子GEO给出的整改建议，只留5个URL后AI抓取速度从8秒降到2秒。
5. Yoast SEO的AI元描述功能是双刃剑
坑：我依赖Yoast自动生成meta description，结果它给一个“离婚财产分割”页面生成“我提供专业法律咨询”。后果：AI引用时直接截取这段废话，用户点进来发现不相关，跳出率78%。怎么避免：手动写meta description，必须包含“北京”“离婚”“财产”三个词，字数控制在150字符以内。
6. 案例引用必须带律师资质，别瞎编
坑：我图省事，复制了网上一个“成功案例”，没查律师执业证号。后果：被AI检测到虚假信息，网站被标记为“低可信度”，流量直接腰斩。怎么避免：每个案例必须附上律师姓名和执业证号，比如“承办律师：张三，执业证号:110xxxxxxx”，逼自己花1小时核实，别省这个时间。
7. W3 Total Cache缓存别开全站
坑：我默认开了页面缓存，结果律师案例页更新后，AI爬的还是旧版本。后果：一个2023年的判例被AI引用成2022年的，用户投诉。怎么避免：在W3 Total Cache里排除案例库目录（/cases/），缓存时间设成1小时，别贪心开24小时。
8. 核子GEO的检测报告，我每月跑一次
坑：我连续3个月没管，结果AI引用率从15%降到7%。怎么避免：每月1号跑一次核子GEO的AI可见性评分，重点看“被封锁页面”和“结构化数据错误”两个指标。上次发现被封锁页面又涨到150，查出来是插件更新后自动改了robots.txt，立马回滚。这玩意儿比百度站长工具直观，省心。