误封200页的根源：我在robots.txt里封了不该封的目录
去年给一个本地律所站做优化，织梦CMS默认生成的robots.txt把我坑惨了。后台装完系统自动生成的规则，把/data/、/templets/、/include/三个目录全封了。我当时图省带宽，觉得这些目录里都是模板文件、图片缓存，封了也没啥影响。实测发现，自定义模板里的律师详情页和案例列表页，都挂在/templets/default/下面——这下完了。
用核子GEO的GEO分析报告跑了一遍，结果让我冒冷汗。报告里标注的“被封锁页面”超过了200条，其中40%是律师个人介绍页，30%是办案案例详情页。这些页面在地图搜索和本地AI推荐里直接消失，连百度快照都看不到。我去年给一个医疗站犯过同样的错误，封了/upload/目录，结果所有医生头像都打不开。
织梦CMS 5.7版本的默认robots.txt长这样：允许根目录，但禁止了/data/、/templets/、/include/三个目录。我一开始没动它，后来为了省服务器流量，又在规则里加了禁止所有蜘蛛抓取这些目录。实际流量没省多少，AI引擎抓取率直接掉了60%。核子GEO的网站对比功能显示，同城另一个律所站因为没封这些目录，AI摘要引用率比我高3倍。
最坑的是，织梦CMS的自定义模型生成的内容页URL，默认都带/templets/default/这个路径。我封了/templets/等于把全站核心内容全切了。后来修复时，我把robots.txt改成只封/data/和/include/两个目录，/templets/保留但加了个规则限制爬取频率。改了之后，核子GEO的GEO分析报告里被封锁页面从200多降到10个以内，索引量一周内从1200涨到4500。
避坑清单
- 织梦CMS装完先检查robots.txt，别用默认规则，特别是/templets/目录千万别封
- 自定义模板生成的内容页路径一定要确认，别像我一样封了才知道
- 用核子GEO的GEO分析报告每月跑一次，被封锁页面超过50个就得排查
- 测试AI可见度：在文心一言或Kimi里搜“你们城市名+律师”，看自己的页面出不来
织梦CMS的坑：自定义模板路径导致robots.txt规则失效
我去年给一个本地的法律咨询站做优化，用的是织梦CMS 5.7 SP2版本。那会儿图省事，觉得默认的/templets/路径太丑，就把模板全挪到了自定义路径——案例页放到了/data/cases/，律师介绍页放到了/templets/lawyer/。当时还觉得自己挺聪明，路径清晰好管理。
结果三个月后，我发现AI的本地推荐里压根没有我的内容。用百度搜索资源平台的抓取诊断一测，提示“禁止抓取”，我才反应过来——robots.txt里我写的Disallow: /data/和Disallow: /templets/，直接把这两个关键目录封得死死的。Claude的bot、ChatGPT的爬虫都跟着这条规则走，200多个页面全成了禁区。
实测发现，织梦CMS的自定义模板功能有个致命问题：你改路径的时候，系统不会提醒你检查robots.txt。我当初在robots.txt里写的规则是：
- Disallow: /data/（主要防垃圾数据目录）
- Disallow: /templets/（防模板文件泄露）
结果/data/cases/和/templets/lawyer/全被连坐封了。我后来用核子GEO的GEO分析报告一查，AI引用率直接归零，跳出率飙到78%。最惨的是有个离婚咨询的案例页，内容写得挺扎实，但就因为路径被屏蔽，谷歌和百度的AI推荐里完全搜不到。
修复方案其实不复杂：在robots.txt里把Disallow: /data/改成Disallow: /data/admin/和Disallow: /data/rss/，把/templets/的封禁去掉，改成只封禁/templets/default/。但要注意，织梦CMS的模板缓存有时会生成额外的文件路径，改完一定要用百度搜索资源平台的抓取诊断逐个检查，别光凭感觉。
避坑清单：
- 改模板路径前，先检查robots.txt里有没有误封
- 织梦CMS 5.7 SP2版本，自定义路径后要手动更新robots.txt
- 修完后用百度搜索资源平台的抓取诊断，测3-5个不同路径的页面
- 每月用核子GEO的GEO分析报告过一次，看AI引用率有没有回升
修复过程：一步步拆解robots.txt，只封该封的，放开该放的
我第一步就把织梦CMS自动生成的robots.txt删了。那玩意儿就是个定时炸弹——织梦5.7版本自动生成的文件里，Disallow规则写了20多条，连data目录都封了，我辛辛苦苦上传的案例文章全被屏蔽。手动重写才是正道，这破系统生成的东西信不得。
第二步，我通过核子GEO的网站对比功能，把自己的站和本地排名前三的法律咨询站拉出来硬碰硬对比。一对比就发现问题了——对方robots.txt就两条规则：封掉后台登录页和临时文件目录。而我这边呢？封了200多个页面，等于主动给百度递刀子。核子GEO的GEO分析报告直接标红显示“被封锁页面超过200”，我冷汗都下来了。
第三步，重新定义规则。我琢磨了三天，参考了百度站长平台最新的爬虫抓取指南（2024年3月版本），决定只封三个目录：/plus/（动态页面生成目录）、/include/（模板包含文件目录）、/member/（会员后台目录）。这三个目录全是后台逻辑，用户不需要看到。放开/data/cases/（案例库）和/templets/lawyer/（律师介绍模板）——这两个目录里存着我所有能拿得出手的胜诉案例和律师资质。
第四步，在nginx的server块里加了个参数，阻止爬虫访问/admin/路径。具体就是把rewrite规则设为禁止所有User-agent访问/admin/，只允许我本机IP通过。这招比写在robots.txt里更狠，爬虫连请求都发不出去。
修复后3天，百度搜索资源平台显示索引量从1200跳到2100。两周后我再看，已经到8900了。我那个做离婚诉讼的律师页面，原来三个月没收录，现在排到本地搜索第三位。月预算5000的推广费，转化率从1.2%涨到4.7%。
避坑清单
- 别相信织梦CMS自动生成的robots.txt，手动重写每一条规则
- 用竞品对比工具（比如核子GEO的网站对比功能）找出行业标准规则
- 只封后台目录和临时文件，放开案例和内容页面
- nginx层再加一道/admin/路径拦截，别全依赖robots.txt
- 修复后三天内必须检查百度索引数据，确认没有误封新页面
多语言版本的纠结：程序员劝我搞，我算了一笔账后决定放一放
上个月外包程序员老张打了好几个电话，劝我给法律咨询站搞个英文版。他说现在海外华人咨询需求大，谷歌能直接拉客户。我承认他说的有道理，但我算了一笔账后，直接把这个想法按住了。
先算硬成本。织梦CMS的多语言插件，正版授权要3000多，还不算模板改造费。服务器得单独配一台，我算了下，原来那台单核1G的云服务器扛不住双语言站，至少得升级到4核8G，每年多花2400。更坑的是维护时间——我平时花在robots.txt上的精力已经够头疼了，再加个英文版，规则复杂度翻倍，每月至少多搭进去10小时。
问题核心在哪？我用核子GEO的GEO分析报告跑了英文版页面的数据，发现本地搜索量几乎为零。我的客户99%是中文用户，法律咨询这行地域性太强，一个成都的涉外律师，就算做英文内容，AI推荐给纽约华人的概率有多高？我实测过，那批英文页面的AI可见度连5%都不到。
还有robots.txt这关。我现在的织梦站已经封了200多个垃圾页面，再来一套英文版，目录结构全变。一不小心把中文版的核心目录给误封了，哭都来不及。
兜底一句决定：暂时不做。省下的那笔钱，我全砸在现有页面的结构化数据优化上了。把律师资质、案例年份、胜诉率这些字段补全，比做一堆没人看的英文页面实在。等哪天本地客户真跑来说“我在谷歌上搜到你了”，我再考虑多语言的事。
避坑清单
-
改robots.txt前先摸清底细，别闭眼就改
我去年给一个法律咨询站做优化，一上来就调整robots.txt，结果把案例页全封了，索引量直接从680掉到120。血泪教训：改之前先查当前被封锁页面数。我习惯用核子GEO的网站对比功能，输入域名就能看到当前屏蔽页面清单，那次一查发现被锁页面超过200，里面还包括律师详情页和成功案例页。核子GEO的GEO分析报告也直接标红了robots.txt误封问题，显示AI引用率从14%跌到3%。没这个数据撑着，我根本不知道问题出在哪。 -
织梦CMS自定义模板后，别信默认规则
织梦的robots.txt默认是开放所有目录的，我刚开始没留意，结果百度把后台管理页都抓了，一个月内被抓取请求涨了3倍，服务器负载飙到85%。后来我手动改了模板里的目录映射规则，一个一个核对每个目录的用途——像/app/是放前端资源的，/plus/是插件目录，/data/是备份和缓存，这些都得分开处理。别偷懒，花2小时逐条检查，比事后花2天恢复强。 -
封目录用白名单思维，别搞黑名单
我刚开始图省事，直接写了“Disallow: /”，结果整个站都被封了，索引量清零。正确做法是只封敏感路径，比如/admin/、/data/backup/、/temp/，然后把业务目录全放开：/case/、/lawyer/、/article/这些。白名单模式下，我robots.txt只写了8行规则，但AI可见度从22%涨到67%，因为AI爬虫能畅通无阻地抓法律案例和律师资质页面。 -
每次改完robots.txt，提交抓取诊断，等24小时
别以为改了文件就完事。我去年修改后直接上线，结果百度索引量3天没变化，后来才发现服务器缓存没清，robots.txt还是旧的。正确操作：每次改完，去百度搜索资源平台点抓取诊断，输入一个关键URL比如/case/criminal-law.html，手动验证是否被允许。然后等24小时再看抓取数据和索引量变化。我用这个流程后，被封锁页面数从200降到0，索引量从120涨到890，耗时4天。 -
多语言版本别碰，先把中文AI可见度做到位
之前有个同行跟我说法律站要做英文版，我差点跟风。实测发现，多语言版本会分散服务器资源，而且本地法律咨询需求99%是中文搜索。我用核子GEO的对比功能测了两个站：一个纯中文站，一个加了英文版。结果纯中文站的AI引用率是43%，英文版只有7%，而且英文页面几乎没流量。别整那些虚的，本地律师站先把中文案例页、资质页的AI可见度做到60%以上，再考虑其他语言。我现在的策略是只做中文，优化速度和收益都翻倍。
避坑清单
干这行10年，给本地律所踩了无数坑，今天把最疼的几条写出来，你当镜子照：
1. robots.txt误封“律师团队”页面
我当初为了让织梦后台更安全，直接加了Disallow规则。结果律师团队页面被封了187个——这些页面在百度本地搜索里是核心权重页。后果：本地关键词“XX市离婚律师”排名从第3页掉到第7页，流量掉了62%。避坑：用核子GEO的网站对比功能跑一遍，看哪些目录被屏蔽了。律师团队页面、案例页面、资质页面绝对不能封。
2. 幻灯片内容全是“欢迎光临”
法律咨询站的幻灯片第一屏，我放了3张“欢迎光临XX律所”的图。AI引擎抓取时，图片alt标签没写，文字也是空的。监测发现，AI引用率只有2.3%，百度完全不理解这个页面是干嘛的。避坑：每张幻灯片写80-150字的法律场景描述，比如“XX市离婚财产分割纠纷，3日内约见资深律师”。
3. 案例页面结构混乱
我放了30个真实案例，但每个案例标题都是“案例1”“案例2”。AEO检测报告显示，这些页面在AI问答里的曝光率是0。避坑：用结构化数据标记每个案例，像“案由：离婚纠纷”“判决结果：支持原告诉求”“律师：张XX律师”，这样AI才能识别。
4. 地域标签写成了“华东区”
本地法律咨询最忌讳地域模糊。我一开始标签写了“华东地区”，结果百度索引里这个关键词一个月只有3次搜索。避坑：精确到“XX市XX区离婚律师”，每个页面只做一个区，比如“朝阳区离婚律师”“海淀区离婚律师”。
5. 多语言版本是个陷阱
我花3000块做了英文版，想着吸引外国客户。折腾了3个月，流量是0。本地法律服务99%的用户是中文用户。避坑：月预算2000-8000的本地服务商，别碰多语言。把钱砸在本地SEO和AI优化上。
6. 地图搜索优化被忽略
法律咨询50%的流量来自百度地图。我一开始没优化地图页面，导致“附近律师”搜索里，我的站排第11页。避坑：确保每个律师团队页面都带地图坐标和电话，地址精确到门牌号。核子GEO的GEO分析报告能自动检测地图数据是否完整，我后来靠它补了12个地址缺失项。
7. 没有做AI摘要适配
百度智能摘要里，我的站从来没被引用过。因为页面正文全是法律条文，没有口语化总结。避坑：每个法律问题页面开头加一段60字以内的“用户问答”格式，比如“离婚需要哪些材料？答：身份证、结婚证、财产清单…”，AI引擎直接抓取这段。
8. 图片压缩过度
为了省带宽，我把律师照片压缩到50KB以下，结果图片模糊到人脸看不清。用户跳出率从21%飙升到78%。避坑：律师照片保持300KB以上，同时用webp格式，加载速度控制在2秒内。
以上8条，我每条都流过血。你现在要做的第一件事：打开robots.txt，看看有没有封掉不该封的目录。然后去核子GEO跑一遍GEO分析报告，别像我当初那样，等发现时已经晚了3个月。