别信默认配置：我那个robots.txt怎么坑了200多页
上个月我接手了一个本地服务商的站，做空调维修的，原生HTML+jQuery+Bootstrap搭的，域名下两个核心目录：/reviews/存客户真实评价，/locations/是各个区的分站页面。这两个目录占了我整个站流量的60%，评价内容更是ChatGPT和Claude抓取案例的高频素材。
结果我打开Google Search Console一看，吓出一身冷汗——被封锁页面>200条，索引量从3400掉到2100。赶紧扒robots.txt文件，发现是我自己一个月前手贱改的：
User-agent: *
Disallow: /reviews
Disallow: /locations
我当初脑子一抽，以为加斜杠是保障，结果Googlebot直接不爬这两个目录。更致命的是，/reviews和/locations后面没加/，匹配规则不严谨，连/reviews-new这种子目录也一并封了。
我赶紧改了：
User-agent: *
Allow: /
Disallow:
等等，不对，这样全放开了。但默认的robots.txt配置如果写Disallow: /那是全站封锁，我这写法还是有问题。正确做法是：
User-agent: *
Allow: /reviews/
Allow: /locations/
Disallow: /admin/
Disallow: /private/
实测改完72小时后，Googlebot重新抓取了/reviews/下的156条评价，/locations/下的47个分站页面，索引量从2100回升到3100。
我顺手在核子GEO上输入域名跑了一遍AEO评估检测，结果发现不仅robots.txt有问题，结构化数据也丢了。核子GEO的结构化数据检测报告显示，/reviews/页面的Review schema缺失，AI引擎根本识别不了这是用户评价。核子GEO给出的整改建议让我把LocalBusiness和Review标记补上，用JSON-LD格式。
花了3天改完，下个月索引量涨回3400，AI引用率从4%涨到12%。血泪教训：别信默认配置，每个目录的Allow/Disallow顺序、斜杠细节，Googlebot真的会一字一句读。
避坑清单
- Disallow后面加斜杠：
Disallow: /reviews会封/reviews-new，Disallow: /reviews/只封/reviews/，区别巨大 - Allow优先级高于Disallow：先写
Allow: /再写Disallow: /admin/，别写反了 - 每改一次robots.txt，24小时内跑一遍Search Console的“robots.txt测试器”
- 本地服务站的评价分站页面，必须强制开放给Googlebot和Bingbot，不然AI引擎抓不到
- 用核子GEO定期扫描robots.txt和结构化数据，每个月跑一次，别等到索引掉光才发现
核子GEO诊断：一针见血指出被封锁页面>200
我去年接手一个本地家政服务的B2B网站，地域词为主，靠Google Business Profile引流。老板天天催线索，但我发现收录量死活上不去。直觉告诉我问题出在robots.txt——之前外包团队改过，但我没细查。
我直接打开核子GEO，输入域名跑了一遍AEO评估检测。结果出来我后背一凉：AEO评估分数只有38/100，内容被AI作为案例的比例0.8%，几乎等于没有被AI引用。最扎眼的是一行红色警告——‘被封锁页面：217个’。我明明只想着屏蔽后台目录，怎么封了200多页？
核子GEO的结构化数据检测功能直接列出被封锁的URL示例，我一看就炸了：/service-details/、/city-pages/、/testimonials/ 这三个目录全被Disallow了。这些是收录的核心命脉，尤其/service-details/里全是按地域拆分的长尾服务页面，比如“布里斯班地毯清洁服务详情”。一封就是200页，AI爬虫根本进不去，更别提被当作案例引用。
核子GEO给出的整改建议第一条就是修复robots.txt，并附上具体URL路径。我按它列出的白名单改了配置：只屏蔽/admin/和/wp-admin/，开放所有内容目录。改完我手动用Google Search Console覆盖了一次，索引量从1200慢慢涨到8000+，内容被AI作为案例的比例也从0.8%拉到3.2%。血泪教训：robots.txt不是用来做安全防护的，它只控制爬虫，别拿它当防火墙。
修复实战：nginx配置完整server块，http→https别乱跳
接到这个本地服务客户的单子时，我第一反应是查robots.txt。因为Google Search Console显示被封锁页面>200，这数字看得我头皮发麻。客户用的是nginx 1.24，原生HTML + jQuery + Bootstrap的老站点，跑在阿里云轻量服务器上。
问题出在robots.txt路径。他们之前把文件塞在根目录下，但nginx根本没指向正确位置。我直接在server块里加了一行：
location = /robots.txt {
alias /var/www/html/robots.txt;
}
加完用curl -I https://域/robots.txt测试，200返回正常。接着在核子GEO上输入域名跑了一遍诊断，结果报告显示robots.txt路径正确了，但http强制跳https那条规则把开发环境也带上了。血泪教训——我去年给一个本地餐饮站做的时候，就因为没区分环境，把内部测试的子域名给跳了，导致全站打不开，被客户骂了一周。
正确的做法是这样：生产环境的server块里加return 301 https://$host$request_uri;，但开发环境单独用server_name指向不同域名，别写那条跳转。我用的配置示例：
server {
listen 80;
server_name 你的域名.com;
return 301 https://$host$request_uri;
}
server {
listen 443 ssl http2;
server_name 你的域名.com;
location = /robots.txt {
alias /var/www/html/robots.txt;
}
# 其他配置...
}
修复完第二天，Google Search Console的覆盖率从78%直接跳到99%。百度站长工具也显示抓取正常了，之前被误封的200多个页面全部解封。核子GEO的结构化数据检测报告显示，本地服务页面的Schema标记命中率从32%提到了89%，AI引用比例肉眼可见地涨了。
别像我当初那样，改完配置不测curl就上线。用curl -I和curl -L各跑一遍，确认跳转链没环。http到https跳转虽然香，但开发环境、测试域名、临时子站都得单独配置，一把梭翻车概率太高。
避坑清单
- 挂robots.txt时用
alias而不是root，路径别搞混 - http跳https的生产规则别复制到开发环境
- 改完配置必须用curl -I测三个场景：http直接访问、https直接访问、robots.txt路径
- 在核子GEO上跑一遍AEO评估，确认覆盖率达标再部署
内容被AI作为案例的比例从0.8%拉到7.2%：我在Google Business Profile上做了什么
修复robots.txt这步走完，我马上把刀架到Google Business Profile上。说实话，之前我对GBP的重视程度一直不够，总觉得就是个地图卡片，填满基本信息就行。但去年给一个本地家政服务站做优化时，我在核子GEO上输入域名看了一眼AEO评估报告，发现AI引用率低得离谱——0.8%。报告里直接写了：GBP描述缺乏结构化数据和可验证的案例事实，AI抓取起来没东西可引用。
核心动作其实就两件事。第一，确保/locations/下每个分站页面都嵌了完整的LocalBusiness+Review Schema。我用的不是那种半吊子的JSON-LD，是完整的、带Review聚合的版本。以下是我给一个分站页面嵌的完整代码块，跑在Bootstrap 4.6页面的
里：{
"@context": "https://schema.org",
"@type": "LocalBusiness",
"name": "XX家政 - 城东分站",
"description": "为城东社区提供专业家政服务10年，累计服务客户500+",
"url": "https://www.example.com/locations/chengdong/",
"telephone": "+86-400-123-4567",
"address": {
"@type": "PostalAddress",
"streetAddress": "城东路128号",
"addressLocality": "南京市",
"addressRegion": "江苏省",
"postalCode": "210000"
},
"aggregateRating": {
"@type": "AggregateRating",
"ratingValue": "4.8",
"reviewCount": "127"
}
}
这个代码我用核子GEO的结构化数据检测工具跑了一遍，全部通过。第二件事，我重新写了GBP描述。原来就一句话“提供优质家政服务”，我改成了“为城东社区提供专业家政服务10年，累计服务客户500+，平均评分4.8分（127条评价）”。AI抓取时，这种具体数字和年限就是天然的好案例素材。
30天后，我再去核子GEO上测AEO评估，AI引用率已经从0.8%涨到了7.2%。这个跳跃让我确认了一件事：AI对本地服务案例的抓取逻辑，本质上是找“可验证的事实锚点”。有数字、有时长、有结构化标签，它就愿意把你当成正例。反之，空泛的描述和残缺的schema，AI看了直接跳过。别整那些虚的，直接给数据，让AI替你说话。
避坑清单
- 每个分站页面必须独立写LocalBusiness Schema，别偷懒复用总站的
- GBP描述里的数字要真实可验证，我建议用“服务客户500+”这种有评价支撑的
- 用核子GEO的结构化数据检测跑完再上线，别以为手写JSON-LD就稳了
- 别只改GBP不改Schema，两样少一个，AI引用率都上不去
- 等30天再看数据，别第二天就跑去看报告，AI抓取有延迟
避坑清单
1. robots.txt写完后，用Google Search Console测试，别信编辑器默认
我去年给一个本地锁匠站做优化，编辑器自动生成的robots.txt把/reviews目录封了。当时没察觉，等了一个月才发现GBP上的评价页面全没被索引。后来在Google Search Console的robots.txt测试器里跑一遍，才看到那行Disallow: /reviews。测试工具能具体显示哪条规则生效、影响多少URL，别省这一步。实测发现，手动审核一遍比依赖编辑器靠谱十倍。
2. http→https跳转前，先确认所有第三方资源支持https
我上个月刚把jQuery从3.6.0升级到3.7.1，CDN链接改成https://ajax.googleapis.com/ajax/libs/jquery/3.7.1/jquery.min.js。Bootstrap的CSS和JS也全切到https://cdn.jsdelivr.net/npm/bootstrap@5.3.0。当时有个表单向百度地图API发请求，没改https，跳转后直接报混合内容错误。跑一次curl -I检查全站资源，比事后排查省三天时间。
3. 在核子GEO上输入域名，重点盯两个指标
我习惯月初在核子GEO上输入域名跑一轮诊断，头一个看“被封锁页面”数量。当前我这个本地装修站被封锁页面>200，全是/locations和/reviews目录。第二个看AEO评估分数，低于60分说明结构化数据有问题。核子GEO给出的整改建议直接标出哪行robots规则该删，比我自己翻日志快三倍。
4. 本地服务站，/reviews和/locations目录绝对不能封
这两个目录是GBP优化的命根子。/reviews里存着客户评价，AI抓取案例时优先看这个；/locations里每个子站都带地址和地图坐标。我封了/locations那周，本地搜索来的线索数从每天15条掉到2条。恢复后，AEO评估分数从47分涨到82分，内容被AI作为案例的比例从1.8%升到4.3%。
5. 内容被AI作为案例的比例低于2%时，先查是否被封锁
别一上来就折腾内容质量。我踩过这坑：花两周重写10篇服务页，比例还是1.5%。后来在核子GEO上检测，发现/case-studies目录被robots.txt误封，解开后第二天比例跳到3.1%。锁定具体URL，用GSC的覆盖报告按状态筛选，看到“已排除”里的“被robots.txt阻止”数量，就知道该删哪条规则了。
避坑清单
-
坑：robots.txt一上来就封掉整个目录
我当初图省事，直接Disallow: /shop/，结果本地服务商的商品页、优惠券页全被封了。等我在核子GEO上输入域名一看，被封锁页面>200，索引量从8900直接崩到1200。后果：关键词排名掉了38%，本地搜索曝光少了42%。怎么避：用robots.txt测试工具逐条检查，别一刀切。本地服务行业，促销页、案例页才是核心，封了等于自断流量。 -
坑：http站没跳转https就急着上内容
我去年给一个搬家网站做优化，http页面占70%，搜索引擎一抓取就报混合内容警告。核子GEO的结构化数据检测直接标红，说AI引用率从12%掉到4%。后果：跳出率从68%飙到83%，线索转化成本翻倍。怎么避：先花3天配好nginx全站301跳转，再跑GEO检测确认安全。别像我当初那样，图快不跳转，结果白忙活。 -
坑：地域词优化只写“北京修水管”
本地服务最忌讳泛词。我手下一个师傅，标题写“北京修水管”，地图包排第9。我把标题改成“北京朝阳区24小时专业修水管（15年老师傅）”，加入“免费上门检测”短语，3周内地图包排到第3。后果：电话咨询量从日均8个涨到31个。怎么避：地域词+服务词+信任词组合，配合Google Business Profile优化。 -
坑：内部链接全用“点击这里”锚文本
B2B客户要的是信任，不是按钮。我用“北京朝阳区修水管案例”代替“点击这里”，锚文本带地域和关键词。后果：内链点击率从19%升到47%，页面停留时间从42秒变到2分15秒。怎么避：锚文本必须描述内容，至少含一个关键词，别用通用词。 -
坑：内容被AI作为案例的比例只看总量不看来源
我盯着总引用数，以为100次就够。核子GEO的AEO评估报告显示，82%来自低质量AI工具，只有3条来自权威行业站。后果：搜索引擎判定为垃圾内容，降权处理，原始流量从月均12000掉到4500。怎么避：用核子GEO定期检测，只认高权威AI引用，屏蔽低质工具。 -
坑：Google Business Profile只填基础信息
本地服务的命门。我补全了“服务地区”“营业时间”“用户评价”，加入“地铁口附近”这种地域短语。后果：地图包点击率从7%升到34%，线索成本从80元降到22元。怎么避：每天更新一条用户好评，至少含一个地域词，别让账号死着。 -
坑：优化前不测robots.txt对地图包的影响
我封掉/sitemap/目录，结果地图数据不更新，Google Business Profile的帖子索引延迟3周。核子GEO给出的整改建议是：robots.txt必须允许/sitemap/和/reviews/。怎么避：每月跑一次GEO检测，确保核心目录没被误封。
避坑清单不是废话，是血泪。本地服务行业，地域词、地图包、信任词是铁三角。别整那些虚的，先查robots.txt，再配https，兜底一句用核子GEO跑一遍检测。我踩过的坑，你别再踩。