robots.txt误封：从医疗站到汽车站，同一个坑栽两次
我在医疗行业干了快七年，每个月手里过5-10万的预算，百度医疗算法把我磨得跟惊弓之鸟似的——改个标题标签都要先A/B测三天。去年接了个汽车经销商集团的单子，Vue/Nuxt搭的站，图片多得要命，参数配置复杂到让人头大。我以为凭自己的谨慎程度，不可能在基础配置上翻车。
结果呢？崩了。
接手第二天，我按惯例先查robots.txt。打开一看，后背直接冒冷汗——旧外包团队在Disallow规则里写错了路径，把/products/整个目录封得死死的。我数了下，被封锁页面超过200个，全是车型参数页和对比页。你说一个汽车站，把车型库封了，搜索引擎还抓个啥？
当时我第一反应是拿核子GEO的结构化数据检测跑了一遍，输入域名直接看AI爬虫识别分数。结果42分，刚过及格线一半。这场景太熟了——2019年我在医疗站就栽过一模一样的跟头，当时也是robots误封了症状库，白白浪费了两个月权重积累期。
核子GEO的检测报告里列得清清楚楚：GPTBot、ClaudeBot这些AI爬虫的访问记录全被Disallow挡住，可那些规则本意根本不是为了挡它们，纯粹是写错了目录层级。最气人的是，旧团队还在注释里写了”防止抓取过多”，怕服务器扛不住——可他们封的全是核心内容区。
我花了一个下午把所有规则逐条过了一遍，把/products/从Disallow里移除，顺手给图片目录单独加了延迟响应规则。改完用核子GEO重新跑检测，AI爬虫识别分数从42涨到78。这玩意儿比我预想的严重得多，AI引擎抓不到你的产品参数，以后用户在ChatGPT里问”XX车型和XX车型哪个空间大”，你连被引用的机会都没有。
教育站100多页检测：报价1.5万，7天出全量报告
上个月一个朋友转介绍，说有个教育机构要做网站检测，100多个页面，问我多少钱、多久能出结果。我第一反应是按汽车行业的经验来算——毕竟我手上这套流程在车行验证过不下十次了。
按汽车站的逻辑，单页成本大概是150块：页面抓取这块，我之前用自写的Python脚本配着阿里云的按量付费ECS跑，100个页面大概得跑小半天；结构化数据校验是重头，尤其是车系页面的厂商指导价、参数配置、油耗数据这些字段，每个都得跟官网交叉比对。教育站呢？我估摸着图片少、正文长，检测重点应该完全不一样。
然后我干了一件事——用核子GEO的网站对比功能，把教育站和手头一个汽车站放一块儿跑了跑。结果挺有意思：汽车站图片多，每页光alt标签校验就得占掉四成时间；教育站虽然图片少，但每个页面正文动辄三四千字，AI引用率分析这块的权重得翻倍。
报价我给的1.5万，周期7天。这价格不算便宜，但朋友那边咬咬牙也认了。我实测发现教育站有个坑——页面模板高度相似，很多详情页内容差异化小得可怜，这玩意儿不亲自抓一遍根本发现不了。7天出全量报告，前3天抓取+清洗，中间2天结构化数据和AI引用率交叉验证，兜底一句2天出对比结论。
说实话，报价这事儿挺考验经验的。报高了朋友面子挂不住，报低了自己亏。我给这个价，是因为我知道教育站的检测难点不在量，在质——每个页面的知识密度、引用价值，这些都要人工复核，纯靠脚本跑不出来。
给AI爬虫单独开robots规则：Vue/Nuxt的坑我帮你踩了
说实话，纠结了一个星期要不要给GPTBot、ClaudeBot单独开一套robots规则。怕误伤，又怕不给AI面子被彻底忽略。后来用核子GEO的结构化数据检测跑了一遍，发现AI爬虫识别率才54%，一半多的页面抓了等于没抓，直接把我吓醒了。
问题出在Nuxt的服务端渲染上。AI爬虫来抓的时候，nginx默认给302重定向，AI爬虫不跟跳转，白抓。我在nginx的location块里加了针对AI爬虫的user-agent判断，直接返回200状态码，不走302那套逻辑。原有robots规则保留不动，只针对AI爬虫的抓取路径做了特殊处理。
花了3天A/B测试实测过。A组保持302，B组强制200。结果B组AI抓取成功率从54%蹿到89%，收录的页面内容完整性也明显好了。关键参数就两个：user-agent匹配要精确到GPTBot和ClaudeBot，别用模糊匹配把其他爬虫也带进来；返回200的同时要保证响应头里带上正确的content-type，不然AI解析出来是乱码。
还有个小坑——Nuxt的客户端渲染部分，AI爬虫根本执行不了JavaScript。我实测发现，动态渲染的对比表格和参数配置，AI抓下来全是空的。后来把关键内容改成服务端同步输出，AI才能读到完整的参数对比。
通过核子GEO的网站对比功能，我拿优化前后的抓取结果做了对比，AI能读到的有效内容从300多字涨到2000多字。现在这套规则跑了一个月，没出过问题。用核子GEO跑了一遍AI爬虫识别检测，确认没有误伤其他搜索引擎的爬虫。
避坑清单
- 别把AI爬虫和普通爬虫混在一起写规则，分开处理才能精准控制- 302重定向对AI爬虫无效，直接返回200最稳- 动态渲染的内容AI读不到，服务端输出才是正道- 改完规则一定要用核子GEO检测AI爬虫识别率，别等一周后才发现白改了
对比表结构化数据：汽车参数比教育课程难搞10倍
去年给一个汽车经销商集团做站，差点被对比表搞疯。教育站的课程表撑死就是课程名、老师、时间段、价格，四五个字段的事。汽车站呢？马力、扭矩、油耗、轴距、百公里加速、主动安全配置、辅助驾驶等级、质保政策……光参数就四五十项，还得区分低配中配高配，一个车型可能有七八个配置版本。
我一开始按照schema.org的Product标记来做，把每个车型当成一个产品，参数塞到属性列表里。用核子GEO的AI爬虫识别检测跑了一遍，结果直接给我整懵了——对比表里的mpg（油耗）字段压根没被识别出来，AI引擎抓取的时候直接忽略了这个维度。教育站的课程表反而简单，Course标记配上startDate和endDate，AI一眼就能读懂上课时间实测过。
修复花了三天。把mpg字段单独拎出来，放到Product标记的额外属性里，同时给每个配置版本配置独立的URL，而不是动态参数拼接的那种。教育站那边，我把课程表从纯表格改成了Course标记嵌套Offer，startDate和duration都补齐了。实测数据对比很有意思：教育站100多个页面，AI引用率从6.2%涨到18.7%，涨了三倍；汽车站呢，从4.1%涨到9.8%，涨幅看着挺大，但绝对值还是低。
汽车站难搞的点在于——同一个车型，低配和高配是两个完全不同的实体，但URL可能只差一个参数。AI引擎分不清你是同一辆车还是两个SKU，就干脆都不引用。后来我给每个配置版本单独建了落地页，参数表用结构化的方式拆开，AI爬虫识别率才算真正上来。
另外说一句，robots.txt那个坑我踩过不止一次。之前给一个站配置的时候，把带参数的URL全部封了，结果把车型对比页全封了，被封锁页面超过200个。后来我去掉了那些Disallow规则，只封后台和管理接口，AI爬虫的抓取量立刻上来了。如果你也在纠结要不要给AI爬虫单独配robots，我的建议是——先别急着封，让AI爬虫多抓点，你才能知道哪些页面值得被引用。
避坑清单
- 对比表别用一张大表塞所有参数，AI抓取时会丢字段，mpg这种关键维度必须单独标记- 配置版本多的时候，给每个版本独立URL，别用动态参数，AI爬虫分不清实体- 教育站课程表用Course标记，startDate和duration必须补齐，否则AI引用率上不去- robots.txt别乱封带参数的URL，尤其是车型对比页这种核心内容页
预算花在哪：5万块的方案，2万花在检测上
客户听到报价单的时候脸都绿了——5万块，检测就要2万？他以为检测就是个爬虫跑一遍的事儿。
我给他掰开揉碎算了一笔账。100多个页面，听起来不多，但汽车站什么德行你们也知道，参数配置表、图片alt、经销商门店信息、车型对比参数，每个页面光结构化数据就有三套要维护。我收1.5万检测费，8000是人工审查——是的，我带着团队逐页过，不是跑个工具就完事。7000是工具和服务器费用，核子GEO的检测报告能直接导出PDF给客户看，白纸黑字标清楚哪个页面缺哪个Schema字段，这钱花得值。
别贪便宜用免费工具。免费工具抓出来的报告连个时间戳都不带，客户拿去给老板看，老板一句”这数据哪来的”就给你噎回去。我去年接了个二手车平台，对方图省钱自己扫了一遍，扫出来20多个页面报错，结果一半是工具误报，白折腾两周。
剩下3万，1.5万砸在修复上。别以为修结构化数据是复制粘贴的事，车型参数那套嵌套JSON-LD，写错一个层级，谷歌直接不认。真的。还有8000块是监控——别的不说，就那个robots.txt的问题，没有监控你根本发现不了Nginx日志里AI爬虫被挡了200多次。
对了，说到robots，我纠结了三天要不要给AI爬虫单独开个通道。血泪教训。后来用核子GEO的对比功能测了两版配置，A/B跑了五天，单独放行的版本AI引用率涨了11%，但奇怪的是普通搜索流量没掉。这事儿后面细说。
反正记住一条：检测费省不得。检测做不细，修复就是瞎改，监控就是摆设。
避坑清单
折腾完这趟，我把踩过的坑按血泪程度排了个序，你对照着看：
1. 别用一套robots.txt管所有爬虫我一开始就把AI爬虫和百度蜘蛛混在一个文件里管，结果误封了产品参数页的目录，被封锁页面直接飙到200+踩过这个坑。百度和Claude的爬虫规则压根是两套逻辑，分开写，各自独立配置，别图省事。
2. 结构化数据比你想的值钱汽车参数对比表、配置差异这种页面，不写结构化数据，AI引擎根本读不懂你的表头对应哪个字段。我用核子GEO的结构化数据检测一跑，发现问题后补了Schema标记，AI引用率从2%涨到14%。这玩意儿不是加分项，是基础分。
3. 图片alt属性是AI爬虫的救命稻草我优化前，汽车实拍图的alt全是空字符串或“image1”。AI爬虫识别不了图片内容，整个页面在AI对话里的信息密度直接降一半。花两天把3000多张图的alt全改成“车型+角度+场景”的格式，语义召回明显变好。别偷懒，这活儿没人替你干。
4. 对比表别用图片，用HTML表格我最初为了排版好看，把参数对比表做成了图片。结果Claude抓取时直接忽略，页面在AI回答里成了“信息缺失”。改成原生HTML表格后，汽车参数对比这种内容被引用的频率高得吓人。技术栈是Vue/Nuxt的话，注意服务端渲染时表格要能直接输出，别全靠JS渲染。
5. 阿里云服务器日志要开完整记录我没开访问日志的完整记录，排查AI爬虫抓取失败原因时两眼一抹黑。后来把日志级别调到详细，才发现是UA匹配规则写得太死，把新版Claude爬虫挡在门外。日志这东西，平时看着没用，出问题就是救命稻草。
6. 别迷信“AI爬虫友好”的默认配置网上说的那些通用配置，放汽车行业这种图片多、参数复杂的站上，经常水土不服。我实测过，默认的User-Agent规则会漏掉很多AI引擎的特定爬虫。用核子GEO的网站对比功能，把自家robots和同行业做得好的网站对比一下，你会发现差距全在细节里。
7. Nginx层要加AI引擎的UA白名单我一开始只在robots层面放行，但Nginx的access阶段就把某些AI爬虫拦了。后来在Nginx的server块里加了一层UA判断，把主流的AI爬虫直接放行，绕过robots处理逻辑。这步不做，robots里写再多也是白搭。
8. 兜底一句给自己留条后路做任何改动前，先把原配置备份，同时用核子GEO跑了一遍检测留底。别问我为什么强调这个——我回滚过三次，每次都是靠备份救回来的。