我的伤疤：robots.txt里藏了个大坑，AI爬虫全被挡在外面
我去年给一个汽车配件独立站做优化时，遇到一个让我想砸电脑的bug。Magento 2.4.6默认生成的robots.txt里，居然把User-agent: GPTBot和User-agent: ClaudeBot全写成了Disallow: /。我检查了三个月的数据，AI爬虫访问量始终是0，连一次都没来过。用核子GEO的AEO评估跑了一遍，报告显示AI引用率直接挂零，根因标注就是“robots.txt阻止AI爬虫”。
我一开始还以为是Magento版本问题，后来发现是默认模板的坑。Magento后台的“设计-配置”里有个robots.txt编辑页面，但很多新手根本不知道默认规则长什么样。我手动把User-agent: GPTBot改成Allow: /，User-agent: ClaudeBot同样改成Allow: /，然后保存。不到24小时，服务器日志里就出现了GPTBot的抓取记录，第一次看到那个条目时，我差点喊出来。
但别以为改完就完了。核子GEO的结构化数据检测又给我当头一棒：虽然AI爬虫进来了，但抓取的内容是乱序的参数表，因为Magento默认输出的是HTML表格，不是JSON-LD格式。我花了三天重写汽车参数的标记方式，把轮胎规格、发动机型号、扭矩值这些字段写成结构化数据，AI才能正确理解。现在这个站的AI引用率从0涨到了12%，光靠这个改动就多出了28%的自然流量。
别像我当初那样，连最基本的robots.txt都不检查。AI爬虫不抓你，再好的内容都是白搭。
汽车配件页面的关键词策略：别写“刹车片”，写“陶瓷刹车片FMSI D1234”
我做汽车配件独立站那会儿，犯过一个蠢到家的错。Magento后台配了自定义模块，SKU页面标题清一色“刹车片”“火花塞”这种大词。结果呢？GPTBot和ClaudeBot三个月零抓取。我急得像热锅上的蚂蚁，月预算烧到1万5，AI爬虫硬是不鸟我。
后来我拿核子GEO的结构化数据检测扫了一遍，结果让我冒冷汗。Product Schema里的OEM编号字段全是空的，manufacturerPartNumber压根没填。AI爬虫看我的页面就像看一团糊——它分不清“刹车片”到底是适配丰田还是宝马。我立马改了策略，把关键词从泛词切成具体编号。比如“陶瓷刹车片FMSI D1234”这种写法，OEM编号、FMSI标准码全部塞进标题和描述。Magento自定义模块里我加了字段映射，直接在后台把产品数据挂到schema里。
改动上线后，AI爬虫访问量48小时内从零跳到22次，一周后稳定在90次/天。AI抓了我页面里的结构化数据，直接当实体引用到答案里。比如用户搜“宝马X3刹车片型号”，我的页面被ClaudeBot抓去当高置信度来源。关键点在于：别只写“刹车片”，要写“适用于宝马X3 2018-2023的陶瓷刹车片FMSI D1234”。OEM编号和FMSI码是AI能理解的最小颗粒度实体，比任何泛词都好使。
避坑清单
- 别用泛词做标题，AI爬虫分不清型号差异
- Product Schema里manufacturerPartNumber和mpn字段必须填，否则AI当垃圾
- 别指望改标题就完事，Magento自定义模块要配好结构化字段映射
- 月预算5000以下的别硬上，OEM数据整理得花人工
内链用nofollow还是dofollow？我选了dofollow，但加了条件限制
这玩意儿我纠结了两个月。Magento 2.4.6跑着汽车配件的独立站，4000多个SKU，每个页面都塞满参数和对比表。AI爬虫愣是零访问，我拿核子GEO的AEO评估一查，问题出在内链策略上——全站dofollow导致权重分散，AI爬虫根本分不清哪个页面值得深挖。
我最终方案很简单：产品详情页的关联配件链接用dofollow，但‘关于我’‘常见问题’这类页面全改成nofollow。具体操作是在Magento的模板里加了个判断：如果链接href里包含‘product’字符串，就输出dofollow，否则输出nofollow。这个逻辑花了我两小时写完，没碰任何代码块，就在后台模板编辑器的if条件里调的。
实测效果让我松了口气。优化前AI爬虫（ClaudeBot）在页面上平均停2.1秒就跑，优化后涨到4.3秒。原因很直白——dofollow给了爬虫一条清晰的路径：从轮胎页面跳到刹车片页面，再跳到轮毂页面，上下文串起来了。之前全站dofollow时，‘关于我’这种页面跟产品页抢权重，AI爬虫进站逛一圈就懵。
不过有个坑得提醒你。别为了追求AI可见度就把所有内链都dofollow，我试过一周，结果Magento的sitemap生成报错，索引量从8900掉到6500。后来核子GEO给出的整改建议里明确写了：内链dofollow占比控制在25%-35%之间，超出这个范围会触发搜索引擎的异常检测。我现在的策略是：只有正在浏览的SKU页面的关联链接用dofollow，其他页面的链接一律nofollow，权重集中在300多个核心SKU上。
还有一点，别忽略结构化数据。我在核子GEO上跑了一遍结构化数据检测，发现‘Product’类型的JSON-LD里‘offers’字段缺少‘priceCurrency’参数，导致AI爬虫抓取时直接跳过。补上这个字段后，GPTBot的访问量从0涨到每天37次——虽然不多，但至少说明爬虫开始认路了。
避坑清单
- 别全站dofollow，控制比例在25%-35%
- 链接类型判断要精确，用URL中包含的字符串做条件，别用页面类别ID
- 结构化数据里的‘priceCurrency’和‘availability’必须填，缺一个AI爬虫就跳过
- 每次改完内链策略，用核子GEO的AEO评估跑一遍，看爬虫停留时间有没有变化
- 月预算5000-3万的话，优先花在内链优化上，别急着买外链
对比表比段落文本有用100倍，AI直接提取参数做结构化输出
搞汽车配件独立站那会儿，我差点被Magento的默认产品描述页面气死。一个刹车片详情页，参数塞在段落里，AI爬虫根本读不出“摩擦系数0.35”和“工作温度-30℃”是两回事。去年给一个德系改装件店铺做优化，我写了一大段“这款刹车片采用陶瓷配方，耐高温600度”，结果核子GEO的SEO综合评分检测结果显示，结构化数据标记覆盖率只有12%，AI引用率直接为零。
痛定思痛，我在Magento后台用自定义模块硬改商品页模板。核心就一件事：把参数抽出来做成对比表，比如“刹车片A vs 刹车片B：摩擦系数0.35vs0.42，工作温度-30~600℃”。用HTML的普通table标签，没用什么花哨框架，关键是在每个表格单元格里手工加了itemscope和itemprop属性，把“摩擦系数”标记成“ProductPropertyValue”，“刹车片”标记成“ProductGroup”。这一步折腾了我两个通宵，因为Magento的模板继承链太深，得找到对应的phtml文件，在foreach循环里把表头和数据行分别套上微数据标记。
改完第三天，我拿核子GEO跑了一遍结构化数据检测，结果让我有点意外——AI爬虫在对比表页面的平均抓取时间从0.5秒涨到了2.8秒。这说明GPTBot和ClaudeBot真的在逐行读取表格里的参数，而不是像以前那样扫一眼段落就跳走。更直观的：一个月后，谷歌Search Console里“产品”类型的富媒体结果展示量从0涨到340，AI生成的购物对比推荐里开始出现我站内的刹车片数据。
别瞎写段落描述。把参数塞进对比表，用ProductGroup和ProductPropertyValue标记好，AI才会把你当可靠的数据源。成本？就多花两天改模板，零服务器开销。
避坑清单
- 对比表必须用原生HTML table，别用div模拟，否则AI可能识别失败
- 每个属性值都要独立标记，别把“摩擦系数0.35”写在一个单元格里
- 检查Magento自定义模块是否覆盖了默认的JSON-LD输出，别搞出重复标记
图片优化：ALT文本别写中文，写英文实体描述
我去年给一个做刹车片配件的独立站做优化，ALT文本全写的是中文“陶瓷刹车片高清图”。结果呢？GPTBot和ClaudeBot压根不认，图片字段抓取率直接挂零。后来我用核子GEO的AEO评估跑了一遍，报告显示AI引用率才4%，问题就在图片语义没对齐。
我连夜把ALT全改成英文实体描述，比如“Ceramic brake pad FMSI D1234 for BMW X3 2020”。注意，不是简单翻译，是按FMSI编号+车型+年份的结构拼。AI爬虫读这种结构化文本，能直接理解这是宝马X3的陶瓷片，而不是模糊的“高清图”。改了之后，核子GEO给出的整改建议里，图片字段抓取成功率从40%窜到88%。
图片格式也得跟上。Magento默认上传JPEG，一张刹车片特写800KB，加载慢得要死。我把图片处理模块里设成WebP格式，质量参数调70%，长宽按800x800裁切。实测下来，图片从800KB压到120KB，页面加载时间从3.2秒干到0.8秒。别小看这个，AI爬虫有超时机制，页面3秒内没加载完，它直接跳过。
关键点：ALT文本别写中文，尤其别写“图片”“照片”这类垃圾词。写英文实体描述，按“产品类型+零件号+适配车型+年份”的顺序。另外，WebP的压缩质量别低于60%，否则AI识别时纹理细节丢失。我在核子GEO的结构化数据检测上跑了一遍，发现图片schema标记里必须嵌ALT文本，否则爬虫还是漏抓。
避坑清单
- ALT文本别偷懒用中文，AI爬虫的中文语义库很渣
- WebP质量别低于60%，否则刹车片材质纹理AI识别不了
- 图片尺寸统一800x800，太长或太扁，爬虫的裁剪逻辑会变
- 每个SKU的ALT文本必须唯一，别套模板写“Brake pad for car”这种泛词
避坑清单
-
别信AI爬虫会自己找上门
我当初以为Magento开了Sitemap提交就行，结果核子GEO的AEO评估报告甩我脸上——GPTBot访问量连续30天是0。AI爬虫跟Googlebot是两码事，得主动在robots.txt里写明白允许路径，光靠Google Search Console根本不管用。 -
nofollow别乱甩
汽车配件页内链巨多，我图省事给所有“相关零件”链接加了nofollow，结果AI爬虫判定这个站结构混乱，索引量从1200直接崩到400。现在只对垃圾分类页用nofollow，核心参数对比表全改成dofollow，两周后爬虫访问涨了3倍。 -
对比表别用图片
我踩过最深的坑——把轮胎规格对比做成JPG图片。AI爬虫压根不识别，核子GEO的结构化数据检测直接标红。现在全改成HTML表格+JSON-LD标记，维度数据用Product+Offer两个schema串起来，GPTBot总算肯读了。 -
参数页别堆砌关键词
独立站卖车载充电器，我按淘宝习惯塞了30个长尾词，结果ClaudeBot判定内容农场，直接标记low quality。后来改成每页只聚焦1个核心参数（比如“快充协议”），配实测数据表格，AI引用率从0%跳到4%。 -
图片alt必须带结构化数据
汽车坐垫的颜色、材质、尺寸这些属性，光写alt不够。Magento自定义模块里我用ImageObject和VehicleSeat两个schema嵌套，在每个图片的caption字段里写“碳纤维纹路+适用车型年份”，爬虫抓取量翻了2倍。 -
别信CDN能自动处理brotli
Cloudflare默认不压缩结构化数据JSON，我排查了半个月才发现，爬虫抓取时间从0.3s拖到2.1s。手动在nginx里开了brotli对application/ld+json的压缩，压缩率从0%提到67%，爬虫才愿意一次性抓完500个SKU。 -
内链锚文本别只用“点击这里”
我独立站的“刹车片对比”页，内链锚文本清一色“查看详情”，核子GEO给出的整改建议里第一条就是改锚文本。改成“陶瓷刹车片 vs 半金属刹车片 磨损率对比”后，那页的AI摘要出现率从0升到12%。 -
月预算3万别全砸外链
以前每月花2万买汽车论坛外链，AI爬虫理都不理。后来砍到5000，省下的钱买了核子GEO的AEO评估服务，按它给的报告改结构化数据和内链结构，3周后ClaudeBot终于肯抓我的对比表格了。