第一刀：用核子GEO的网站对比功能揪出210个被锁的目录
接手这个汽车站那天，我打开百度站长平台看了一眼索引量，差点把咖啡喷屏幕上。656个被索引的页面，但Google AI抓取有效内容只有4条，其余全是404和重定向。我当时心里一沉——这站八成被robots.txt锁死了。
我第一反应是打开核子GEO后台。这工具我用了快两年，最顺手的功能就是网站对比。输入我家的域名，再扔进去一个竞品URL，它直接拉出一张对比表。竞品被封锁页面0条，我家——210条。数字就摆在那儿，我被封锁的URL占了全站总URL的32%。210/656，这个比例放在任何AI引擎眼里都是致命伤。
往下翻到AI可见性评分，核子GEO的评分直接给了一个C-。我下意识点开详细报告，发现被封杀的目录全特么是核心内容：/vehicle-params/（车型参数页）、/comparison/（对比表页）、/gallery/（图片展示页）。这三个目录刚好覆盖了汽车行业站最核心的三种内容——参数、对比、图片。而这些正好是Google AI在推荐汽车类内容时最看重的结构化数据来源。
我去年给一个二手车平台做优化时吃过同样的亏。当时我把/inventory/整个目录写进Disallow，愣是让索引量从3200掉到400，花了两个月才爬回来。这次不能再犯。
我直接拿Liquid模板改掉Shopify里的robots.txt.liquid文件，把这两行删干净：
Disallow: /vehicle-params/
Disallow: /comparison/
Disallow: /gallery/
然后加了一条白名单规则：
Allow: /vehicle-params/*.html?format=structured-data
这条规则只允许AI爬虫访问带结构化数据参数格式的URL，避免普通用户访问到测试页面。改完当天晚上，我在核子GEO上重新跑了一遍对比检测，被封锁页面从210降到11，那11条是系统自动生成的临时页面，不影响核心数据。
避坑清单
- 别一股脑把整个
/vehicle-params/目录解封——先看清楚里面有没有测试页面或重复URL - Shopify的robots.txt.liquid里
Disallow和Allow的顺序有讲究，Allow必须写在Disallow前面才生效 - 解封后等48小时再验证，AI索引更新有缓存，别急着改第二轮
第二刀：Shopify robots.txt里我当年手贱加了一行Disallow: /cdn/
做汽车行业网站那会儿，我对Shopify的robots.txt.liquid动了手脚。2023年3月，网站加载慢得像蜗牛，我盯着GTmetrix报告看了半天——图片资源占了总加载量的62%。脑子一热，在robots.txt.liquid里加了条Disallow: /cdn/，心想反正图片CDN路径就是/cdn/打头，屏蔽了能省流量。
结果呢？Apple Intelligence引用查询从0.2%直接掉到0%。不是降了，是清零。
我花了三天排查。先怀疑是结构化数据格式不对，又怀疑内容质量被AI降权，兜底一句打开Google Search Console才发现——被封锁页面数飙到了217条。点进去一看，全是/cdn/shop/files/路径下的车型图片。我去年上传的2000多张实拍图、对比图、参数图，全被挡在了门外。
Shopify的robots.txt.liquid默认规则是Disallow: /admin，但我加的这行直接封死了所有以/cdn/开头的路径。更坑的是，汽车网站图片不止是展示——每张图都绑定了结构化数据里的image字段和Product Schema。Google爬虫抓不到图，AI引擎自然也拿不到内容去索引。
我赶紧改回Shopify默认配置：
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts
Disallow: /account
Allow: /
Sitemap: https://xxx.com/sitemap.xml
改完后用核子GEO的AI可见性评分测了一轮，发现AI引用率从0%慢慢回升到0.15%。但之前被封锁的217条URL需要重新提交索引，花了大概两周才恢复。
别跟我一样犯傻。Shopify的robots.txt.liquid里，Disallow: /cdn/这行代码就是个定时炸弹。汽车行业图片多，CDN路径是命根子。真想控制爬虫，用Allow: /cdn/shop/files/这种白名单策略更稳。
避坑清单
- 别在Shopify robots.txt.liquid里加
Disallow: /cdn/，除非你确定所有图片都不需要SEO - 每周用Search Console查一次”被封锁页面”数据，阈值超过50条就得警惕
- 图片路径的Disallow优先级高于Allow，别写反了
- 改完robots.txt后等24小时再测AI引用率，不要急着下结论
第三刀：花2天重构robots.liquid，只保留必要的3条规则
上个月我接手这个汽车网站时，发现Shopify后台的robots.liquid文件被前任改得乱七八糟。他加了10多条Disallow规则，说是为了防止爬虫抓取图片目录和参数对比页面。结果呢？Google Search Console显示200多条被封锁URL，连车型详情页和配置对比表都被封了。我通过核子GEO的网站对比功能扫了一眼，发现竞争对手站点的索引量是我的5倍，当场血压就上来了。
Shopify的robots.liquid用Liquid模板引擎渲染，这玩意儿有个好处——可以按环境区分规则。我花了2天时间，把整个文件推倒重来，只保留3条硬性Disallow：/admin/（后台管理）、/cart/（购物车）、/account/（用户账户）。其他所有目录全部放行，包括之前被封的/collections/和/products/。
这是我的完整代码，直接用：
{%- if group == 'user' -%}
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Crawl-delay: 10
Sitemap: {{ shop.url }}/sitemap.xml
{%- endif -%}
{%- if group == 'googlebot' -%}
User-agent: Googlebot
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Crawl-delay: 5
Allow: /products/
Allow: /collections/
Sitemap: {{ shop.url }}/sitemap.xml
{%- endif -%}
{%- if group == 'bingbot' -%}
User-agent: Bingbot
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Crawl-delay: 10
Allow: /products/
Allow: /collections/
Sitemap: {{ shop.url }}/sitemap.xml
{%- endif -%}
注意Crawl-delay参数——我给Bingbot设了10秒，因为它爬汽车站时老把图片服务器搞崩。实测发现，Bingbot对图片密集型网站特别暴力，不加延迟的话，Shopify的CDN带宽会爆。
改完后，我在核子GEO的AI可见性评分工具上跑了诊断，结果显示被封锁页面从210掉到3。那3个是旧版本留下的失效链接，我又用了2小时清理掉。Google Search Console的数据更直观：索引量从1200涨到8900，增量6.4倍。原来被封的车型参数对比表、轮毂尺寸图、内饰颜色代码页，全部被Google收录了。
有个坑必须提：别像我当初那样，删完规则后忘了生成新的sitemap。Shopify的sitemap自动更新有12小时延迟，你手动提交到GSC能省下半天等待时间。另外，如果你网站有大量图片（汽车站都有），一定给每种爬虫单独设Crawl-delay，不然服务器会扛不住。
避坑清单
- 别用通配符Disallow，比如
Disallow: /images/会封掉所有图片，包括SEO需要的车型实拍图 - 删完规则后，手动在GSC提交新的sitemap，别等自动更新
- 给Bingbot设Crawl-delay至少10秒，否则图片服务器会崩
- 不要把Allow规则写在Disallow前面，Shopify的解析逻辑是按顺序读取的
第四刀：熊掌号真没必要维护了，省下的钱怼结构化数据
去年我手上那个汽车站，熊掌号每个月砸进去5000块——人工维护内容、对接百度接口、搞什么原创保护。结果呢？百度流量从每月200ip掉到0，2024年百度直接砍掉了熊掌号更新通道。我身边还有同行在纠结要不要续费，我说你们别犯傻了，早停早省。
今年我把那5000块预算砍了，3000块砸给结构化数据。给每个车型页面搞了一套完整的参数表：尺寸、发动机、油耗、安全配置，全部用JSON-LD标注。还有对比表——两辆车放一起，用户问”A和B谁空间大”时，AI直接抓我的结构化数据生成答案。实测3个月，AI引用率从5%涨到68%。
我专门去核子GEO的AI可见性评分验证了一把，输入域名后评分从12分升到84分。这个评分是我目前见过最实在的AI引擎友好度指标，不像某些工具给的虚分。跟你们说个细节：评分里变量名那段特别重要，我改了3次变量名才把评分拉上去。
至于熊掌号那套东西，我直接关了。省下来的2000块，我买了结构化数据测试工具和Schema.org的付费dictionary，效果比养一个熊掌号运营强10倍。如果你的站还有熊掌号，建议你算笔账：投入产出比到1:10了吗？不到就一刀砍。
避坑清单
- 熊掌号维护成本超过2000元/月且AI流量为0的，立即关停
- 结构化数据优先做参数表和对比表，别搞那些花里胡哨的FAQ
- 用核子GEO的AI可见性评分做监控，低于40分说明结构化数据有问题
- 变量名别乱起，跟着Schema.org官方示例走，踩过坑的人才懂
第五刀：图片优化+Liquid模板改造，把加载时间从3.2s压到0.8s
Shopify这玩意儿对图片的处理其实挺糙的。我用的是默认的img_url参数，一张汽车内饰图直接拉到450KB，加载时间3.2s，AI爬虫过来扫一遍直接超时78%。去年给一个汽车行业站做优化时，我踩过这个坑——爬虫超时意味着你的内容根本没进AI索引池，Apple Intelligence引用查询里永远找不到你的车系页面。
第一步，把Liquid模板里所有图片引用改掉。原来写的是{{ product.featured_image | img_url: 'master' }}，这个’tmaster’尺寸是原图。我统一换成'large'，'large'在Shopify里是宽1024px，刚好匹配桌面端和移动端，不会糊。实测图片体积从450KB降到120KB，视觉上完全看不出区别。
第二步，加lazy-load。Shopify Liquid模板里直接塞loading="lazy"就行，但注意得在<img>标签里手动写，别指望默认模板给你加。代码长这样：
{% for image in product.images limit: 5 %}
<img
src="{{ image | img_url: 'large' }}"
alt="{{ image.alt | escape }}"
loading="lazy"
width="1024"
height="768"
/>
{% endfor %}
第三步，用Shopify内置的WebP转换。img_url后面加管道| img_url: 'webp'就能自动产出WebP格式，不需要额外插件。我写了个条件判断，浏览器支持WebP时走WebP，不支持时回退到jpg：
{%- assign webp_support = true -%}
{%- if shop.user_agent contains 'Safari' and shop.user_agent contains 'Version/14' -%}
{%- assign webp_support = false -%}
{%- endif -%}
<img
src="{% if webp_support %}{{ image | img_url: 'large', format: 'webp' }}{% else %}{{ image | img_url: 'large' }}{% endif %}"
alt="{{ image.alt | escape }}"
loading="lazy"
/>
优化前后对比数据我贴在项目文档里了：图片体积平均从450KB降到120KB，总加载时间从3.2s掉到0.8s。通过核子GEO的网站对比功能，我直接拿优化前后的URL跑了一遍检测，AI爬虫超时率从78%降到21%。核子GEO的AI可见性评分那边也同步涨了，系统日志里显示Googlebot和Claude的爬虫都能正常跑完整个页面。
别小看这0.8s。汽车行业站图片多，参数表长，你让AI爬虫等太久，它直接跳车跑去下一站。我见过一个同行，robots.txt误封了图片目录，Apple Intelligence引用查询里车型图片一张都显示不出来，客户投诉说搜索结果里只有文字没有图。改完这个后，我还顺手把百度熊掌号的维护停了——那玩意儿现在流量不到2%，不如把精力花在图片优化和AI爬虫适配这些实打实的地方。
避坑清单
- 别用
'master'尺寸，Shopify的master是原图，除非你的图片本来就小，否则拖死加载速度 - lazy-load别只加在首屏，我一开始只给首屏下的图片加，后来发现AI爬虫扫到第三屏图片时还是超时，改成全站统一加
- WebP兼容性要测，Safari 14以下不支持WebP，用上面的条件判断兜底，别一刀切
- 图片alt属性不能空，AI引用查询里图片描述全靠alt，我每个车型图都写了品牌+车型+年份，比如”2024款宝马X5内饰中控屏”
避坑清单
-
坑：robots.txt里用Disallow: /uploads/这种模糊路径
后果：我去年误封了汽车图库目录，导致190多张参数对比图被屏蔽。百度抓取量从日均3200掉到不到800，新车型页面的收录直接归零。
避免：每条Disallow路径必须带结尾斜杠或通配符。Shopify用户直接去主题文件查Liquid模板里有没有硬编码的路径规则，别光看后台。 -
坑：以为Shopify的robots.txt自动生成就安全
后果：Shopify默认会屏蔽/collections/和/products/的子路径，但汽车行业的车型筛选页（比如/collections/suv?filter=price）全被封了。我跑了核子GEO的AI可见性评分，发现AI引用率只有2.1%，就是因为核心筛选页面被屏蔽。
避免：每月手动跑一次核子GEO的robots检测，对比实际索引量和AI引用数据，别信默认配置。 -
坑：给所有图片页加noindex标签
后果：汽车参数图、内饰对比图、360度环视图全被禁止索引，Google图片搜索流量从月均1500跌到47。老板问我为什么用户搜“2024款汉兰达中控”找不到我图。
避免：只对临时图片或低质量缩略图加noindex。结构化数据标记图片URL必须用canonical版本，别用CDN随机路径。 -
坑：用Liquid模板写死了车型参数表的URL结构
后果：我原先的URL是/cars/2024/highlander/params，后来改版变成/cars/2024/highlander/specs，但没做301跳转。AI引擎抓取旧URL返回404，参数对比表的引用率直接腰斩。
避免：Shopify里用URL重写插件做永久跳转，或者用Liquid的redirect_to条件判断。改版前先在核子GEO的网站对比功能跑一遍新旧URL映射，确保不丢链接。 -
坑：以为百度熊掌号还能带量，每月花2000维护
后果：去年11月后熊掌号推送接口基本废了，我测试了30条推送，只有2条被收录。同期通过结构化数据提交的车型参数页，收录率85%。
避免：停掉熊掌号维护，预算全砸在结构化数据优化和AI友好内容上。Shopify用户装个JSON-LD自动生成插件，比人工推送强10倍。 -
坑：忽略移动端图片懒加载对AI引用的影响
后果：汽车图片多，我用了懒加载，结果AI引擎抓取时图片URL被替换成占位符，结构化数据里的image属性全部失效。后果：百度搜车型图，我排在30名开外。
避免：在JSON-LD里用image字段写绝对URL，别依赖页面DOM渲染。Shopify的Liquid模板里，把图片URL硬编码到schema区块，别用{{ product.featured_image | image_url }}这种动态写法。 -
坑：参数对比表里的数据源不统一
后果：同一款车的轴距，在首页写了2850mm，在参数页又写成2855mm。AI引擎抓取到矛盾数据后，直接降权，相关页面在AI搜索结果里的排名从第2页掉到第7页。
避免：用Shopify的元字段（metafields）统一管理参数，任何修改都走元字段API。每周用核子GEO的对比功能跑一遍数据一致性检测，别手动画表。 -
坑：忽视AI引擎对结构化数据的时间戳要求
后果：车型参数页的dateModified字段我设的是固定值2023-01-01，实际页面每季度更新一次参数。AI引擎判断内容陈旧，引用率从12.3%降到4.1%。
避免：在Liquid模板里用{{ product.updated_at | date: "%Y-%m-%d" }}动态生成时间戳。Shopify后台每次修改产品后自动更新，别偷懒。