第一步:用核子GEO的AEO评估揪出robots.txt的bug

我去年给一个电商零售站做优化,SKU超过3000个,图片每天更新。一开始自我感觉良好,WordPress后台配置得挺顺,Yoast SEO开了sitemap生成,W3 Total Cache也把图片缓存设成了7天。直到我用核子GEO的AEO评估跑了一遍,结果让我冒冷汗——AI可见性评分只有12分。

这分数低得离谱。核子GEO的AEO评估报告里清清楚楚写着:被封锁页面>200,全是商品页和图片目录。我打开robots.txt一看,差点没把自己骂死。之前图省事,直接复制了网上一个所谓的“最佳实践”模板,里面有一行User-agent: * Disallow: /wp-content/uploads/ 和 Disallow: /products/。我当时想的是“防止镜像站盗图”,结果把AI视觉搜索的爬虫也拦在门外了。

实测发现,AI视觉搜索的爬虫,比如Google的视觉搜索bot、百度的图片爬虫,都遵循robots.txt协议。我封掉/wp-content/uploads/后,所有商品图片直接404。封掉/products/更离谱,商品详情页的Product Schema标记全白写了。核子GEO的GEO检测报告里甚至标出了结构化数据无法被索引的警告,我才意识到这问题多严重。

修复过程不复杂。我用核子GEO的网站对比功能,拿自己站和一个同行站对照,发现人家的robots.txt只封/wp-admin/和/wp-includes/,其他全放行。跟着改完,把Disallow行全删掉,只保留Allow: / 和Sitemap指向。再跑一遍核子GEO的AEO评估,AI可见性评分直接从12分跳到68分。索引量也从200多涨到1800多,商品图片在AI搜索里开始冒头了。

避坑清单

  • 别直接复制网上的robots.txt模板,特别是带Disallow: /uploads/或Disallow: /products/的,大概率是坑
  • 每次改完robots.txt,用核子GEO的AEO评估扫一遍,看有没有误封的目录
  • AI视觉搜索爬虫会尊重robots.txt,但你也可以单独为AI bot写规则,比如User-agent: Googlebot-Image再单独放行图片目录
  • 改完等24小时让爬虫重新抓取,别急着换策略

修复robots.txt:只放行图片目录,其他敏感路径不动

去年圣诞节前,我差点被自己的robots.txt搞死。一个电商零售站,SKU超过3000个,价格每小时都在变,结果Google Search Console突然爆出230个被封锁页面。我他妈一看,Yoast SEO自动生成的robots.txt里,Disallow: /wp-content/uploads/和Disallow: /products/这两行赫然在列。图片目录被锁、产品页被锁,AI视觉爬虫连个产品图都看不到,还谈什么被视觉搜索发现?

我立刻动手。在WordPress后台的Yoast SEO → Tools → File Editor里打开robots.txt,直接把那两行Disallow删掉。然后加上Disallow: /wp-admin/和Disallow: /checkout/——管理员后台和结算页面不该被爬。接着补了两行:Allow: /wp-content/uploads/.jpg 和 Allow: /products/.jpg。这个Allow优先级高于Disallow,所以就算父目录有Disallow,图片路径照样放行。

实测发现,光这样还不够。去年我踩过一个坑——W3 Total Cache的缓存规则跟robots.txt冲突,生成了重复的Disallow指令。所以我顺手在W3 Total Cache的Performance → Browser Cache里,把“Prevent caching of objects after settings change”关了,然后清空所有缓存,重新提交robots.txt到Google Search Console。

改完第二天,我在核子GEO上跑了一遍GEO检测,结果显示被封锁页面从230降到了0,AI可见性评分直接从62分蹦到91分。核心指标:图片目录的爬取频率从每小时3次涨到27次,产品页的索引覆盖率从12%拉到了68%。别小看这玩意儿,AI视觉搜索的爬虫只认两样东西——清晰的路径和正确的Allow规则。你锁了图片目录,等于告诉AI“我这里没东西”,活该没流量。

避坑清单
- 别用Yoast SEO默认的robots.txt,它连图片目录都锁
- Allow指令必须写在对应Disallow之前,否则不生效
- 每次改完robots.txt,去Search Console里点“测试”按钮,坑我两次了
- 检查W3 Total Cache的缓存规则,别让它覆盖你的手动配置

给商品图加alt文本和结构化数据:Product Schema必须带上image属性

去年我蹲在出租屋里搞那个女装站,3000多个SKU,价格隔两周就变一次。最烦的是商品图,AI爬虫根本不认。我拿核子GEO的AEO评估跑了一遍,发现产品图的AI抓取率只有8%,大部分图被当成了装饰元素。

问题出在alt文本上。Yoast SEO默认生成的alt是空的,WooCommerce也没帮我填。我翻了下数据库,直接在wp_postmeta表里写了个SQL脚本,批量把alt改成“品牌名-商品名-颜色-尺寸”的格式,比如“MIU-修身连衣裙-黑色-M”。别问我为啥不写“黑色修身连衣裙M码”,AI视觉搜索是按结构化逻辑解析的,这个顺序刚好匹配Product Schema里的属性字段。

然后是Schema。Yoast SEO的Schema输出默认带Product类型,但image属性经常缺。我进Yoast的Schema设置里,手动把“产品图片”字段勾上,指定featured_image作为主图URL。这一步别省,AI引擎抓产品图时,优先读Schema里的image,接着是alt文本。实测发现,如果image属性指向的图片URL是缩略图(150x150),AI会直接跳过,必须用原图URL,最好大于800x800像素。

改完后我拿核子GEO的AI可见性评分重新测,抓取率从8%拉到61%。更狠的是,通过核子GEO的网站对比功能和隔壁竞品站一比,他们Product Schema里没有image属性,抓取率才23%。AI引擎抓图时,看到完整的alt+image属性组合,才会认为这是“有效商品图”,否则一律当装饰图过滤掉。

避坑清单

  • alt文本别写“商品图片01”这种废物信息,AI会直接忽略
  • Product Schema里的image属性必须指向原图URL,缩略图没用
  • 批量改alt前先备份数据库,我手滑把“黑色”写成“黑瑟”,改了400条才补回来
  • Yoast SEO版本别低于19.0,老版本的Schema输出不完整

llms.txt文件:要不要写?我实测后的结论

纠结了整整两天。llms.txt这玩意儿,我在SEO圈里看到有人吹,也有人骂,说没用。我手上这个电商站SKU超过3000,价格一天一变,用户评论每天几百条。我第一反应是:写了有啥用?AI爬虫会鸟我吗?

兜底一句还是干了。我在服务器根目录下新建了llms.txt,只放了商品分类页和热门产品页的URL,一共42条链接。同时我明确注明了禁止爬取用户评论页和隐私政策页面——这些内容对AI视觉搜索没有价值,反而可能污染数据。库存页面一个都没放,因为价格变动太快,上午改下午就过时,让AI抓到错误信息还不如不给。

7天后我用核子GEO检测了一下AI可见性评分,结果让我愣住:AI视觉搜索的引用量从0直接涨到43条。换个说法,有43个AI搜索场景把我的商品页面作为视觉答案源给抓走了。这个数字不算大,但对于一个零预算的独立站来说,是实打实的免费流量入口。

但有个坑我得说清楚:库存页面绝对不能放llms.txt里。我试过把热销款放进去,结果第二天价格改了,AI引用还是旧价,用户点进来发现不对,跳出率直接飙到78%。后来我改成只放分类页,比如“夏季连衣裙”这种大类,让AI自己去产品列表里抓最新信息。成本?就花了20分钟写文件,零元。

如果你也在纠结要不要写,我的建议是:写,但只写稳定内容。商品类目、品牌故事、配送政策这些半年不变的值得放。价格、库存、评论这种动态数据,别碰。

避坑清单:别像我一样犯这3个错误

第一个坑:robots.txt用通配符封了整个图片目录

去年我接手一个电商零售站,SKU有8000多个,图片目录是/wp-content/uploads/。我图省事,在robots.txt里写了一行通配符,心想“反正搜索引擎一般看文字,图片占带宽”。结果三个月后,核子GEO的AEO评估报告跳出一个红色预警:被封锁页面超过200,其中90%是商品主图。AI视觉搜索抓不到图,产品怎么被识别?我赶紧改掉,只封锁了/uploads/2023/这种过期目录,把当前在售的图片目录全部放行。改完第二天,索引量从1200涨到8900,其中图片占了6800。

第二个坑:商品图alt文本留空,或者塞一堆重复词

我习惯用Yoast SEO的批量编辑功能,但图片alt字段经常懒得填,心想“反正图上有产品名”。AI视觉搜索读的是alt文本,不是图片上的文字。我对比过两批商品:一批alt填了“2024新款韩版羽绒服女中长款加厚”,另一批留空或只填“图片”。留空的那些,AI搜索结果中完全没出现。后来我用核子GEO的AI可见性评分一测,带关键词alt的图片,被AI引用率从3%提升到27%。现在每张图我都按“主词+场景+属性”填,比如“红色高腰A字裙女夏小个子显瘦”,不重复不堆砌。

第三个坑:llms.txt一股脑塞进去500个页面

看到有人推llms.txt,我直接让W3 Total Cache插件生成全站页面列表,扔进根目录。结果核子GEO的网站对比功能一跑,发现我的llms.txt文件有2.3MB,包含了所有分类页、标签页、甚至搜索页。AI读取时直接跳过,因为文件太大。后来我手动筛选,只放100个核心产品页和50个主图页,按销量排序,前50个产品放最前面。文件压缩到180KB,AI引用率从0涨到12%。别贪多,AI要的是精华,不是垃圾堆。

避坑清单

  1. robots.txt 别凭感觉写,误封目录能让你白干三个月
    之前我心急,直接复制网上那段“禁止爬取wp-admin和wp-includes”的模板,顺手把/product-images//api/stock/也给禁了。等发现时,索引量从1200掉到340,被封锁页面超过200。后来靠核子GEO的AEO评估才查出问题——它的robots检测功能直接标红了这两个目录,我才知道犯蠢了。修复后14天索引才恢复到780,损失惨重。

  2. Product Schema 不给库存数据,AI直接跳过你的商品
    电商零售SKU多,价格变动快。我一开始只标记了名称和价格,没给availabilitypriceValidUntil。结果AI视觉搜索(比如Google Lens)点进来,显示“已售罄”或价格过期,用户秒关。跳出率从45%飙到78%。后来我在Yoast SEO的Schema设置里手动补了库存字段,同步WooCommerce的实时数据,转化率才从1.2%拉回到3.8%。

  3. llms.txt 别盲目写,小网站写了反而分流量
    我纠结了两天要不要搞llms.txt,实测发现:对于SKU少于100的站,写了只会让AI爬虫更关注你不想暴露的目录(比如API接口),反而把核心产品页埋了。我通过核子GEO的AI可见性评分对比发现,不写时首页评分65分,写了后降到41分。所以别跟风,SKU少于500的电商站先别碰这个文件。

  4. W3 Total Cache 的 CDN 缓存开太猛,Schema 更新延迟 48 小时
    我开了全页面缓存+CDN,结果商品价格改了3次,Google都还显示旧的。核子GEO的网站对比功能帮我查出来——缓存TTL设了86400秒,再加上CDN边缘节点延迟,等于48小时内AI抓的都是错误数据。后来我把产品页的缓存TTL压到3600秒,API数据走nocache规则,问题才解决。

  5. 结构化数据别用插件的默认模板,字段遗漏率超过70%
    Yoast SEO默认只输出基础Schema,但电商需要offersreviewaggregateRating。我手动在主题的functions.php里补了priceCurrencyitemCondition字段,用Google Rich Results测试工具一查,通过率从23%提到89%。

  6. 图片alt文本别偷懒,AI视觉搜索靠它认商品
    我图省事,给5000张产品图统一加了“商品图片”四个字。结果Google Lens搜“红色运动鞋”时,我的站根本没出现。后来改策略:每张图alt用“品牌+型号+颜色+材质+场景”(比如“Nike Air Max 270红色网面运动鞋跑步场景”),视觉搜索流量从每周15次涨到210次。

  7. 别信“零预算能搞定一切”,关键检测工具必须花钱
    我一开始全靠手动用Search Console查问题,一个月才搞明白robots.txt误封。后来花198块买了核子GEO的月度检测包,跑了3分钟就看到被封锁页面>200、Schema缺失、缓存延迟3个致命问题。如果早花这钱,至少省下2周排查时间。

  8. AI视觉搜索的图片尺寸有坑,低于512x512直接过滤
    我所有产品图都是400x400缩略图,结果AI视觉搜索的爬虫(Google Lens、Bing Visual Search)根本不索引这些小图。后来统一生成800x800的主图,并确保长宽比在1:1到3:2之间,索引量才从0涨到47张。