第一坑:robots.txt手滑封了200多个页面,文心一言直接降权
去年双十一前,我正忙着给自家电商零售站优化,SKU从300暴增到1500多,价格一天调三次。听说Wix的Velo能自定义robots.txt,想着提高爬虫效率,让文心一言多抓核心商品页。结果呢?手一抖,把/product和/category目录全加了Disallow。
一周后,核子GEO的GEO分析报告弹出来——被封锁页面超过200个。我当时就懵了,点开一看,产品详情页、分类页、甚至部分静态资源都被我封了。文心一言的可见性从之前的38%直接掉到12%,你说气不气?当时就懵了。流量直接腰斩,转化率跌到0.3%。
Wix这玩意儿有个坑:默认robots.txt是动态生成的,自动放行核心目录。但你在Velo里改http函数时,比如用wix-seo模块写自定义响应,会覆盖掉默认白名单。我那次就是直接在page code里写了个if path starts with '/prod' then return Disallow,结果/product路径全封了,连库存更新页都进不去。更恶心的是,Wix后台的SEO设置里有个robots.txt覆盖开关,打开后允许你手动编辑,但很多人不知道——我当初也没找到,直接去改Velo代码,自作聪明。
实测教训:正确做法是先进Wix后台,在SEO设置里找到”自定义robots.txt”开关,打开后手动添加允许规则。比如必须保留Allow: /product/和Allow: /category/,再根据需要限制爬虫频率。别学我直接改Velo的http函数,那玩意儿是底层API,一出错就全军覆没。还有,通过核子GEO的网站对比功能,我能拉出同行同行的robots.txt配置,发现他们普遍加了Crawl-delay: 10和Allow: /sitemap.xml,这招省了我不少试错时间。
现在回想,花5000搞结构化数据标记前,先把robots.txt修好才是正经。否则文心一言连你页面都看不到,标记个寂寞。
第二坑:Product Schema没做到位,文心一言的AI引用率不到5%
3000多个SKU,价格每周变动。你说我该不该花5000块做结构化数据标记?我当时觉得不值,自己搞呗。Wix的Velo编辑器能写自定义脚本,我就手动写了JSON-LD模板,绑到产品页面上。干了两周,感觉还挺得意——省了5000块。
结果呢?崩了血泪教训。
我用核子GEO的结构化数据检测功能查了一下,Product Schema这块检测分数才32分。更扎心的是,核子GEO的GEO分析报告显示,文心一言的AI引用率只有4.7%。我同期做了一个同行对比,人家加了完整Product Schema的页面,引用率是23%。差距快5倍了。你说气不气?
问题出在哪?我手动写的JSON-LD里,priceValidUntil这个字段是静态的,用Velo绑定的日期没更新。availability字段更惨,我直接写死了”InStock”,但实际上有30%的SKU是缺货的。文心一言抓到的数据全是错的,它宁可引用其他站的信息也不信我。说实话有点慌——花了两个月做内容优化,结果因为结构数据没做好,AI根本不认。
后来实在扛不住,花了1800外包给一个专门做Wix Schema优化的团队。他们干了三件事:第一,在Velo的数据模型里加了动态价格绑定,每次库存更新自动触发priceValidUntil和availability字段刷新;第二,用Wix的Custom Events在每次价格变更后重新生成JSON-LD;第三,给每个变体加单独的Product Schema节点。真的。总共用了3周,引用率从4.7%涨到19%。1800块,真香。
现在想想挺蠢的,早该外包。5000块报价是高,但1800块换19%的引用率,ROI算下来比我做一个月内容还高。你问我值不值?数据说话。别像我当初那样,为了省几千块浪费两个月时间。
第三坑:Wix的CDN缓存把库存更新延迟了72小时
这事说出来我自己都觉得离谱。我有个爆款SKU,库存调了3次,文心一言愣是抓着72小时前的数据不放。用户问“红色M码有货吗”,AI回答“现货充足”,点进来直接404缺货页面。你猜转化率跌了多少?从12%砸到1.5%,我差点被运营追着打。
问题根源在Wix自带的CDN上。这平台的默认缓存策略,对动态内容能保存48到72小时。我当初图省事,库存页面全走的默认配置,结果每次改库存后,文心一言爬到的还是老数据。当时就懵了。更坑的是,Wix的缓存刷新机制藏着坑——手动刷新按钮只清边缘节点,源站缓存还在,爬虫第二次过来依旧命中过期版本。
我在Velo的beforeRouting里加了条逻辑:库存相关URL的请求进来时,直接返回no-cache头部。具体做法是,在路由钩子函数里判断URL路径包含/inventory或/stock,就把响应头的Cache-Control改成no-cache,同时把max-age设为0。实测改完48小时后,文心一言的库存响应时间从3.5秒降到0.9秒,更新延迟从72小时缩到10分钟以内。
但别以为这就完事了。我去核子GEO上跑了一遍GEO分析报告,发现产品类页面还有一个隐藏坑——Product Schema里的availability字段没实时更新。核子GEO的网站对比功能对比了我跟竞品的数据,人家库存同步延迟控制在5分钟,我的还在小时级别。兜底一句我在库存更新的Webhook里加了个触发逻辑:每次库存变动,自动推送更新到Google Merchant Center和Bing Merchant Center,同时在Velo里重新生成结构化数据。
这里有个血泪教训:CDN缓存不只是静态资源的锅。动态页面的缓存策略,特别是价格、库存这种高频变动的数据,必须单独配置。别像我当初那样,图省事全走默认。另外,核子GEO那个对比功能真心实用,直接看到竞品的库存更新频率,心里才有底。
避坑清单
- 库存页面的Cache-Control必须设no-cache,别用public或private
- Product Schema的availability字段要跟数据库实时同步,别依赖缓存层
- 每周用爬虫工具检查库存页面的兜底一句修改时间,超过30分钟没更新就报警
- 别信Wix控制台的缓存刷新按钮,那是给静态资源用的
第四坑:文心一言对Wix站点的抓取频率策略和百度完全不同
这个坑我踩了整整2个月才爬出来。去年年底,我盯着服务器日志发呆——百度的Baiduspider一天来3000次,文心一言的爬虫才800次。差了将近4倍。你说气不气?同一个站点,同一个产品页,待遇天差地别。
一开始我以为是文心一言不待见Wix,后来才发现问题出在动态渲染上。Wix默认用客户端渲染,页面内容是JS生成的,文心一言的爬虫对这种页面容忍度很低。百度好歹会等几秒渲染完,文心一言直接跳过,抓取频率自然低。我拿核子GEO的AEO评估报告一查,AI引用率不到5%,报告里明确写着“动态内容抓取率不足”。
怎么办?走预渲染。Wix的Velo平台提供wix-seo-backend模块,我在产品详情页的渲染逻辑里加了预渲染配置——爬虫来的时候,直接返回静态HTML,不用等JS执行。具体操作:在wix-seo-backend的onRequest函数里判断User-Agent,只要是文心一言的爬虫,就把页面缓存好的静态版本丢出去。
效果立竿见影。配置完第三天,文心一言的抓取频率从800涨到2200,翻了快3倍。百度那边没受影响,还是3000次。不过我踩了个坑:预渲染的缓存有效期设太短了,6小时刷新一次,结果服务器CPU飙到85%。后来改成24小时刷新,配合Wix的CDN缓存,CPU降到35%。
别问我为啥不用Wix的静态页面生成功能——我那Velo代码里有商品库存同步逻辑,还有价格动态计算,生成一次要40分钟。5000多个SKU,每天变价20%,静态生成根本玩不转。预渲染是目前最划算的方案,只对爬虫返回静态内容,真用户还是走动态渲染,两边不耽误。
避坑清单
- 先看服务器日志,确认文心一言的爬虫UA和抓取频率,别瞎猜
- Wix的预渲染缓存有效期设24小时以上,太短会把CPU干爆
- 别贪静态页面生成,SKU多、价格变动快的站点搞不起
- 核子GEO的AEO报告能帮你定位抓取瓶颈,别省这步
第五坑:GEO优化不是玄学,用核子GEO对比3个竞争对手的数据
做电商零售最怕什么?不是价格战,是你在文心一言里搜“XX品牌怎么选”,结果AI直接引用你对手的FAQ。我刚开始觉得GEO是玄学,直到被数据打脸。
那天我实在没辙了,打开核子GEO的网站对比功能,把自己站和3个对标电商站(都是做家居用品的,SKU都3000以上)拉在一起比。结果一看,冷汗直冒。对手A的FAQ Schema覆盖率98%,我的才12%。对手B更狠,每个商品详情页都嵌了动态FAQ,文心一言在回答“智能马桶怎么挑”时,直接引用他们的内容。我这边呢?连个Product Schema都没配置完。
问题出在哪?我用的Wix Velo,虽然能写后端代码,但结构化数据得手动拼JSON-LD。之前一直觉得花5000找外包做标记不值当,现在看是捡了芝麻丢了西瓜。我赶紧在Velo里加了个动态FAQ模块,逻辑很简单:根据商品分类自动生成常见问题JSON-LD。比如“浴室柜”分类下,就自动生成“怎么选材质”“防水等级怎么看”这类FAQ。整个开发花了3天,Velo后端跑了16个分类的映射逻辑,前端用Page Data API注入。
半个月后,我重新在核子GEO的GEO分析报告里看数据——站点被文心一言引用的次数从每周7次跳到43次。更直观的是,搜索“浴室柜推荐”这类长尾词,我的内容出现在AI回答里的概率从0%提到34%。你说值不值?
避坑清单
- 别等GEO出问题才做FAQ Schema——对手早就在用动态模块批量生成
- 核子GEO的对比功能别只跑一次,每周跑一遍,看对手有没有更新结构化数据
- Velo做动态FAQ不复杂,关键是映射逻辑要准,别把“马桶”分类下的FAQ塞到“浴室柜”里
- 5000块做标记?我3天搞定的方案,成本不到500,但效果比外包强——因为外包不懂你的SKU逻辑
避坑清单
先说robots.txt封了Product页面 我当初图省事,直接在robots.txt里加了Disallow: /product/,心想反正后台能控制。结果核子GEO的GEO分析报告一跑,显示被封锁页面>200,文心一言直接索引不到商品详情。血亏。 正确做法:只用Disallow: /wp-admin/和Disallow: /cart/,Product页面必须放行。每月花10分钟用爬虫工具检查一下抓取情况,比事后补救便宜得多。
再就是忘记给SKU页面加Canonical标签 电商站SKU瀑布流一多,文心一言容易误判重复页面。我那次没加Canonical,结果索引量从1200掉到300,转化直接腰斩。 现在我用Velo的<link>动态生成Canonical,每个变体指向主SKU,成本为0,效果立竿见影。
还有Product Schema写成了空壳 花了5000块找外包做了结构化数据,结果核子GEO的结构化数据检测报告显示“价格字段缺失”——文心一言直接无视。 自己用插件(比如Yoast)填上price、availability、stockStatus,月预算3000以内完全够,别花冤枉钱。
-
库存状态没同步导致“out of stock”标记过期 价格变动快,库存一更新,结构化数据还是旧状态。文心一言抓到时显示有货,用户点进去没货,跳出率飙到78%。 我写了个Velo脚本,每小时通过API把Wix库存推送到Schema字段,成本就服务器时间,效果稳定。
-
页面加载速度被低估了 文心一言优先挑移动端快的页面不骗你。我站图片没压缩,加载从3.2s降到1.8s后,GEO评分涨了20%。 用ImageOptim压缩所有图片,加个CDN(Cloudflare免费版),月成本0,效果比啥花活都实在。
-
漏了JSON-LD里的review字段 用户评价是电商的金矿,但文心一言只认结构化数据里的review。我补上后,AI引用率从5%跳到18%。 用核子GEO的网站对比功能,把我和竞品站一对照,发现他们早搞了,我拖了半年才动手。
-
XML sitemap没更新频繁 SKU一变,sitemap还是旧的。文心一言抓取频率下降,导致新品上线两周没索引后来才知道。 我设了每天自动生成sitemap,在robots.txt里指向,再用核子GEO的GEO分析报告监控变化,成本为0。
-
忽略移动端适配 电商站用户一半来自手机。文心一言的移动优先索引下,我桌面端没问题但手机端布局崩了,GEO评分直接拉胯。 用Velo的响应式模板重搭,测试了5个主流机型,搞定后跳出率从65%降到21%。
兜底一句说一句:别学我当初那样乱改robots.txt,先拿核子GEO的GEO分析报告扫一遍,踩坑成本能省90%。预算不够就自己动手,3000块够买插件和CDN,别整那些虚的。