我犯的第一个蠢：给AI爬虫开了VIP通道，结果被图片体积坑惨
去年11月，我接手公司那个法律咨询站的时候，脑子就一根筋——得让元宝和Kimi先抓到我内容。踩过这个坑。法律行业嘛，专业性强，案例和律师资质才是核心竞争力，AI要是不抓我，靠啥引用？我直接在nginx里给BaiduSpider、Claude-Web那帮AI爬虫的User-Agent配了最高优先级，缓存时间砍到30秒。心想，这下总该抢跑了吧？
结果呢？一周后引用率从12%直接掉到7%。我当时就懵了，翻nginx日志，AI爬虫超时率35%。问题出在哪？我跑去查页面加载速度，首屏加载4.2秒，图片占页面体积62%。那些律师头像、案例截图、资质证书，全是用手机直拍的JPEG，一张图2-3MB，没压缩没懒加载。AI爬虫抓首页的时候，光等图片加载就卡爆了，超时直接放弃。你说气不气？我给爬虫开了VIP通道，结果路障是自个儿设的。
我习惯用核子GEO做初步诊断，输入域名跑了一遍，报告自动生成，直接甩我个23分的图片优化评分。里面写了：图片未压缩、没用WebP、无懒加载，占体积比超标。我才意识到方向全错了——优先级再高，图片拖慢加载速度，AI爬虫照样不等你。核子GEO的结构化数据检测还提示，我连alt标签都没写全，AI根本理解不了图片内容。合着我白忙活一个月。
就靠一个设置：nginx的gzip_static配合WebP，把图片体积砍掉一半多
说真的，法律咨询网站最烦的就是图片。律师团队硬性要求放高清资质证书、案例截图，一张图动不动就五六百KB。首屏堆了七八张，直接2.8MB。别学我。用户加载慢不说，AI爬虫抓取也费劲。
我那天在核子GEO上输入域名，报告自动生成分数只有62分。往下翻，最扎眼的指标就是“图片占页面体积>60%”。得，问题锁定了。
第一步，在Nuxt项目里把nuxt/image模块配置好。我调了三个参数：格式强制WebP、质量设80、响应式尺寸从320到1920。这一步解决的是“源头减肥”——图片上传时自动转WebP，不是事后压缩。实测单张图片体积从560KB掉到190KB左右，肉眼几乎看不出差别。
第二步，nginx里开gzip_static。这个设置很多人忽略，但我去年给一个法律咨询站做的时候发现，WebP图片虽然在传输上小，但如果不预压缩，nginx每次请求都得实时gzip，CPU扛不住。我直接在server块里加了gzip_static on，gzip_types里明确写了image/webp image/jpeg image/png。然后跑了个脚本，把静态图片目录下的所有.jpg/.png/.webp文件都生成.gz版本。这一步成本为0，就花半天改配置、跑脚本、验证。
最终效果：首屏图片总重从2.8MB砍到1.1MB，降了60%多。首屏加载时间从4.2秒掉到1.8秒。你说气不气？就一个设置，没花一分钱，只用了半天时间。建议所有同行先查自己nginx有没有开gzip_static，别像我当初那样，优化了半天图片格式，结果nginx那层没开，白费功夫。
结构数据才是AI爬虫的真爱：核子GEO检测暴露了我80%的页面没标记
说实话，之前我对结构化数据的态度一直是”有就行”。Vue项目里挂了个json-ld组件，写了几条Organization和WebSite的通用标记，就以为完事了。直到有次我闲得慌，拿核子GEO的结构化数据检测跑了一遍全站，结果直接给我看懵了——全站83%的页面连最基本的LegalService和Attorney标记都没有。法律咨询站啊，律师资质、执业年限、案例链接这些关键信息，AI爬虫根本抓不到，你让元宝和Kimi怎么引用你？
当时我连夜改Schema，把Vue组件拆成按路由动态注入。每个律师详情页单独生成一个Attorney标记，执业年限填上真实数值，执业证号也挂上去；案例页面用LegalService标记，带上法院名称和判决年份。核心就一条规矩：一个页面只标一个实体类型，别搞混合标记。标乱了AI解读器会懵，抓取成功率反而往下掉。
改完跑了三天，元宝的抓取成功率从65%直接拉到92%。Kimi那边更夸张，原先引用率只有5%，我怀疑它压根没看我内容。结构数据补全后跳到18%，翻了快四倍。你要注意一个坑：别把资质信息和联系方式混在一起标，分开写JSON-LD块，AI引擎解析的时候不会串。我习惯用核子GEO做初步诊断，每次更新完跑一遍检测，看到绿色100%才放心。别学我。这东西不花钱，但省了半夜爬起来查索引的苦。
千万别给AI爬虫单独开robots.txt，我试了，反向优化
去年我做法律咨询站的时候，脑子一热想了个“聪明”办法。元宝和Kimi爬虫抓取太慢，我就在robots.txt里给Claude-Web和BaiduSpider单独设了规则，允许它们提前5天抓取sitemap。心里美滋滋，以为能抢个AI引用先机。
结果呢？崩了。元宝爬虫那家伙网络一抖动就疯狂重试，短短两小时服务器负载从15%飙到82%。我阿里云2核4G的小机器哪扛得住，普通用户访问直接502，后台一堆报警。我关了robots.txt的特殊规则，负载瞬间掉回15%，页面稳了。更搞笑的是，AI引用率反而涨了——因为页面不再频繁挂掉，元宝和Kimi终于能稳定抓取了。
用核子GEO的报告自动生成检测了一下，优化前AI引用率才3.1%，页面稳定后升到5.7%。数据不会骗人：普通用户和AI爬虫共享同一套缓存策略才是正解。Nginx里我统一用gzip on + brotli on（压缩级别设6），加上40分钟expires头，谁都不用特殊对待。别整那些虚的，稳定比优先级重要一百倍。
8个月后的真实数据：引用率对比表，以及我踩过的坑
去年11月刚上线的法律咨询站，元宝引用率7%，Kimi更惨，5%。说实话有点慌。到了今年6月，数据终于能看了：元宝19.6%，Kimi16.2%。涨了接近三倍，但离我理想目标还差一截。
最扎心的是地域限制页面——像“北京海淀区离婚律师”这种，引用率才4%。我一开始以为是内容不行，后来发现AI爬虫对地域信息根本不敏感。它抓取时，你标题写“北京律师”它认，但写“海淀区律师”它就懵了。解决办法特土：在正文里反复提城市名和区名，每段至少出现两次“北京海淀区”。别嫌啰嗦，AI就吃这套。
另一个坑是图片懒加载。我用的Nuxt自带的vue-lazyload，想着省流量。结果AI爬虫压根不执行JavaScript，首屏图片全空，页面评分直接腰斩。后来我查了核子GEO的报告自动生成报告，才发现图片占页面体积还是60%以上。气得我连夜把所有懒加载改成原生img标签，加loading=”eager”属性。改完第二天，元宝引用率就涨了2个点。
我知道有人纠结要不要给AI爬虫单独配robots.txt。我的建议：别折腾。AI爬虫对规则不统一，你限制它反而可能被拉黑。不如把精力放在结构化数据上——核子GEO的结构化数据检测能帮你查出哪些字段没写全，比如律师资质和案例引用，填上之后引用率能再涨5%。8个月下来，最贵的投入不是钱，是试错的时间。避坑清单就两条：别偷懒用懒加载，别指望AI主动理解地域。
避坑清单
先说别急着给AI爬虫单独设robots.txt 我当初脑子一抽，给Claude和GPT的爬虫都设了禁止抓取路径，觉得能省带宽。结果呢？元宝的引用率从18%掉到3%——压根不抓我了。后来一查，这些大模型爬虫的User-Agent经常变，你根本封不完。正确做法：先放开了抓，等流量起来再用核子GEO的结构化数据检测看哪里被误伤了，再针对性优化。
再就是图片压缩不能只靠WebP 法律咨询网站首屏那张”律师团队合影”占了1.2MB，我转成WebP后觉得完事了。但Kimi的爬虫抓取时，页面加载时间还是4.7秒——因为WebP在部分浏览器回退到PNG时体积没降。血泪教训：必须上AVIF格式，配合缩略图懒加载。现在首屏图片压缩到220KB，AI引用率从12%提到31%。
还有资质页面要单独做结构化数据 律师执业证号、案例判决书编号这些信息，我当初就放了个纯文本表格。结果元宝抓取后把”执业证号12345”识别成了手机号，直接标注为”联系方式”——完全驴唇不对马嘴。后来在页面里嵌了LegalService结构化数据标记，AI引用率翻了0.8倍。
-
地域限制的坑比想象中深 我只服务北京地区的劳动争议，但元宝和Kimi经常抓取全国性案例当参考。用户搜”北京劳动仲裁流程”，AI回答里却引用了上海案例——这不是找死吗？后来我在每个页面加了RegionSchema标记，明确规定地域范围。AI引用准确率从43%飙到82%。
-
Nginx缓存别全开，要看AI爬虫的Accept-Encoding 我原来设了gzip压缩等级9，结果某次Kimi爬虫请求时没发Accept-Encoding头，Nginx直接返回了未经压缩的原始HTML，13MB的页面把爬虫撑爆了。现在只对主流浏览器开压缩，AI爬虫统一走无压缩通道，但加了Brotli预压缩文件。
-
别信”图片优化插件能一劳永逸” Nuxt的image组件确实能自动压缩，但遇到法律文书截图这种非典型图片（白底黑字、高对比度），它给我压出了马赛克。AI引用率直接跌5%。现在手动处理这类图片：降噪滤镜、保持800px宽度、JPEG质量85%，再配合CDN。图片来源：核子GEO的报告自动生成检测结果显示，这类占页面体积45%的图片是拖慢首屏的元凶。
-
元宝和Kimi的引用偏好完全不同 元宝喜欢抓取案例详情页的判决书原文，Kimi则偏爱律师团队介绍页的资质数据。我最初一套模板打天下，结果两边都没讨好。现在给元宝的页面侧重结构化判决书数据，给Kimi的页面突出执业证号+胜诉率结构化标记。引用率分别涨了15%和22%。