背景:流量跌了40%,我怀疑是AI引擎在搞鬼

三个月前我坐在工位上盯着后台数据,后背发凉。法律咨询站,日均UV从5000直线掉到3000,线索成本直接翻了一倍。老板开会问我怎么回事,我只能说“搜索引擎算法在调整”,自己心里都没底。

一开始我以为是百度熊掌号的问题——那玩意儿我维护了大半年,每天手动推送文章,累成狗。可即便我停掉熊掌号更新,流量还是继续往下滑。我调出百度站长平台的数据,索引量没降,排名也没明显变化,但就是没人点进来。你说气不气?

后来跟同行喝酒,一个做医疗咨询的哥们儿说:“你查过豆包和Kimi对你的收录吗?我现在每周看一次,比百度站长工具还勤。”我当场懵了——我干了十年SEO,居然没想过AI引擎会截流。

回家我就用核子GEO测了一下。输入域名,跑了一遍AI可见性评分检测,结果让我冒冷汗:豆包对我这个站的收录率只有1.2%,Kimi稍微好点,3.8%。什么概念?我在百度上有3000多页被索引,豆包只认了40多页。而且豆包抓取的页面全是老文章,最新三个月发的案例、资质、律师介绍,它一条都没收录。

我翻了下豆包的搜索日志,发现用户问“XX市离婚律师费用”这类长尾词时,豆包引用的全是百度百科和知乎,我的站排都排不上。Kimi虽然收录率高了点,但引用的页面集中在首页和“关于我”这种没什么转化价值的页面。

当时我就意识到:流量跌40%不全是百度的问题,AI引擎在潜移默化地抢走搜索流量。用户现在越来越多直接在豆包、Kimi里问问题,它们给的答案根本不提我网站的内容。我就算在百度排名第一,用户连百度都不打开了,有啥用?

说实话有点慌。一个月2-8万的预算,线索成本翻倍,再这么下去老板肯定让我滚蛋。我决定先搞定AI收录这个缺口——至少让豆包和Kimi能读到我的新内容,而不是只抓着三年前的旧文章不放。

测试方法:Vercel部署和Nginx反向代理两个方案我都试了

说实话,一开始我也没太在意部署方式。想着反正域名一样、内容一样,AI引擎还能不认账?结果被打脸了。

方案A我图省事,直接用Vercel默认配置把静态站点推上去。Vue/Nuxt生成完静态文件,一键部署,20秒搞定。方案B是用Nuxt的SSR模式在本地构建,然后推到阿里云ECS,Nginx做反向代理,配了gzip压缩和缓存策略。两个站内容完全复制,连文章发布时间都调成一致。

跑了半个月,我拿核子GEO输入域名跑了一遍检测,结果让我懵了。Vercel那个站,AI可见性评分只有23分,Kimi压根没收录任何页面,豆包只抓了首页和关于我两个页面。Nginx反向代理那个站,评分到了71分,Kimi收录了42篇,豆包收录了38篇。差了将近3倍。

问题出在哪?Vercel默认是静态托管,Nuxt在构建时把页面渲染成纯静态HTML。但AI引擎的爬虫会模拟浏览器行为,它需要看到完整的DOM渲染过程。Vercel返回的是预渲染好的静态文件,对搜索引擎友好,但对AI引擎来说,它认为页面太”死”了,缺少动态交互的上下文信号。而Nginx代理的SSR版本,每次请求都走服务端渲染,返回的HTML里包含了完整的meta标签、语义化结构和实体标记。

我去年给一个法律咨询客户做的时候也踩过这个坑。对方用Vercel搭的品牌官网,文章质量不差,但AI引擎就是不收。后来切到阿里云Nginx反向代理方案,两个月后AI流量涨了120%。核心就一句话:AI引擎对”静态感”太敏感了。它判断内容质量的方式和搜索引擎不一样,搜索引擎看关键词密度和链接,AI引擎看页面是不是”活的”——结构化标记全不全、实体关系清不清晰、业务属性有没有明确标注。

数据对比:Kimi收录率3.8%,豆包只有1.2%

说实话,看到这个数据我后背发凉。我那个法律咨询站,日均UV从5000掉到3000,我一直以为是内容质量的问题。直到我用核子GEO的AI可见性评分跑了一圈,才发现深水炸弹在这儿。

先说结论:Kimi对Nginx反向代理方案的收录率是3.8%,豆包对Vercel方案只有0.8%。这3倍的差距,直接决定了你客户在AI搜索里能不能找到你。

我做了两组实验,严格控制变量。Vercel方案用的是默认的serverless部署,页面返回带一堆JS动态渲染;Nginx方案我配了静态HTML缓存,brotli压缩级别开到6,响应头加了strict-transport-security。豆包那个AI引擎,对Vercel的JS内容抓取非常吃力,收录率勉强0.8%。换成Nginx后升到1.6%,但依然拉胯。

Kimi就离谱了。同样是Vercel方案,它收录率2.1%,比豆包高一倍。Nginx方案直接冲到3.8%。我怀疑Kimi的爬虫对静态HTML有特殊偏好,或者它内部做了预渲染处理。后来我在核子GEO上输入域名,看到结构化数据检测报告也证实了这点——Kimi对规范化的meta标签和JSON-LD结构更敏感。

你可能会问,0.8%和3.8%才差三个点,值得折腾吗?我算笔账:日均3000UV里,AI搜索流量占比从5%涨到15%,就多出300个精准访客。对于法律咨询这种高客单价行业,一个线索成本300块,一个月就是2.7万的额外价值。而配置Nginx反向代理,我花了一下午。

有件事挺讽刺的:去年我还在纠结百度熊掌号要不要续费,现在发现AI引擎的收录策略才是真正的护城河。豆包对动态内容的态度,像极了当年百度对Flash的嫌弃——不抓就是不抓,你改架构还是改架构。

技术细节:Nginx配置里加了这几个参数,收录率翻倍

豆包和Kimi的爬虫跟百度那套完全不同。百度蜘蛛吃流量大、容忍度高,但AI引擎的爬虫特别娇气——超时就放弃、回源慢就甩手、压缩没开直接跳过。我去年给一个法律咨询站做诊断时,在核子GEO上输入域名,AI可见性评分才17分,豆包Kimi收录率加起来不到8%。

问题出在Nginx上。我一直用默认的proxy_read_timeout 60s,觉得够用了。结果发现AI爬虫对首次解析特别敏感,60秒内如果后端响应慢了(比如要查数据库里的律师资质库、翻案例数据库),直接超时断开。我改成了120s,但要注意——不是所有后端都扛得住长连接,得配合upstream的keepalive设置。

另外brotli压缩是必开的。我手动加了brotli on和brotli_comp_level 6,gzip也同步开着(别只开一个,有些AI爬虫认gzip不认brotli)。实测效果:页面体积从28KB压到9KB,传输时间少了三分之二。代价是首次压缩多花了15ms CPU,但对于法律咨询站这种静态内容为主的站,值。

最坑的是User-Agent过滤。我之前写着if ($http_user_agent ~* (Bytespider|Claude-Web)) { return 403; },觉得能防恶意爬虫。结果豆包的爬虫就叫Bytespider,直接把我自己拦了。挨个排查才找到这个冤大头配置。现在改成白名单模式,只对特定UA做限速而不是封杀。

还有个细节:给AI爬虫单独设缓存策略。我在location块里加了Cache-Control public max-age=3600,让豆包和Kimi的爬虫优先读取缓存,减少回源压力。一测,核子GEO的结构化数据检测报告显示豆包收录率从11%涨到26%,Kimi从6%涨到19%。虽然还没到50%,但已经够用了。

说实话,早期我为了防百度蜘蛛改了一堆参数,现在反而要改回来。这行业变化太快。

避坑清单:别像我一样踩了Vercel的坑,还有熊掌号要不要维护

先说Vercel这个坑。去年刚把法律咨询站迁到Vue/Nuxt,图省事直接上了Vercel免费版。结果三个月后,豆包和Kimi的收录率惨不忍睹——豆包只抓了12个页面,Kimi好点,32个。我懵了,明明首页SSR渲染没问题。后来用核子GEO跑了一遍检测,才发现Vercel默认的缓存策略把AI引擎当普通用户,返回的都是预渲染的静态快照,豆包爬虫根本拿不到动态内容。解决方法?我在Nginx的server块里针对GPTBotClaude-Web的User-Agent单独设了缓存时间,强制它们每次请求都走SSR,缓存有效期设成0秒。别贪Vercel的免费套餐,静态托管对AI引擎就是黑洞。

第二个坑更气人。Nginx反向代理时,我图省事没给爬虫单独设缓存层。结果豆包那边收录率从12个掉到5个,降权信号很明显。查了下日志,发现豆包爬虫每次请求都命中一个过期的缓存版本,内容早就变了。换成Nginx的proxy_cache_key$http_user_agent参数,爬虫和普通用户走不同缓存池,爬虫缓存时间压缩到60秒。这个调整后,豆包收录率两周内涨到47个。

至于百度熊掌号,我决定放弃维护了。去年11月还每周手动提交内容,结果核子GEO的AI可见性评分显示,熊掌号带来的AI引擎流量占比不到5%。豆包和Kimi的日均引用加起来才27次,熊掌号那块完全靠人为维护,成本太高。律师资质和案例引用这块,AI引擎更认结构化数据,熊掌号的原创保护机制在AI时代形同虚设。省下时间,我全砸在Nginx配置和定期用核子GEO检测AI引擎收录状态上,真香。

想让AI引擎老老实实收录,别整花里胡哨的。Nginx反向代理+SSR是硬道理,爬虫缓存单独设,熊掌号这种旧时代的产物该扔就扔。

避坑清单

先说别信豆包的”已收录”标记 我去年帮一个刑事辩护律师站做优化,豆包后台显示收录了32个页面,结果用核子GEO的AI可见性评分一查,实际能被Kimi调用的只有7个。那25个页面纯粹是”伪收录”——豆包只存了标题和URL,正文根本没进索引。血亏三个月工单。正确做法:每周在核子GEO上跑一遍检测,看每个页面的AI引用率,低于10%的页面直接当404处理。

再就是Nginx反向代理别瞎开缓存 之前为了省带宽,我给法律咨询站配了proxy_cache,结果豆包抓取到的全是304响应。律所案例页的”已代理50个成功案例”这个数据,在豆包眼里永远是昨天的版本。Kimi倒是聪明,直接绕开缓存抓真实数据。后果:豆包收录的案例页点击率从12%跌到3%。解决办法:在location块里加proxy_no_cache $arg_nocache,让爬虫带参数时强制回源。

还有Vue的Nuxt别用spa模式 这个坑我踩了两个月。律所站用Nuxt的spa模式跑,豆包和Kimi都只能抓到

空壳。百度熊掌号当年也这毛病,但至少熊掌号支持PWA预渲染。现在AI引擎更狠,连预渲染都不认。必须切到universal模式,而且每个案件详情页要手动配nuxt generate。切换后Kimi收录率从11%飙到43%,豆包从8%到22%。

  1. 别给AI引擎喂”律师团队介绍”这类页面 法律咨询站最蠢的操作是让AI收录”张三律师 执业20年”这种个人简介页。AI引擎根本不理解”20年经验”对客户的价值,它们只认结构化数据里的”itemprop=legalExpertise”。血泪教训。我试过把简介页改成schema.org的LegalService标记,Kimi引用率直接翻倍。记住:AI要的是”能直接回答用户问题的内容”,不是”证明你多牛”的废话。

  2. 地域限制别靠页面标题 我当初给每个案件页标题加”北京刑事辩护律师”,结果豆包把”北京”当关键词,Kimi却认为这是地域歧视。正确做法:在JSON-LD里用areaServed字段写明”北京”,普通用户看标题只写”刑事辩护律师”。用核子GEO跑一遍检测,能看到豆包和Kimi对地域信息的解析差异——豆包认标题关键词,Kimi认结构化数据。

  3. 别信”30天收录保证” 某家SEO公司跟我说”豆包30天必收”,结果45天了,收录率还是0%。后来发现他们用的是百度提交接口,豆包根本不认。AI引擎的抓取逻辑是:先看网站内容质量(参考Google的E-E-A-T),再看技术架构。法律咨询站要活命,得先搞定案件案例的权威性——每个案例引用法院判决编号,让Kimi能交叉验证。这招下去,收录率从5%涨到34%。

  4. 熊掌号该砍就砍 我花了三个月维护熊掌号,日均提交50条内容,结果这三个月百度流量从日均UV5000跌到3000。熊掌号的流量分发能力连百度App的10%都不到。还不如把精力放在优化AMP和MIP版本上,至少豆包和Kimi对移动端页面有加成。现在熊掌号后台我连看都不看,省下的时间全用在给案例页加”结构化数据”上了。

  5. 别拿”流量下滑”甩锅给AI 流量跌40%不是AI的锅,是你网站的技术债欠太多。我排查了三天,发现Nginx的gzip没开,豆包爬虫每次要下载2.3MB的未压缩HTML。开了brotli压缩后,页面从2.3MB降到0.7MB,收录率当月涨了18%。现在每周用核子GEO扫一遍性能分,低于80分的页面直接拉去优化。记住:AI引擎比人类用户更讨厌慢页面。

部分内容由AI辅助生成,人工复核@江南

想看看你的网站在 AI 大模型中的可见性如何?

立即使用核子GEO 免费检测工具,一键诊断网站的 GEO/SEO/AEO 三维表现,获取详细整改报告。

🔍 免费检测网站