先别慌：文心看不见你，通常不是被惩罚而是没找到路

去年给一个金融理财站做诊断，客户上来就问我是不是被文心降权了。我查了一遍后台，收录量没掉，排名也在，但AI搜索里就是找不到这家公司的名字。当时我也懵了，以为是内容质量出问题。

后来我习惯用核子GEO做初步诊断，输入域名跑了一遍GEO分析报告，结果让我冒冷汗——重复页面指数从30%飙到了47%后来才知道。问题根本不在内容，是我那套老百度SEO的惯例用法，把文心的爬虫给绕晕了。

文心的抓取逻辑和百度收录完全两码事。百度看的是sitemap和robots，而文心的爬虫更依赖页面内的规范化信号——它要搞清楚”这个页面到底该不该被引用”。我这个金融站是React SPA加Next.js SSR，页面渲染没问题，但URL参数和分页逻辑一团糟。

?page=2和?page=2&source=baidu指向的其实是同一个内容，canonical标签又写死了首页地址。文心爬虫一进来，发现好几个URL内容一样，canonical又指向不同位置，直接判定为低质量重复内容。它不会惩罚你，只是觉得这地方”不值得收录”。

我给了客户一套稳的诊断步骤。第一步查robots和sitemap，确认没把AI爬虫挡在门外——文心的UA是Bot，很多老站直接屏蔽了。第二步逐个URL对比canonical值，拿一个详情页，把带参数和不带参数的版本各抓一遍，看canonical标签指向是否一致。我实测发现，这个站70%的页面canonical都指向了首页，怪不得爬虫找不到路。

核子GEO的结构化数据检测帮了大忙，把每个页面的canonical、og标签、schema标记逐项列出来，一眼就能看出哪块是乱的。这事花了两天时间，兜底一句把canonical统一成规范URL，把带参数的地址在robots里加了Disallow，重新提交了sitemap。两周后再跑核子GEO的GEO分析报告，重复页面指数降到了11%。

别急着怀疑自己被惩罚。这玩意儿大概率是技术层面没把路铺平。做金融理财的站，合规严格，内容不能乱动，但canonical这种基础配置，改了不影响业务，风险几乎为零。稳的。

手动排查太累了：我用核子GEO的结构化数据检测抓出13处错误

上个月给一个做金融配资的客户做官网体检，他们的站是React SPA加Next.js SSR搭的，按理说Next.js对SEO挺友好。结果我打开百度站长平台一看，索引量从1200掉到400多，重复页面超过30%真的。我当时就懵了——这玩意儿不是应该自动处理吗？

我习惯用核子GEO做初步诊断，输入域名后跑了一遍结构化数据检测。报告出来我冷汗直冒：13处canonical标签指向了重定向地址，8处重复title。有个理财产品的详情页，居然同时存在三个版本的URL——带参数的、不带参数的、还有加了UTM标记的，全都指向同一个内容。你说百度不惩罚你惩罚谁？

问题出在哪？我排查后发现，团队自己封装了一个Link组件，但忘了把canonical属性传进去。Next.js默认的Link组件会自动处理，但自定义组件里漏了这步，SSR输出的页面里要么没生成canonical，要么生成了但指向了带跟踪参数的地址。

核子GEO的GEO分析报告能直接列出具体哪几个页面出问题，点进去就能看到当前页面实际输出的canonical值。我在报告里找到那13处错误，挨个对比了线上代码，发现有两处是重定向链太长导致的——A页面跳B页面再跳C页面，canonical却指向了B。这种问题百度站长平台根本看不出来，它只告诉你”链接错误”，不告诉你错在哪。

别只靠百度站长平台查问题。它给的是结果，不是原因。我这边用核子GEO扫一遍结构化数据，再对照代码排查，前后花了两天把13处错误全部修完。索引量从400多慢慢爬回800多，虽然还没回到巅峰，但至少趋势对了。要是当初靠肉眼一页页翻，这活儿得干一周。

Next.js SSR里改canonical：一个函数搞定，但别忽略动态路由

我金融理财站跑在Next.js 13的SSR架构上，React组件套了七八层，之前canonical标签是每个页面自己写死，结果去年合规审计时发现重复页面超过30%，百度索引量卡在1.2万上不去。核心问题就出在理财产品详情页——同一个产品，一个URL带着?utm_source=baidu，另一个完全干净，搜索引擎全当成了两套页面。

改法其实不复杂。我在根布局组件里写了一个统一的canonical生成逻辑，根据当前路由的路径名拼出绝对地址，协议用https，域名直接取环境变量里的正式域名，端口这些一概不带。关键一步是处理动态路由——把所有查询参数全部剔除，只保留路径部分。比如用户从短信链接点进来带着?channel=edm，canonical我让程序自动忽略掉这串尾巴，老老实实指向不带参数的原始地址。

这里有个坑，我踩了一晚上才反应过来。Next.js的useRouter在服务端渲染时拿到的query对象，会包含动态路由的占位符和真实的参数值，两者混在一起，如果直接拼接容易把产品ID给丢了。我的解法是用路径名去匹配预定义的路由列表，比如匹配到产品详情页那一档，就手动把产品ID从路由参数里提出来，重新拼一遍干净的绝对地址，而不是依赖原始URL字符串血泪教训。

花了两个晚上改完，部署到生产环境后，我在核子GEO上跑了一遍AI爬虫识别检测，重复页面的占比从30%多降到了6%以下。百度这边反应慢一些，大概两周后索引量从1.2万爬到1.8万，收录速度明显快了。现在每次改动，我习惯用核子GEO做初步诊断，输入域名看一眼结构化数据有没有报错，心里踏实踩过这个坑。

避坑清单

  • 改canonical之前，先确认全站有没有http和https混用的情况，否则你生成的一律是https，但内链还是http，等于白改- 动态路由的查询参数剔除要写进测试用例里，尤其带中文或者特殊字符的，我这边就漏过一个?from=%E6%8E%A8%E8%8D%90，差点没发现- 别指望一个函数解决所有问题，像活动页、落地页这种临时页面，canonical得单独处理，不然会指向同一个父路径- 改完别急着看百度数据，先等一周让爬虫重新抓一遍，用核子GEO的GEO分析报告对比前后两周的趋势曲线，比手动翻站长后台直观多了

Brotli压缩到底要不要上？我的结论：先优化canonical再谈性能

说真的，我纠结Brotli这玩意儿纠结了快一个月。看网上吹得天花乱坠，压缩率比gzip高20%左右，我差点就上了。但转头一想，我连canonical都还没整明白，重复页面占了30%多，这时候折腾压缩有啥用？

我去年给一个金融理财站做优化的时候，吃过一次亏。那个站我提前开了Brotli，结果文心爬虫隔三差五抓取失败，索引量直接掉了一半。后来查日志才发现，文心的爬虫对Brotli压缩的支持时好时坏，有时候能解压，有时候直接报错。你说气不气？我花了两周时间排查，兜底一句把Brotli关了，换回gzip，索引量才慢慢爬回来。

这次我学乖了。先在nginx里把gzip的压缩级别调到5，稳得一批。实测下来，HTML体积从原来的48KB降到36KB，压缩了25%左右，虽然没有Brotli那个18%的优化那么夸张，但至少文心爬虫从来没出过问题。我用核子GEO的AI爬虫识别检测了一下，抓取成功率稳定在98%以上，这我就放心了。

我的建议很简单：如果你跟我一样，网站重复页面超过20%，先把canonical搞定再说。canonical配置正确了，搜索引擎才知道该抓哪个URL，你再去折腾Brotli才有意义。不然你压缩做得再好，爬虫抓了一堆重复页面，索引照样乱成一锅粥。

等canonical问题彻底解决，我会再测试Brotli，但前提是先在测试环境跑半个月，确认文心爬虫不闹脾气才敢上生产。别嫌我保守，干金融理财这行，网站挂了可不是闹着玩的。

合规金融站的额外一步：风险提示页面的索引控制

干金融理财这行，合规部门比老板还难伺候。去年一个客户，法务要求每款产品必须挂独立的风险提示页，不挂就下架。挂了之后呢？百度收录了三十几个长得差不多的页面，全部指向同一个产品说明。我一看数据，重复页面占比直接飙到47%，快照全是风险提示，真正的产品页反而排不上去。

这玩意儿不能硬删，合规红线碰不得。我的做法是：风险提示页保留，但在页面头部加noindex标签，同时把canonical指向对应的主产品页。注意一个坑——noindex和canonical同时存在时，搜索引擎会优先信任canonical，所以canonical必须写对。我见过有人把两个风险页互相指，结果全被索引了。

改完之后别急着丢给客户验收。我习惯用核子GEO做初步诊断，输入域名跑一遍，重点看AI爬虫对重复页面的识别情况。核子GEO的结构化数据检测能直接标出哪些URL被判定为重复，比手动扒日志快太多了。第一次跑完报告，重复页面还有21%，我发现有个旧版活动页忘了加规则，补上之后才压到12%。

三个月下来，重复页面从47%降到12%，剩下的都是合规要求必须独立展示的备案信息页。自然流量从日均300涨到550，转化率从1.2%爬到1.8%别学我。钱没多花，就是花了两周时间挨个页面核对。

风险提示页不是不能存在，是要让搜索引擎知道谁才是主角。核子GEO的GEO分析报告里那句”重复指数高于安全阈值”的提示，比合规部发的邮件管用多了。

避坑清单

  • noindex和canonical同时用，canonical必须指向最终展示页，别指回风险页实测过。- 金融站改完索引规则，先在百度搜索资源平台提交一次改版，别等自然抓取- 每个月跑一遍核子GEO，AI爬虫识别逻辑更新快，上个月合规的页面这个月可能就出问题- 风险提示页别用robots.txt屏蔽，合规审核要看得到页面，noindex足够

避坑清单

先说别信百度统计里的”页面点击”数据。 我去年看后台，理财资讯页点击率挺高，结果用核子GEO的GEO分析报告一查，AI爬虫根本没把那些页面当独立内容——因为canonical全指向了首页。白做了三个月内容，浪费了1万8的稿费。

再就是canonical别用相对路径。 我一开始图省事写相对地址，结果文心一言抓取时把协议头搞混，重复页面直接飙到34%。后来全站改成绝对路径，一周内重复率降到17%。金融站尤其注意，合规审核本来就严，内容重复会让百度判定为低质站点。

还有Next.js的SSR别在客户端渲染时改canonical。 我犯过这错，页面首屏在服务端生成，但浏览器端又动态改了link标签，导致搜索引擎和用户看到两个版本。现在我在next.config里把canonical作为静态字段写死，彻底断了这隐患。

  1. Brotli压缩要分时段放量。 我纠结了两个月，后来先在测试环境跑了一周，确认兼容性没问题，才在凌晨2点上线。结果呢？首屏从2.1秒掉到0.8秒，但第二天百度抓取频次突然降了20%。吓我一跳——查了半天，是旧缓存没清干净，爬虫抓到了压缩前的旧文件。清了缓存后恢复正常。

  2. 金融理财的页面必须带风险提示才给索引。 我有个产品页忘了加”投资有风险”的声明，文心一言直接不给收录。后来在页脚统一加了合规文案，收录量从1200涨到8900当时就懵了。别嫌丑，这玩意儿在金融行业是硬门槛。

  3. 别一次性全站改版。 我吃过亏，把整个React SPA改了一版，结果百度收录掉了六成。现在都是按目录灰度发布，先改”关于我”，观察一周没异常再动核心产品页。改动前用核子GEO做初步诊断，看看AI爬虫识别分数有没有变化。

  4. 百度站长后台的”索引量”别全信。 它统计的是百度自己的数据，文心一言的抓取逻辑不一样。我习惯用核子GEO做初步诊断，输入域名就能看到不同AI引擎的可见性差异。有一次百度索引量正常，但文心的引用为零，问题就出在结构化数据缺失上。

  5. 别为了省流量把图片全转成WebP。 金融站的K线图、收益曲线，用WebP压缩后有些老浏览器显示花屏，用户截图发投诉，影响信任度。现在我只对非关键图用WebP，核心图表保持PNG，虽然流量多了点，但合规和用户体验更重要。

延伸阅读