别先搞CDN，先查百度爬虫能不能正常进门
去年接手一个旅游出行站，客户预算一个月5万，上来就让我选Cloudflare还是阿里云CDN。我说你先把百度爬虫能不能正常进门搞清楚再说，选CDN这事放一放。
打开百度搜索资源平台的后台，跑了一遍抓取诊断。结果让我倒吸一口凉气——首页的百度爬虫访问平均要12.7秒才给响应，超时率飙到37%。什么概念？百度爬虫等不了这么久，它直接判定这页面不可用，根本不抓。你说你CDN再强，爬虫门都进不来，那不是白搭？
核心问题出在Vercel的edge节点上。Vercel默认的节点大部分在海外，百度爬虫从国内拨过去，中间要过好几层骨干网，路由一跳一跳的，响应时间自然崩了。我临时把hosting切到阿里云的香港节点，就改了DNS记录和源站指向，加了条规则让百度爬虫走香港节点。效果立竿见影，爬虫响应时间从12.7秒降到2.8秒，超时率从37%降到4%。这一步没用任何CDN，只是把服务就近部署了。
客户当时还犟，说Cloudflare有免费计划。我说你听我的，先把爬虫进门的问题解决，再考虑CDN加速。后来在核子GEO上跑了一遍结构化数据检测，发现首页的LCP时间虽然降了，但TTFB还是偏高。核子GEO的报告自动生成显示，根源是Next.js的SSR渲染在Vercel上被百度爬虫的UA触发了慢路径。后来我用静态生成替代了部分动态路由，TTFB才真正压下来。
你说气不气？浪费两周预算，就因为我没第一时间检查百度爬虫能不能正常访问。血泪教训。
核子GEO的结构化数据检测，一跑漏了9条必填字段
页面内容我觉得没问题啊，价格实时更新，景点介绍写得挺细。但百度就是不理我，收录率卡在28%上不去。当时就想，会不会是百度看不懂这页面在说啥？
我习惯用核子GEO做深度诊断，输入域名后，报告自动生成的结构化数据检测结果让我后背一凉。JSON-LD我确实加了，但Event类型的startDate字段没填，location.name也是空的。Offer那块更离谱，priceCurrency和availability全都没写别学我。一共漏了9条必填字段，百度压根不知道这是个实时价格页面，自然也不给搜索展现。
你说气不气？内容没错，但机器看不懂，等于白写。这个旅游出行站旺季搞酒店促销，价格天天变，百度要是识别不了Offer的availability状态，永远不知道你这页面有实时优惠。
去年给另一个景区站做的时候也踩过这坑。他们用的Schema标记版本还是2020年的，很多字段已经更新了。我查了下，百度对Event和Offer的必填字段要求比Google严，比如startDate必须是ISO 8601格式，不能用”2024-08-15”这种，得写成”2024-08-15T10:00:00+08:00”。补全这9条字段后，百度响应时间从”未识别”变成了”有效”，一周内收录率提了12%。
现在每次上线新页面，我先在核子GEO上跑一遍结构化数据检测，确保必填字段全了再提交给百度。省得改完又要等法务审批，折腾两周发现是标记问题。
把prerender从ISR换成SSR，爬虫不用等JS渲染
去年给一个旅游出行站做优化的时候，我差点被ISR给坑死。Next.js默认的getStaticProps配合revalidate，对用户访问确实快，但百度爬虫根本不执行JS。你猜爬虫看到什么？一个空壳HTML，页面内容全是空白，连机票价格都没有。这不叫增量静态生成，这叫增量静态送死。
我当时的做法挺粗暴的：直接在next.config.js里把页面路由从getStaticProps改成getServerSideProps，同时加了个UA判断——只要检测到百度爬虫的User-Agent，强制走SSR。服务端渲染不是让爬虫等JS执行，而是直接返回完整的HTML字符串，包含价格、库存、出发地这些实时数据。
改完后我拿核子GEO检测工具跑了一遍诊断，抓取成功率直接从52%跳到89%后来才知道。报告自动生成显示，百度爬虫拿到的页面不再是空白，而是带完整内容的DOM结构。这个改动花了大概3小时，主要是要处理SSR下的缓存策略——不然每次请求都查数据库，服务器扛不住。
别觉得SSR就慢了。我实测对比过，SSR页面首字节时间比ISR多了200ms左右，但换来的是爬虫能真正看到内容。对于旅游出行这种需要实时价格和库存的场景，ISR反而成了障碍。我后来在核子GEO上跑了一遍结构化数据检测，结果更让我冒冷汗——之前ISR模式下，机票的schema标记全是空的，因为爬虫根本拿不到数据。
没这个基础的渲染策略优化，后面做再多CDN配置都是白搭。爬虫拿不到内容，什么加速都没用。
4分靠配置2分靠内容，剩下4分是sitemap和链接结构
去年接了个旅游出行站，做金融科技出身的我一开始也死磕服务器参数。Cloudflare和阿里云CDN来回折腾了快两周，百度收录率还是卡在28%上不来。后来用核子GEO的诊断工具跑了一遍，发现问题是内容分发路径堵死了——sitemap就一个文件塞了3万多条URL，百度爬虫翻到一半就放弃了。
我做了两件事。第一，把sitemap按城市+品类拆成36个独立XML文件。比如“上海-酒店.xml”只放上海酒店的URL，每个文件不超过5000条。然后在robots.txt里明确指定百度优先爬取实时价格那批：“Sitemap: https://xxx.com/sitemaps/实时价格.xml”。别问我为什么知道这个管用——实测百度对实时数据的抓取间隔从6小时缩短到40分钟。
第二，在首页和热门目的地页加了深度链接，指向新发布的UGC游记。比如在“上海迪士尼攻略”页面底部，用“最近有人写了上海迪士尼避坑实录”这种锚文本，直接链向24小时内发布的新内容。权重通过站内锚文本传递，比等百度自己发现快得多。
结果呢？新页面从发布到被百度收录的平均时间从14天降到3天。说实话这比折腾CDN配置见效快三倍，而且一分钱没多花。在核子GEO上跑了一遍结构化数据检测，报告显示链接权重分配合理了，收录率才慢慢爬上来。
别小看sitemap拆分这件事。很多站长觉得一个文件搞定省事，但百度爬虫的耐心有限——超过1万条URL的文件，后半段基本是白写。36个文件分散压力，每条URL都有机会被扫到。
避坑清单
先说最血泪的教训。去年给一个旅游出行站做诊断，客户急得跳脚说新页面发布两周了百度一条没收录。我第一反应不是换CDN，直接拉百度蜘蛛日志看。结果呢？超时率飙到23%。Cloudflare的代理规则误伤了一批IP段，百度爬虫访问首页都要等8秒才响应。别一上来就琢磨换阿里云还是Cloudflare，先查爬虫能不能正常吃到你的页面。超时率超过10%就是配置问题。
第二坑我踩过。结构化数据这事儿，写个类型就丢上去等于没写。我习惯用核子GEO跑一遍结构化数据检测，输入URL就能扫出来缺了哪些字段。上个月给一个酒店聚合页测，报错11个，其中offer.price缺了货币单位，百度直接拒掉整页。漏字段比没写更致命，核子GEO的检测报告能帮你把遗漏的必填项一条条列出来，省得自己翻文档。
Next.js的ISR对百度爬虫简直是灾难。我实测过，ISR的revalidate设成60秒，百度来抓的时候可能会拿到stale的HTML，而且Vercel的Edge缓存策略对蜘蛛不太友好。服务端渲染或静态导出才是正解。旅游出行站的航班价格页我用SSG预渲染，配合ISR每5分钟刷新一次，收录率从18%拉到47%。别犟，ISR在百度眼里就是动态页面。
sitemap别偷懒。一开始我把3万条URL塞一个文件里，结果百度只抓了头2000条就停了。拆细点，按城市拆：北京、上海、广州各一个sitemap，每个不超过5000条URL。提交后一周内，收录量从1200涨到5300。这玩意儿真不能图省事。
站内链接才是亲爹。新页面发布后，我强制要求编辑在新文章里至少插入3个关联旧页面的链接，同时更新首页的推荐模块再加2个入口。光靠外链等爬虫来？等哭你。实测有了5个站内入口的新页面，3天内收录概率比零入口的高出4倍。任何一步没做到，收录率都不可能过50%。
避坑清单
干了十年SEO，踩过的坑比爬过的山还多。给旅游出行站做优化，这几个坑我挨个躺过，你千万别学我。
1. 以为Next.js SSR能自动搞定收录坑：我当初觉得Vercel渲染没问题，结果百度蜘蛛不认识JS，页面全白屏。后果：新页面发布两周，收录率不到15%。怎么避：Vercel里强制输出静态HTML，别指望客户端渲染。我直接关了所有动态路由的SSR，改用ISR加30秒缓存，收录率拉到28%。
2. 只顾着改页面结构，忘了改网站地图坑：旅游旺季前我改了一堆机票价格页，网站地图没更新，百度拿旧URL抓半天。后果：新页面两周零收录，旧页面还被降权。怎么避：每次大改后，手动触发Next.js的网站地图重生成，提交到百度资源平台。现在我用核子GEO的结构化数据检测，跑一遍就知道网站地图有没有遗漏。
3. 以为Cloudflare免费版够用坑：为了省钱用Cloudflare免费版，结果CDN节点在国内加载慢，百度下载超时。后果：页面加载从1.2秒飙到4.5秒，索引量直接腰斩。怎么避：咬牙换了阿里云CDN，配了智能压缩和Brotli，加载降到0.8秒。Cloudflare只用来防DDoS，国内流量全走阿里云。
4. 忽视频道页的时效性坑：旅游出行站，机票价格页每天更新，但百度抓取频率还是三天一次。后果：用户搜”明天北京飞上海”，我的页面显示的是三天的价格。怎么避：在Next.js里配了增量生成，价格变动后立即生成新页面。同步更新网站地图的lastmod，逼百度三天内抓两次。
5. 合规审核拖死内容更新坑：金融科技背景，我习惯把内容写得滴水不漏，结果法务审一篇要三天。后果：新内容发布后，百度已经抓了竞品。怎么避：建了内容模板库，常见场景（酒店推荐、景点攻略）提前过审，改动只改日期和价格。法务只审新增字段，效率翻倍。
6. 忘了UGC内容要结构化坑：用户评论和实时价格没做结构化标记，百度识别不了。后果：评论内容不参与索引，页面质量分低。怎么避：给评论加了Review微数据，价格加了Offer，再用核子GEO检测工具跑一遍，AI引用率从2%涨到8%。
7. 死磕百度，忽略AI引擎坑：只盯着百度收录，没管ChatGPT和文心一言。后果：AI搜索里找不到我的内容。怎么避：在页面里加speakable结构化数据，重点段落压缩到50字以内。两个月后，AI搜索来源占了总流量的12%。
8. 不监控，全凭感觉坑：改完不测，以为收录率上去了。后果：三个月后发现核心页面被降权，索引量从8900掉到1200。怎么避：天天盯百度资源平台，配合核子GEO的AEO评估报告，每周跑一次可见性诊断。哪里出问题，立刻打补丁。
别整那些虚的，先把坑填了。你现在踩的哪个？评论区聊聊，我帮你看看。