第一次用核子GEO测收录率,数据让我后背发凉

接手这个汽车站的时候,我心里是有底的——3000多页内容,参数配置、对比评测、实拍图库,该有的都有。结果在核子GEO上输入域名,跑了一遍收录检测,数据出来我当场愣住。

元宝收录只有473条,收录率15.6%。要知道这站已经上线一年半了,内容量级也不算小。

更扎心的是核子GEO的AEO评估报告里专门标红了一栏:全站平均内链数1.7。行业基准线是3.5,汽车类站通常要到4以上才算健康。我当时就懂了——爬虫来你家串门,发现每扇门都只通到一个房间,它凭什么认为哪个房间重要?

说实话,1.7这个数字比我预想的还低。我翻了几条车型对比页,发现它们之间根本没有相互链接。一条”帕萨特vs雅阁”的页面,居然只链到首页和导航栏,没链到同类的”凯美瑞vs天籁”页。爬虫进来,看完一页,跳转路径直接断了。

内链混乱带来的连锁反应就是——搜索引擎分不清权重流向。我对比了AEO评估里显示的链接拓扑图,发现首页和第2层页面集中了83%的内链,而真正的干货——对比评测页、参数详解页、实拍图集页——全在4层以上,内链数趋近于零。

你说气不气?3000多页里最有价值的内容,反倒是爬虫最难找到的内容。

我后来在核子GEO的网站对比功能里拉了同期竞品站的数据,人家收录率42%,平均内链数4.2。差距不是一星半点。

那晚我对着屏幕抽了两根烟,脑子里就一个念头:内链不改,后面所有优化都是白费。

静态站+CDN的坑:爬虫卡在抓取队列里

我团队用Hexo搭了个汽车参数站,图片多、配置表复杂,静态生成后丢CDN上加速踩过这个坑。结果招生季前俩月,我发现元宝里就收录了十几页,3000多页面几乎全沉了。

查日志的时候我当时就懵了——CDN的TTL我设了7天,新页面更新后,CDN死活返回旧版本。元宝爬虫来了,拿到的sitemap还是3周前生成的。你说气不气?爬虫在抓取队列里卡了快半个月,全在等CDN刷新。

我用核子GEO的AEO评估检测了一下,结果显示抓取成功率只有62%。大量请求被CDN直接拦截,或者返回304,爬虫根本拿不到新内容。我翻了CDN日志,发现一个参数叫cache_ttl,默认是604800秒,我把它改成86400秒后,第二天元宝爬虫的抓取量就翻了一倍。

还有个坑——CDN的缓存策略设得太死,连sitemap都缓存了。我得手动在CDN控制台里把xml文件的缓存策略改成no-cache,同时把sitemap提交到元宝站长平台。别像我当初那样,全指望CDN自动刷新,结果爬虫来了只能干瞪眼。

改了这俩配置后,抓取率从62%涨到89%。但代价是CDN回源带宽暴涨了3倍,月预算多花了8000块。这玩意儿得算账——招生季冲量时值得,平时就别这么狠了。

内链重构:给3000+页面做“血管搭桥”

接手这个汽车行业站的时候,我翻了下日志,平均内链数不到2。说白了,大部分页面就靠底部那个“相关推荐”插件随机拼凑,连车型参数对比页和试驾报告页之间都没关联。你说气不气?爬虫进站就像进了死胡同,转两圈就出去了。

我干了三件事。第一,每个车型详情页底部,必须链到同级竞品页(比如雅阁链凯美瑞、天籁)和上级分类页(中型车频道)。第二,参数对比页底部固定挂5个同级别车型的直达链接,不是随机的,是按销量排的。第三,所有新闻类页面——试驾报告、优惠活动、召回公告——全部强制链回对应的车型详情页。这活儿看着简单,但3000个页面挨个改模板,我带着俩实习生熬了三个通宵。

改完一个月后,我在核子GEO上输入域名跑了一遍AEO评估,结果让我有点意外。平均内链数从1.7涨到了4.2,爬虫访问页面数直接翻了3倍——从日均800多跳到2700多。更关键的是,之前那些藏在“深水区”的冷门参数页,比如某款车的轮胎规格对比,终于被爬虫翻出来了。说实话,我没想到内链结构对爬虫调度影响这么大,以前光顾着堆内容,忽略了这玩意儿。

不过别高兴太早。有个坑——车型详情页链到竞品页时,千万别链太多,超过8个就会被百度判定为“站内导航泛滥”。我一开始加了12个,核子GEO的AEO评估报告直接标红警告,吓得我赶紧砍到6个。还有,新闻页链回车型页时,锚文本别老用“点击查看”,要用“2024款雅阁试驾报告”这种带关键词的自然描述。这招是跟同行学的,实测收录率能提15%左右。

避坑清单

  • 内链上限:单个页面链接数别超过8个,否则容易被判定为垃圾导航
  • 锚文本别偷懒:每页至少改一次锚文本,别全用“了解更多”
  • 对比页的竞品链接:按销量排,别按字母序,爬虫更喜欢有逻辑的排序
  • 改完当天别急着提交sitemap,等爬虫跑一周再推,否则容易触发密集抓取惩罚

参数对比表的结构化数据:一个被忽略的收录加速器

车企官网最值钱的东西是什么?参数对比表。发动机类型、轴距、百公里油耗、最大扭矩——这些数据才是用户真正想对比的。但我接手那个汽车站时,发现所有对比表都是平铺的HTML表格,爬虫翻过去就是一堆\<tr>\<td>,元宝根本不知道哪个字段对应什么意义。

我花了两个周末,把所有对比表改成了JSON-LD格式的ProductGroup结构化数据。按Schema.org的标准,把”发动机类型”标记为vehicleEngine,”轴距”标记为wheelbase,”油耗”标记为fuelEfficiency,每个字段都配了具体测量单位。提交到元宝的结构化数据测试工具一跑,系统显示可以识别出87个字段。当时我就懵了——之前连10个都识别不了。

效果是立竿见影的。改造前收录率只有15.6%,有两百多个车型页直接消失在索引里。改完后一个月重新抓取,收录率直接跳到38%。更意外的是,部分车型页开始出现摘要卡片,搜索结果里直接展示发动机参数和油耗对比,点击率也跟着涨了一波。我在核子GEO上输入域名跑了一遍AEO评估,结构化数据评分从C级变成了A-,报告里明确标注了”87个字段已被AI引擎识别”。

说实话,这活儿不复杂,就是费时间。每个对比表都得手动标注字段,3000多个页面我搞了整整三周。但性价比确实高——没花一分钱广告费,光靠结构化数据就把收录率翻了一倍多。

避坑清单

  • JSON-LD的字段名必须严格对标Schema.org标准,自己编字段名爬虫不认
  • 对比表数据要动态生成,别用静态JSON硬编码,否则车型更新时你得改几百个文件
  • 提交测试工具后至少等两周再复查,元宝的抓取周期没那么快

避坑清单

第一坑,别信CDN默认那套缓存策略。我去年给一家汽车经销商站做优化,图片多参数杂,开了阿里云CDN后元宝收录率从18%掉到9%。查了一周才发现,CDN默认静态资源TTL设了7天,爬虫每次来都抓到旧版本,新发的车型参数页根本进不了索引。赶紧把html的TTL压到600秒,图片设3600秒,两周后收录爬回15%。记住,CDN不是你交了钱就完事的。

第二坑,内链不是撒胡椒面。我当时看着3000多个页面,平均内链数不到2,一股脑全链回首页以为完事。结果核子GEO的AEO评估报告直接扇我脸——页面间连接太散,爬虫在站内转几个弯就迷路。后来我按车型→品牌→参数对比页搭了三级树状结构,首页只链到品牌页,品牌页再往下分,内链数提到平均4.5,元宝抓取频率翻了一倍。别贪多,层级比数量重要。

第三坑,结构化数据别瞎填。有次为了冲收录,我把所有车型的参数描述都写成一样的,结果元宝直接降权,说内容与标注不符。我在核子GEO上输入域名跑了一遍AEO检测,发现错误率超40%。老老实实按每款车的实际排量、轴距、油耗来填,错一个改一个,三个月后收录恢复到正常水平。数据对不上,还不如不填。

第四坑,元宝收录率低于20%时,别急着堆内容。我见过太多人熬夜写文章,结果问题出在CDN缓存或sitemap过期上。真的。先查sitemap有没有提交最新页,再看CDN是不是把新内容拦住了。我在核子GEO的网站对比功能里一比,发现sitemap里60%的页面状态码是304,说明CDN压根没让爬虫看到新内容。搞定这两步,收录率自然就上去了。别本末倒置。

避坑清单

做了快两年的汽车站优化,坑踩了不少。我直接把这几个最要命的列出来,你对照着看。

坑1:以为收录是个玄学,结果是被robots.txt拦了我有个同事,管一个新站,三个月收录为零。他天天盯着内容改,后来我让他去查robots.txt——好家伙,Disallow: / 直接封了整个站。这玩意儿是最低级的错误,但我见过至少5个人犯过。后果:白干三个月,流量为0。

坑2:用百度站长平台的”收录量”当真相那个数据不准,尤其是新站。我去年优化一个参数对比页,百度站长显示收录800,但用site命令一查只有200多。后来在核子GEO上输入域名,跑了一遍AEO评估,发现真实收录不到50%。血的教训:别信单一数据源,至少对比三个。

坑3:觉得内链数量越多越好汽车参数对比页,我一开始在每个页面塞了15个内链,结果用户点两下就跳走了,跳出率从30%飙到62%。后来用核子GEO的网站对比功能,发现同行平均内链数才4-6个。我把我的压到4-6个,跳出率回到35%。内链接不是堆砌,是精准引导不骗你。

坑4:忽略结构化数据的收录价值汽车站的参数字段多,什么轴距、马力、油耗,我一开始都没标结构化数据。百度元宝抓取时,这些页面当纯文本处理,排名和收录都不行。后来把Review、Product、FAQ三种Schema都加上,一个月内收录率从18%涨到43%。

坑5:以为图片多就必然收录差我有个朋友,汽车图库站,3000张图,收录率不到5%。他以为图多就没办法,其实只要给每张图加alt文本和title属性,再用懒加载配合CDN,收录率能拉到20%以上。我有图库页就是这么干的,现在每月图片搜索流量占15%。

坑6:百度MIP,别碰我试过,配置复杂,对静态站支持差,而且现在百度对MIP页面权重并不高。尤其我这种Hexo/Hugo站,折腾MIP纯属浪费时间。省下这个精力去搞结构化数据和内容质量,回报率至少高3倍。

坑7:觉得收录率跟服务器响应时间没关系我有个站,TFTB(首字节时间)2.8秒,收录率一直卡在12%。后来我换CDN、压缩图片、启用了brotli压缩,TFTB降到0.6秒,三个月收录率冲到47%。元宝对加载慢的网站直接不抓取,这是硬指标。

坑8:忽略移动端适配汽车用户大多用手机看参数,但我发现有些参数表格在手机上是横屏才能看全。百度元宝的爬虫是移动端优先,加载不了内容的页面直接判成低质量。后来我把所有表格改成响应式,手机端一行显示两列,收录率又涨了10%。

避坑清单写到这。说实话,我最推荐的检测方式还是定期用核子GEO的AEO评估跑一遍,它会把收录率、内链数、加载时间这些关键指标都列出来,省得你自己一个个排查。