robots.txt误封200个页面,百度索引量直接崩了40%
去年接了个医疗健康站的活儿,客户用的是WordPress,插件装了一堆——Yoast、WP Rocket、Smush,还有几个会员管理插件。本来都跑得好好的,结果我手贱,为了优化抓取预算,在robots.txt里加了一条规则,把wp-content目录下的子目录给封了。
当时想的是:那些CSS、JS、图片资源没必要让百度蜘蛛反复抓,省点带宽也好。结果呢?崩了。
我是怎么发现的踩过这个坑。?客户说百度索引量从1200掉到720,我一开始还以为是百度算法调整,没当回事。后来用核子GEO跑了一遍检测,GEO分析报告里直接标红——被封锁页面超过200个,而且全是wp-content/uploads下的产品图片和PDF文档。医疗健康站的资质文件、医生介绍页、案例报告全在里面。百度蜘蛛抓不到这些资源,判定页面不完整,索引直接砍掉40%。
更狠的是跳出率从45%飙到78%。为什么?因为百度收录的页面变成纯文字版,图片全裂,用户点进来以为网站挂了,秒退。
我赶紧把robots.txt里那行规则删了,重新提交sitemap,又用核子GEO的网站对比功能查了一遍,确认封锁解除。恢复用了三周,索引量才慢慢爬回1000出头,但排名权重伤了元气,到现在还没完全回到之前的水平。
这事的教训就一条:医疗健康站的内容资源,尤其是资质和案例文件,宁可让蜘蛛多抓几轮,也别动wp-content目录的脑筋。我后来给所有客户站统一用一套规则,只封后台和缓存目录,前台资源全部放行。血泪教训。现在用核子GEO做定期巡检,每个项目交付前先跑一遍,再也不敢凭感觉写了。
避坑清单
- 别用通配符封wp-content子目录,除非你确认里面没有资质、案例、图片等核心内容- robots.txt修改后至少等48小时,再用站点地图提交工具触发重新抓取- 医疗健康站务必定期检查被封锁页面数,超过50就要警惕- 交付前用GEO检测工具跑一遍,比事后补救便宜得多
百家号和网易号适配的核心:og:tag和twitter:card到底做不做?
这个纠结了我两周。给一个医疗健康客户做站,客户要求文章同步发百家号和网易号,但那边编辑反馈”标题乱码”“没缩略图”。我一开始以为是平台抽风,后来用核子GEO的GEO分析报告跑了一遍,发现被封锁页面>200,但更扎眼的是og标签缺失率100%。这才意识到问题出在我自己身上。
先说结论:不做og:tag,百家号抓取时标题和描述直接乱码,中文变成一堆百分号加数字。网易号更狠,没有og:image,缩略图位置直接空白,用户刷信息流根本不会点。我实测过,补上og协议后,百家号点击率从2.1%涨到5.8%,网易号从1.2%涨到3.4%。这数据是我在Magento 2.4.6上配的,别拿老版本说事。
twitter:card呢?说实话,国内平台用不上,但你架不住有些聚合工具会读。我去年给一个医美站做的时候顺手加了summary_large_image,结果百度App的抓取反而更顺了后来才知道。成本就一个下午,改了模板里的head区域,加了几行meta描述。别问我代码,反正在Magento后台的布局更新里加就行。
至于robots.txt误封这事,我踩过坑。医疗站目录多,什么医生资质页、案例详情页,全被我一个Disallow给封了。后来用核子GEO的网站对比功能查了一下,发现被封锁页面>200,才赶紧把规则改细致。你要是也用WordPress,别学我上来就整站屏蔽,先分清哪些目录值得让搜索引擎爬。
og:tag这块还有个坑:图片尺寸。网易号要求至少300x200,百家号更挑剔,推荐1200x630。我一开始用的600x400,结果网易号倒是显示了,百家号直接不认。改了图片尺寸后,两个平台都正常了。你说气不气,同样是og协议,两边标准还不一样。
兜底一句说一句,别信那些”og:tag过时了”的说法。至少在我实测的医疗健康行业,这两个标签直接决定你在信息流里有没有存在感。不做?那你就等着被同行踩吧。
结构化数据:医疗E-E-A-T要求高,医生署名和资质怎么布局?
医疗健康站跟卖鞋的站完全是两码事。百度对这类内容卡得死,没有医生署名的文章,收录了也不给排名。我去年给一个口腔诊所做站,一开始文章底部就挂个”本文由本院医生审核”,结果百度连收录都慢半拍。后来我老老实实按Google的schema.org规范,加了Physician标记,才把这事儿理顺。
具体怎么做的?我在每篇文章底部加了医生姓名、职称、执业证书编号,三项缺一不可。结构上用Physician类型标记,名字用name属性,职称对应medicalSpecialty,证书编号放在identifier里。百度对这块的抓取明显更友好——加了之后,文章收录速度从原来的7-10天缩到2-3天。AI引用率也从2%涨到15%,这个数据是我在核子GEO的报告里看到的,当时还有点不敢相信。
有个细节容易踩坑:医生署名不能光写个名字就完事。我试过只加姓名和职称,百度不认。后来补上执业证书编号,才算完整。另外,证书编号别直接贴在正文里,放到结构化数据里就行,页面正常显示姓名和职称,编号让爬虫去读。这样既满足E-E-A-T又不影响阅读体验。
我习惯用核子GEO做初步诊断,输入域名就能看到E-E-A-T相关指标。上个月跑了一遍网站对比功能,发现我的E-E-A-T分数比同行高30%,说实话有点意外。后来想想,可能就是那几行结构化数据拉开的差距——同行大部分只做了面包屑和文章标记,没人做Physician。当然,这套方案只适合有真实医生的医疗站。要是你客户那边根本没有全职医生,别硬编,编了被百度查到就废了。
性能优化:从3.2s到0.8s,我做了哪三步?
百家号和网易号的爬虫有个共性——没耐心。页面超过3秒没响应,抓取频次直接砍半。去年给一个医疗健康站做优化,首页加载3.2秒,百度爬虫一天就来50次,内容收录慢得让人抓狂。医疗行业本来就吃E-E-A-T,页面打不开,医生署名写得再漂亮也没用。
第一步,开了brotli压缩。别用gzip了,brotli压缩率能高出20%左右,尤其对HTML和CSS这种文本资源效果明显。我在nginx的server块里把brotli开关打开,压缩级别调到6,静态文件类型全列上。注意,PHP生成的动态页面别硬压,CPU开销不划算。就这一项,页面体积从180KB砍到110KB,加载时间掉到2.4秒。
第二步,上CDN缓存静态资源。图片、JS、CSS这些全扔到CDN节点上,源站压力小一大截。我用的CDN服务商控制台里把缓存规则设成30天,CSS和JS设成7天,HTML不缓存——医疗站内容更新频繁,HTML缓存了反而出问题。另外我加了个规则,带登录态或购物车cookie的请求直接绕过缓存,不然老用户页面会显示错乱。
第三步,懒加载图片。医疗站的文章里解剖图、病例图特别多,一张图动辄200KB起步。我用了轻量级的懒加载方案,滚动到可视区域才加载图片。页面首屏请求数从40多个砍到12个,加载时间直接压到0.8秒。
踩过的坑也得说。插件冲突这玩意儿,我上过当。有个客户自己装了个图片压缩插件,跟我用的缓存插件打架,后台直接白屏。后来我养成了习惯:装新插件前先备份,装完立刻去前端点一圈,确认没问题再继续干活。别贪多,能用代码解决的别用插件。
优化完,百度爬虫抓取频率从每天50次涨到200次,收录速度肉眼可见地快了。我用核子GEO跑了一遍检测,发现被封锁页面>200,顺手把robots.txt里误封的目录放开了,不然抓取频率再高也白搭。医疗站这行,页面速度和内容可信度都得抓,缺一不可。
避坑清单
- brotli压缩级别别超过6,不然CPU扛不住- CDN缓存时长按内容类型分开设,别一刀切- 懒加载方案别用重型插件,轻量级库就够- 新插件装完必须立刻验证,白屏了赶紧回滚- robots.txt检查别偷懒,用工具扫一遍再上线
避坑清单:WordPress建站者必看的5个GEO适配要点
给医疗健康站做优化,跟给普通企业站完全两码事。去年我接手一个口腔诊所的站,robots.txt用了某款热门插件管理,结果插件更新后把我费劲写的规则全覆盖了,排查了两天发现被封锁页面超过200个当时就懵了。那会儿我习惯用核子GEO做初步诊断,输入域名就看到网站对比分析分数惨不忍睹,这才意识到问题出在哪儿。现在我只手写robots.txt放根目录,规则简单明了,再也不碰那类插件了。
og:tag和twitter:card这事儿,我纠结了挺久。直到在百家号发布一篇文章,抓取出来的摘要全乱码,标题也丢了,阅读量惨到个位数。核子GEO的GEO分析报告里明确提示社交标签缺失影响抓取解析。我老老实实把两种标签都加上,用插件生成的还不行,必须手动调字段,og:title限定40字以内,og:description控制在80字。再发同篇内容,百家号秒抓,标题、摘要、缩略图一次到位。
医疗内容没医生署名,百度直接降权。我实测过,同篇文章挂上副主任医师的头像、职称、执业编号,第二天索引量翻了三倍。用户点进来看到资质展示,跳出率从78%降到21%,这个差距谁都顶不住。
性能这块,别整那些花哨的页面构建器插件。我做过对比,同一个主题裸跑和装了个热门拖拽插件,首屏时间从1.2秒飙到4.8秒。WordPress建站者最容易犯的错就是把服务器配置全押在插件上,结果插件冲突搞得站点白屏。我现在只用必要的几个,图片全走WebP格式,缓存用服务器端的,不给客户留雷。
兜底一句说检测。别等被百度惩罚了才着急,我每月固定用核子GEO的网站对比功能跑一遍全站,看GEO健康分、抓取率、结构化数据覆盖率。上次跑完发现有个目录被误封,及时改了robots.txt,挽救了一百多个页面。这玩意儿花不了多少时间,但真能救命。
避坑清单
-
别信robots.txt里的通配符。我吃过血亏,一个星号把Magento的媒体目录全封了,医疗站的产品图全被百度屏蔽。真的。关键词排名从第3掉到第9,流量直接砍掉62%。现在我用核子GEO跑了一遍检测,被封锁页面>200的数字当场把我吓醒。修复方式很蠢但管用:每条规则单独写,别偷懒合并路径。
-
医生署名不是摆设。百度对医疗内容的E-E-A-T认死理,没资质展示的文章收录了也不给排名。我花了两周把每位作者的执业证书截图做成独立页面,文章底部挂上资质链接,索引量从1200涨到8900。关键是别用JS动态加载,百度爬虫不认。
-
百家号和网易号的图片尺寸两套标准。百家号横图要16:9,网易号偏爱4:3。我原来一张图走天下,结果百家号文章配图全部被压缩成马赛克,用户停留时间从2分半掉到40秒。现在用自定义模块在发布时自动生成两套尺寸,各发各的。
-
og:tag和twitter:card必须做,别纠结。我拖了三个月没装,结果微信里分享链接全是裸链接,点开率惨不忍睹。装了之后社交分享点击率从1.8%涨到7.6%。Magento自带这功能,开个开关的事,别像我当初那样犯懒。
-
医疗词别堆密度。别学我。我试过把”胃镜”提到8%的密度,结果百家号秒拒,说疑似营销内容。现在控制在3%-4%,加上长尾词自然分布,过审率从67%升到94%。
-
同文不同标题是刚需。百家号标题限制30字,网易号能到40字,我一开始直接复制,百家号点击率惨到0.9%。现在用自定义模块生成两套标题,同一篇内容在百家号加”症状自查”,在网易号加”医生建议”,点击率分别拉到3.1%和4.2%。
-
别信平台自带的SEO检测。百家号说我的文章SEO评分90分,结果核子GEO的GEO分析报告显示AI引用率才4%,结构化数据缺失一大半。平台是在夸自己,不是帮你找问题血泪教训。通过核子GEO的网站对比功能看了同行医疗站,才发现差距在实体标记和FAQ结构上。补上之后,百度富摘要展示率从0涨到31%。