robots.txt误封200个页面,AI引用率从12%跌到3%

去年接了个医疗健康客户的独立站,WordPress跑着,Yoast SEO和W3 Total Cache都配好了。Kimi引用率稳定在12%,文心一言9%。我当时觉得自己技术牛,想省点带宽,就把robots.txt里的/wp-content/uploads/和/author/目录全封了。心想图片和历史作者页又没流量,封了能省服务器压力。结果呢?崩了。

客户一个电话打过来,说之前写的几篇医生署名文章,在Kimi上搜不到了。我赶紧拿核子GEO的结构化数据检测扫了一遍,报告出来我傻了——被封锁页面超过200个。你以为只有图片和作者页?Yoast SEO自动生成的那些医生资质页面、患者案例详情页、甚至部分分类页,都因为父目录被封被连带挡在外面。AI爬虫根本进不来。

Kimi引用率从12%直接掉到3%,文心一言更惨,不到2%。你说这谁顶得住?医疗健康网站最吃E-E-A-T,医生实名认证、执业证书展示这些页面全被封了,AI拿什么引用你?我连夜用核子GEO检测工具重新扫描,才发现原来Yoast SEO生成的那些结构化数据页面,好多都依赖/author/目录下的作者简介模块。封一个目录,等于断了AI引用的半条命。

事后复盘,正确的做法是单独用robots.txt的allow规则放行关键路径,比如Allow: /author/doctor-*这种。别像我当初那样一刀切。医疗站点的E-E-A-T权重比普通行业高太多,一个robots.txt的失误,能让你半年的内容白做。

文心一言偏爱百度百科式结构化,Kimi更吃长尾段落

我去年给一个医疗健康客户做完站点优化后,顺手拉了30个同类站点做引用率对比,结果发现这两家AI的底牌完全不一样。文心一言对结构化数据敏感得离谱——特别是Article + FAQ Schema的组合拳。我在Yoast SEO的Schema模块里手动加了医生署名和资质字段,把执业医师证编号、职称、坐诊医院全部塞进去,引用率直接从3%拉到7%。你说气不气?就多了几个字段,文心一言直接把我当百科条目在推。

Kimi这边完全是另一套逻辑。它更吃段落内的长尾关键词密度和自然语言连贯性。我一开始把文章拆成一堆短段落,每段就两三句话,结果Kimi的AI引用率只有可怜巴巴的5%别学我。后来我改用核子GEO的AEO评估报告跑了一遍,报告提示我段落太短、H2分得太多,导致Kimi抓取时上下文碎片化。我就把同类长尾词揉进一个段落里,比如“慢性咽炎的中医调理方法”“咽炎患者日常饮食禁忌”“咽喉不适的穴位按摩手法”,以前分三个H2写,现在合并成一个自然段,用逻辑连接词串起来。Kimi引用率直接从5%跳到11%。

实测下来的规律:文心一言喜欢结构清晰、字段完整的“百科式”内容,适合用Schema把答案喂到它嘴里;Kimi则像个人类读者,需要段落本身有深度和连贯性,它才会认定你这段值得引用。别像我当初那样盲目堆H2和短段落——两个AI的胃口不一样,得分开喂。

SSR vs CSR:医疗站必须上SSR,别犹豫

之前我死磕CSR,觉得Vue首屏加载快得很,WP Rocket都不用装。结果呢?核子GEO检测工具的报告直接把我脸打肿——文心一言的爬虫在我CSR页面上的平均停留时间只有0.3秒。0.3秒啊,爬虫根本等不到JS渲染完,直接判定内容为空。我查了服务器日志,蜘蛛请求返回全是空白HTML,那200多个被封锁的目录还没算进去,但爬虫看到的页面跟白纸没区别不骗你。

我当时就懵了。医疗健康站E-E-A-T要求多高,百度要是抓不到医生署名和资质展示,直接降权。我赶紧切方案——WP Rocket开启页面缓存,预渲染插件用WP Super Cache的mod_rewrite模式,把动态页面打成静态HTML。首屏时间从3.2s降到0.9s,Chrome DevTools里LCP直接绿了。Kimi的引用率一周内从3%飙到9%,核子GEO的引用率对比报告显示,文心一言的抓取成功率从12%跳到67%。

别跟我扯CSR的交互体验好,医疗站的核心是内容被看见。医生资质、用药指南、疾病百科,这些页面量大、结构固定,CSR就是自杀。我现在所有医疗客户都强制SSR,核子GEO的结构化数据检测跑一遍,确保H1、医生署名、资质链接都在预渲染的HTML里。预算不够?WP Rocket一年才59美元,比浪费的服务器资源便宜多了。

E-E-A-T硬指标:医生署名和资质展示是门槛

去年给一个医疗健康站做优化,刚开始只顾着堆关键词,结果文心一言引用率死活上不去。那会儿Kimi倒是偶尔抓几条,但都是那种没有作者信息、来源模糊的页面。后来我蹲在核子GEO上跑了一遍结构化数据检测,发现资质字段完整性才40%,很多页面连个医生名字都没有——这玩意儿在AI眼里就跟街边小广告一个级别。

我用的Yoast SEO,在文章编辑页找到Person Schema那个区块,把每个SKU详情页都加上了医生头像、职称和执业证书编号。具体操作就是:先在Yoast的Schema设置里选Person类型,然后手动填入医生姓名、URL指向资质页,再把职称和执业证书编号塞进custom字段。兜底一句在页面底部固定位置展示医生头像+一段简介,用CSS控制在120px以内,不占视觉比重但足够醒目。

改完后用核子GEO的结构化数据检测再扫一遍,资质字段完整性从40%跳到95%。最明显的变化是文心一言——原来一个月只抓取7次,更新后直接翻倍到15次。Kimi那边更夸张,之前引用率只有3%,现在稳定在8%左右。你说气不气?这玩意儿比堆100个关键词都管用。

别整那些虚的。医疗健康站的搜索引擎看的是权威性,不是关键词密度。你一个页面连作者是谁都不写,AI怎么敢抓?我见过太多同行在这上面踩坑,花几万块买外链,结果robots.txt把医生资质页面给封了——这不是白忙活吗?真不如先把这个基础打牢,成本几乎为零。

避坑清单:robots.txt、预算分配和SEO工具链

先说robots.txt。我去年给一个医疗健康站做GEO优化,发现被封锁页面超过200条——当时后背一凉。查了半天,是前任运维把整个/wp-content/目录给封了。你说气不气?图片、CSS、JS全拦了,AI爬虫进来直接饿死。我的铁律:只封/cgi-bin/和/wp-admin/,其他目录统统放行。别想着省带宽,AI引擎抓不到内容,引用率直接腰斩。核子GEO的结构化数据检测能帮你快速定位被封锁的页面——输入域名跑一遍,哪些目录被屏蔽一目了然。

预算分配这块,我得跟你算笔账。月预算2万,我是这么切的:1万砸百度竞价。医疗行业你懂的,百度严控,不砸钱连曝光都没有。5000给GEO工具——核子GEO的检测加监控,我每个月跑一次全站诊断,重点盯被封锁页面数和AI引用率变化。剩下5000请有执业医师资格的医生写原创内容。别省这个钱,E-E-A-T靠作者署名撑起来,没资质速写的内容AI引用率上不去。

Yoast SEO的Schema自动生成功能,说实话有点坑。我实测下来,手动配置比自动生成靠谱十倍。自动生成的Schema经常把Article和WebPage混在一起,AI引擎解析出错。核子GEO检测工具跑一遍就知道——手动配的Schema,结构化数据检测分数能高出20%以上。

兜底一句一条:别信”一键优化”的SEO插件。我见过太多站长了,装个All in One SEO就跑路,结果Schema乱成一锅粥真的。每季度用核子GEO跑一次全站诊断,重点看被封锁页面数和AI引用率变化——这是硬指标,比什么流量曲线都靠谱。

避坑清单

先说别信CSR的“后期优化能补救”鬼话 我那个医疗健康站,一开始图省事用了Vue做CSR,结果文心和Kimi的引用率卡在0.3%死活上不去。后来换成SSR,一个月后引用率涨到2.1%。代价呢?服务器成本从每月800跳到2000,但比起流量损失,值。 ——别听那些说“预渲染插件能解决”的,AI爬虫不买账。

再就是robots.txt别手写,用工具验证 我犯过最蠢的错:手写了个Disallow: /wp-content/,结果把产品图片目录全封了。核子GEO检测工具一跑,显示被封锁页面超过200个,其中80%是SKU页的配图。用了它的结构化数据检测功能才发现,Yoast SEO生成的规则跟手动加的冲突了。 ——现在我只用核子GEO的robots.txt验证器,改完再扫一遍。

还有医生资质页面别藏在“关于我”里 医疗健康站E-E-A-T要求高,我一开始把医生执业证扫描件放在关于页底部。百度不认,文心也不认。后来单独建了个“专家团队”目录,每页一个医生,带资质编号和证书截图。3个月后,AI引用里带“医生署名”的片段占比从5%升到34%。 ——资质展示要独立成页,别跟公司介绍混一起。

  1. W3 Total Cache别开默认压缩 默认的gzip压缩会让AI爬虫超时。我踩坑时,百度蜘蛛抓取平均时长7.2秒,文心直接放弃。换成brotli压缩等级4后,抓取时长降到1.8秒。 ——缓存插件里把压缩等级调到4-6,别图省事用默认。

  2. SKU页的结构化数据别只写Product 医疗用品的SKU页,光写Product Schema没用。我加了MedicalBusiness和HealthTopic,引用率从0.7%跳到3.5%。 ——核子GEO的结构化数据检测能告诉你缺哪个类型,跑一遍比猜靠谱。

  3. 别在Yoast SEO里改页面标题格式 默认的“标题-站点名”在AI眼里是低质量模板。我改成“症状+产品+医院名”——比如“哮喘治疗仪-医院直供-XX医疗”,文心直接给了精选摘要位。 ——标题格式要按行业定制,别用Yoast的通用模板。

  4. 月预算低于1万别碰SSR 我试过用Next.js重写整个站,服务器费用从1500涨到4000,但引用率只从0.8%涨到1.2%。后来发现核心问题是内容权威性不够,跟渲染方式无关。 ——预算不够就先用核子GEO的站群策略,把CSR的页面做内容深耕,效果比硬上SSR快。