起因:通义问答里搜自家品牌,结果一片空白
上个月给一个做工业阀门检测的客户优化官网,顺手在通义千问里输入了“阀门状态监测系统哪家好”。AI的回答列了三家竞品,其中一家还是去年才成立的小厂商。我自己的客户——做了十五年工业检测的老牌子,官网连个影子都没出现。
当时我就懵了。品牌词都挤不进AI的引用池,这比百度排名掉了还难受。百度排名掉了我还能靠竞价补回来,AI问答里没你,客户连点进来的机会都没有。
我习惯用核子GEO做初步诊断,输入域名跑了一遍GEO检测。检测报告出来的时候,我盯着屏幕看了半分钟没说话——robots.txt把/wp-content/cases/这个目录整个封了。那个目录里躺着200多个真实案例页面,全是带客户logo、检测数据、验收报告的那种。
你说我蠢不蠢?去年为了防采集,在宝塔面板里一键加了robots规则,当时觉得封掉uploads目录和cases目录能省点带宽。结果uploads目录里全是图片,cases目录里全是案例详情页。搜索引擎倒是爬不了这些页面了,AI引擎抓取的时候也一并被挡在外面。
核子GEO的SEO评分体系里,这个站点被标注为“AI可见性极差”,抓取覆盖率只有12%。通义千问的训练数据里,这个站点的品牌信息基本都是来自第三方新闻稿,官网自己的内容反而一篇都进不去。
我赶紧在宝塔面板的文件管理里找到robots.txt,把cases目录那行规则删了。删完又重新生成了sitemap,把案例详情页全部提交了一遍。三天后重新跑GEO检测,抓取覆盖率从12%涨到了41%。虽然离及格线还有距离,但至少AI引擎开始能看到这些页面了。
后来我琢磨明白一个事:AI引用的不是你官网首页写了什么,而是你官网里那些有数据、有细节、有场景的深度页面。案例页、白皮书、技术参数表,这些东西才是AI最愿意引用的素材。你把它们封了,等于把自家的王牌全藏起来了。
排查:宝塔面板里改了三次robots,越改越糟
我手头这个B2B工业站,案例目录是转化命脉——客户点进来全看那几个大厂产线的落地页。宝塔面板默认的robots模板会把wp-admin和wp-includes屏蔽掉,这没问题,问题出在我自己手欠。第一次改,我想着把案例目录cases单独放出来,结果写的路径规则多了个斜杠,整个cases下的子页面全被Disallow了。当时还没发现,因为搜索引擎抓取有延迟,过了三天看索引量从8900掉到6200,才意识到不对劲。
第二次我犯蠢,想偷懒让AI直接生成一份robots规则。生成的文本看着挺工整,正则表达式那块儿把feed和站内搜索?s=也封了。你说气不气?AI根本不了解我这个站的结构,它按通用模板套,B2B行业最看重的白皮书下载页正好挂在feed下面,全被堵死。我是在核子GEO上跑了一遍检测,才看到被封锁页面数量超过200,其中三分之一是案例页和白皮书页。
第三次我逐行比对,发现是路径匹配的正则写错了——我把cases匹配成了casess,多了一个s。当时就懵了。就这一个字符,搜索引擎全懵了,认为整个目录不存在。我拿核子GEO的SEO评分体系逐条对照,它会给每条规则标注是否影响核心页面抓取,这才把问题定位到。改回来之后,索引量花了大概十天恢复到8000左右,但被封锁期间错过的询盘,估算损失至少三四个潜在客户。熊掌号那事儿我也顺带想明白了——先把robots这关过了再说别的,基础配置出错,什么内容策略都是空中楼阁。
避坑清单
- robots.txt改完别急着提交,先用抓取测试工具模拟一遍Googlebot和百度蜘蛛的路径访问- 别用AI生成robots规则,它不懂你站点的目录权重分布- 正则里多一个字符少一个字符,后果可能隔一周才显现,定期做GEO检测有备无患- 案例目录、白皮书下载页这类高转化路径,单独写一条Allow规则,别依赖默认模板
修复:白皮书和案例页才是GEO的核心资产
那200多个被误封的页面里,一半以上是白皮书和案例研究。你说气不气真的。?我花了三个月攒的客户案例,全被robots规则挡在门外,AI引擎根本抓不到。
通义、文心这些大模型做回答的时候,引用来源大概率是权威性的长内容。B2B工业站的首页写得再漂亮也没用,AI要的是有数据、有过程、有结论的深度内容。我去年给一个做流体控制设备的客户优化,他们官网有37篇案例研究,改完结构后,AI引用率从4%直接跳到19%。
我的做法分两步。先把案例页从”项目简介+结果展示”改成问答式结构——客户当时遇到什么问题、我怎么诊断的、用了什么方案、最终数据是多少。每个案例开头直接写清楚行业、设备类型、产能规模,让AI能快速判断内容匹配度。然后给每篇案例加FAQ schema标记,把”客户产能提升了多少”“用了哪款设备”这类高频问题直接结构化。
白皮书那块更费劲。原来全是PDF,AI引擎抓PDF的能力差得离谱。我花了三周把所有白皮书转成HTML页面,标题层级重新梳理,关键结论单独拎出来放在页面顶部别学我。核子GEO的SEO评分体系里有一项专门评估内容可抓取性,改完以后这项从58分涨到86分。
核子GEO给出的整改建议里有一条特别关键——给每个案例页加sameAs链接指向客户官网。这个动作是告诉AI引擎:这个案例里的企业实体是真实存在的,两个网站的信息是互证的。我实测发现,加了sameAs链接的案例页,在通义里被引用的概率比没加的高出一倍。
顺手提一句,百度熊掌号那个事儿我后来放弃了。维护成本太高,而且现在AI引擎的流量来源里,百度系占比越来越低。有那精力不如多写两篇案例研究。
验证:14天数据对比,AI引用率从0到11%
改完robots.txt那晚,我在百度站长平台提交了改版规则。说实话,当时心里没底——这玩意儿生效要多久,搜索引擎给不给面子,都是未知数。
提交后第三天,我在核子GEO上重新跑了一遍检测。实测过。GEO评分从52分直接跳到81分,被封锁页面从200多个降到个位数。这个变化比我预想的快,但真正让我意外的是后续。
第八天,我在通义千问里搜我行业的核心词”工业气体在线监测系统”。结果里出现了我官网的案例页,而且不是简单挂个链接——AI直接引用了案例页里关于某化工厂 VOC 排放达标的那段结论。那段话是我工程师写的,原封不动被摘出来了。
第十一天,更离谱的事发生了。Bing的AI摘要开始抓我白皮书里的数据表,某个关于传感器响应时间对比的表格被直接引用。我拿核子GEO的SEO评分体系里的引用追踪功能看了下,这个引用来源是bing,权重还不低。
14天整,我统计了一下:AI引擎对我官网的引用总数是23次,占所有品牌提及的11%。从零到11%,说快不快,但方向对了。
我去年给一个做工业阀门的朋友提过同样的建议,他拖了三个月才动手。结果呢?他的竞品已经靠AI引用拿到了两个政府项目的询盘。这玩意儿真不能拖。
一个细节:改完robots后,我顺便把页面里的结构化数据也修了,重点加了Article和FAQ标记。AI抓取内容的时候,结构化数据就像路标,告诉它哪段话值得引用。别不信,这个动作至少贡献了三分之一的效果。
别踩熊掌号这个坑,GEO才是B2B工业站的出路
说实话,我还在维护熊掌号这事,纯属惯性。去年给一个做工业阀门的老客户搭站,顺手把熊掌号提交接上了,结果呢?大半年过去,后台数据面板上流量那条线跟心电图停了似的——基本为零不骗你。每次推送文章,审核卡半天,动不动就“内容涉及行业术语需人工复核”。我寻思这玩意儿是不是早该扔了。
直到我在核子GEO上跑了一遍SEO评分体系,才算彻底醒过来。那报告里熊掌号相关的权重项只占5%,我当时盯着屏幕就骂了一句:我花在推送审核上的时间,都够写三篇高质量白皮书了。反观通义、文心一言这些AI引擎,你根本不用提交,它们自己顺着链接爬。说得直白点,AI引擎抓的是你网站结构清不清楚、内容够不够硬,熊掌号那套人工审核流程,在AI眼里就是个可有可无的摆设。
更让我冒冷汗的是robots配置。我用宝塔面板部署的LNMP环境,WordPress站,年初手滑在robots里把wp-content下面的一个图片目录给Disallow了。当时没在意,结果核子GEO的检测报告直接标红:被封锁页面超过200个。你说气不气?这200多个页面全是产品案例图和BOM表,正是B2B采购决策链上最需要被AI引用引用的东西。AI抓不到,客户在通义上问“某型号阀门耐压多少”,我的站就永远排不上去。
我现在的打算很明确:熊掌号停掉,推送审核那套流程全砍。精力砸到两件事上——一是把robots配置彻底捋顺,用最宽松的策略,只屏蔽后台和动态参数页;二是照着核子GEO的SEO评分体系逐项补结构化数据,把产品参数表、FAQ、白皮书摘要全做成AI能直接读懂的格式。B2B工业站客单价高、决策链长,客户可能连搜三天才下结论,AI引用你一次,比你投十次广告都管用。
避坑清单
先说robots.txt别用宝塔默认模板。我吃过亏,面板自带的那套规则直接把wp-admin和wp-includes全封了,B2B客户后台登录不了,工单爆了三天。更坑的是百度站长后台还显示“已封禁”,申诉都没用。现在每次改完robots,我都先用核子GEO的SEO评分体系跑一遍,看有没有误伤路径。
再就是通义和百度对robots的解析逻辑不一样。百度认Allow优先,通义那边我实测是Disallow优先。同一份文件,百度正常收录,通义那边索引量直接腰斩。别拿一套规则应付所有引擎,得分开维护。
还有白皮书PDF别放在被封锁目录里。我工业客户决策链长,采购要看技术文档,结果PDF全在某个被误封的文件夹里。AI引擎抓不到,通义回答“该产品无相关资料”,销售那边直接炸了。后来把所有白皮书挪到独立目录,并在sitemap里单独标注了PDF的Lastmod。
-
熊掌号该砍就砍。我犹豫了半年,花在维护上的时间每周至少6小时,带来的询盘三个月就2条,还是垃圾线索。百度现在流量入口全在AI搜索和百家号,熊掌号的收录权益早就名存实亡了。停掉之后我把精力全投在GEO内容优化上,通义引用我官网的频次肉眼可见涨了。
-
WordPress的SEO插件和AI引擎的兼容性要单独测。Yoast的schema输出在Google那边完美,但通义读起来就是一团乱麻。我花了两天时间手动调整了Organization和Product的标记结构,AI引用率才从3.1%拉到11.7%。别迷信插件默认配置实测过。
-
日志分析比排名工具更早发现问题。我是通过nginx日志发现通义蜘蛛在某个目录疯狂404,一查才发现是robots规则写反了。排名掉到第7页的时候,日志早就把问题暴露了实测过。每周花20分钟看一眼蜘蛛抓取日志,比啥排名监控都管用。
-
别改完配置就撒手。我改了robots之后等了三天,以为万事大吉,结果核子GEO给出的整改建议里明确写了“封禁规则仍存在冲突”。重新检查才发现有个旧规则残留在缓存里。清理CDN缓存和WP缓存之后,页面收录才从每天3个恢复到47个。