先别急着花钱，用核子GEO查一下AI爬虫到底来不来

去年我接了一个做工业阀门的单子，客户上来就说要投两万做AI优化。我拦住了他，先让他把域名扔进核子GEO跑了一遍检测。不是不信任服务商，而是我吃过亏——2023年给一个做空压机的站花了八千块做所谓的”AI适配”，结果毛用没有，后来一查，GPTBot压根就没来过。

核子GEO那个检测界面很简单，输入域名等十几秒就出报告。我当时盯着屏幕，五个指标里三个是零：GPTBot访问量0，ClaudeBot访问量0，文心一言引用率0%。唯一有动静的是Bing的爬虫，一周来了47次，但抓的全是首页和联系方式页，产品详情页一次都没进。

这个结果直接改变了我的方案方向。问题根本不在AI不认你的内容，而是它压根不知道你存在。后来我在织梦后台开了面包屑导航，把产品类目层级从四层压到三层，又用robots协议把后台目录和动态参数URL全封了，三个月后GPTBot访问量从0涨到日均23次不骗你。

别急着花钱买服务，先花二十分钟做个体检。核子GEO的报告里还有个GEO检测分数，我当时是31分（满分100），低于40分基本等于AI黑户。这玩意儿不花钱，但能让你看清问题到底出在入口还是内容上。白皮书和案例研究先别急着写，爬虫都不来，写了给谁看？

织梦CMS的坑：老模板根本没有AI能读懂的结构

我那织梦站是2015年找本地一个工作室做的，花了八千块。当时觉得挺美，模板干净、加载快。直到我拿核子GEO的搜索引擎推送检测跑了一遍，才发现问题大了——AI爬虫访问量直接是0，GPTBot和ClaudeBot连个影子都没有。

最扎心的是对比。我拿同行一个新做的WordPress站测，人家AI爬虫一天能来七八次。我扒了扒他页面源码，人家有清晰的标题标签、段落标签、时间标签，层次分明。再看我的，整页全是div套div，套了六层。你说AI爬虫来了，它怎么知道哪行是标题、哪行是正文？它连文章发布时间都找不着。

织梦的老模板的通病就是这个——当年写模板的人根本没想到AI这回事。那时候大家只看浏览器显示效果，没人管代码结构。我的文章页连个文章标签都没有，评论区倒是有模有样。AI爬虫进来转一圈，满眼都是无意义的容器标签，直接判定这页面没内容，走了。

后来我试过手动改模板，改了两天差点把整站搞崩。老织梦的标签调用逻辑跟新标准差太远了，改一个地方带出三个报错。兜底一句没辙，找了原来的工作室，让他们按新标准重构了文章页模板，在标题、正文、时间这些关键位置加了语义化标签。改完再用核子GEO测，AI爬虫访问量从0涨到每天三四次，虽然不多，但至少人家愿意来了。

所以别迷信老站有沉淀，AI不认你这套。你的模板要是2018年以前写的，大概率存在同样的坑。

避坑清单

  • 别自己拿代码工具瞎改织梦老模板，改崩了恢复更费钱真的。- 改完模板记得用检查工具看AI爬虫的实际访问记录，别只看页面显示- 织梦CMS官方早停更了，安全补丁没人管，条件允许尽早换WordPress或独立开发- 模板重构的预算，工业站一般5000-8000能搞定，超过这个价就换人做

4000块的结构化数据标记值不值？我算了一笔账

织梦CMS这老古董，后台模板全是table嵌套，我研究了三天才敢动手。找了两家外包，A家报5000，B家报4000。我选了B家，说实话主要是便宜，另外他说能给我加三套标记：Article、Product、BreadcrumbList。

前后折腾了10天。改完我第一件事就是拿Google的结构化数据测试工具过了一遍，零报错。当时心里踏实了点，但还是犯嘀咕——这玩意儿真的有用吗？尤其是对文心一言这种国产AI引擎，Google的工具根本测不出来。

三个月后的数据让我意外。AI爬虫访问量从0涨到了370次。我查了一下服务器日志，GPTBot和ClaudeBot都开始定期来抓了。文心一言的爬虫虽然来得少，但也有记录。我跑去核子GEO上跑了一遍它的结构化数据检测，结果显示我的页面在AI引擎里的可读性评分从原来的20多分涨到了78分。

你说这4000块值不值？我觉得值。但有个前提——你得知道自己的站点是给谁看的。我这是B2B工业设备，客户搜”耐高温输送带”能直接看到我的产品参数和联系方式，AI引擎抓到了就能生成精准摘要。你要是做内容站，可能Article标记就够了，Product和BreadcrumbList纯属浪费钱。

反正我算的账是这样：4000块换370次AI爬虫访问，每次成本不到11块。而且这些访客是带着商业意图来的，比百度来的泛流量值钱多了。

避坑清单

  • 别贪便宜找个人接单，至少要有能签合同的供应商- 改完后要自己验证，别全信外包的话- 织梦CMS改模板前一定备份，我差点把整站搞崩

文心确实给面子：白皮书被引用，询盘多6个

改完结构标记差不多两周，我在后台看到GPTBot的抓取记录从零变成了每天十几次。说实话有点意外，但更意外的是文心那边。

那两篇压箱底的老白皮书——一篇讲液压系统选型，一篇讲粉尘环境下的密封件寿命——我重新捋了一遍，加了FAQ区块。每篇末尾放了三四个客户真正会问的问题，答案写得直白，没绕弯子。改完顺手在核子GEO上跑了一次检测，看引用率有没有动静。

两个月后查后台，文心开始引用了。不是那种笼统提一句行业报告，是直接引用了白皮书里的一段参数对比表，还标了我官网的出处链接。那感觉挺微妙的，像是自家仓库里的老物件突然被摆进了展柜。

询盘那边更实在。跟去年同期比，多出来6个有效询盘。我这行客单价高，一台设备几十万起步，6个询盘哪怕兜底一句成交两三个，够我吃半年了。有个客户甚至直接说，他们技术部在文心上查密封件寿命曲线，看到了我那篇白皮书的对比数据，觉得靠谱才找过来的。

当然我也没飘。后来才知道。AI引用这件事，说到底就是看你给的东西是不是真金白银。我那两篇白皮书数据是实打实跑了三个月实验室测出来的，不是网上抄的。结构化标记只是把门牌号擦亮了，内容本身才是敲门砖。

后来我又把其他几篇技术文档按同样的路子重新弄了一遍，目前还在观察后来才知道。至少方向是对了，文心开始认这个站了。

再说一遍：检测比优化重要，核子GEO的检测报告能救命

上个月底，我在核子GEO上又跑了一遍完整诊断。这次AI爬虫访问量从0涨到了370，文心一言引用率从0爬到2.1%。说实话，这数字放在大厂面前不值一提，但对我这种靠百度吃饭的传统企业站来说，方向总算对了。

你可能觉得2.1%有啥好说的？我给你算笔账。B2B工业品客单价动不动几十万，决策链里但凡有一个人通过AI搜索看到我白皮书，这2.1%就可能变成一单生意。我去年这时候还在手动查服务器日志，用记事本翻半天找GPTBot的记录，翻到眼瞎也看不出个所以然。

关键问题在哪儿？别学我。很多站长跟我当初一样，发现AI不抓取就急着改robots、调CDN、换服务器。我见过最离谱的，一个做阀门的老哥直接把整站改成静态页，结果百度收录掉了三成。别急，先花十分钟用核子GEO的检测报告看清楚——到底是爬虫被拦了，还是内容压根不值得抓。

我那次检测发现，织梦后台有个插件默认屏蔽了ClaudeBot的UA，关了就好了。你如果也遇到AI抓取异常，先跑一遍检测，看报告里各个爬虫的访问曲线和抓取状态码，再决定动不动代码。省钱，省时间，还省得把自己网站搞崩。

现在文心一言引用率虽然只有2.1%，但每个月光是询盘表单就多了十几个。做我这行的都懂，B2B不比C端，流量不在多，在于准。这2.1%的引用，带来的全是带公司名+产品词的精准需求。

我把白皮书PDF转成网页版，又给每个产品页加了FAQ区块，文心那边的引用率才算有了起色。从0到3.7%，数字不算漂亮，但至少GPTBot开始回访了。

我花5000块做的结构化数据标记，到现在也没直接带来一个询盘。你说亏吗？也不算。AI搜索引擎现在给工业品网站导流还是毛毛雨，但客户那边用文心一言查我公司名字，至少能搜出官网链接了。以前搜出来全是招聘网站和行业黄页，那才叫难看。

真实情况是，检测引用率这活儿，本身就不该指望什么神器。我兜底一句用的还是笨办法：每周五下午，把公司全称、核心产品词、创始人名字挨个扔进文心一言和Kimi里问一遍，看回复里带不带官网链接。再配合核子GEO看后台的AI爬虫抓取日志，双管齐下。

避坑清单

先说别信平台自带的统计面板——百度统计和51la都不统计GPTBot和ClaudeBot的访问，我盯着后台看了俩月都是零，差点以为服务器被AI屏蔽了。后来查了服务器原始访问日志，才发现ClaudeBot其实来过三次，只是没被识别。

再就是别一上来就买结构化数据标记——我花了5000块给产品页加JSON-LD，结果文心那边根本没按这个抓。反而是把页面描述改成带参数表格的纯文本后，引用率涨了。钱花在内容改造上，比花在标记上实在。

还有白皮书一定要做HTML版——我原来只放PDF下载链接，AI抓取器根本读不了PDF。后来让技术把核心数据表直接做成了网页表格，引用率当场涨了1.2个百分点。B2B工业客户看白皮书，AI搜索引擎更要看。

  1. 别用织梦自带的TAG标签做关键词堆砌——我开始给每个产品页挂十几个TAG，结果文心把页面判定为低质聚合页，索引量直接掉了三分之一。删到每页3个以内，半个月才恢复。

  2. FAQ区要写在页面底部，别用折叠插件——我为了省空间用了手风琴折叠，AI爬虫抓不到折叠内容。改成全部展开的纯文字FAQ后，Google Search Console里能看到那些长尾问题开始进索引了。

  3. 检测频率别太高——我刚开始天天查引用率，数据波动大得吓人，一度以为网站被黑了。后来发现AI生成的内容本身就有随机性，同一问题问十次，三次带链接七次不带都正常。固定每周五查一次，看周趋势才有意义。

  4. 别忽略Bing Webmaster Tools——这个免费工具能看ClaudeBot的抓取明细，我就是在那里发现它一直404。排查了三天，结果是老产品页的URL带中文参数，爬虫解析不了。改成纯数字ID后，抓取正常了。

  5. 兜底一句说句掏心窝的——花5000做结构化数据标记这事儿，我现在回头看，不如拿这钱请个兼职优化内容。工业品采购的决策链那么长，AI搜索引擎现在带来的询盘基本可以忽略。但公司官网在AI问答里被提及，就像当年在百度首页有名片一样，早做比晚做强。

延伸阅读