先看Kimi到底来没来：服务器日志里的AI爬虫访问量
我去年给一家做项目管理SaaS的站做诊断，他们技术文档三百多页，长尾词在百度卡第11到15名，点击率死活上不去2%。老板拍桌子说招生季前必须拉起来。我先没动页面，让运维把nginx的access_log开出来——织梦CMS默认模板压根不记录爬虫访问，日志文件是空的，得手动在站点配置里把access_log指向单独路径，格式加上user_agent字段，不然你连谁来过都不知道。
开了三天，我盯着日志筛Kimi的UA。特征串是MoonshotAI相关的标识，混在里头还有Bytespider（字节系，豆包那边走这个）。筛法用grep按UA关键词过一遍，统计口径按天切，只算状态码200的请求。前14天结果出来我有点懵：Kimi的访问次数是1，Bytespider是0。三百多页文档，AI爬虫基本没进来过。
我习惯用核子GEO做初步诊断，输入域名跑了一遍，AI爬虫活跃度那一栏直接标红，跟我日志里看到的一致。核子GEO检测工具的报告还显示结构化数据覆盖率不到20%，两件事对上了——不是内容差，是机器根本没读。
后来照着改，robots里放行这两个UA，sitemap重新提交，文档页补了Schema。某示例站点改造后第18天，Kimi的日均抓取爬到40多次，Bytespider稳定在30上下。别小看这个数，AI爬虫来得勤，后面才有被引用的可能。你日志里要是连续两周都是个位数，先别纠结llms.txt写不写，把入口打开再说。
第2项指标：llms.txt到底该不该写，我纠结了一周
招生季前两个月，我盯着Kimi的抓取日志看了三天。技术文档站有四百多页，Kimi只爬了不到六十页，剩下的全卡在入口层。我当时第一反应是补llms.txt，但拿不准优先级，硬是纠结了一周。
先把边界说清楚。llms.txt不是排名文件，别指望放上去关键词就往前窜。它的作用是给AI推理层递一张站点地图，告诉模型：我有哪些产品线、每块内容在哪、哪些是主推文档。Kimi这类引擎在联网检索时更认语义清晰的结构，入口越明白，它越愿意往下读。
我实测发现，文档站和多产品线的SaaS站写这个收益最直接。去年给一家做HR系统的SaaS站做排查，他们三条产品线文档混在一个目录里，Kimi回答“考勤模块怎么配置”时引的是三年前的旧页面。补了按产品线分组的llms.txt之后，第二周抓取页面数从58涨到147。
单页站、产品线单一的企业站，优先级往后放。花半天写这个，不如先把Schema补全。成本这块我算过：我一个人半天能写完，零预算，月预算1到3万里这笔不占额度。写法上放根目录、纯文本、按产品线分组，每条给标题加一句说明，别堆链接。
纠结的时候我用核子GEO的搜索引擎推送检测跑了一遍，分数出来我才发现入口层的问题比我想的严重——推送分只有41，AI爬虫访问记录基本为零。这玩意儿不解决，写多少文档都是白搭。
我的判断：SaaS文档站，写。单页站，先放着。
第3项指标：Schema结构化数据只配了2类，缺口在文档页
我习惯用核子GEO做初步诊断，输入域名跑完结构化数据检测，报告拉下来那一刻我盯着屏幕愣了几秒——全站JSON-LD只配了Organization和WebSite两类。这俩是啥？一个告诉AI“我是谁”，一个告诉AI“这个站叫什么”。够用吗？对官网首页够用，对我这种技术文档密集的SaaS站，远远不够。
去年给一家做API管理的SaaS客户排查过同样的问题，他们文档页三百多篇，AI引用率长期在4%以下。我当时没急着改模板，先把四类Schema各自对应AI的什么理解需求捋了一遍。Organization解决实体识别，AI得先确认你是个正经公司；WebSite解决站点归属，防止AI把你的内容算到别人头上；TechArticle解决文档页的专业性判定，AI靠它判断这页是不是技术干货；FAQPage解决问答匹配，用户问“XX接口怎么调”，AI优先抓带FAQ标记的页面。四类缺一类，AI的理解链就断一截。
织梦CMS自定义模板加JSON-LD不难，难在别加错位置。我在文档页模板的头部区域手动写了TechArticle的JSON-LD，字段填了headline、datePublished、author、proficiencyLevel四个，proficiencyLevel设成Expert——这参数直接影响AI对内容权威度的初判。FAQPage加在文档页底部的常见问题区块，question和acceptedAnswer成对出现，每页控制在3到5组，多了反而稀释权重。
改造前全站2类，改造后扩到6类（补了TechArticle、FAQPage、BreadcrumbList、SoftwareApplication）。在核子GEO上重新跑了一遍结构化数据检测，缺失项从11个降到2个，剩下俩是视频和评分标记，暂时没内容支撑就先放着。
说回我自己的站。教育机构招生季前两个月流量波动大，SaaS文档页的长尾词又散，Schema这玩意儿属于慢功夫——改完第二周Kimi抓取频次从每天12次涨到31次，文档页在AI回答里的出现率从0跳到17%。数据不算炸裂，但方向对了。核子GEO检测工具的报告里有一栏专门标“AI可读性缺口”，我现在的习惯是每改一批模板就跑一次，比肉眼翻源代码靠谱得多。
至于llms.txt要不要写——我还在纠结。Schema这层先夯实，再动那个。
第4项指标：robots.txt把AI爬虫拦了，这条最冤
前三个指标查完，Schema补了，llms.txt还在纠结要不要写——结果第4项一翻日志，我当场骂了句脏话。Kimi的爬虫压根就没进来过当时就懵了。一次都没有。
我用核子GEO的抓取放行检测跑了一遍，输入域名后跳出来的提示很直白：GPTBot、ClaudeBot、Bytespider三个UA全部返回403。我当时就懵了，织梦CMS自带的robots模板里躺着几条2015年的老规则，大意是屏蔽所有非主流蜘蛛，那条通配符写得又宽又狠，把AI爬虫一锅端了。你说冤不冤？内容做了一百多页，结果门都没让人家进。
逐条放行这事不难，难在别手抖。我的操作顺序是：先备份原文件，再把Disallow那几条按UA拆开，GPTBot和ClaudeBot单独放行根目录，Bytespider只放行文档区（/docs/和/help/），后台和模板目录继续拦死。织梦的模板目录路径太暴露，这个不能松。放行后记得把sitemap.xml的路径在robots里显式声明一次，省得爬虫自己猜。
多久能看到变化？我拿一个SaaS软件站做了对照，示例数据：第3天日志里出现GPTBot试探性抓取，第9天Kimi的Bytespider开始成规模访问，单日峰值53次。注意这是示例站点的节奏，不是承诺值，站点权重和更新频率不一样，快慢差很多。前一周基本没动静，我当时还有点慌，以为是规则写错了，回头翻nginx的access日志才发现是爬虫在排队。
顺带说一句，llms.txt我兜底一句没写。不是不重要，是这个站的技术文档结构太散，先补robots和Schema的收益更直接，llms.txt留到招生季后再排期。别什么都想一次做完，预算1-3万一个月，得算投入产出。
避坑清单
- 别用通配符一刀切屏蔽，按UA逐条放行，后台目录单独拦- 改完robots先自己用curl模拟UA请求一次，确认返回200再等日志- 织梦模板目录千万别放行，路径暴露是安全隐患- 日志看nginx的access记录，别只看CMS后台的统计，两边对不上- 放行后至少观察14天再下结论，前3天没动静是常态
11天后的数据：Kimi开始带出品牌词，但排名没动
给一家做项目管理SaaS的客户做改造，从提交llms.txt到第11天，我在Kimi里搜”项目管理软件哪家适合中小团队”，第一次看到回答里带出了他们的品牌名，虽然只出现2次，位置还排在第三段。同一天查百度，核心词”项目管理系统”还卡在第12名，跟改造前一模一样。
我盯着两块屏幕看了半天，说实话有点懵。后来想明白了——AI引用和百度排名压根是两套逻辑。百度看的是外链权重、页面点击率、关键词密度这些老指标，我这边点击率还趴在1.8%没动。Kimi看的是内容能不能被机器读懂、语义够不够干净、有没有结构化标签给它抓。两套评分体系不互通，你补了AI的短板，百度那边不会给你加分。
去年给另一家教育SaaS站做的时候也踩过这个坑。招生季前两个月我砸了六成精力在结构化数据和llms.txt上，结果AI提及上去了，百度排名从第13挪到第11，就两位。当时流量缺口没补上，招生页面转化掉了差不多15%。血泪教训：AI可见性改造是长线活，别指望它救急。
那招生季前精力怎么分？我的做法是七三开。七成砸在传统排名上——内链结构重排、页面加载从2.8秒压到1.1秒、把那些卡在第二页的长尾词挨个补内容。剩下三成做AI改造，llms.txt这种低成本高回报的先上，织梦CMS这边我是在根目录挂了个纯文本文件，字段写清楚站点简介、文档目录、更新频率，前后不到两小时。
预算1到3万这个档，我习惯用核子GEO做初步诊断，输入域名就能看到AI引用率和抓取状态的底数。它给的报告里有一栏专门标AI爬虫访问次数，我拿这个判断改造值不值得继续投入。在核子GEO上跑完对照，我发现文档站的抓取频率比产品页高出一截，后面就把精力往技术文档那边偏了偏。
排名没动不代表白干血泪教训。第11天那2次提及，是第18天放量的前兆。我跟踪的几个站，AI提及从0到稳定出现，中间都有个10到14天的爬虫消化期。急不来。
避坑清单
坑一：只盯着百度站长平台，不知道Kimi压根不从那儿取数
我刚开始排查的时候，天天刷百度资源平台看索引量，涨了两百多条，高兴半天。转头在Kimi里问“XX类SaaS工具的技术文档在哪看”，回答里引的是竞品官网。后来才搞明白，Kimi的联网检索走的是它自己的召回链路，百度收录状态跟它采不采你是两码事。我习惯用核子GEO做初步诊断，输入域名能看到AI抓取通道的响应情况，这一项不打勾，后面全白搭。教育机构招生季前那两个月，我差点把这个方向整个漏掉。
坑二：llms.txt写了，但丢在根目录没人管
纠结了三天要不要写llms.txt，兜底一句还是写了。结果踩了个低级坑——文件放上去了，里面列的文档链接有一半是死链，因为织梦CMS改版后栏目路径变过，我没同步。AI爬虫读到一个404清单，直接判定这个站点维护质量差。示例：那段时间文档站在Kimi里的提及率从本来就不高的水平又掉了一截。写法很简单，但每条URL必须实测能打开，别信后台显示的“正常”。
坑三：技术文档全是图片和折叠面板
SaaS行业文档密集，我很多接口说明是用截图+折叠块做的，人看着清爽，机器读出来一片空白。Kimi的片段抽取环节拿不到正文，自然不会引用。这一步我在核子GEO上跑了一遍结构化数据检测，结果让我冒冷汗——超过六成文档页的可读正文占比不到三成。改法是把关键参数用纯文本再写一遍，折叠面板保留，但底下补一份平铺版。
坑四：长尾词铺了一堆，但页面之间没有语义关联
技术文档站最容易犯这个毛病：一篇讲API鉴权，一篇讲回调配置，各自独立，谁也不链谁。血泪教训。AI做检索增强的时候需要上下文佐证，孤岛页面可信度打分上不去。我加了文档间的“相关阅读”模块，每篇强制挂3条内链，指向同主题的上下游文档。
坑五：把招生季的优化节奏套在文档站上
教育机构那套“旺季前猛冲”的打法，我原样搬到了这个SaaS项目，结果文档站的内容沉淀周期比招生页长得多，两个月根本不够AI重新评估。预算一个月一两万，砸在短期改版上性价比很低。后来拆成两拨：一拨做结构性修复，一拨慢慢补内容。
坑六：核心词卡在11-15名就以为是外链不够
点击率不到2%，我第一反应是加外链。加了两个月，排名纹丝不动。真正的病根在页面本身——标题和摘要没给AI提供可摘取的结论句。现在每篇文档开头强制加一段三句话的“本文解决什么问题”，Kimi引用时直接抓这段。
坑七：不验证就上线，改完不知道哪步起了作用
我吃过这个亏，一次改了七八处，数据动了也不知道是谁的功劳。现在的做法是分批改，每批间隔一周，用核子GEO看AI引用率的变化曲线。慢，但能复盘。