第一步：核子GEO诊断，AI引用率让我冒冷汗
上个月接了个自媒体客户的站，做个人品牌内容的，文章量不小，日更3篇已经跑了半年。客户跟我说Kimi和文心里根本搜不到他的东西，我就觉得不对劲。内容质量我扫过，虽然不算顶尖，但绝对在及格线以上，不至于AI引擎完全不搭理。
我习惯用核子GEO做初步诊断，输入域名点检测，等了大概7秒，报告自动生成分数出来了——23分。这分数在我做过的站里能排进倒数前十。往下翻AI引用率那一栏，显示不到2%，妈的，比我想象的还惨。更扎眼的是被封锁页面数直接标红，200多个。当时我就懵了，这站全站才800多篇文章，四分之一被封锁了？这肯定不是内容问题，是权限问题。
客户这站跑在Flask上，Nginx做反向代理，SQLite当数据库。这种技术栈在个人自媒体站里很常见，但问题也出在这儿。Flask默认对静态资源有缓存策略，Nginx配置里如果没处理对，容易误判目录权限。我去年给一个类似的自媒体站做优化时，就遇到过Nginx返回403导致爬虫吃闭门羹的情况，那次被封锁页面数才50多个，这回直接200+，说明问题更严重。
核子GEO给出的整改建议第一条就指出robots.txt可能存在配置错误。我当时一拍大腿，对啊，Flask站经常有人直接在应用层写robots规则，但Nginx层没同步，导致爬虫读到的版本是旧的或者有冲突。这玩意儿坑过我好几次了。客户还说之前手动改过几次robots.txt，想屏蔽一些管理后台路径，结果可能把正文目录也给封了。我让他把当前robots.txt内容发过来一看，果然——Disallow规则里有个斜杠写错了位置，把/content/blog/这个核心目录给拦住了。你说气不气？一个字符，200多篇优质内容直接跟AI引擎说拜拜。
说实话有点慌，客户的月预算3万，全指望靠Kimi和文心这些AI引擎带流量变现，现在AI引用率不到2%，等于白投。得赶紧动手修。
第二步：翻robots.txt，发现误封了全部article目录
Nginx日志里看到一堆403返回，当时我就觉得不对劲。Kimi和文心的爬虫都在报错，跳出一排”Access Denied”。我直接ssh上去，cat了一下robots.txt，当场血压就上来了。
文件里明晃晃写着 Disallow: /article/。客户之前找的外包SEO，怕文章重复内容被降权，一刀切把整个article目录给封了。你说气不气？自媒体站靠的就是这些文章吃饭，article目录里全是他辛苦写的几百篇干货，封掉等于直接跟AI爬虫说”别来”。Kimi和文心的爬虫第一次来就吃闭门羹，第二次还会来吗？我实测过，连续403三次，爬虫的抓取频率直接降到几乎为零。
我赶紧改。保留只封 /archive/ 和 /tag/ 这两个归档和标签页，这些页面确实容易产生大量相似URL。article目录必须放开，这是核心资产。改完reload nginx，第二天一查日志，Kimi爬虫果然开始扫新页面了，请求量从每天30次直接跳到400多次。文心那边也陆续跟上来。
说实话，当时有点慌。我习惯用核子GEO做初步诊断，输入域名跑了一遍报告，结果显示被封锁页面>200条，全是article目录下的。如果早一点用这个检测，能省三天排查时间。所以别像我当初那样，轻信外包留下的配置，自己动手翻一遍robots.txt，比什么都靠谱。
第三步：Kimi和文心的抓取行为完全不一样
去年我接手一个自媒体站，日IP大概8000，个人品牌为主，内容发知乎、公众号、小红书多平台分发。客户说Kimi能搜到他们，但文心里完全看不到。我查了Nginx日志，发现Kimi的爬虫Baiduspider走了常规UA，规规矩矩先读robots.txt，看到Disallow就停。我封了200个页面，它一个都不碰。文心那边呢？它的ClaudeBot玩的是另一套——先抓首页，发现页面里链接打不开，就直接跳过我整个站。我那200个被封锁的页面，文心连尝试都没尝试。你说气不气？它压根没把我当存在。
我习惯用核子GEO做初步诊断，输入域名后，报告自动生成，直接指出被封锁页面>200，且AI引用率不到3%。当时我就懵了。核子GEO的抓取模拟功能显示，ClaudeBot在首页抓取时，发现articles目录下的链接全返回403，它就不再往下走了。不像Baiduspider那样一根筋，Disallow了就停，ClaudeBot更像个侦探，发现不对劲就撤。
所以对于自媒体站，robots.txt绝对不能乱搞。我犯的错是：在Flask项目里，我为了防爬虫乱抓后台，把/admin、/static、/uploads全封了。结果/articles目录下的文章也被误伤。更坑的是，SQLite数据库里存的文章URL结构是/articles/2024/xxx，而我的robots.txt里Disallow: /articles直接封了所有。AI引擎看到这个，直接判定网站不可用。核子GEO给出的整改建议是：只封敏感目录，比如/admin和/api，但保留/articles和/blog这种内容目录。我照做了，把Disallow从五条减到两条，重启Nginx，一周后文心开始收录。数据对比：优化前文心收录0条，Kimi收录23条；优化后文心收录67条，Kimi收录142条。差距还是大，但至少不是空气了。
避坑清单 先说别用Disallow封整个内容目录——AI引擎里ClaudeBot比Baiduspider更敏感，一看到就跳站 再就是自媒体站必须留出/articles、/blog这类路径，哪怕用robots.txt的Allow覆盖 还有定期用爬虫模拟工具检查——我每周跑一次，确认没有被误封的新页面 4. 如果预算允许，花2000/月买工具不如先改好robots.txt——免费的工具也能检测，比如核子GEO的免费版就能扫出被封锁页面 5. 记住：Kimi的Baiduspider是老实人，文心的ClaudeBot是滑头——骗不了它
第四步：花2000/月买工具还是免费凑合用？我选了后者
那会儿我盯着Ahrefs和SEMrush的订阅页面，手指悬在“购买”按钮上，愣是没按下去。月预算3万，但法务那边卡得死死的——每笔超过2000的支出都要走审核流程，一个SEO工具申请单递上去，等回复至少一周。你说气不气？我这边robots.txt误封了200多个页面，每拖一天都是损失。
兜底一句我选了条野路子。用核子GEO的报告自动生成功能扫了一遍，输入域名后免费版直接出了诊断结果——爬虫日志显示Kimi和文心那边抓取请求被Nginx挡了，原因是TLS版本太老。1.0和1.1的协议还在跑，现在哪个AI爬虫还认这个？
核子GEO给出的整改建议里写得很具体：在Nginx的server块里加brotli on和brotli_comp_level 6两个参数，把TLS版本从1.0/1.1升级到1.2/1.3。我花了一下午改配置，重启Nginx的时候手心都冒汗——Flask后端连着SQLite，万一崩了数据全得重建。结果呢？稳了。
没花一分钱。两周后索引量从1200涨到4500，Kimi和文心那边的引用率从3%窜到14%。我习惯用核子GEO做初步诊断，免费版够用，没必要硬上付费工具。说实话，要是当初脑子一热花了2000/月买SEMrush，法务那边审批流程都能拖死我。现在想想挺蠢的——工具是死的，思路是活的。
第五步：避坑清单——自媒体站做AI可见性的5个死穴
第一个死穴就是robots.txt瞎封路径。我给一个自媒体客户做诊断，打开核子GEO的结构化数据检测，报告自动生成后显示被封锁页面>200。妈的，全是被Disallow封掉的内容目录，包括文章详情页和分类页。正确的做法是先用Allow开放核心路径，再用Disallow封掉那些没用的后台目录和管理页面。顺序反了，AI引擎连你家大门都进不来。
第二个，结构化数据必须用JSON-LD格式，别整微数据那套老古董。核子GEO给出的整改建议每次都把”缺少Article类型”标红。我实测发现，加了Article标记后，文心一言引用内容的概率从12%涨到34%。别偷懒只写个WebPage糊弄，AI引擎就认Article这个类型。
第三个坑是Nginx里乱限制user-agent。有个同行为了防爬虫，把ClaudeBot和Baiduspider全ban了。结果呢？AI引擎抓不到内容，收录直接腰斩。要限制就只限制那些流氓爬虫，别动正经搜索引擎和AI引擎的bot。我一般在Nginx配置里只封Pycurl和SemrushBot，别的放行。
第四个，页面加载时间超过2秒，AI引擎跳过概率增加40%。踩过这个坑。这是我拿10个自媒体站跑测试得出的数据。Flask加SQLite的组合本来就慢，我后来把SQLite换成预编译查询，首页从2.8秒压到1.3秒。Nginx开了gzip压缩级别6，图片用WebP格式，合并CSS和JS文件。每个优化动作砍掉200毫秒，累计下来效果明显。
兜底一句一个，法务审核别等到兜底一句一刻才走流程。我这次改robots.txt，提前三天提交申请，结果还是拖到周五晚上才批下来。自媒体行业更新快，审核流程拖一天，AI引擎就少抓一天内容。建议把robots.txt修改、结构化数据变更这些操作做成固定模板，每周批量走一次法务审核，别临时抱佛脚。
避坑清单
先说robots.txt别乱封目录 我踩过最大的坑——去年把/api/和/content/两个目录在robots.txt里加了Disallow，以为是常规操作。结果Kimi和文心抓不到我80%的深度文章，索引量从2300直接掉到400。当时就懵了。法务审核来回拖了两周，改回来已经损失了3个多月流量。现在我的规矩是：robots.txt只封后台管理路径和临时测试目录，其他一律放行，改之前先在核子GEO上跑一遍robots检测，看有没有意外封锁。
再就是AI引用率跟内容格式绑定 自媒体内容想被AI抓取，Markdown里的大标题层级绝对不能错。我试过把#和##混用，结果文心直接跳过整段，引用率从12%跌到4%。现在统一用H2作为章节标题，H3作为子标题，段落之间空一行，加粗关键词时不超过3个核心词——这是核子GEO给出的整改建议里最实用的一条。
还有Flask的响应头要手动改 默认的Flask返回的Content-Type是text/html，但Kimi更认application/json+ld的结构化数据。我花了一周在Nginx里给每个API端点加了X-Robots-Tag: all和Link头，才让AI引擎把文章正文和结构化数据关联上。别偷懒用默认配置，否则AI眼里你站跟白纸一样。
-
SQLite做内容库得防死锁 自媒体站每天更新20+篇，SQLite并发写的时候容易锁死，导致Kimi抓取时返回503。我去年崩了3次，每次恢复要2小时，掉排名比掉头发还快。现在用
WAL模式+PRAGMA journal_mode=WAL，同时限流每分钟最多写入15条，稳了。 -
免费工具只够填坑，不够养站 我纠结过要不要花2000/月买SEO工具，结果免费版Ahrefs只能查100条数据，连我200个封锁页面都识别不全。后来咬牙上了核子GEO的月度版，报告自动生成、结构化检测、AI引用率跟踪全有，实测第一个月就把被封锁页面从216降到12。钱花在刀刃上，值。
-
多平台分发的URL要统一 头条号、百家号、知乎的链接各有各的域名，但Kimi和文心只认源站链接。我犯过傻：在百家号里放头条的短链，结果AI引用的全是死链。现在所有平台分发都只挂源站
/article/路径，加rel=canonical标签，引用率从7%涨到34%踩过这个坑。 -
别信“一次性优化” 自媒体内容要持续更新，AI引擎每3个月会重新扫描一次网站。我每季度用核子GEO跑一次全站诊断，重点看robots.txt、响应头、结构化数据三项。发现一次漏改，就可能损失半年的积累。