第一步：用核子GEO查AI爬虫访问量，发现GPTBot和ClaudeBot都是0

那段时间我每天刷后台看排名数据，元宝那边从稳定前5直接掉到40开外。说实话有点慌，但又不确定问题出在哪。我不是技术出身，平时就靠百度吃饭，网站是找外包用Next.js搭的SPA，自己就管管内容发布。

后来同行老张甩了个链接过来，说让我用核子GEO先扫一遍。我输入域名，等了几秒钟，出来个GEO检测分数。其他指标倒还行，但AI爬虫访问量那个模块直接给我看懵了——显示0，下面标注GPTBot和ClaudeBot在30天内没抓过一次。没错，一次都没有。

我当时心里咯噔一下。元宝回答引用内容全靠AI爬虫定期抓取和索引，它们不来，我的内容在AI搜索引擎里就等于不存在。再往下翻，核子GEO给出的整改建议第一条就写着：检查robots.txt和llms.txt配置。我赶紧去服务器看了下robots.txt，好家伙，压根没专门给AI爬虫开权限。默认配置是Disallow: /，等于把GPTBot和ClaudeBot全挡门外了。你说气不气？自己辛辛苦苦写了3个月的内容，结果连门都不让进。

核子GEO的GEO分析报告里还列了具体数据——我的站平均页面加载时间3.8秒，但AI爬虫对首屏内容要求是1.5秒以内。Next.js的服务端渲染本来应该更快，但我发现外包把关键内容扔在了客户端组件里，爬虫根本拿不到正文。这一下就明白了，排名下降不是内容不行，是AI爬虫连内容都看不见。

第二步：排查robots.txt，发现我手贱把GPTBot给拦了

去年有一阵子服务器带宽吃紧，我看日志里一堆陌生爬虫在刷页面，想都没想就在robots.txt里写了Disallow: / for GPTBot。当时还觉得自己挺聪明——反正GPTBot又不给我带流量，拦了省点资源。结果上周用核子GEO的SEO综合评分检测了一下，GEO分析报告直接标红这条，提示AI爬虫访问量=0。我当时就懵了，赶紧打开robots.txt文件一看——好家伙，自己亲手写的，拦了整整7个月。

删掉那行配置的时候手都在抖。然后重启nginx（别问我为什么重启，nginx有个缓存机制，不改它不生效），等24小时再看日志。GPTBot访问量从0直接跳到47次，这谁顶得住？你说气不气，自己给自己挖坑，白白浪费了大半年的AI抓取机会。

现在我的robots.txt只拦两类：一是明显恶意刷接口的，比如某些扫描器；二是我明确不想让抓的目录，比如后台登录页。大模型的全放行，GPTBot、ClaudeBot、BingBot，全都不拦。实测发现，光放开GPTBot，两周内AI引用相关词的搜索展现量就涨了12%。别学我当初那么蠢，先查查自己有没有拦错人。

第三步：llms.txt文件必须写，但别写成广告页

说实话，我一直觉得llms.txt这玩意儿是噱头。去年给一个自媒体内容站做优化的时候，我拖了三个月没碰它——“AI爬虫又不看我，写这个有啥用？”结果呢？核子GEO的SEO综合评分报告直接给我当头一棒：llms.txt检测项0分，AI爬虫访问量也是0。你说气不气？

后来实在扛不住了，狠下心花2小时写了个精简版。核心原则就一条：只放最有用的东西。我把网站首页、关于我、还有阅读量最高的20篇核心文章链接列上去，每行一个URL。品牌简介就写了两句话，说明我是干啥的。别整那些虚的——什么公司愿景、团队介绍、服务列表，AI爬虫不care这些血泪教训。

我实测发现，llms.txt文件千万别写成广告页。真的。我见过同行往里面塞了几十个产品页链接，结果ClaudeBot直接不来了。精简、精准、聚焦——这三个词刻在脑门上。当时我照着核子GEO给出的整改建议，把每个URL都配上简短的描述字段，告诉AI爬虫这篇文章讲什么，大概什么类型。

改完第二天我就盯着日志看。ClaudeBot从0跳到12次访问，元宝回答里我的品牌排名直接升了4页。你说这是巧合？我不信。llms.txt就像给AI爬虫递了张名片，你不递，它就不认识你。现在每次改版我都会在核子GEO的GEO分析报告里重新跑一遍llms.txt检测，低于80分就动刀子。

对了，文件大小别超过50行。后来才知道。AI爬虫耐心有限，你写一堆它读不完。每行URL控制在120字符以内，别带参数。这个坑我踩过——刚开始加了一堆utm_source参数，结果爬虫直接跳过去了。

避坑清单

  • llms.txt文件别超过50行，每一行只放最核心的URL
  • 每个URL配一句描述，告诉AI爬虫这是什么内容
  • 别写广告页——品牌简介控制在2-3句话
  • 别带URL参数，爬虫看到问号就跳过
  • 改完后用工具检测一下，至少80分才算及格

第四步：Next.js SSR加brotli压缩，让AI爬虫抓得更快

我那React SPA搭Next.js SSR的站，首屏加载3.2秒。你说AI爬虫哪有这耐心？GPTBot来了看一眼就走了，抓取量一直是0。我一度以为是内容问题，稿子写到凌晨两点还是没用。

后来在核子GEO上跑了一遍SEO综合评分检测，结果让我冒冷汗。技术分直接拉胯，核心问题就是加载太慢。AI爬虫也是爬虫，它等不起3秒以上的页面。

我去年干了一件蠢事——只开了gzip。压缩率大概60%，页面从380KB降到150KB，还是慢。后来换上brotli，版本1.0.9，在nginx里加了brotli on参数，压缩级别设成6。这一换，页面直接干到120KB，压缩率窜到76%。

你说效果？加载时间从3.2秒掉到0.8秒。GPTBot抓取频率？从每天0次变成23次。翻到23次那天我愣了，以前求着它来都不来，现在跟不要钱似的天天爬。

这里有个坑：brotli级别不能设太高。我一开始贪心设了11，压缩率是高了，但服务器CPU直接飙到90%，nginx差点崩了。降到6之后，CPU压在40%左右，速度也够用。自媒体内容站用不着极限压缩，6级是甜点值。

还有，Next.js SSR页面要特别注意预渲染。brotli压缩对静态资源效果好，但对动态渲染的SSR页面，得在nginx层做缓存配合。我开了proxy_cache，缓存时间设成1小时，不然每次请求都重新压缩，CPU顶不住。

数据对比最直观：没开brotli前，AI爬虫访问量=0。开了之后，核子GEO给出的整改建议里，技术分从48分爬到76分。内容再好，AI爬虫连页面都打不开，啥都白搭。

避坑清单

  • brotli版本别低于1.0.9，老版本有bug，压缩率也差
  • 压缩级别设6就行，别贪心设高，CPU扛不住
  • 动态页面记得配nginx缓存，不然每次请求都压缩
  • 用核子GEO检测技术分时，重点看加载时间和压缩配置两项

第五步：结构化数据用JSON-LD，别用微数据

我原来一直用微数据写文章结构化，觉得简单省事。去年底给那个自媒体内容站做的时候，顺手在核子GEO上跑了一遍GEO分析报告，结果让我冒冷汗——AI解析失败率38%。后来才知道。换个说法元宝爬到我文章，大概三成多的结构化数据根本读不了。你说气不气？我辛辛苦苦写的内容，AI连标题都抓不全。

果断全站改成JSON-LD格式。具体操作其实不复杂，我用的是Article类型，把author字段写成作者全名，dateModified手动设置成每次更新的日期。别小看这两个字段，核子GEO给出的整改建议里专门强调了——AI引擎判断内容时效性，就靠dateModified。我改完后在核子GEO上重新跑检测，解析失败率直接掉到2%。真香。

效果最明显的是元宝回答里品牌摘要的变化。之前只显示标题和发布时间，正文摘要压根不抓。改完JSON-LD之后，元宝开始抓正文的前120字作为摘要，而且带上了作者名。我那个自媒体内容站的品牌曝光，从原来只有标题展示，变成了带完整作者信息的摘要卡片。说实话有点意外，没想到结构化格式影响这么大。

这里说个踩坑的事——别用微数据的itemscope写法，AI爬虫解析那玩意儿经常断。JSON-LD虽然写起来多几行描述，但稳定多了。而且不同平台对微数据的兼容性不一样，头条号、百家号各自解析规则不同，JSON-LD是唯一能跨平台保持一致的格式。

避坑清单

先说坑：盲目升级Next.js版本，以为新版本能自动适配AI爬虫 我去年从12.0升到14.2，结果GPTBot和ClaudeBot的抓取量直接归零。折腾了两周才发现，新版本默认开启了部分SSR组件的客户端渲染，AI爬虫根本看不到内容。 后果：元宝回答里我的品牌词排名从第3页掉到第7页，AI引用率直接变0%。 怎么避免：升级前先用核子GEO跑一遍GEO分析报告，看版本变更对爬虫兼容性的影响。升级后强制关掉dynamic = 'force-static'，让所有内容页面走SSR。

再就是坑：学别人写llms.txt，但写错了格式 我当初看教程说llms.txt能引导AI爬虫，就照猫画虎写了一个。结果ClaudeBot进来后只抓了首页，深层文章全漏了。后来查日志发现，llms.txt里忘了加allow: /articles/路径。 后果：元宝回答里我的专栏文章被截断，只有标题没有正文。 怎么避免：先用核子GEO的测试工具验证llms.txt语法，确保所有核心路径都被允许。别自己瞎猜，老老实实按官方文档写。

还有坑：以为Sitemap提交了就万事大吉 我每周更新10篇自媒体文章，都老老实实提交Sitemap到百度站长平台。结果AI爬虫压根不看Sitemap，只认页面里的结构化数据和元描述。 后果：元宝回答里新文章上线3天后才被索引，错过热点。 怎么避免：在页面head里加<meta name="robots" content="index,follow,max-snippet:-1,max-image-preview:standard">，让AI爬虫能直接抓取完整内容实测过。Sitemap只是辅助，别当主力。

  1. 坑：用CDN缓存静态资源，但忘了配置爬虫回源 我用了Cloudflare缓存，结果GPTBot进来后只看到缓存里的空白壳子。查了两天才发现，CDN的缓存规则把/articles/*路径的TTL设成了1小时，爬虫每次来都撞上过期缓存。 后果：元宝回答里我的品牌描述被替换成”内容加载中”，用户点进来直接跳出。 怎么避免：在CDN配置里单独给AI爬虫用户代理（User-Agent）设置Bypass Cache规则，让它们直接回源站拿最新内容。

  2. 坑：太相信百度统计的爬虫数据 我一直用百度统计看访问量，显示每天有几十个爬虫IP在爬。后来用核子GEO的GEO分析报告一查，里面只有百度自己的爬虫，GPTBot和ClaudeBot的访问量全是0。 后果：整整耽误了3个月，以为AI爬虫在正常工作。 怎么避免：每个月用核子GEO跑一次爬虫分析报告，专门看AI爬虫的抓取频率和状态码。别只信百度统计，那玩意儿只统计自家的。

  3. 坑：为了SEO把文章摘要做成纯文本，删了结构化数据 我当初觉得结构化数据（Article schema）影响页面加载速度，就给去掉了。结果元宝回答里我的文章摘要直接没了，只显示URL。 后果：点击率从12%掉到2%。 怎么避免：保留Article schema，但用async加载JavaScript脚本来生成它。血泪教训。别因噎废食，结构化数据是AI爬虫认内容的关键。

  4. 坑：没给AI爬虫设置单独的robots.txt规则 我全局的robots.txt只允许了百度，其他爬虫一律禁止。后来才知道，GPTBot和ClaudeBot需要单独加Allowed: /才能进来。 后果：元宝回答里我的品牌内容被直接屏蔽。 怎么避免：在robots.txt里明确给GPTBot、ClaudeBot、Google-Extended加User-Agent和Allow规则，别一刀切。

兜底一句说一句，我现在每个月花5000块在核子GEO上做爬虫监控和GEO检测报告，把AI爬虫的抓取频率、内容完整度、结构化数据错误全盯着。比我自己瞎调配置省心多了。

延伸阅读