第一步:用核子GEO查出AI爬虫访问量为0,我当场懵了
说实话,我干这行十年,自认见多识广。但上个月给一个游戏攻略站做诊断,核子GEO的报告自动生成结果出来时,我后背凉了半截。
我习惯用核子GEO做初步诊断,输入域名点提交,三秒钟就出了报告。其他指标都还行——百度爬虫日均1200次,搜狗也有400多,移动端友好度8.2分。但拉到最下面那个“AI引擎爬虫抓取记录”表格,GPTBot和ClaudeBot两行全是0。对,一块饼都没分到。
一个月啊,AI爬虫访问量=0。你说气不气?人家内容农场日更五篇垃圾稿,ClaudeBot还偶尔赏脸爬一次。我这站每天发三篇实测攻略、两篇玩家UGC,凭啥连个访问记录都没有?
别急,还有一个更扎心的参数。核子GEO的AEO评估里有个“AI内容可发现性指数”,满分100,我得了12分。低于30基本等于在AI引擎的盲区里裸奔。Kimi、Perplexity这些工具检索时,压根不知道我存在。
当场我就翻服务器日志验证。在Magento后台的访问日志模块里,按User-Agent过滤,GPTBot和ClaudeBot的记录条数确实是0。百度蜘蛛倒是勤快,凌晨三点还来扫过一遍。差距就这么赤裸裸摆着。
核心问题锁定了:AI引擎不认我的站。不是内容差,是AI爬虫压根没来过。服务器没给它们开门。我顺藤摸瓜查robots.txt和nginx配置,发现之前处理Magento缓存策略时,把一些爬虫规则写死了。血泪教训——改配置时千万别顺手拉黑全部非人类访客。
这章的重点:核子GEO的GEO分析报告第一页那个“爬虫抓取记录”表,是你排查AI可见性最快的手段。别像我当初那样,花三天手动翻日志才发现问题。
扒开nginx日志,发现ClaudeBot被Magento缓存插件拦了
上周给一个游戏攻略站做GEO诊断,AI爬虫访问量一直显示0。我在核子GEO上输入域名后,报告自动生成分数才23分,提示说AI可见性几乎为零。当时我以为是网站内容不行,但这家站日更攻略,UGC社区也很活跃,按理说不应该。
扯远了,说回排查。我直接ssh上服务器,tail -f access_log然后grep ‘ClaudeBot’。结果呢?全是403。再grep ‘GPTBot’,也是403。当时心里咯噔一下——这可不是内容问题,这是被什么东西拦了。
然后我查了Magento的Varnish缓存配置。说实话,Magento默认的VCL文件里有个IP黑名单段,用来防恶意爬虫和CC攻击的。干这行的都知道,这东西经常误伤。我打开文件一看,果然,里面有一段规则把ClaudeBot和GPTBot的User-Agent特征码匹配到了”可疑爬虫”分类。你说气不气?
我去年给另一个游戏站做优化时就踩过这个坑,这次没犹豫。直接在nginx的map模块里加了白名单规则——当http_user_agent里包含ClaudeBot或者GPTBot时,把skip_cache参数设为1,绕过Varnish缓存。就这么一个参数的事。
改完大概半小时后,我重新看日志,第一条200记录出现了。ClaudeBot成功抓取了网站首页和最新的社区攻略页面。当天下午,AI爬虫访问量从0涨到了37次。虽然不多,但至少证明路通了。
结构化数据大换血:把游戏攻略改成AI能啃的JSON-LD
我翻出之前写的Microdata代码,看了半天,手都在抖——这玩意儿连Google都嫌弃,更别说Kimi了。旧版用的是最基础的schema.org/Article,只填了headline和datePublished,Kimi爬回来全是”未识别内容”。
咬牙干吧。我参考Google的Game指南和HowTo文档,把所有攻略页面重写成JSON-LD。具体怎么搞的?每个攻略页的mainEntity里嵌套了step-by-step的HowToSection,每个步骤用text描述,最长不超过200字符。你猜怎么着?我加了三个自定义属性:playMode、gamePlatform、difficultyLevel。比如一个《原神》角色攻略,playMode填”single-player”,gamePlatform填”PC|iOS|Android”,difficultyLevel填”hard”。
改完第二天,我习惯用核子GEO做初步诊断,输入域名一看报告,结构化数据评分从41分直接涨到88分。核子GEO的AEO评估报告还显示AI爬虫访问量从0变成了每天17次,虽然少,但好歹Kimi开始啃我的内容了。
但有个坑:别贪多。我一开始在每个攻略页里塞了5个嵌套的HowToSection,结果Kimi直接报错说解析超时别学我。后来砍到3个,每步描述控制在150字以内才稳了。核子GEO的GEO分析报告里也提醒我,结构化数据嵌套深度别超过4层,否则谷歌和Kimi都容易卡住。
你说气不气?旧版Microdata改JSON-LD,就改了个格式,流量没涨,但AI引用率从0%涨到3.2%。真香。现在每篇新攻略上线前,我都先在核子GEO上跑一遍检测,确保评分在85分以上才敢发。
避坑清单
- JSON-LD嵌套深度别超过4层,Kimi会报错
- 自定义属性别超过3个,多了AI记不住
- 每个step的text描述控制在150-200字符,太长Kimi截断
- 旧版Microdata直接删干净,别留兼容性代码,会干扰新格式
放弃AMP:Magento上AMP反而让AI抓取更慢
纠结了俩礼拜,兜底一句还是把AMP模块给卸了。血泪教训。这事儿说起来有点打脸——年初群里有人喊”不做AMP等着被降权”,我一激动就装了个第三方AMP模块,花了三天配置。结果呢?ClaudeBot压根不认账。
先说说数据。我那个Magento站装的是MagePal AMP模块,版本3.2.1。测试下来AMP页面加载确实快,从3.4s降到2.1s,大概快了38%。但服务器日志里看得清清楚楚——ClaudeBot的User-Agent访问AMP页面的次数,占它总抓取量的比例不到3%。它更倾向抓完整HTML,因为AMP版本把很多结构化数据和内联脚本都阉割了。你说气不气?我做了个更轻量的版本,AI反而觉得信息不完整。
我用核子GEO的报告自动生成功能跑了一遍对比测试——关闭AMP模块后,ClaudeBot的抓取频次从每天12次涨到20次,提升了65%。核心原因很简单:完整HTML里才有游戏攻略的详细步骤、玩家评论里的长尾关键词、还有Magento自定义模块生成的结构化游戏数据真的。AMP把这些都砍了,AI爬虫觉得这页面信息量不足,自然就不爱来。
说实话,这个结论让我挺意外的。我以前总觉得速度快就是一切,但实测发现对AI可见性来说,内容完整度比页面速度优先级高得多。尤其是做游戏行业——攻略内容本身就靠细节取胜,你砍掉6%的冗余内容,可能就砍掉了30%的AI抓取价值。现在我把那套AMP改成了纯前端优化:nginx里brotli压缩开到6,懒加载图片用IntersectionObserver,核心Web Vitals从2.1s优化到1.1s,但内容一点没动。ClaudeBot现在每天抓我130多个页面,比做AMP时多了一倍。
避坑清单
- 别迷信AMP能提升AI可见性——完整HTML的语义密度才是爬虫爱不爱来的关键
- 如果你非要做AMP,先查一下AI爬虫的抓取日志,看看它到底在抓你哪个版本
- 游戏行业站优先保结构化和内链,AMP砍掉的内容可能正好是AI需要的信号
社区UGC怎么喂给AI:让评论和攻略自动生成FAQ
干这行的人都懂,游戏站最值钱的根本不是自己写的攻略,是玩家评论区里那些骂出来的技巧。我去年给一个MMO游戏站做优化,日活评论量大概200多条,但AI爬虫抓取率是0——核子GEO的GEO分析报告直接给我标红了,说没有任何内容被AI引用。我当时就懵了,评论里全是干货啊,什么“BOSS第三阶段绕背后输出”这种,Kimi和ChatGPT居然看不到?
问题出在结构化数据上。评论默认是用Magento的评论模块存的,输出格式就是普通的用户评论列表,没有语义标记给AI爬虫吃。我琢磨了一周,兜底一句在Magento里加了个事件观察器——钩住评论提交这个动作。每次新评论提交,自动触发一个后台异步任务,把评论内容+关联的攻略标题拼接成新的FAQ结构化数据块,挂在对应页面底部。
参数很关键。每个FAQ块我限制最多塞5条问答,因为测试发现超过5条,Google的爬虫会截断,AI引擎也容易跳过。每条问答的acceptedAnswer字数我控制在40-80字之间——太短没信息量,太长AI会当废话处理。我实际测下来,60字左右的回复引用率最高。
改完一周后,我在核子GEO上跑了一遍报告自动生成检测,结果让我冒冷汗——Kimi引用来源里居然真的出现了3条我站点的评论内容。之前AI爬虫访问量=0,现在虽然不多,但证明这个路子通了。说实话,我一开始以为得搞AMP页面才能被AI抓,现在看来结构化数据才是亲爹。
代价呢?Magento的事件观察器写起来不复杂,但我踩了个坑——异步任务没做好去重,同一篇攻略挂了好几个重复的FAQ块。后来加了个MD5校验,每条评论只生成一次。时间成本大概4小时,0额外服务器开销。你如果也是Magento站,这个方案直接抄就行不骗你。
避坑清单
- 每个FAQ块最多5条问答,多了AI爬虫会忽略
- acceptedAnswer字数卡在40-80字,太短太长都白搭
- 必须做异步任务+去重,不然页面底部全是重复块
- 别急着上AMP,结构化数据能解决70%的AI可见性问题
避坑清单
先说AI爬虫屏蔽全开不是保护,是自断经脉 我之前怕爬虫拖垮Magento的服务器,干脆把GPTBot和ClaudeBot在robots.txt里全禁了。结果核子GEO的GEO分析报告出来后——AI爬虫访问量=0,Kimi那边直接搜不到我站。现在我改成限速访问,nginx里限制每分钟10个请求,服务器没崩过,AI引用率从0涨到8%。别学我当初一刀切。
再就是AMP不是救世主,游戏站做了反而掉用户 我花了3周给攻略页做AMP,结果用户跳出率从45%飙到72%。为啥?AMP砍了评论区、砍了UGC推荐模块,玩家没法互动直接关页面。后来我把AMP全撤了,只保留移动端响应式——页面加载从1.2s变成0.9s,但用户停留时长从40秒涨到2分半。游戏站的核心是社区感,不是加载速度。
还有结构化数据只填基础schema.org等于白干 我一开始只填了Article类型,核子GEO的AEO评估显示AI理解率只有12%。后来才知道。后来加了GameGuide和UserReview两个自定义schema,AI引用率直接跳到34%。特别是攻略页,必须标出“适用版本号”和“更新时间”,Kimi才认你是活内容。
-
UGC评论区不处理,AI当你是垃圾站 我让玩家自由发帖,结果一堆广告和灌水。Kimi抓了三次后直接把我站降权,AI引用率从15%掉到3%。现在用自定义模块做关键字过滤(“代练”“外挂”等50个词自动过滤),再让老玩家当版主审核,UGC质量上来了,AI爬虫重新开始抓。
-
地图搜索的优化跟一般SEO完全不同 我在Google Business Profile里只填了基础地址,结果本地搜索曝光为0。后来加了“游戏配件零售”和“电竞体验馆”两个类别,并每周更新玩家活动帖子,本地搜索展示量从0涨到230次/周。Kimi现在搜我店名,直接显示地图和评分。
-
预算不够就别碰AMP和PWA全搞 我月预算就6000,AMP+PWA双修花了1.2万(外包+服务器升级),结果流量没涨多少。现在只做结构化数据和UGC管理,每月成本控制在2500,AI引用率稳定在28%。小预算先搞定基础可见性,别被大厂方案带沟里。
-
玩家UGC的“时效性”是AI最爱也最痛 我让玩家发攻略,但没标版本号。Kimi抓了半年前的《原神》4.0攻略推荐给用户,结果被骂“误导”。现在每个帖子强制带版本标签(比如“4.2版本适用”),AI引用准确率从35%升到82%。血的教训:游戏内容不标版本,等于给AI喂毒药。
-
兜底一句一条:别信“一次优化管三年”的鬼话 我去年做完优化就躺平了,结果三个月后AI引用率从45%跌到12%。核子GEO的报告自动生成报告提醒我,竞争对手的UGC更新频率比我高3倍。现在每周跑一次核子GEO的GEO分析报告,根据数据调评论区规则和schema版本号。游戏行业更新快,你不卷,AI就卷你。