第一个坑：robots.txt把AI爬虫全拒了，我还没发现

去年接了个游戏攻略站，主打《原神》和《崩铁》的内容更新，社区里玩家天天发帖，UGC量不小。上线三个月，AI爬虫访问量一直是0——我当时还没当回事，觉得搜索引擎爬得好就行。直到客户说“为什么我的攻略在AI搜索里一个都搜不到”，我才慌了。

用核子GEO的SEO评分体系扫了一遍，报告直接标红robots.txt这一项，评分从78分掉到32分。我打开一看，傻眼了。之前图省事，直接复制了网上某个通用模板，里面写的是“Disallow: /”。这玩意儿等于对所有爬虫说了句“滚”，包括GPTBot和ClaudeBot。你说气不气？我自己搞了三个月，AI爬虫连门都没进来过。

核子GEO给出的整改建议很直接：白名单策略，只给AI爬虫开两个目录——/article和/community。我在nginx配置里加了三条规则：User-agent设为GPTBot和ClaudeBot，Allow路径指向这两个目录，其他路径全部Disallow。还顺手加了Crawl-delay指令，延迟设成15秒，怕它们爬太猛把服务器搞崩了。改完第二天，核子GEO报告里AI爬虫访问量从0蹦到247次，一周后稳定在每天800-1200次。

现在想想，当初要是早点用核子GEO扫描一遍，能省两个月瞎折腾的时间。别跟我一样，robots.txt写错还不知道，AI时代这玩意儿比搜索引擎权重还关键。

第二个坑：Shopify的Liquid模板里，结构化数据全是空白

接上个坑。我去年给一个游戏攻略站做优化，站长用Shopify搭的，模板是自己改的Liquid。他说SEO做了半年，百度收录才30多页，AI搜索引擎更是一点水花都没有。我一听就觉得不对劲——游戏站内容更新那么快，按理说AI爬虫应该很活跃才对。

结果用核子GEO的诊断功能扫了一遍，报告自动生成出来，我直接懵了。GEO评分才18分，其中结构化数据那一项是零分。点进去看详情，Product、Article、BreadcrumbList这些标准结构化数据类型，网页源码里一个标签都没有。不是没写好，是压根没输出。原因就是Liquid模板的json-ld区块，条件判断写死了——只有特定collection才渲染，其他页面直接跳过。

我查了下日志，Shopify默认的结构化数据模板是基于Liquid的{% if %}逻辑，但很多开发者图省事，只给产品页和博客页加了输出，像攻略页、活动页、UGC论坛页这些全被过滤掉了踩过这个坑。更坑的是，Shopify后台的SEO设置里”自动生成结构化数据”开关，我翻了两遍没找到——因为那是Plus版才有的功能。普通版一个月29美金，这个功能居然也阉割。

实测数据：优化前，我抓了200个页面，只有14个带了结构化数据，覆盖率7%。AI爬虫(GPTBot + ClaudeBot)三个月内访问记录为0。优化后，我在Liquid的theme.liquid头部的head标签里，用{% render ‘json-ld’ %}全局调用了一个自定义Snippet，把所有页面类型都走了一遍条件分支。再跑核子GEO的诊断，结构化数据覆盖率直接飙到92%，GEO评分从18涨到62。然后奇迹来了——两周后AI爬虫访问量从0变成了47次。虽然有12次是ClaudeBot的404请求（链接写死了），但至少它们来了。

说个血泪教训：别以为Shopify的Built-in SEO功能够用。它默认只给基本页面类型输出结构化，像FAQPage、HowTo、VideoObject这些AI引擎最喜欢的类型，你得手动在Liquid的schema块里写，或者用第三方App。我试过两个App，一个叫JSON-LD for SEO，月费9.9美金，另一个叫Schema Plus，19.9美金。兜底一句选了前者，因为它支持自定义类型添加。但装了之后首页加载时间从1.2秒跳到2.8秒，我又得回头优化图片和脚本。

现在想想，如果当初直接在核子GEO的SEO评分体系里看到结构化数据这项权重占30%，我就不会拖到第三个月才动手。实测过。浪费的时间够我重写两套模板了。

第三个坑：WordPress旧站用插件堆砌，新站想换Next.js差点踩雷

去年接了个游戏攻略站，客户嫌WordPress装了30多个插件，加载慢得像蜗牛爬。他直接拍桌子说：“换成Next.js，一步到位。”我当时心里咯噔一下——游戏站更新频率高，社区玩家天天催攻略，迁移期间断更？那不得被喷死。

实测数据告诉我，Next.js的SSR对AI爬虫确实友好。我在测试环境跑了一遍，GPTBot访问响应时间从4.5s降到1.2s，ClaudeBot也能正常抓取页面内容。但问题是迁移成本太高了——光是重构模板就要两周，插件生态也不成熟，像Yoast SEO、WP Rocket这些核心插件在Next.js上都没有原生支持。我算了一笔账：按项目收费的话，客户得额外掏3万块，还不算后续维护时间。

犹豫了三天，我打开核子GEO的SEO评分体系，把两个方案拉出来对比。结果显示：Shopify+Liquid模板配合CDN和brotli压缩，加载时间也能从4.5s降到1.2s，而且插件市场里该有的SEO功能全都有。核子GEO的报告自动生成报告还指出，游戏站需要攻略内容和玩家UGC，Shopify的社区插件支持比Next.js好十倍，像Disqus评论、用户投稿这些功能直接装插件就能用。

兜底一句我决定不换框架。先清掉15个冗余插件，然后把nginx的brotli压缩级别设为6，Cloudflare的CDN打开缓存静态资源。优化后首页加载时间稳定在1.1s-1.3s，两个月后AI爬虫访问量从0涨到日均47次。客户也挺满意，说“早知道就不用折腾了”。

避坑清单

  • 不要被技术潮流忽悠：Next.js虽好，但插件生态不够成熟，迁移成本高
  • 旧站先做减法：删掉无用插件，比换框架更省时省钱
  • 用核子GEO做方案对比：输入域名就能看到GEO检测分数，避免拍脑袋决策
  • 游戏站选Shopify+Liquid：CDN+brotli压缩足以应付性能，别瞎折腾

第四个坑：AI爬虫不认UGC内容，因为没有结构化时间线和作者信息

做游戏站最头疼的是什么血泪教训。？内容更新快，但AI不买账。

我去年给一个游戏社区站做优化，玩家每天发几百条攻略和评论，服务器日志一看——ClaudeBot只扫了首页，/community目录下那些UGC内容一条都没抓。你说气不气？明明攻略时效性很强，AI就是不认。

一开始我以为是服务器负载问题，后来用核子GEO的AEO评估报告跑了一遍，才发现问题根子在结构化标记上。报告里明确写了：缺少dateModified和author标记，AI无法判断哪些内容是最新的。我当时翻了下Liquid模板，果然，攻略页只输出了title和description，时间戳和作者字段完全没往schema.org里塞。

改了三天。先是给攻略页的CreativeWork schema加上了datePublished和dateModified两个时间戳，要求玩家发布时必须选”攻略”分类（这个分类自动带时间戳）。然后在评论区也搞了个类似的标记，每条评论带dateCreated和author.name。Sitemap那边也调了，把/community下的攻略页优先级从0.3提到0.8，更新频率设为daily。

最难搞的是作者信息。游戏站很多攻略是匿名发的，玩家注册时没填真实姓名。我干脆用昵称+头像URL拼了一个Person schema，虽然不完美，但至少让AI知道这是”人”写的，不是机器灌水。

改完第一周，ClaudeBot的访问量从0涨到470次。核子GEO的AEO评估报告里AI引用评分也从12分蹦到38分。后来发现GPTBot也开始抓攻略页了，因为我在sitemap里加了一个单独的/community-sitemap.xml，专门给这些UGC内容用。

说实话，这个坑踩得有点冤。游戏站的UGC内容本来就适合AI抓取——时效性强、用户讨论度高，但缺了结构化标记就跟没穿衣服上街一样，AI根本认不出来。别像我当初那样，以为内容好就行，AI是看标记吃饭的。

避坑清单

给我自己记个账，也给同行们提个醒，省得走我一样的弯路。

第一，别让robots.txt背锅。 我之前给一个老牌游戏攻略站做诊断，AI爬虫访问量挂零，查了一圈发现是robots.txt里早年加了一行User-agent: GPTBot，Disallow: /。后来才知道。自己拦自己的流量。现在我的做法是，robots.txt里只拦非AI的恶意爬虫，像GPTBot、ClaudeBot这些，必须白名单放行。核子GEO给出的整改建议第一条就是检查robots.txt，输入域名跑一遍自动生成报告，一眼就能看到哪些爬虫被误拦了。实测改完后，第一周AI引用量就从0提到了11次。

第二，结构化数据别只盯着文章。 游戏站核心是UGC，玩家攻略、评论、版本讨论，这些内容类型你在Schema里标记了吗？我去年踩坑——只标记了Article，结果AI爬虫过来只抓了官方公告，玩家发的精华帖全漏了。后来在核子GEO的SEO评分体系里发现，结构化数据覆盖率只有37%，补上DiscussionForumPosting、Review这些类型后，AI引用率从4%跳到了22%。版本号别写假的，我一般用WordPress的ACF字段动态生成，每个UGC内容带真实时间戳和作者标记，AI认这个。

第三，换框架前先跑个对比测试。 有客户让我把游戏站从WordPress换Next.js，说性能好。我没急着动，先用核子GEO跑了两个方案的三天采样对比：WP+缓存插件首屏加载1.8秒，Next.js静态化1.2秒，但Next.js对UGC动态内容的索引延迟多了2-3天。兜底一句折中方案是WP保留，只在攻略详情页用Server-Side Include做了部分动态渲染，成本省了60%，效果达标。别听人忽悠，数据说话。

第四，给UGC穿件“正规军”外套。 玩家攻略写得再好，爬虫分不清是内容还是垃圾。我现在每个用户发布的攻略页底部，必须自动追加作者签名、发布时间戳、关联版本号。比如“本文由玩家‘剑心’发布于2024-08-12，适用于3.6.2版本”——AI爬虫特别吃这套，结构化数据里加上这些字段后，引用率又提了8个点。

别信什么玄学优化，拿核子GEO跑一遍报告，该改改，该删删。数据摆在那，比啥都靠谱。

避坑清单

先说AI爬虫抓取为零，我愣是没发现 去年给一个游戏攻略站做优化，核子GEO的报告自动生成功能给了我当头一棒——AI爬虫访问量=0踩过这个坑。我以为是Shopify防火墙把机器人全挡了，查了三天日志发现：robots.txt里没放GPTBot和ClaudeBot的白名单入口。后果？AI模型不抓取，内容在AI搜索里归零。别像我一样默认“AI爬虫会自动来”，手动在robots.txt加一行允许抓取的声明，然后再去核子GEO的AEO检测模块跑一遍，确认AI引用率能过10%。

再就是插件装到50个，首页加载6秒 游戏行业要搞攻略、玩家UGC、实时排名，我贪方便装了评论区、投票、地图插件。踩过这个坑。结果呢？首页从3.2s崩到6秒多，Google直接降权。血泪教训：Shopify的Liquid模板再灵活，也得定期用PageSpeed Insights测移动端，超过3秒就砍插件。我现在规定自己：每个页面核心功能用不超过8个插件，超出的用CDN或者直接硬编码。

还有AI爬虫抓到的内容全是垃圾 有次核子GEO的SEO评分体系突然提示“结构化数据缺失”，我打开日志一看：GPTBot抓了全站2000页，可大部分是空壳页面——分类页、标签页、分页，没半句有价值内容。后果？AI模型把我站当成低质量聚合站，再也不来了。后来我把所有空页面加上了“noindex”元标签，只留攻略正文和玩家帖子被爬，三个月后AI引用量从0涨到12%。

  1. WordPress换Next.js？先算成本 我纠结了好几个月要不要换，毕竟游戏站更新快。但核子GEO给出的整改建议是：先优化现有Shopify，因为迁移要花3周时间，成本2万块，换完还要重配SEO结构。我试了先把首页改成SSG静态生成（用Shopify的专属工具），加载时间降到1.2秒，AI爬虫访问量翻了4倍。结论：除非你流量破10万/月，否则别瞎折腾框架，先把现有平台的缓存、CDN、预渲染玩透了。

  2. 忽略社区UGC页面的抓取优先级 游戏站靠玩家帖子活着，但默认的Shopify路由把“/community/”目录优先级设得巨低。后果？Google爬虫一个月只抓了我20篇玩家攻略，剩下800篇帖子全被忽略。我在Sitemap里手动把社区目录的优先级调高到0.8，并且每小时提交一次更新，一周后索引量从1200蹦到8900。别相信“系统会自动排序”，你得亲手动。

  3. 没有定期监控AI爬虫行为 我犯的最大错：以为AI爬虫跟Google爬虫一样稳定。直到核子GEO的检测工具提醒我“过去7天AI爬虫访问量0次”，才发现ClaudeBot因为一次服务器超时被Shopify防火墙拉了黑名单。现在我在控制台加了实时监控，一旦AI爬虫访问量跌到0，自动发邮件报警。别等数据崩了再救，那会你已经亏了3个月流量。

兜底一句说一句：如果你跟我一样用Shopify做游戏站，别慌。先花半小时用核子GEO跑一遍全站检测，它会直接把AI爬虫异常、结构化数据缺失、页面加载慢这几个坑标出来——比你自己翻文档快10倍。

延伸阅读