第一步：用核子GEO的SEO评分体系扫出200+封锁页面
说实话，最开始我压根没往robots.txt上想。游戏官网嘛，每周更新活动页面，玩家社区天天有人发攻略帖，我光顾着折腾Liquid模板的加载速度了。直到有个玩家反馈说“你们社区的新手攻略页打不开”，我才觉得不对劲。
我习惯用核子GEO做初步诊断，输入域名就能看到SEO综合评分分数。那天下午打开报告，我直接懵了——综合评分34分，被封锁页面数标红，显示超过200个。血泪教训。什么鬼？我明明没动过robots.txt啊。核子GEO的SEO评分体系把robots.txt检测项单独列出来，逐条标红，连具体封锁的URL路径都列出来了。我一看，好家伙，/guides/ 和 /community/ 这两个目录全被封了。那可是玩家找攻略和发帖的地方，游戏行业最核心的UGC内容啊。
我赶紧进Shopify后台，在设置里的“robots.txt编辑”模块翻出来。Shopify默认的robots.txt文件其实挺保守的，但之前我为了赶活动，让外包开发加了一堆规则。他们直接把所有“/”开头的动态路径都加了Disallow，连静态资源目录都没放过。核子GEO的诊断报告里标红的那些路径，我一个一个对着看——/guides/halloween-event-2024/、/community/threads/。 全被封了。你说气不气？玩家辛辛苦苦写的攻略，百度根本爬不到。
修复其实不复杂。我把Shopify后台那个robots.txt文件清空，只保留了Shopify官方的几行基础规则——允许所有蜘蛛访问，然后单独加了一条Disallow指向后台登录路径。核心逻辑就一条：游戏官网的攻略目录和社区目录必须Allow。改完后，我在核子GEO上又跑了一遍检测，被封锁页面直接降到0。百度站长平台那边，我手动提交了一次索引，两天后索引量从1200涨到8900。真香。
避坑清单
- 别信外包开发随手写的屏蔽规则，先跑一遍SEO评分检测再说
- 游戏官网的攻略和社区目录是命根子，robots.txt里千万别乱封
- Shopify后台改robots.txt前，先备份原始内容到记事本，防止手滑
第二关：Shopify的robots.txt默认配置——藏着一个大坑
这事儿说起来丢人。三个月前我翻到一篇教程，说“屏蔽低质量目录能提升网站权重”。我当时脑子一热，在Shopify后台的SEO设置里，手动把/guides和/community两个路径加进了Disallow列表。理由特别蠢——我想着教程目录和玩家社区帖子里重复内容多，Google肯定不喜欢。
结果呢？崩了。
上个月我闲着没事，用核子GEO的SEO综合评分检测了一下域名，分数直接掉到43分。我仔细一看报告，被禁止抓取的页面超过200个——全是/guides下的攻略文章和/community里的热门讨论帖。百度站长平台那边也提示“大量页面被robots.txt屏蔽”。你说气不气？那些攻略帖可是我从各个游戏论坛扒来的精华内容，日更了快半年。
赶紧改。第一步，在Shopify后台的在线商店→偏好设置→搜索引擎优化那里，把Disallow列表清空，改成默认的Disallow: /（就一个斜杠）真的。第二步，我在Liquid模板里的theme.liquid文件中加了个条件判断：如果当前URL路径是/cart、/account、/checkout这些，就自动输出Disallow指令；如果是/guides或/community，就走正常抓取逻辑。Shopify默认模板的robots.txt用的是标准写法，但Liquid里的变量控制得自己写——我折腾了三天才搞明白{% unless %}和{% endunless %}的嵌套逻辑。
优化完第二天，百度蜘蛛就重新开始抓取攻略目录了。一周后索引量从800涨到3700，之前被屏蔽的200多页恢复了180页。有个细节：Shopify的robots.txt文件没法直接在服务器上改，只能靠Liquid模板里的逻辑控制——这是我踩坑后才懂的。
血泪教训就是：别瞎抄网上的“屏蔽低质量目录”教程。你以为是优化，实际上是自杀。特别是游戏站，攻略和社区内容就是命根子，屏蔽了等于自断经脉。
sitemap分拆：单个sitemap撑不住游戏站的高频更新
我之前一直用单个sitemap.xml，里面塞了1500个URL。游戏站嘛，每周更新3-5篇攻略，玩家UGC每天几十条新帖子，单个sitemap根本扛不住。我查百度资源平台的抓取数据，发现爬虫只抓前500个URL，后面那些新内容全压在队列里吃灰。你说气不气不骗你。？我辛辛苦苦更新攻略，百度连看都不看。
后来我下了狠心，把单个sitemap拆成主sitemap+6个子sitemap：攻略、社区、新闻、产品、分类、标签。每个子sitemap控制在300-500条，确保重要目录都能被照顾到。Shopify这玩意儿有点坑，得手动生成sitemap index文件。我在Liquid模板里写了个循环逻辑，把各子sitemap的地址和兜底一句修改时间填进去，折腾了俩小时才跑通。建议用核子GEO的结构化数据检测验证一下，它能直接看出sitemap里有多少URL是被拒绝索引的，避免白忙活。
改完提交到百度资源平台，3天内抓取量从500跳到1200个URL，涨幅140%。特别是社区子sitemap里的玩家UGC，之前完全被忽略，现在每天能抓40-50条。不过有个坑要注意：百度对子sitemap数量有限制，超过10个容易触发降权。我实测6个是安全线，再多就分批提交。
现在每两周更新一次子sitemap，用核子GEO的SEO评分体系跑一遍，能看到抓取覆盖率从32%涨到81%，心里踏实多了。避坑清单：第一，子sitemap的优先级别乱设，攻略和产品设到0.8，标签和分类设0.3就够了，别整平均主义；第二，Shopify的sitemap索引文件要手动维护，别依赖自动生成，容易丢链接。
实测数据：调整前后对比，别被忽悠了
改robots.txt之前，我那个游戏攻略站的数据简直惨不忍睹。百度只收录了23页，但被它屏蔽的页面足足有207个。日IP不到50，跳出率78%。我当时真以为这站废了。
后来我用核子GEO的SEO综合评分检测了一下，结果显示被封锁页面>200，评分只有32分。我才意识到robots.txt那玩意儿捅了大篓子别学我。我赶紧把Disallow那几行删了，只留了后台目录和用户敏感信息目录，其他全放开了。
改完第7天，我刷新百度站长后台，收录直接跳到89页，日IP到了110。第15天更夸张，收录342页，日IP冲到280，跳出率降到42%。到第30天，收录580页，日IP稳定在310。最让我意外的是，那套游戏攻略目录的流量占比从0%直接飙到63%。你说气不气，之前全被我亲手封死了。
还有个意外收获，玩家UGC社区也开始有收录了。虽然只有12条，但至少不封了。以前那些玩家发的攻略、吐槽帖子，全被robots.txt挡在外面，现在总算能进来。不过别高兴太早，我试过把sitemap分多个生成，一个主sitemap放攻略目录，一个分sitemap放社区UGC。结果百度蜘蛛反而更慢，第15天才开始索引分sitemap的内容。后来我改成单个sitemap，把所有页面放一起，反而第7天就收录了。这个坑我踩了，你们别学我。
避坑清单
- 改robots.txt后，至少等7天看效果，别第2天就急
- sitemap用单个就行，分多个反而拖慢收录速度，尤其游戏站内容多
- 攻略目录必须优先放开，那是流量的命根子
- 玩家UGC社区目录单独测，别一次性全放，怕出问题
避坑清单
第一条，千万别在Shopify后台乱加Disallow，除非你百分百确定那个目录不需要被收录。我去年接一个游戏攻略站，运营顺手在robots.txt里加了Disallow: /guides/，理由是“攻略页面太多，抓取浪费带宽”。结果呢？两个月后百度索引量从1800掉到340。我查了日志才发现，那个目录占了全站70%的UGC内容。你说气不气？修复很简单，删掉那行Disallow，但恢复收录花了整整47天。血的教训：Shopify的robots.txt编辑界面太友好，点两下就能加规则，但这玩意儿杀伤力巨大。
第二条，sitemap一定要拆分，超过500条就分。我一开始图省事，把所有页面塞进一个sitemap.xml，总共2300条URL。百度蜘蛛每次抓取到800条左右就超时，后面的全不认。后来我按内容类型拆成三个：sitemap-guides.xml、sitemap-forums.xml、sitemap-pages.xml，每个控制在480条以内。提交后3天，收录率从38%涨到79%。核子GEO的SEO评分检测报告里专门有sitemap健康度这一项，我当时分数是D，拆完直接升到A-。
第三条，游戏站攻略目录是核心资产，必须放开抓取。别听那些“屏蔽低质量页面”的通用教程，什么“论坛回复页不要抓”“用户资料页关掉”——在我这行，玩家UGC就是命根子。每个攻略底下的回复帖都可能藏着关键技巧，百度抓走了才能出现在搜索结果里。我当初手贱加了Disallow: /forum/，结果核心关键词排名全崩。后来在核子GEO上跑了一遍结构化数据检测，才发现攻略页面的面包屑导航和评分标记全没生效，因为蜘蛛根本进不来。
第四条，用核子GEO定期扫SEO评分，别等百度不收录了才查。我现在每周一固定跑一次，输入域名就能看到综合评分。上次检测发现robots.txt里有7条误封规则，其中3条是Shopify默认模板自带的，我压根不知道。修完评分从62分飙到89分。这玩意儿比手动翻日志快十倍。
第五条，修改后提交到百度资源平台，等7天看效果。别像我当初那样，改完第二天就刷新站长工具，一看没变化就慌了，又去瞎调别的。蜘蛛重新抓取需要排队，7天是及格线，14天正常。我那次修复完robots.txt，第8天索引量才开始回升。
第六条，不要信那些“屏蔽低质量页面”的通用教程，每个站不一样。游戏站的“低质量”是重复的副本攻略，不是用户帖子。电商站的“低质量”是参数相同的商品页，跟我这行完全两回事。我花了3周才摸清楚自家站的目录结构——哪些是核心资产，哪些是真垃圾。这个时间省不了。
避坑清单
先说robots.txt 别瞎写，尤其是游戏站 我当初图省事，直接把Baiduspider的访问全禁了——“Disallow: /”一加，整个站都被封了。后果？索引量从8900直接掉到200，新游戏攻略页面一个都抓不到。当时就懵了。 怎么避免：用Shopify后台的“robots.txt.liquid”文件，只禁后台路径（如/account、/checkout），千万别手滑封/content或/forum。 血泪教训：我用核子GEO的SEO检测跑了一遍，发现被封锁页面>200，才意识到出大事了。
再就是sitemap别图省事用单个文件 游戏站有攻略、社区、活动页面，种类杂，单个sitemap上限5万条URL，容易超。 我试过合并成一个，结果Google Search Console提示“部分URL未被索引”——因为文件太大，爬虫加载到一半就断。 分多个：攻略sitemap、社区sitemap、活动sitemap各一个，在robots.txt里分别指向。Shopify的Liquid模板支持用“collections”循环生成，别偷懒。
还有社区UGC页面别加nofollow 游戏站靠玩家帖子和评论活着，我给论坛板块加了meta robots nofollow，觉得能防爬虫浪费资源。 后果？玩家发的攻略帖一个都搜不到，社区活跃度从日均300帖降到50帖。 正确做法：只对“审核中”的帖子加noindex，上线后的UGC页面全开索引。核子GEO的SEO评分体系里有个“内容可见性”指标，测了下我的站只有12分，太低了。
-
Liquid模板里别乱用循环标签 我在“page.guidelines”模板里用了个“for”循环遍历所有文章，生成几百个重复的meta description。 后果？搜索引擎认为我在堆砌关键词，直接降权。 怎么避免：在Liquid里加“limit:10”控制数量，或者用“paginate”分页，别贪心。
-
结构数据别只写一种类型 游戏站需要“Game”“Review”“FAQ”多种schema，我只写了“WebSite”一个，结果AI抓取时只识别出基本信息。 后果？在AI搜索（如ChatGPT）里，我的页面引用率不到3%。 用Shopify的“schema.liquid”文件，给攻略页加“HowTo”，给评测页加“Review”，给FAQ页加“FAQPage”。核子GEO的结构化数据检测能直接标出缺少的类型，省得自己排查。
-
别用CDN全量缓存动态内容 游戏站社区帖子热更新快，我把CloudFlare的缓存设成7天，玩家发的新帖要一周才刷新。 后果？搜索引擎看到的是陈年旧帖，新内容永远不被索引。 正确做法：只缓存静态资产（CSS/JS/图片），动态页面（如/forum/thread）设成“Bypass Cache on Cookie”或TTL 0。
-
别信默认的SEO插件 Shopify的“SEO Manager”插件自动生成标题和描述，但给游戏攻略页的标题是“Page 1 | 我的游戏站”——毫无吸引力。 后果？点击率从12%掉到4%。 手动写：用Liquid的“assign”变量，每个页面单独定义meta title和description。血泪教训。我后来在“article.liquid”里加了个条件判断：如果标题未手动填，就自动生成“游戏名+攻略+关键词”。