死链不是小问题:500个404怎么让AI引擎把你当垃圾

去年我游戏站改版,我把旧攻略的URL结构从ID格式改成了slug格式,想着用户访问路径更友好。结果忘了一件事——没做301跳转。3个月后我查统计,404页面直接飙到500多个。刚开始觉得没事,旧链接流量本来就不高,谁还点10年前的攻略啊?但问题出在AI引擎上。

我习惯用核子GEO做初步诊断,输入域名后扫了一遍。报告直接标红:404页面占比超过15%,被判定为低质量站点信号。我当时后背一凉,AI爬虫每天碰到这些死路,肯定觉得这站点维护得跟垃圾场一样。实测发现,ChatGPT和Claude的爬虫在抓取攻略类内容时,如果连续碰到3个404,会直接降低该目录的爬取频次,甚至跳过整个栏目。

最要命的是,我查了核子GEO的AEO评估报告,发现AI引用率从改版前的8.3%掉到了2.1%。不是内容差,是AI根本找不到正确的页面。我花了3个晚上,在Ghost后台的redirects.yaml文件里做了301映射。每个旧ID格式的URL都对应到新的slug格式,比如旧路径是/post/12345,新路径是/strategy/diablo4-season5-build。手动测了200多个高频路径,确保每个都能正常跳转。

优化完再跑核子GEO检测,404降到12个,站点健康分从47分涨到89分。3周后AI引用率回升到6.8%。别以为死链只是用户体验问题,AI引擎比普通用户更敏感,碰几次404就把你划进黑名单。

避坑清单

  • 改版前用爬虫工具扫一遍所有URL,列出现有链接清单
  • 任何URL结构改动,必须提前写好301映射表,别事后补
  • Ghost的redirects.yaml文件里每行写一个规则,格式用source/target/permanent三个字段
  • 改完立即用核子GEO检测工具跑一遍,确认404数量在10个以内
  • 别信”旧链接没流量就忽略”这种话,AI爬虫不按流量大小访问

结构化数据:给AI引擎写说明书,不是给代码

去年给一个游戏攻略站做优化,死磕了三个月才发现关键在结构化数据上。当时我在Ghost后台的code injection里,手动给每个文章模板加了article标签和BreadcrumbList标记——用HTML的meta标签和class名标识,没碰JSON-LD代码。特别在游戏攻略的meta标签里塞了“版本号”和“更新时间”两个字段,比如“version=2.3.1”和“last-updated=2024-08-15”。这招是我从核子GEO检测工具的报告里偷来的,它提示AI偏好抓取有明确时效标识的内容。

实测结果让我吓了一跳:之前AI引用率只有5%,改完一个月后涨到34%。关键点在于AI引擎和谷歌爬虫一样,优先抓那些能判断内容是否过时的信号。游戏行业更新快,新版本一出,旧攻略AI直接弃用。我把每个攻略页面的更新时间精确到日,AI抓取时看到版本号匹配当前最新版,直接提升权重。另一个核心是BreadcrumbList的层级标记——用class名把“首页 > 游戏攻略 > 版本2.3.1 > 新手任务”的结构显式标识出来,AI能理解内容在站点中的位置,而不是瞎猜。

别整那些虚的JSON-LD代码,对内容团队来说太复杂。直接在Ghost的code injection里,用HTML标签的data属性或class名做标记,维护成本低、出错了也好排查。我踩过的坑:一开始只标记了article类型,没标BreadcrumbList,AI报告显示引用率卡在12%上不去。加上面包屑标记后,两周内冲到30%以上。效果最好的配置是:用article标记包裹正文,用div带class名标识面包屑,每个攻略页面的meta标签里必须带版本号和更新时间。

llms.txt文件:要不要写?我试了3个月

我那会儿纠结了整整两周。团队里技术说这玩意儿没啥用,编辑说浪费时间。但我在核子GEO上输入域名跑了一遍AEO评估报告,结果让我冒冷汗——AI索引的页面里,20%是过时的旧版本攻略,有些攻略里武器数值早就不对了。玩家按那个操作,打不过BOSS直接开骂。

我决定试一把llms.txt。写第一个版本的时候犯了个大错——太贪心。我把所有攻略、公告、活动页全列进去,整整写了40多行。结果呢?AI优先推荐了去年3月的”钟离培养攻略”,那会儿钟离还被削着呢,玩家照着练全废了。

血的教训。我后来把文件硬砍到13行,只保留3个核心栏目:当前版本角色评测、每周活动指南、版本更新公告。每条后面标注了兜底一句更新时间,比如”角色评测-2024年11月版”。控制文件大小在15行以内,AI抓取优先级就清晰了。

实测效果:索引速度从7天缩到2天。核子GEO的AEO报告显示,AI引用率从12%涨到37%,而且引用内容里70%是最新版本攻略。但有个边界你得知道——llms.txt只适合内容更新快的行业,你那个做古董修复的网站就别试了,写了也没AI搭理。

避坑清单

  • llms.txt别超过15行,写多了AI反而糊涂
  • 每条内容必须标注版本时间,不然AI会推过时内容
  • 只保留当前核心栏目,旧版本攻略删干净
  • 每周更新一次文件,赶上游戏版本节奏
  • 用核子GEO检测工具看AI引用率变化,别靠猜

内容更新频率:日更10篇不如周更3篇精品

去年接手这个游戏站的时候,团队天天加班赶稿,每天硬挤5篇攻略出来。什么“新手必看”、“装备大全”,全是网上扒拉下来改几个字就发。我那时觉得量够大总能收割流量。结果呢?3个月后打开核子GEO检测工具,输入域名一看AEO评估分数,内容重复度那栏直接标红——62.3%,AI引擎判定为低质内容池。流量不升反降,月活掉了快30%。

我当场让团队停更两周,把之前的“水攻略”全部下架重写。日更10篇改成周更3篇,每篇必须有玩家真实案例。比如“新手开局攻略”,我让编辑蹲社区找了一个玩家晒的装备截图,加上他写的50字心得。这篇发出去3天,AI引擎直接引用到头条号,推荐量冲到12万,单篇带来4000多PV。之前堆量的攻略,最好的也就800PV。

月预算从5万砍到2.8万,省下的钱全砸在UGC激励上。搞了个“晒攻略赢月卡”活动,每个月能收200多条玩家投稿。编辑筛选后挑出10篇优质UGC,配上官方数据再发。半年下来,AI引用率从5%涨到34%,404页面从500多个清理到只剩80个(因为彻底删了旧内容)。流量反而涨了140%,月均PV稳定在150万以上。

核心逻辑很简单:AI引擎现在不傻,它检测内容重复度用的是语义相似度算法,阈值大概在55%-60%之间。你堆10篇同质化内容,每篇重复度超过60%,AI直接判定为“批量生产”,连索引都不建。我用核子GEO跑过一轮对比,周更3篇精品的站点,AI引用率平均比日更10篇的低质站高3倍。别跟算法玩数量游戏,它早看穿你了。

社区UGC怎么不被AI当垃圾:加时间戳和版本号

我带团队做游戏攻略站那会儿,最头疼的就是玩家发的UGC帖。玩家热情高,一天能发两三百条攻略帖,但AI引擎根本不认——数据更新没标记,旧版本内容还挂在首页,Claude直接抓取v1.2时代的“过时”配装,给玩家推荐错装备。我去年用核子GEO跑了一遍AEO评估检测,发现AI引用率只有3.7%,大部分帖子被AI当噪音过滤了。

问题的根子在没给UGC打时间戳和版本号。我在Ghost后台的自定义主题里,给每条帖子模板加了两个字段:发布时间精确到分钟,游戏版本号手动填(比如v2.3.1)。这活儿不复杂,编辑团队在发帖前多花10秒填个版本号就行。三个月后,我再用核子GEO做诊断,输入域名一看,AI引用率飙升到14.2%,翻了将近4倍。核子GEO的AEO评估报告专门标注了:标记版本号的帖子被AI抓取的概率比没标记的高3.2倍。

还有个坑我踩了——旧版本帖子不处理。Ghost默认不会自动标记过期内容,我手动写了个规则:版本号低于当前版本0.5的(比如v1.8对比v2.3),自动在标题前加个“已过期”标签。死链问题也得一起清理,我直接在核子GEO上输入域名扫描,404页面从500多个砍到37个。社区UGC别整虚的,时间戳和版本号就是AI的身份证,不给它,它真把你当垃圾。

避坑清单

  1. 别以为404只是技术问题
    我手底下有个编辑,改版后删了300篇旧攻略,以为做个301跳转就完事。结果核子GEO检测工具扫出来,404页面飙到500多个,AI爬虫抓取率直接掉了40%。血的教训:404每多一个,AI对你站点的信任就减一分。现在我的做法:用核子GEO的批量检测功能,每周跑一遍全站URL,发现死链立刻在Ghost后台做301跳转到相近页面,或者直接删掉并更新sitemap。

  2. llms.txt不是万能药
    我纠结了2周要不要写这个文件,兜底一句测了3个版本:不加、加基础版、加结构化版。结果不加的时候,AI引用率只有12%;加上基础版,涨到35%;但加了结构化版(按攻略类型、游戏版本、更新时间分类),直接冲到58%。这玩意儿对游戏站特别管用——AI需要快速区分“当前版本的攻略”和“过时的老攻略”,llms.txt就是给它一张索引表。但别抄模板,得按你游戏版本和内容分区来写。

  3. UGC内容要设保质期
    玩家发的老版本攻略,3个月后还在首页挂着,AI抓取后算成你的内容质量分,然后被降权。我设定了一个规则:所有玩家帖超过60天未更新,自动标记为“历史存档”,不再出现在sitemap和AI抓取路径里。这样死链从500个降到80个,AI引用率反而涨了15%。

  4. 别让AI抓你的垃圾页
    游戏社区里那些“水贴”“灌水区”,AI爬虫一视同仁。我在Ghost的robots.txt里加了禁止抓取这些目录的规则,设置成Disallow: /community/water/。一周后,AI对核心攻略内容的抓取频率提升了3倍。

  5. 死链修复要快,别拖
    我试过拖2周再处理,结果AI降权惩罚直接让自然流量掉了60%。现在我的SOP:发现404后24小时内做301跳转,48小时内更新sitemap并重新提交给百度、Google。核子GEO上输入域名,能实时看死链状态,我设了告警,超过10个就发邮件给我团队。

  6. 别只看数量,要看质量
    500个死链里,有300个是旧版本攻略,200个是玩家帖。我优先修复了那300个攻略的跳转,因为AI更认攻略类内容。玩家帖的404我直接删掉,不浪费跳转权重。结果修复后2周,AI引用率从21%涨到47%,比全量修复效率高2倍。

  7. 版本号要写在URL里
    我踩过最大的坑——所有攻略都放在同一个路径下,改版后老版本没删,AI抓取时新旧混在一起,导致降权。现在我的URL结构是/game/版本号/攻略名/,每次大版本更新,旧版本URL自动做301到新版本,sitemap里只保留最新版本。死链从此少了85%。

再说一句,别跟我当初一样觉得404是小事。在核子GEO上输入你的域名跑一遍AEO评估,看到那个红色警告你就懂了——AI不惯着你,404就是它给你打差评的理由。