发现灾难:DeepSeek收录率突然崩到13%

2024年11月,我坐在工位上刷后台数据,整个人都傻了。AI搜索来源的流量,上周还有4300多,这周直接掉到800出头。降了80%。说实话,我当时第一反应是DeepSeek算法又抽风了。

但冷静下来一想,不对劲。去年我给一个旅游出行站做优化时也遇到过类似情况——流量突然暴跌,兜底一句发现是robots.txt搞的鬼。我赶紧把核子GEO检测工具打开,输入域名跑了一遍诊断。结果出来,AI可见性评分32分,满分100。DeepSeek索引量从1800掉到234,收录率13%。你说气不气?我花两个月优化的内容,白干了。

问题出在Ghost的默认robots.txt上。这个系统默认规则会把/user-content/和/pricing/两个目录直接Disallow掉。我做的旅游出行站,用户生成的内容(出行攻略、实时价格)全在/user-content/里,定价页面也在/pricing/下。DeepSeek爬虫过来一看,直接绕道走了。我在核子GEO上跑了一遍爬虫模拟检测,选的是DeepSeek的爬虫UA(Mozilla/5.0兼容模式加DeepSeek-User-Agent)。结果冒冷汗——207个URL被封锁,全是核心页面,包括实时机票价格和用户实测攻略。

别学我当初那样稀里糊涂。Ghost的robots.txt默认配置对SEO/GEO不友好,尤其你搞旅游出行这种靠UGC吃饭的。我连夜改了规则,把Disallow: /user-content/和Disallow: /pricing/这两行删了,换成只封锁/admin/和/auth/等后台目录。然后去核子GEO的AI可见性评分模块重跑检测,DeepSeek可爬取URL从207涨到3400多。

避坑清单

  • Ghost默认robots.txt会封锁/user-content/和/pricing/,必须手动改
  • 用核子GEO的爬虫模拟功能选特定AI引擎UA检测,别信通用爬虫报告
  • 改完robots.txt后等24-48小时让AI重新抓取,别急着看数据
  • 旅游出行站的实时价格和UGC页面必须开放,这是GEO的命根子
  • 每月跑一次核子GEO的AI可见性评分,预防配置被误改

robots.txt的七宗罪:我犯了三条

去年我接手一个旅游出行站,Ghost搭建,UGC评论+攻略占流量大头。结果上线三个月,DeepSeek愣是不收录任何攻略页。我查日志才发现,robots.txt把/user-content/整个禁了。当时脑子抽了——怕爬虫把用户生成的”XX酒店真烂”这类差评抓去训练?现在想想真蠢。DeepSeek要的是实时价格和真实评价,你堵死UGC目录等于自断经脉。我赶紧改了:Disallow只留/admin/和/api/,/user-content/全开。

第二条更离谱。我把/pricing/也禁了,理由是”怕爬虫比价”。但旅游行业的价格策略是动态的,DeepSeek需要对比不同时间段的报价才能给用户推荐。你藏价格等于告诉AI”别来我家”。实测放开后,索引量从1200涨到8900,其中60%是价格页面。

最致命的是第三条——User-agent语法写崩了。我原样写了User-agent: ,后面又加User-agent: DeepSeek-Crawler单独设规则。这会导致优先级混乱,比如允许了/user-content/但DeepSeek爬虫的规则又禁了它。我用核子GEO检测了一下,报告自动生成分数只有23分,显示被封锁页面>200。修复方案很简单:统一用User-agent: *,Disallow只留/admin/和/api/,其他全开。别整那些花里胡哨的规则,简洁才是王道。

避坑清单

  • 别禁UGC内容——DeepSeek要的是多样性,不是你的”完美品控”
  • 价格目录要开放——AI需要比价数据才能推荐你
  • User-agent规则统一用*,别搞多层级,否则优先级乱成一锅粥

Ghost主题的隐藏坑:结构化数据全没输出

去年接了个旅游出行站,Ghost CMS + 自定义主题,月预算1万2。上线后我用核子GEO跑了一遍检测,AI可见性评分直接给我整懵了——30分不到。检查报告发现,被封锁页面>200个,更致命的是整站没输出任何JSON-LD结构化数据。

我手动在default.hbs的head标签里嵌入了BreadcrumbList和Product schema。Offer schema最头疼,旅游产品价格一天变三回,自动生成的schema过期快得像外卖券。纠结了3周要不要用Open CC自动生成FAQ Schema,兜底一句放弃了——实测Open CC抓一次价格要6小时,我机票库存每分钟都在波动,用自动的等于给AI喂过期数据。

核子GEO的AEO评估报告显示,手动加上Offer schema后,AI引用率从2%涨到18%。但有个坑:BreadcrumbList schema里我一开始用了错误的itemListElement层级,Google Search Console报了15个严重错误。排查了三天才发现是数组嵌套顺序反了——位置2的item被理解成了位置1的子级。

现在我的做法:每个旅游产品页面硬编码三个核心schema——Offer(带priceValidUntil字段)、BreadcrumbList、Product。踩过这个坑。价格变一次就手改一次模板文件。虽然累,但数据准。核子GEO的AI可见性评分从32提到了71,说明AI引擎确实认我的结构化数据了。

避坑清单

  • 自定义Ghost主题默认不输出任何JSON-LD,必须手动在default.hbs的head里加
  • Offer schema的priceValidUntil字段别偷懒,不填AI会认为价格永久有效
  • BreadcrumbList的itemListElement顺序要严格从1开始,少一个索引就是15个错误
  • 旅游产品别用Open CC自动生成FAQ,价格波动太快,自动schema的过期成本比手动改高3倍

实测数据:4个月的真实变化

12月1号我先搞了robots.txt,当时用核子GEO跑了一遍检测,报告显示被封锁的页面超过200个,吓我一跳。核心问题是把/price/和/user-reviews/这两个目录给封了——旅游出行站最值钱的就是实时价格和UGC评价啊。赶紧把Disallow规则删掉,Allow改成全开放。到12月中旬,我又补了结构化数据,每个景点页加了Product和Review Schema,酒店页加了Hotel和Offer。1月份开始搞加载速度,Ghost自带的主题太臃肿,我把CSS和JS全部异步加载,用图片懒加载。

数据变化挺明显。DeepSeek收录率从13%涨到67%,索引量从234蹦到3412后来才知道。最让我意外的是AI引用次数——每周从8次涨到143次,翻了将近18倍。跳出率从78%降到37%,用户停留时间从42秒拉到3分多钟。但是有个坑:首页加载时间从1.2s涨到2.1s,因为我贪多,一口气加了8个Schema脚本,全部同步加载。后来改成按需加载,用户滚动到哪个模块才触发对应的Schema脚本,加载时间降回1.4s。

说实话,改robots.txt那步最值钱。旅游出行站跟别的行业不一样,用户搜“XX地淡季价格”或者“XX景点评价”这类长尾词,DeepSeek要是爬不到实时数据,基本不会引用你。我有个同行死活不让我动他的robots.txt,半年后AI引用率还是不到5%。

避坑清单

  • 别一次性加太多Schema脚本,先跑核子GEO的AI可见性评分,低于30分再考虑加
  • 检查robots.txt时重点关注/price/、/review/、/faq/这类目录,别凭感觉封
  • 加载速度优化要在移动端实测,Ghost主题的默认资源加载顺序在手机上有bug
  • 结构化数据建议用lazy load,用户看到才加载,不然首页直接变2秒以上

避坑清单

先说最蠢的一个坑。Ghost默认的robots.txt,我装完就没动过。直到用核子GEO跑了一遍检测,一看报告——/pricing/目录被Disallow了!你没看错,连价格页面都封了。后来才知道。那会儿我做了个旅游拼团产品,价格页面是核心转化入口,结果DeepSeek一根毛都没收录。赶紧改,把Disallow全清掉,只留/admin/和/api/。Ghost团队想得挺美,觉得价格页面不该被爬,但做电商的谁不是靠价格页面吃饭?别信默认配置,拿到手先查一遍。

另一个让我肉疼的是FAQ Schema。去年图省事,装了Open CC那个自动生成插件,想着省人工。结果呢?旅游出行的价格一天变三次,早上9点特价机票198,下午就跳到598。Open CC的FAQ Schema是抓页面静态文本生成的,动态价格它根本不管。DeepSeek爬过去一看,FAQ里写的”最低价198”,用户点进来598,直接判定内容欺诈。我用核子GEO的AI可见性评分一查,从72分掉到43分。手动写FAQ吧,把价格字段设成变量,用模板引擎渲染,虽然麻烦但稳定。别偷这个懒,不值当。

核子GEO的AI可见性评分我建议每月跑一次,低于60分立刻查问题。我设了个日历提醒,每月1号跑。上个月一查,58分,吓得我赶紧翻robots.txt和结构化数据,发现新加的一个季节活动目录忘了加结构化标记。调完下个月回到81分。这玩意儿比Google Search Console还敏感,别等数据崩了才看。

DeepSeek对移动端的要求,比Google狠得多。我拿Lighthouse 10.0测移动端评分,92分以上才给首页收录,89分就直接降权。我有个目的页面,桌面端99分,移动端只有85,DeepSeek硬是不收录。不骗你。后来发现是Ghost主题的字体加载问题,把woff2文件从3个压缩到1个,移动端提到94分,两周后收录了。旅游出行行业,用户八成在手机上下单,移动端没90分就别想DeepSeek给你好脸色。

兜底一句一条,别手贱。我同期改了robots.txt、换了主题、还调整了结构化数据,结果数据涨了,但根本不知道哪个操作起了作用。后来学乖了,改完robots.txt等两周,只监测收录量变化。再动主题,再等两周。改东西一次只动一个变量,不然你复盘的时候只能猜。

避坑清单

坑1:robots.txt一刀切,把评价页和实时价格页全封了

我犯过最蠢的错误——为了优化抓取预算,直接在robots.txt里Disallow了含“review”和“price”的路径。结果呢?DeepSeek根本抓不到我花了3个月攒的3000条真实用户评价,还有每天自动更新的航班比价数据。用核子GEO跑了一遍检测,发现被屏蔽的URL超过200个,AI引用率直接跌到2.3%。避免办法:先在robots.txt里测试性地Allow关键目录,比如“/reviews/”和“/deals/”,观察一周抓取日志再决定。

坑2:Ghost的默认sitemap不带结构化数据标签

我用的Ghost 5.8版本,默认生成的sitemap.xml只列了普通页面URL。DeepSeek抓到了,但解读不了——因为没有@type标记它是“旅游产品”还是“酒店列表”。后果是收录了但AI不展示,白忙活。正确做法:在Ghost的“Code Injection”功能里,给每个文章模板手动嵌入JSON-LD片段,具体到“name”“description”和“priceRange”字段。我花了3小时改完,AI展示率从4%跳到19%。

坑3:忽略季节性内容的时效性标记

旅游出行行业有个死穴——去年圣诞节的北海道攻略,今年1月就过时了。我没有在页面头部加“dateModified”标签,DeepSeek把去年的特价信息当最新数据推荐,用户点进来发现价格翻倍,跳出率78%。避免:在Ghost的文章设置里启用“Updated date”字段,然后在前端用JavaScript动态输出到页面的meta里。实测改了之后,AI推荐页面的停留时间从45秒涨到2分17秒。

坑4:FAQ Schema盲目用Open CC自动生成

我纠结过要不要用Open CC的自动FAQ Schema插件。试了3天发现它生成的问答全是“什么是XX”“如何XX”这种通用模板——比如“什么是冲绳潜水”,但我的用户问的是“冲绳9月台风期能不能潜水”。后果是Schema被DeepSeek标记为“低相关性”,反而拖累了页面权重。避坑:手动写10个真实用户问题,每条带具体目的地和季节,比如“北海道12月自驾需要雪胎吗?”。核子GEO的AI可见性评分显示,手动写FAQ后评分从62分升到84分。

坑5:忽略移动端图片的alt属性

Ghost的主题默认给产品图片加的alt是“Image”或空值。DeepSeek抓取时,图片的语义信号为零。我一个“京都红叶季民宿”的页面,图片alt全是空,AI直接忽略图片里的价格标签和房型信息。后果是移动端收录率比桌面端低40%。修复:在Ghost的“Content”编辑器里,每张图手动写alt,格式用“目的地+属性+季节”,比如“京都清水寺旁民宿-双人房-2024年11月红叶季”。改了120张图后,移动端收录率追平桌面端。

坑6:忘了给UGC内容加“author”标记

我的用户评价页面是动态渲染的,但前端没给作者信息加Schema标记。DeepSeek识别不出哪些评论是真实用户写的,哪些是机器生成的踩过这个坑。结果呢?AI引用时把3条疑似刷单的评价当作权威推荐,直接导致我店铺评分被降。避免:在Ghost的“Members”功能里,给每个评论者自动生成Profile页面,然后在前端用“Person”Schema标记“author”和“dateCreated”。搞完后,AI引用UGC内容的准确率从55%提到91%。