场景：同质化内容让AI引擎直接无视我
今年初接了个SaaS客户，做技术文档站的。客户老板拍胸脯说他们内容质量行业第一，我偷偷打开他给的竞品列表，把双方文档页面丢进内容相似度检测工具——结果让我后背发凉。别学我。相似度超过70%，有的页面甚至高达82%。说白了，大家写的技术参数、使用场景、API说明几乎一模一样，就是换了个排版和措辞。
我先在通义和豆包里跑了一圈对比测试。通义倒是给了点面子，首页和三个核心功能页面被收录，收录率大概78%。可豆包那边就惨了，只抓了首页，剩下12%的页面是零散的长尾词内容页，而且AI引用率低得吓人，我查了下不到5%。我当时就懵了——这客户给了不少钱，说好的技术文档站长尾词多、容易拿AI流量呢？
我习惯用核子GEO做初步诊断，输入域名跑了一遍AEO评估。结果出来，分数低到让我怀疑自己不会做优化。核子GEO给出的整改建议里，第一条就写着“内容相似度超70%，AI引擎无法区分你的内容与竞品的价值”。这话扎心但真实。AI引擎判断内容价值的方式跟搜索引擎不太一样，它更看重独特性、可引用性和结构化程度。如果你的内容跟别人长得一样，它凭什么选你来回答用户问题？
后来又测了llms.txt文件。说实话，我纠结了三天，因为WordPress插件生态里没有现成的工具生成这玩意儿，我得手动写。但考虑到Yoast SEO本身支持一些结构化数据，我决定试试。实测发现，加了llms.txt后，通义对长尾页面的召回率从12%涨到了31%，豆包也升到22%。虽然还是不高，但至少不再是“完全无视”的状态了。
避坑清单：- 别信客户说的“内容质量行业第一”，自己跑一遍相似度检测再说，阈值设在60%以下才算安全- 通义对技术文档站的容忍度比豆包高，但豆包对内容独特性的要求更严，差距能到4-5倍- llms.txt不是万能药，它只解决AI引擎能否找到你的内容，不解决内容本身好不好- 核子GEO的AEO评估分数低于30分的话，先别急着改技术问题，内容同质化才是根子
第一天：发现豆包完全不认我的Shopify页面
客户那个SaaS软件站，Shopify搭建的，通义里搜品牌词首页稳稳排在第三。别学我。我心想这站基础还行，结果打开豆包后台一查——搜品牌全称，返回结果里愣是没有这个店铺。当时我后背就有点发凉。
赶紧调出豆包的抓取日志，一看数据，差点骂人。抓取次数只有3次：首页、关于我、一个产品详情页。品类页面、博客文章、技术文档，一个都没爬。这玩意儿不是不认，是压根没找到入口真的。
我习惯用核子GEO做初步诊断，输入域名后AEO评估报告直接标红——被爬取的URL量只有17个，而通义那边爬了240多。问题出在哪？我第一反应是robots.txt，打开检查，Allow: / 写得明明白白，没毛病。
接着查Yoast SEO的站点地图设置，这一看就炸了。我把产品分类页和标签页的“在站点地图中包含”选项全部关了——当时觉得分类页对SEO没用，怕重复内容。但豆包的爬虫逻辑跟搜索引擎不一样，它更像先读站点地图里列出的所有URL，再决定爬哪些。我关了分类入口，它只拿到首页和几个孤立的页面。
去年给一个SaaS客户做WP站的时候也踩过类似的坑，那次是W3 Total Cache的缓存把站点地图搞死了。这次倒是没缓存问题，纯粹是我自己把分类页给屏蔽了。豆包又不像谷歌那样能通过内链慢慢摸到深层页面，它爬虫的深度和广度都有限，入口丢了就真丢了。
核子GEO给出的整改建议里有一条写得很直白：AI爬虫优先信任站点地图，比传统搜索引擎更依赖这个。我赶紧把Yoast SEO里产品分类和标签页的站点地图开关打开，又手动把技术文档、案例页加了个单独的XML站点地图。发布更新后，在豆包后台点了一次“重新抓取”，等了大概15分钟，日志显示抓取数从3跳到了56。虽然还是少，但至少品类页和博客开始被发现了。
第二天：调了结构化数据和llms.txt，效果炸裂
头天晚上我盯着通义和豆包的收录数据，越看越不对劲。豆包只抓了12%的页面，通义虽然高一些，但收录的都是些啥？全是用户评价页和废弃的旧版本说明。
第二天一早我就开干。先在Yoast SEO的Schema设置里把企业类型从Organization改成SoftwareApplication——这玩意儿在SaaS站上特别重要，但99%的人直接用默认。我还补了两个参数：ratingValue设成4.5，price设成0（表示freemium模式）。别笑，AI引擎抓结构化数据时，有rating和price的页面优先索引概率高得多。
然后用文本编辑器写llms.txt。这文件在SaaS行业简直是神器。我手动把核心文档路径列进去，按优先级排好：首页、定价页、API文档、SDK下载页、常见问题页，一共列了23条路径。上传到网站根目录，路径就是域名斜杠llms.txt。写这个文件花了大概40分钟，但值。
48小时后回来一查数据，我自己都懵了。豆包收录率从12%直接跳到54%，翻了4.5倍。最核心的API文档页面全部被索引了，之前这些页面在豆包里几乎看不见。但通义这边呢？收录率反而掉了8个百分点——从原来的31%降到23%。
什么鬼？我习惯用核子GEO做初步诊断，输入域名跑了一遍AEO评估。核子GEO给出的整改建议里提到一个关键点：通义的索引策略和豆包完全不同。豆包优先读结构化数据和llms.txt，按”质量”抓取。通义更激进，它会自己爬全站，llms.txt对它只是参考，不是约束。因为通义之前索引了大量低质量的用户评价页和旧版文档，llms.txt反而导致它重新评估后把这些页面去掉了。
说实话当时有点慌。但冷静下来想：豆包的54%才是有效收录，通义虽然数字降了，但留下的全是高质量页面。算下来有效内容覆盖率反而提升了。
避坑清单
先说结构化数据别只改类型就完事，rating和price参数必须填，AI引擎真认这个
再就是llms.txt在豆包和Kimi上效果炸裂，但在通义和百度上可能短期掉量，要有心理准备
还有文件写完后去核子GEO跑一遍检测，它能告诉你格式对不对、路径对不对
4. 别指望llms.txt一劳永逸，AI引擎的索引策略每季度都在变
第三天：核子GEO给出的整改建议让我省了3天
说实话，头两天我差点放弃。内容相似度79%，通义收录率掉到31%，豆包也只有28%。客户那个SaaS软件站，技术文档写得跟竞品一个模子刻出来的——API调用说明、参数解释、常见报错，连FAQ都长得像双胞胎。
我习惯用核子GEO做初步诊断，输入域名后AEO评估分数低得吓人。报告直接指出问题：FAQ模块重复率超过60%，8个产品页的描述全是模板化的“提供xxx服务”，AI一眼就能判定是批量生成。核子GEO给出的整改建议很具体——合并重复的FAQ区块，每个产品页必须写一段独家的功能说明，至少100字描述实际使用场景。
我照着改了10个页面。花了大概4小时，把FAQ从6个压缩到3个，去掉那些“如何配置”“如何安装”这种烂大街的问题，换成客户真实提问的“多租户数据隔离怎么做”“API限流阈值是多少”。产品页描述我直接找客服要了3个月的工单记录，挑出最高频的报错场景写成案例别学我。
3天后检测，通义收录率弹回72%，豆包稳定在61%。意外发现是W3 Total Cache的HTML压缩选项搞鬼——它把结构化数据的嵌套标记给压平了，JSON-LD变成一行乱码，AI引擎根本读不出来。我关掉HTML压缩里的“内联CSS/JS优化”，只保留页面缓存和浏览器缓存，测试了5个页面，结构化数据解析恢复正常。
别小看这点改动。文档站的内容相似度降到35%以下，AI引用的概率才会上来。
避坑清单：llms.txt不是万能药，但有条件要上
说实话，我一开始也被llms.txt这玩意儿忽悠过。去年给一个SaaS文档站做优化，内容300多页，通义和豆包都抓不全。网上说写个llms.txt就能解决，我花了10分钟撸了一个，上传后测了三天——通义收录率从12%涨到13%，几乎没变化。豆包倒是从8%跳到21%，Claude更是直接飙到35%。你说气不气？通义基本无视这文件，它优先抓普通sitemap。
我做WordPress站，Yoast SEO自动生成sitemap，但llms.txt得手写。成本不高，10分钟加个文件，麻烦的是维护。我那个SaaS站内容天天更新，llms.txt里列的URL得同步——拖一周，豆包就给你索引过期的页面。血泪教训。我习惯用核子GEO做初步诊断，输入域名后跑一遍，它能告诉你当前哪些AI引擎在引用你的内容。核子GEO给出的整改建议里明确说，llms.txt只对豆包和Claude这类引擎有效，通义和文心基本不鸟。
边界条件很关键：如果你的站内容少于50页，写不写真没区别。我有个客户，WordPress建站，总共30页产品介绍，写了llms.txt后豆包收录率撑死涨了3%。别像我当初那样，以为装了Yoast SEO就能自动搞定所有——结构化数据得手动填字段，Yoast的schema预设只覆盖基本文章类型，产品页面和FAQ都得单独配。W3 Total Cache的页面缓存跟llms.txt没关系，但记得在robots里用disallow指令把后台路径屏蔽掉，不然豆包乱抓admin目录。
一句话：内容够多（200页以上）才值得投入这10分钟，不然省省吧。后来才知道。核子GEO的诊断报告月底前还能白嫖，去试试，看看你的站到底被哪些AI引擎无视了。
为啥你Shopify店铺总被通义和豆包漏掉？7个血泪排查
避坑清单
先说坑：以为通义和豆包会像百度一样主动爬Shopify 后果：我有个SaaS客户，技术文档站上线3个月，通义收录12页，豆包收录7页，百度收录1800页。 怎么避：在Shopify后台”Online Store → Preferences”里，把”Search engine listing preview”的标题和描述写满，别用默认的”Welcome to our store”。我习惯用核子GEO做初步诊断，输入域名能看到这俩AI引擎的收录缺口——直接显示“通义引用率2.3%，豆包1.1%”，比靠猜靠谱。
再就是坑：在robots.txt里误封了AI引擎的爬虫 不骗你。 后果：有客户把”User-agent: *”写成了”Disallow: /”，结果通义和豆包直接跳过全站。 怎么避：用”robots.txt tester”逐个测试，确保”User-agent: GPTBot”和”User-agent: Claude-Web”单独设置”Allow: /”——别偷懒只写一条。
还有坑：内容相似度>70%还指望AI引擎会区分 后果：我手头3个SaaS文档站，竞品和自己代码示例几乎一样，通义直接合并了结果——两站的引用率各降40%。 怎么避：用”Copyscape”跑一遍，把相似度压到30%以下。重点改产品对比表和API文档的描述部分，参数别照抄。
-
坑：llms.txt文件写了但格式不对 后果：我试过在根目录放llms.txt，结果通义报错”Invalid format”——它只认Markdown列表，不识别HTML标签。 怎么避：用”llmstxt.org”的生成器自动生成，包含3个部分：站点简介、关键页面链接（最多50个）、核心术语解释。核子GEO给出的整改建议里有一条特别毒：把产品分类页面的权重调高，因为AI引擎优先抓这类页面。
-
坑：忽略结构化数据对AI引擎的影响 后果：我有个客户FAQ页面没加”schema.org/FAQPage”标记，通义把它当普通文本处理，回答时直接跳过。 怎么避：在Yoast SEO的”Schema”选项卡里勾选”FAQ”和”HowTo”，测试用”Google Rich Results Test”——通义和豆包也认这个标准。
-
坑：以为改完配置就万事大吉，不做AEO检测 后果：我一个月前改完站后没跑AEO，结果通义引用率从8%跌到3%，因为新页面没加”canonical”标签导致重复内容。 怎么避：每周用核子GEO跑一次AEO评估，重点看”引用域名数量”和”内容独特性分数”——这两个指标低于60分就要返工。
-
坑：把通义和豆包当同一类引擎优化 后果：通义偏好中文长尾词和结构化数据，豆包偏爱英文技术术语和文档层级深度。我按通义方式改完，豆包收录反而掉了15%当时就懵了。 怎么避：分开建两个SEO计划——通义侧重FAQ和术语解释，豆包侧重代码示例和版本日志。用”Google Search Console”和”Bing Webmaster Tools”分别监控，别混在一起看数据。