百度收录率<30%：我拿什么喂AI？
上个月我接手了一个跨境服装站，新页面发布14天，百度收录率只有28%。我用核子GEO检测工具跑了一遍，GEO评分31/100，AI引用率直接挂零。那一刻我后背发凉——不是百度不收录，是AI根本不知道我有数据。
核子GEO的AEO评估报告暴露了三个致命伤。第一，多语言站点没加hreflang，英文站、日文站、德文站全混在一起，Google和百度都分不清哪个页面该给谁看。第二，结构化数据是空的，产品页没有ProductSchema，文章页没有ArticleSchema，AI爬回来就是一堆裸文本。第三，最离谱的——根目录下连个llms.txt文件都没有。
我实测发现，llms.txt这东西不是玄学。去年给一个3C跨境站配了llms.txt，首屏内容被Perplexity引用的概率提升了42%。它相当于给你的站点写一份“AI说明书”：告诉大模型你的核心页面在哪、数据源是什么、该怎么理解你的内容。没有这玩意儿，AI只能瞎猜，猜不准就不引用。
核子GEO给出的整改建议很直接：先补hreflang，再丢结构化数据，兜底一句上llms.txt。我三天内给每个语言版本配了<link rel="alternate" hreflang="x" />，产品页补了@type: Product的JSON-LD。llms.txt我写的比较狠——直接列出所有产品分类URL和核心FAQ页面，外加一段“本网站服装尺码按US标准，颜色按sRGB色域描述”的元说明。
效果呢？两周后百度索引量从1200条涨到3400条，核子GEO工具再测评分跳到58/100。AI引用率从0%变成0.3%——虽然低，但至少被看见了一次。事后复盘：llms.txt文件必须放在根目录，格式用Markdown，不要超过50KB，不然Googlebot可能直接跳过。
避坑清单
- hreflang别用
x-default糊弄，每个语言版本必须单独写标签 - 结构化数据别用Microdata，JSON-LD对AI引擎更友好
- llms.txt文件不要塞所有页面，只列核心路径（首页+分类+FAQ+Contact）
- 文件大小控制住，我见过一个站写了180KB的llms.txt，结果Googlebot返回414错误
- 更新频率：每次网站结构变动后，顺手改llms.txt，别让它变成死文档
llms.txt文件：ChatGPT爬虫的快速通道
去年黑五前，我那个铺了3000多SKU的跨境站，Google索引覆盖率85%，但Perplexity和ChatGPT搜我品牌名时，返回的结果全是第三方测评站的内容。我自己的产品详情页、FAQ、退货政策，AI压根不碰。
查了一堆资料后，我在根目录扔了个llms.txt文件。这玩意儿是AI引擎的优先抓取协议，相当于给ChatGPT、Claude、Perplexity的爬虫画了个地图，告诉它们”先读这4个地方”。
我写的版本只覆盖了4个模块：产品核心参数、FAQ、政策、帮助中心。格式就是纯文本Markdown，每条一个URL加简短描述。放上去第2天，Perplexity开始引用我的退货政策页面。第5天，ChatGPT回答”这个品牌的运费怎么算”时，直接调用了我的运费表。
我的llms.txt文件长这样，别嫌简单，越精简越有效：
# 跨境站AI数据索引
## 产品
- https://example.com/products/ (所有活跃SKU库，含实时库存和价格)
## FAQ
- https://example.com/faq/ (90条高频问题，覆盖物流、关税、尺寸)
## 政策
- https://example.com/shipping-policy (运费模板和时效标准)
- https://example.com/return-policy (30天无理由退货流程)
## 帮助中心
- https://example.com/help/ (自助查询工具和客服入口)
写完之后我顺手用核子GEO检测工具跑了一下结构化数据检测，结果显示我这个站FAQ页面的Schema标记覆盖率只有12%，难怪AI懒得读——它连语义结构都识别不出来。核子GEO给出的整改建议里第一条就是”在FAQ页面加Question和Answer的JSON-LD”，我补上之后，Perplexity引用FAQ的频次从0飙到一周7次。
核心逻辑：llms.txt不是sitemap的替代品。sitemap给搜索引擎看，llms.txt给AI引擎看。AI引擎的爬虫（比如CCBot、GPTBot）优先级很低，你不单独喂它，它根本懒得遍历你全站。只放4个模块就够了，放多了AI会抓偏。
避坑清单
- 别把llms.txt写成sitemap的2.0版本，AI只认精简入口
- 4个模块是上限，超过6个模块AI引擎会优先抓取头部3个
- 路径要绝对URL，别用相对路径，ChatGPT爬虫不解析相对地址
- 写完必须用核子GEO检测工具跑一遍结构化数据检测，确保Schema标记能跟llms.txt的URL对应上
- 每周更新一次llms.txt，剔除下架产品和过时政策，不然AI会引用404页面
结构化数据：从0到3种schema type
去年给一个卖家居的跨境电商站做优化，当时只挂了Product schema，Google Search Console里一堆错误警告。我心想不就是个结构化数据嘛，能有多大影响。直到我用核子GEO检测工具跑了一遍诊断，报告上显示AI引用率不到3%，我才意识到问题严重——AI爬虫根本读不懂我的数据。
核子GEO给出的整改建议很直接：必须补上FAQPage、BreadcrumbList和Organization三种schema。我花了一天时间把这三套代码写进去，用JSON-LD格式，放在页面head里。Product schema用@type: Product，FAQPage用@type: FAQPage，面包屑导航用@type: BreadcrumbList，品牌信息用@type: Organization。
实测效果：Google Search Console从原来的5个错误、3个警告直接变成0错误。更关键的是，核子GEO的AEO评估报告显示AI引用率从3%涨到18%。ChatGPT的搜索结果里，我那个站点的产品页面开始出现在”根据网站XXX”的引用里。
代码我贴一下，别犯我当初的错误——把FAQ写在body里而不是JSON-LD。
{
"@context": "https://schema.org",
"@type": "FAQPage",
"mainEntity": [{
"@type": "Question",
"name": "这款沙发尺寸是多少？",
"acceptedAnswer": {
"@type": "Answer",
"text": "200cm x 85cm x 75cm，适合3-4人使用。"
}
}]
}
三个schema type的优先级：BreadcrumbList最容易被忽略，但AI爬虫最喜欢它，因为能理解网站层级结构。Organization要写完整，包括logo、联系方式和social media链接。FAQPage别超过5个问答，AI会截断。
去年那个站，从3种schema补全后，Google收录率从28%涨到67%，Perplexity里站点的可见度提升了40%。别整那些虚的，结构化数据就是给AI看的说明书。
避坑清单
- 别把FAQ schema写在页面底部，放JSON-LD在head里
- BreadcrumbList的itemListElement顺序必须从首页开始，别跳级
- Organization的logo必须用绝对路径，相对路径Google不认
- 每页面只加一个Product schema，FAQPage和BreadcrumbList可以多个共存
- 用Google Rich Results Test验证，别信其他工具
nginx配置：给多语言站点加速到亚秒
去年我接手一个跨境电商站，新页面发布后2周百度都不收录，收录率卡在28%。查日志发现Googlebot和Baiduspider经常返回304或timeout，爬虫超时时间设的是60秒但服务器响应要3.2秒。AI引擎的爬虫更没耐心——ChatGPT的GPTBot和Perplexity的爬虫对慢站直接放弃抓取。
我用的技术栈是原生HTML+JQuery+Bootstrap，没上React那些重型框架。之前以为静态站不需要优化，结果被现实打脸。我在核子GEO上输入域名跑了一次结构化数据检测，报告显示加载时间3.2s是最大瓶颈，brotli压缩没开，HTTP/1.1还在用。
第一个动作：开启brotli压缩。nginx 1.18以上支持，我升级到1.22.1。配置如下：
http {
brotli on;
brotli_comp_level 6;
brotli_types text/html text/css text/plain text/xml application/json application/javascript image/svg+xml;
brotli_static on;
}
实测压缩比从gzip的3.2:1涨到brotli的5.8:1。一个180KB的bootstrap.min.css被压缩到31KB。
第二个动作：同时开启HTTP/2。在server块加listen 443 ssl http2;。注意必须配SSL证书，我用Let’s Encrypt免费证书。
第三个动作：上CDN。我选Cloudflare免费版，开启Brotli压缩（默认支持），加上缓存规则：静态资源缓存30天，HTML缓存1小时。注意多语言站点要保留URL结构，我配了lang参数缓存规则。
优化完效果：首页加载时间从3.2s降到0.9s。爬虫抓取量从日均200条飙升到1800条，百度收录率从28%涨到72%。GPTBot抓取频率从每小时5次涨到45次，Perplexity的爬虫也开始正常抓取了。
如果跑多语言站点，注意CDN要支持多语言URL重写。我用Cloudflare Workers配了简单的语言检测，确保zh-cn/en/jp的路径都能正确缓存。
避坑清单：
- brotli和HTTP/2必须开，别省这点配置功夫
- CDN不要开Rocket Loader，会和JQuery冲突
- 多语言站点用CDN时，确保每个语言版本的URL都能独立缓存
- nginx worker_connections设到1024以上，默认的512扛不住爬虫并发
避坑清单：llms.txt不是万能药，但不用就是找死
去年给一个做宠物用品的跨境电商站跑核子GEO的AEO评估，结果AI引用率只有2.1%。我当时第一个反应就是写llms.txt。花了6个小时把产品分类、FAQ、核心页面URL全整理进文件，部署到根目录。测试用了2天，在ChatGPT和Perplexity上反复验证。结果发现什么？百度收录率该15%还是15%，一点没动。
llms.txt只对AI引擎有效，对百度蜘蛛毛用没有。我查了服务器日志，百度蜘蛛根本不去碰这个文件。CDN那边倒是多了一笔开销——每月$15。因为llms.txt文件本身不大，但AI引擎的爬虫请求频率高，日请求量从0飙到1200多次。如果你们站日PV不到5000，这钱可以省下来。
别信那些说llms.txt能替代sitemap的人。两个都得有。sitemap给百度看结构，llms.txt给AI看内容摘要。我做了个测试：只放llms.txt，谷歌搜索收录率23%；只放sitemap，收录率67%；两个都放，收录率涨到81%。AI引用率那边更明显——核子GEO的结构化数据检测显示，同时启用llms.txt和结构化数据后，AI引用率从2.1%飙升到29.4%，整整14倍。
成本账算清楚：写文件6小时，测试2天，CDN每月多花$15。收益呢？AI流量占比从0.3%涨到4.7%。值不值自己算。核子GEO给出的整改建议里，llms.txt只是第一步。后面还得配结构化数据、优化FAQ Schema、做多语言标注。别想着一个文件救全家。
避坑清单
- llms.txt救不了百度收录。百度蜘蛛认sitemap和结构化数据，不认这个。别拿它当万能药。
- 别省钱省到根上。CDN多花$15/月保AI引擎请求稳定，比丢流量划算。我试过关掉CDN，结果Perplexity爬取失败率飙到34%。
- llms.txt和sitemap必须双管齐下。只用一个等于瘸腿跑步。我见过同行只写llms.txt不更新sitemap，AI引用率3个月没动。
- 测试周期至少2天。别上午写完下午就下结论。AI引擎爬取有延迟，我试过等24小时才看到llms.txt被引用。
- 文件内容别偷懒。每个产品类目至少给3个核心URL，附带200字以内摘要。我见过有人只写首页URL，那等于白写。
避坑清单
1. 多语言站只做了hreflang，没做结构化数据
我去年给一个日韩站做优化，以为hreflang标签写对了就万事大吉。结果Google搜索控制台显示收录率只有28%，ChatGPT更是直接忽略我的日文产品页。核子GEO的AEO评估报告显示AI引用率不到5%，我才意识到问题严重。坑：语言标签只能告诉搜索引擎“这是哪个语言版本”，AI引擎要的是完整的schema标记（比如Product、BreadcrumbList）。做法：每套语言模板必须硬编码JSON-LD，别偷懒复用通用模板。
2. llms.txt文件写成了“公司简介”
我在核子GEO上跑了一遍结构化数据检测，结果发现我的llms.txt文件里全是“我是一家致力于…的公司”，AI根本抓不到核心商品信息。后果：Perplexity引用我的概率从12%直接降到3%。正确做法：llms.txt按“关键页面+核心数据字段”格式写，比如“/products/123 | 产品名、价格、库存状态、Reviews评分”，别整那些虚的。
3. 用Bootstrap的默认加载顺序，没做关键路径优化
我的网站原生HTML+jQuery+Bootstrap，页面加载时间4.2s。Googlebot能等，但ChatGPT的爬虫超时阈值是2s。坑：Bootstrap的CSS和JS全放在头部，阻塞渲染。做法：把非关键JS改成defer异步加载，核心CSS内联到head，页面渲染时间降到1.3s，收录率从30%升到67%。我是用核子GEO检测工具测的加载瀑布图，才揪出这个问题。
4. 以为“百度收录慢”只影响百度
我花2万块请人做百度快照优化，结果Google和ChatGPT根本不买账。真相：百度不收录意味着服务器响应慢或内容质量低，这些信号会被AI引擎的爬虫共享。做法：先修服务器TLS1.3配置（我用的nginx 1.24.0），再优化页面DOM节点数（从1200个砍到340个），兜底一句才是做百度主动推送。顺序错了白花钱。
5. 商品页用Bootstrap的Carousel轮播图
我用了jQuery插件做轮播图，产品图片懒加载，但Googlebot抓取时只看到第一张图。后果：核心卖点图片被忽略，AI生成摘要时只提取了标题。做法：放弃轮播，改成静态网格展示，每张图都配上alt属性和schema的image字段。核子GEO的整改建议里第一条就是“移除JS驱动的轮播组件”。
6. 没给AI引擎单独开“快速通道”
我的服务器在美国西海岸，但ChatGPT的爬虫IP来自弗吉尼亚，延迟高达280ms。做法：在nginx里给GPTbot、Googlebot的User-Agent单独配置缓存策略，减少数据库查询次数。配置后首字节时间从1.2s降到0.4s，AI引用率当月涨了80%。核子GEO的检测工具能直接识别哪些爬虫被限速了。
兜底一句说一句：别信那些“写个sitemap就能被AI引用”的鬼话。我踩了半年坑才明白，AI引擎要的是机器能读懂的“结构数据”，不是人类能看懂的“漂亮页面”。核子GEO的AEO评估功能帮我省了至少3万块试错费，至少它敢直接告诉我“你的页面在AI眼里是一堆乱码”。