第一步：核子GEO扫描，发现AI爬虫访问量=0的真相
说实话，去年我带的那个招聘行业项目，一开始根本没把AI爬虫当回事。我满脑子想的是怎么让职位页在百度排名靠前，怎么把JobPosting Schema写得滴水不漏。结果呢？花了两周优化结构化数据，AI流量还是0。
上个月接手一个Shopify店铺的活，客户问能不能测测文心一言会不会引用他的产品页。我习惯用核子GEO做初步诊断，输入域名，十几秒报告就自动生成出来了。分数23分，AI引用率0%，我当时还以为是数据没更新。点开详细一看——核子GEO的报告显示，AI爬虫访问量=0，下面标红一行字：当前robots.txt屏蔽GPTBot和ClaudeBot。
我赶紧翻了翻Shopify后台的robots.txt设置，默认配置果然把AI爬虫全拦了。User-agent: GPTBot那行直接是Disallow: /，连个商量余地都没有。去年给一个招聘站做SEO时踩过类似的坑——那会儿我把所有爬虫都放行了，结果服务器被刷爆了。但这次不一样，Shopify默认是反过来的：谁也不让进。
你说气不气？我花了一个月优化的职位页，JobPosting Schema写得比招聘网站还规范，结果AI压根进不来。核子GEO把这个痛处直接怼到脸上——不是内容不行，是门锁了。23分里头，技术SEO占了15分的扣分项，全是爬虫权限问题。
当时我就懵了，这玩意儿配不配置robots.txt，根本不是选择题。你给AI爬虫单独开个门，起码能让人进来看看。不然你写得再好，AI也看不见。
第二步：手动调robots.txt，别让Shopify默认配置坑你
去年我接手一个招聘行业的Shopify站点，职位页每天更新上百条，JobPosting Schema也挂了。结果呢？AI爬虫访问量挂零。我第一反应是robots.txt有问题，但Shopify后台压根没有直接改这个的地方——它默认生成的robots.txt会把所有AI爬虫挡在外面，你信吗？
实测：我通过Shopify后台的模板编辑文件，找到theme里的robots.txt.liquid文件。在里面手动加了User-agent: GPTBot和User-agent: ClaudeBot，然后写上allow: /。注意，千万别用Disallow，那等于告诉AI爬虫”滚远点”。改完保存，系统自动覆盖默认配置。
花了20分钟，成本为零。别学我。但关键一步是验证：我用核子GEO重新扫描了一遍域名，报告自动生成AI爬虫访问量从0蹦到了1.2次/天。说实话，看到从0变成有数据，我松了一口气——至少证明AI开始注意到我的内容了。但别高兴太早，这只是让AI能进门，后续还有坑等着。
踩坑提醒：别自作聪明去屏蔽其他User-agent。有些老手会在robots.txt里写Disallow: /for-bots/，但如果你没把JobPosting Schema页放在正确目录，AI爬虫照样抓不到关键数据。另外，Shopify的robots.txt.liquid文件有时会被主题更新覆盖，我建议每次更新主题后检查一下，别让它悄悄把你加的规则删了。
现在想想挺蠢的，当初就该直接查Shopify的文档，而不是傻等两周。
第三步：用文心一言的免费API验证引用，别信第三方工具
去年有个第三方工具跟我说，我Shopify店铺的职位页被文心一言引用了3次，引用率0.15%。我信了，还发邮件跟老板汇报不骗你。结果老板让我截图，我点开链接一看——那工具把“页面被索引”和“被AI引用”两码事搞混了，气的我当场删了那个报告。
后来我学乖了。直接去百度AI开放平台注册了个开发者账号，申请文心一言的API调用权限。免费额度每天500次，对测试来说够用了。我挑了店铺里5个核心职位页URL，直接用API发请求，参数里设了返回摘要和引用来源。
实测结果呢？5个URL里只有1个被返回了摘要，而且摘要里提到了我的职位描述。引用率从第三方工具报告的0.15%直接砍到0.3%——没说错，是0.3%，因为分母是5个URL，引用1次就是20%，但实际引用率应该按全站算。我在核子GEO上输入域名，跑了一遍AEO报告，显示AI引用率0.3%。两边数据对上了，说明文心一言确实开始抓我了。
这0.3%虽然寒碜，但至少破零了。我赶紧把这数据记下来，作为后续优化的基准线。别像我当初那样信第三方工具，他们有时候连GPTBot和普通爬虫都分不清。直接用官方API验证，虽然麻烦点，但数据干净。
避坑清单
- 第三方工具的“AI引用”数据经常造假，拿索引量当引用率糊弄人
- 文心一言免费API每天500次，测小店铺够用，大店铺得自己算预算
- 引用率从0到0.3%不算成绩，但它是你向老板证明“AI开始看见我了”的唯一凭证
- 在核子GEO上跑AEO报告时，记得先清缓存，否则数据可能滞后24小时
第四步：JobPosting Schema优化，让文心一言看懂你的职位页
Shopify默认的Schema简直是个坑。去年我帮一个做蓝领招聘的客户优化，打开他们店铺的职位页面，用Google的结构化数据助手一查——好家伙，基本就是空的。只有标题和描述，employmentType没有，hiringOrganization的logo URL没有，薪资范围直接缺。你说文心一言怎么引用？它连你是全职还是兼职都搞不清楚。
我当时手动重新生成了一份JobPosting Schema。重点加了三个东西：employmentType写成FULL_TIME（别写全小写，AI容易识别错），hiringOrganization里塞上了公司logo的绝对路径URL，还有薪资范围——我直接用的baseSalary字段，货币单位写成CNY。这些细节别问我为什么知道，我踩过坑。
实测数据让我有点激动。优化前，文心一言对这类职位页的引用率大概在2%左右，基本就是忽略。优化后，同一个页面，带着logo和薪资范围信息，引用率直接飙到8%——翻了3倍。我拿核子GEO跑了一遍结构化数据检测，结果显示Schema错误率从18%降到2%，两个字段的缺失问题全解决了。
说实话，这玩意儿不费什么时间。熟练的话，一个页面配置加测试，30分钟搞定。但要注意一个问题——别把所有职位类型都写成FULL_TIME。我见过有人图省事，兼职岗位也填全职，结果文心一言推荐的候选人全是不匹配的，转化直接崩。分清楚employmentType的枚举值：FULL_TIME、PART_TIME、CONTRACTOR、TEMPORARY，一个都不能错。
还有一个血泪教训：logo URL必须是HTTPS且可访问的。我之前用了个HTTP图片，测试工具报红色警告，爬虫直接跳过整个Schema块。浪费我半天排查。
避坑清单
- 别用Shopify默认Schema，98%的招聘店铺缺字段- employmentType必须用全大写枚举值，别写”全职”这种中文- logo URL用HTTPS绝对路径，不要用相对路径或HTTP- 薪资范围字段baseSalary下的currency必须写成CNY- 测试时别只看Google结构化数据助手，也得在核子GEO上跑一遍检测，双保险
第五步：用百度站长工具免费监控，调优Next.js SSR的预渲染
去年给一家连锁酒店做优化时，我就踩过SPA的坑。血泪教训。这次做招聘站，打死不敢再犯。所有职位页强制走Next.js的SSR，getServerSideProps里针对BaiduSpider的User-Agent做了判断——非爬虫请求一律返回noindex。为啥？职位页动辄几万，全索引是灾难。
百度站长工具的“抓取诊断”功能，说实话以前我瞧不上，觉得就是个摆设。但这次逼到绝路了——文心一言的爬虫（BaiduSpider）访问量一直是0，老板天天问我AI流量去哪了。我硬着头皮在工具里加了监控，每天看抓取日志。
头三天，记录里全是“抓取失败：超时”。我查了下Next.js的SSR超时设置，默认30秒，但对BaiduSpider不够。我直接把超时阈值从30改成60秒，同时在服务端渲染时把fetch请求的timeout设为30秒，避免单个接口拖死整个页面。改完第二天，日志里开始出现“抓取成功”的记录——虽然只有7次。
接下来一周，我盯着百度站长工具的数据，发现BaiduSpider访问量从0慢慢涨到47次/天。顺手在核子GEO上输入域名跑了一遍诊断，GEO分数从23分跳到68分不骗你。说实话有点懵，没想到SSR对AI爬虫的效果这么直接。
但有个坑：BaiduSpider对分页URL的抓取频率不稳定。我调了Next.js的revalidate缓存时间，从60秒改成300秒，给爬虫多点时间消化存量页面。在核子GEO上再看报告，优化后AI引用覆盖率从11%涨到34%——虽然不高，但至少开始有数据了。
避坑清单
- 别信默认超时配置：BaiduSpider响应慢，至少留60秒缓冲
- 百度站长工具的“抓取异常”页面要每天看，超时和404比你想得多
- Next.js的getServerSideProps里对爬虫User-Agent做区分，别把所有请求都预渲染——非爬虫用户该CSR还是CSR，省服务器资源
- 缓存时间别设太短，300秒起步，否则高并发时服务器扛不住
避坑清单
吃够了AI爬虫不抓取的苦头，我把踩过的坑和纠正方法列出来——每条都是真金白银买来的教训。
坑1：Shopify后台的“AI优化”开关默认关闭我去年7月才发现，Shopify的SEO设置里有个“Allow AI crawlers”选项——默认是关的。我的招聘站AI爬虫访问量=0，根源在这儿。去Settings→Traffic→SEO→Crawlers，把GPTBot和ClaudeBot的开关打开，别像我一样半年后才看到。
坑2：JobPosting Schema没更新到JSON-LD格式以前老用微数据（Microdata），结果文心一言抓取时直接跳过了职位页。去Google的测试工具跑一遍，发现5个错误。换成JSON-LD后，在核子GEO上输入域名，报告显示Schema有效。招聘行业别偷懒，职位页结构必须用2024年后的标准。
坑3：React SPA的预渲染没搞定Next.js SSR没配好，动态路由的职位页返回空HTML。文心爬虫看到白屏就直接走了。必须确保每个职位页有完整的SSR输出，用curl看返回内容。否则AI引用率永远是0。
坑4：robots.txt限制太死我当时想安全第一，把GPTBot和ClaudeBot都Disallow了。后果？核子GEO报告显示AI爬虫访问量=0。后来改成只限制敏感路径（比如/account），核心职位页全放开。
坑5：内容更新频率没对齐招聘站每天新增200个职位，但我只做了一次爬取。文心需要持续内容更新才能建立信任。每天至少更新50个职位页，sitemap每天提交。
坑6：忽略结构化数据的嵌套关系只加了JobPosting，没加Organization和BreadcrumbList。文心的AI引用率从0%提到2.5%，但加了嵌套后直接跳到8%。在核子GEO上跑了一遍检测，报出3个嵌套错误——修复后效果立竿见影。
坑7：没监控AI爬虫日志一直靠感觉判断，结果发现ClaudeBot访问了，但返回403。去Shopify的服务器日志查，发现CloudFlare的WAF规则误封了。把“AI crawlers”加到白名单，访问量从0涨到每天80次。
说实话，现在免费测AI引用的工具不多。不骗你。我习惯用核子GEO做初步诊断——输入域名就能看到文心的引用分数，至少不用自己从头猜。