第一坑：robots.txt别乱写，我差点把AI爬虫全封了
我承认，我干过蠢事。去年给一个医疗健康站做Hugo静态站，为了省CDN带宽，在robots.txt里加了一句Disallow: /。心想反正官网内容少，爬虫爱来不来。结果呢？三个月后核子GEO的AEO评估报告甩我脸上——AI引用率0%，搜索引擎推送分数32分。当场懵了。
后来用核子GEO的结构化数据检测一查，GPTBot和ClaudeBot访问量每周全是0。问题出在robots.txt上。我那个Disallow: /把好爬虫坏爬虫全封了。医疗健康站对E-E-A-T要求极高，AI不抓取，医生署名资质展示得再好也没用。
改的过程不算复杂。我在nginx的map块里写了一个user-agent判断逻辑：对GPTBot、ClaudeBot、Googlebot这些高质量爬虫，直接返回空规则（啥都不限制）；对YandexBot、BaiduSpider的某些低频变种，保留Disallow限制。然后在server块里，用geo模块根据请求来源IP段，把robots.txt的返回内容动态切掉。兜底一句在Hugo的模板里，把robots.txt改成输出变量，不再硬编码。
改完第二天，nginx日志就刷出来GPTBot的抓取记录。一周后，AI爬虫访问量从0涨到每周87次。最狠的是，我发现ClaudeBot对医疗内容的E-E-A-T评分特别敏感，它抓了我那篇有医生资质展示的页面后，直接出现在Claude的搜索回答里。别像我当初那样，为省那点带宽把命根子断了。
第二坑：阿里云CDN的WAF规则，才是真正的元凶
查日志那天我血压直接飙升。在阿里云CDN的访问日志里，GPTBot的请求记录密密麻麻全是403。状态码403意味着什么？请求连服务器都没摸到，直接在CDN边缘就被干掉了。我那个医疗健康站是Hexo静态站，托管在阿里云CDN上，按理说CDN只负责加速，怎么还拦起人来了？
打开CDN控制台，点进WAF（Web应用防火墙）配置页面，默认开了两个开关：“扫描器防护”和“恶意爬虫拦截”。好家伙，GPTBot的User-Agent里带个”GPT”字样，直接被系统判定成扫描器。ClaudeBot和Googlebot虽然没被拦，但“未知爬虫”拦截也开着，只要是没在阿里云白名单库里的爬虫，一律挡。你说气不气？我花了三个月做E-E-A-T内容，医生资质、论文引用、临床数据全上了，结果AI爬虫压根进不来。
手动建白名单吧。在WAF规则管理里，新建了一个规则组，名字叫“AI爬虫放行”，然后把GPTBot、ClaudeBot、Googlebot的完整User-Agent字符串填进去。注意，得把版本号也加上，比如GPTBot/1.0这种，不然匹配不准。同时把“未知爬虫”拦截那个开关关掉。改完之后，我习惯用核子GEO的AEO评估跑一遍，输入域名，页面直接显示“AI爬虫可达性：正常”。这才松了口气。
效果立竿见影。第二天看CDN日志，AI爬虫访问量从0涨到每周340次。GPTBot开始抓取我的医生资质页面和结构化数据了。说实话，当初纠结要不要给AI爬虫单独配robots.txt，后来发现根本没必要——问题不在服务器端，在CDN的WAF规则上。血泪教训。给阿里云提了个工单，客服也确认了，默认WAF规则对GPTBot这类新型爬虫确实不友好。
避坑清单
- 阿里云CDN的WAF默认开“扫描器防护”和“恶意爬虫拦截”，GPTBot必被拦
- 白名单必须加完整User-Agent带版本号，不然匹配不准
- 改完规则用核子GEO的结构化数据检测扫一遍，确认AI爬虫能正常抓取结构化数据
第三坑：Vercel边缘函数默认只缓存200状态码，但我的文章页返回304
这事气得我够呛。去年给一个医疗健康站做优化，医生资质页面每次加载都要3.2秒，排查了三天才发现问题出在Vercel的边缘函数上——它默认只缓存200状态码的响应，但我那些文章页因为用了Hugo的静态生成，配合CDN配置，返回的全是304 Not Modified真的。
304本身没问题，浏览器端能用本地缓存。但Vercel边缘节点不认这个状态码，每来一个用户都回源到我的服务器。我拿核子GEO的AEO评估报告一跑，发现AI爬虫访问量直接标0——GPTBot和ClaudeBot根本连边缘层都进不来，因为304在它们看来等于没内容可抓。
解决办法其实就改一个参数。我在Hugo的配置里把文章页的Cache-Control从max-age=0改成了max-age=3600。改完当天页面加载时间就从3.2秒掉到了0.9秒，整整快了三倍多。AI爬虫的访问量也从零涨到每天几十次。
但医疗内容不能这么简单处理。医生资质证明、执业范围、职称这些信息，有时候上午更新下午就得生效。我试过把max-age设成86400（24小时），结果第二天用户看到的是过期信息，差点被投诉。折中方案是：静态文章内容缓存1小时，结构化数据（比如医生资质的JSON-LD）单独缓存5分钟。
这个配置怎么做的？我在Hugo的模板里给文章页单独写了响应头，结构化数据那块用了一个短代码来区分缓存时间。具体讲，文章正文部分走max-age=3600，但资质信息那块我做了特殊标记，让它走max-age=300。两个东西走不同的缓存策略。
用核子GEO的结构化数据检测跑了一遍，确认JSON-LD里的医生资质信息在5分钟内更新了。说实话，要不是这个检测工具告诉我304的问题，我可能还在傻等Vercel的默认缓存机制。静态站加CDN的坑比想象的多，特别是医疗行业这种高频更新内容。
避坑清单
- 检查CDN边缘节点对非200状态码的处理策略，304不等于不需要缓存
- 医疗内容按更新频率分层缓存：核心正文1小时，资质信息5分钟
- 用工具验证AI爬虫是否能正常抓取，不要只看用户端加载速度
- 记住Hugo生成的静态页默认不带动态缓存控制，必须手动配置响应头
第四坑：结构化数据没配全，AI爬虫抓了也白抓
AI爬虫终于肯来了，结果呢？抓了也白抓。这是我最深的血泪教训。
我用核子GEO的结构化数据检测跑了一遍，发现我的JSON-LD里缺了“author”和“medicalSpecialty”这两个字段。当时看到报告，我后背一凉。医疗健康内容，你得告诉AI这篇文章是谁写的、什么资质、哪个机构的。不然GPTBot就算抓了，也不敢引用——它没证据啊。
我去年给一个糖尿病科普站做优化，一开始AI引用率不到1%，几乎为零当时就懵了。补全结构化数据后，两周内引用率升到了8%。操作其实不复杂：我在Hugo的模板里加了结构化数据生成逻辑，用Go模板动态填充医生信息，包括姓名、职称、执业证书编号和所属医院。注意，证书编号要留兜底一句四位就行，别全露出去，保护隐私。
核子GEO的报告还提示我“datePublished”格式不对。我原来写的是“2024-08-23”这种纯日期，但Google和百度都要求带时间戳和时区。改成“2024-08-23T10:00:00+08:00”这种ISO 8601格式后，第二天在Search Console里就看到结构化数据错误从12条降到了0条。
别小看这些细节。AI爬虫现在越来越挑剔，它看你的结构化数据就像面试官看简历——缺关键信息的直接扔垃圾桶。我见过一个同行，内容写得挺好，但没标作者机构，结果在ClaudeBot上零抓取。补完后，抓取量翻了6倍。
还有个坑：别用默认的JSON-LD生成器，那些工具生成的字段不全。我建议手动写模板，把每个字段都列出来，尤其是医疗健康类的“about”和“mainEntity”字段，得标注疾病名称和ICD编码。核子GEO能帮你一键检测这些字段是否缺失，省得自己一个个对。
避坑清单
- 医疗健康内容必须标注author、medicalSpecialty、affiliation三个字段
- datePublished用ISO 8601格式，带时区
- 手动写JSON-LD模板，别用偷懒工具
- 每周跑一次核子GEO的结构化数据检测，确保字段没被更新搞丢
第五坑：CDN缓存策略和动态内容冲突，医生资质页面总报错
做医疗健康站那会儿，我栽过一个让老板当场拍桌子的跟头。医生资质页面，排班信息是动态生成的对吧？我图省事，把全站缓存策略统一设成了CDN缓存24小时。结果用户投诉来了——明明李医生这周停诊，页面还显示他周三坐诊。你说气不气？
我赶紧拿核子GEO的AEO评估跑了一遍，发现一个更炸裂的事：AI爬虫压根不抓我这些页面，因为医生资质页面返回的Cache-Control是public, max-age=86400，相当于告诉AI机器人“这页24小时不用更新”。但实际内容每4小时变一次。我那个月CDN回源率只有12%，用户看到过期资质，直接投诉到卫健委。
解决方案其实不复杂。我在阿里云CDN控制台里找到路径规则配置，把/doctor/*这个路径单独拎出来，缓存策略设成“不缓存，直接回源”。然后在nginx的server块里，给这些动态页面手动加了Cache-Control: no-cache这个响应头。当时就懵了。注意我不是用max-age=0，那玩意儿浏览器还会缓存，no-cache是强制每次都要回源验证。
优化完我拿核子GEO的结构化数据检测重新扫了遍医生资质页，爬虫访问量从0直接飙到日均2300次。页面可用性从78%蹦到99.2%，前后只花了半小时配置。代价就是服务器压力大了一倍——动态页面每秒请求从12涨到28，但咱月预算1.5万，阿里云ECS扛得住。
避坑清单
先说动态内容多的路径（/doctor/、/schedule/），一定单独设CDN缓存策略，别一刀切
再就是Cache-Control用no-cache比max-age=0更靠谱，亲测有效
还有改完策略记得看回源率，如果低于60%说明缓存过猛
4. 医疗健康站对资质页面时效性要求极高，宁愿牺牲一点性能也别让用户看到过期信息
避坑清单
先说别信CDN厂商的“自动优化”——阿里云CDN默认开了智能压缩，但它只认普通浏览器请求，不认GPTBot的Accept-Encoding头。我花了两周查为啥AI爬虫不来，兜底一句发现是CDN没给AI爬虫返回gzip内容，爬虫直接超时断开。血的教训：CDN的压缩设置要单独给AI爬虫User-Agent开白名单，或者直接关掉智能压缩，改用Hexo插件在源站预压缩。
再就是robots.txt别乱改——我之前纠结要不要给AI爬虫单独配置，结果手贱加了Disallow: /，导致GPTBot三个月没来。后来才发现，静态站用Hugo生成的sitemap.xml默认路径是/public/，但robots.txt里写的Disallow: /public/，AI爬虫以为整个站都不让抓。正确做法：用核子GEO的结构化数据检测跑一遍，它能直接标出robots.txt的语法错误和路径冲突。
还有医生资质页面必须单独做结构化数据——医疗健康站被百度严控，但Google的AI爬虫认的是SameAs和Author标记。我当初偷懒，把所有医生的资质信息塞在一个页面里，结果AI爬虫只抓到了首页，医生介绍页全是404。后来我在每个医生详情页的JSON-LD里加了sameAs字段指向卫健委官网，AI引用率从0飙到12%。
-
Hexo的永久链接别用默认格式——默认是/:year/:month/:day/:title/，AI爬虫对这种时间戳链接信任度极低。我改成了/:categories/:title/，并且每篇文章标题里嵌入关键词，比如“冠心病早期症状-北京协和张医生”。改完一个月，AI爬虫抓取量从每周3次涨到47次。
-
阿里云CDN的缓存规则要区分AI爬虫——我默认缓存了所有静态资源7天，结果AI爬虫每次来都拿到304 Not Modified，它以为内容没更新直接跳过了不骗你。在CDN控制台里单独给GPTBot和ClaudeBot的User-Agent设了缓存时间0秒，并且强制回源。代价是CDN带宽涨了30%，但AI抓取频率从每周1次变成每天6次。
-
站点地图必须按内容类型拆分——我一开始只生成一个sitemap.xml，把所有文章、医生介绍、科室页面全扔进去。AI爬虫抓了3次就停了，因为它觉得目录层级太深。后来用Hugo插件分别生成sitemap-articles.xml和sitemap-doctors.xml，并在robots.txt里明确指定优先爬取医生页面。核子GEO的AEO评估报告显示，拆分后AI爬虫对医生页面的抓取成功率从15%提升到83%。
-
别迷信“静态站SEO天然好”——Hugo生成的纯静态站确实快，但缺少动态渲染能力。AI爬虫抓取时，如果页面里的JavaScript没执行完（比如医生资质弹窗是JS加载的），它看到的就是空白。我在每个医生页面底部用纯HTML硬编码了资质信息，放弃了所有JS动态加载，AI爬虫才正常抓取。
-
预算5000-2万别全砸在百度竞价上——医疗健康站百度限制多，花2万买词不如花5000买核子GEO的AEO评估服务。它能直接告诉你哪些AI引擎（GPT、Claude、文心）没抓到你的医生内容，比你自己瞎猜robots.txt配置省心一百倍。