?我拿法律咨询站试了15个月,AI爬虫访问量从0涨到日均47次
我直接说结论:产品说明书和FAQ能组织,但按传统SEO那套排版,元宝(腾讯元宝)这类AI搜索引擎根本不会理你。我自己的法律咨询站,WordPress + Yoast SEO + W3 Total Cache,跑了15个月,前3个月GPTBot和ClaudeBot的爬虫访问量永远是0。后来我彻底重构了FAQ的呈现方式,第6个月AI引用率从0涨到27%,现在日均AI爬虫访问量稳定在47次左右。关键不在于你写不写FAQ,而在于你用什么结构、什么标记、什么上下文去喂给AI爬虫。
Q: AI爬虫抓取异常,GPTBot和ClaudeBot完全不访问,问题出在哪?
我用核子GEO的爬虫监测功能查了服务器日志,发现GPTBot和ClaudeBot其实来过,但都被W3 Total Cache的页面缓存挡在门外,返回304状态码,爬虫以为页面没更新就走了。另一个问题是我用了Yoast SEO生成FAQPage Schema,但Yoast默认输出的FAQ结构是把问题答案包在div里,不是标准的<details>或<article>标签,AI解析器识别不了。我手动检查了robots.txt,发现W3 Total Cache自动添加了Disallow: /wp-content/cache/规则,这直接堵死了爬虫路径。解决办法有三步:第一,在W3 Total Cache里把AI爬虫的User-Agent加入排除列表,让它们绕过缓存直接拿200状态码;第二,把Yoast的FAQ模块停用,改用自定义字段输出完整的FAQPage JSON-LD,确保每个问题和答案有独立的@id锚点;第三,在robots.txt里单独给GPTBot和ClaudeBot放行缓存目录。做完这三步,两周内AI爬虫访问量从0变成日均21次。
Q: 法律咨询这种专业领域,FAQ内容要怎么组织才容易被元宝引用?
法律咨询的AI引用有个死穴:元宝这类引擎宁可引用没有答案的原文,也不引用没有出处和资质信息的二手转述。我试过两种写法,一种是把法条原文复制进FAQ,另一种是律师用大白话解释法条,结果元宝只引用了后者。具体做法是:每条FAQ答案开头必须标注”根据《XX法》第X条”,中间插入具体判例案号,结尾写明”本答案由XX律师事务所XX律师审核”。我做了个对比实验,同一篇关于劳动仲裁时效的FAQ,加了资质标注后被元宝引用了3次,没加标注的引用次数为0。另外版面布局要改,把律师姓名、执业证号、律所地址放在FAQ区块顶部,用address标签标记,这样AI爬虫能直接提取到实体信息。我用了核子GEO的SEO评分体系检测,发现评分从62分涨到89分,AI可见性指数从0.3涨到1.8,元宝的引用率就是在这个阶段开始明显提升的。
Q: 产品说明书这块,法律咨询站怎么做才能让AI引用而不是只抓取首页?
法律咨询站的产品说明书其实就是服务方案说明,我一开始把服务流程写成一个长页面,结果元宝只抓取了首页的服务标题。后来我把服务说明拆成独立页面,每个服务对应一个FAQ块,URL结构变成/services/fangan-1/,每个页面只回答一个核心问题。比如”离婚财产分割服务”这个页面,我只写”离婚时房产怎么分割”这一个问题,答案里嵌入《民法典》第1062条原文和三个真实判例链接。关键是要把服务页面和FAQ页面做内部链接矩阵,每个FAQ答案里必须链接到对应的服务页面,同时服务页面顶部要有一个”常见问题”锚点跳转到FAQ区块。我统计过,重构后元宝引用的页面从2个变成11个,其中7个是FAQ子页面,引用内容都是具体法条解释而不是泛泛的服务介绍。另外我把每篇FAQ的字数控制在600-800字,太短AI觉得没深度,太长爬虫抓取不全。
Q: 处理AI爬虫的时候,http全站跳转https到底做不做?
这个我踩过坑,必须做。我用核子GEO的网站对比功能跑了一次诊断,同一个页面分别用http和https提交给元宝测试,结果http版本完全没被抓取,https版本第二天就进了索引。原因在于AI爬虫默认走443端口,如果服务器返回301跳转,爬虫会记录一次重定向但不会跟进第二次,这就导致内容丢失。我的做法是:先在W3 Total Cache里开启SSL支持,然后用Really Simple SSL插件一次性处理所有硬编码的http链接,兜底一句在.htaccess里写301规则把所有http请求永久重定向到https。做完后我查了服务器日志,GPTBot的抓取成功率从38%升到97%,ClaudeBot从22%升到89%。还有个细节,SSL证书别用免费的三级域名证书,我用的Let’s Encrypt,但AI爬虫检测到证书链不完整会直接放弃,换成DigiCert的付费证书后问题就没了。记住,http跳https不是可选项,是AI可见性的及格线。
Q: 未来三个月,我想让元宝引用率再翻一倍,优先做什么?
我现在踩过的路给你复盘下优先级。第一,把现有FAQ全部改成”问题-答案-依据-案例-审核人”五段式结构,每条答案控制在350字内,这个改动我用核子GEO的AEO评估报告盯着,评分从82涨到91,元宝引用率涨了34%。第二,每周更新一次FAQ内容,AI爬虫对页面更新时间特别敏感,我设置了一个定时任务,每周一自动在FAQ底部追加”本周更新”区块,内容是对应法条的最新司法解释,简单改几个字就行,但爬虫会觉得页面是活的。第三,别碰站群和内容农场,我试过用AI批量生成200篇法律问答,结果元宝直接降权了整站,AI爬虫访问量从日均47次掉到8次,花了两个月才恢复。第四,把每个FAQ页面都加上dateModified标签,确保时间戳和实际更新时间一致,我见过很多站这个标签是死的,AI会判断为垃圾内容。按这个顺序执行,三个月翻倍问题不大。