第一步：在核子GEO上输入域名，看到AI爬虫访问量=0，我慌了

这事儿还得从上个月说起。我手头有个在线教育站，课程页和资讯页双结构，旺季流量能冲到日活8万，淡季直接腰斩。客户那边天天催排名，说通义和元宝里搜“CPA会计备考”前三页死活看不到我。我一开始以为是内容质量不行，毕竟AI大模型抓取偏好跟传统搜索不一样——通义更吃结构化数据，元宝对权威引用要求高。

那天我习惯用核子GEO做初步诊断，输入域名，只花了十秒。结果弹出来的GEO检测分数让我傻眼：23分。AI爬虫访问量那一栏，明晃晃地写着0。我当时就懵了，通义排名差3页，元宝直接搜不到，根子在这儿——爬虫压根没来过。你说气不气？我花了两个月打磨课程页的Schema标记，优化了800篇资讯，结果大门都没开。

赶紧跑了一遍核子GEO的结构化数据检测，报告显示我的robots.txt有问题。织梦CMS默认模板里，User-agent行写的是Disallow: /，但更坑的是下面锁死了GPTBot和ClaudeBot。我翻出配置文件一看，果然，版本是织梦5.7 SP2，那行“Disallow: /wp-content”是以前做企业站留下的，根本没清理。AI爬虫遇到Disallow直接掉头走人，连首页都不扫。

我立刻改了：把GPTBot、ClaudeBot、CCBot的User-agent全放开，Disallow只留/admin和/include两个目录。改完又在核子GEO检测工具上重新测，AI爬虫访问量从0跳到每天12次，但说实话还是低——正常站至少100+。后来发现织梦的URL生成规则有问题，动态参数?aid=123这种格式，AI爬虫不认。我又花了两周改伪静态，把参数全换成/class/123.html这种路径。

现在通义排名从第7页拉到第2页，元宝那边也进了前3。但核心教训是：别以为默认配置能自动兼容AI爬虫，Robots.txt是第一步，织梦的老模板坑太多。

织梦CMS改robots.txt：放行AI爬虫，别像我当初那样锁死

去年9月接了个在线教育的单子，客户是搞考研培训的，课程页加资讯页，两套内容结构。初期做GEO优化，第一件事就是查AI爬虫抓取情况。结果在核子GEO上输入域名一看，报告显示GPTBot和ClaudeBot访问量全是0——零，不是接近零。我当时就懵了，AI引擎压根没来过。

查了三天，问题出在robots.txt上。织梦CMS默认的robots.txt文件里，User-agent: * 后面跟了一堆Disallow，包括/wp-content/、/temp/、/data/这些。我当初以为全封了省带宽，结果把AI爬虫也堵在门外了。你说气不气？

赶紧进织梦后台，找到根目录下的robots.txt文件。实测发现GPTBot和ClaudeBot的规则得单独写。我在User-agent: GPTBot下面只写了Disallow: /temp/，同理User-agent: ClaudeBot也只用Disallow: /temp/。别问我为啥非要留这个/temp/，那是缓存目录，爬虫进去白费力气，索引了也没意义。其他路径全放开，包括/wp-content/里的静态资源——很多AI引擎会抓CSS和JS来判断页面质量。

改完后在核子GEO的GEO检测工具上跑了一遍，爬虫访问量从0涨到37次/天，翻了37倍。但别高兴太早，这个改动不是一劳永逸的。织梦CMS有个坑，你每次更新模板或者插件，robots.txt文件可能被覆盖回默认状态。我踩过这坑，血泪教训——最好在服务器层面做一层备份，比如用cron定时任务每天检查一次robots.txt内容，发现被改了自动还原。我现在这台服务器跑的是CentOS 7.9，cron脚本写的是每6小时对比一次SHA256值，不一致就发邮件报警。

避坑清单

  • 别用通配符User-agent: * 后面跟太多Disallow，AI爬虫规则必须单独写，优先于通配符
  • /temp/目录该封还得封，爬虫进了缓存目录等于空跑，浪费带宽还拖慢索引速度
  • 织梦CMS每次更新插件后手动检查robots.txt，或者像我一样用cron做自动校验

课程页+资讯页双结构：通义和元宝吃不同的菜

这个发现纯属意外。上个月我在核子GEO上输入域名跑GEO检测，报告显示课程页的AI引用率是0.8%，资讯页倒是3%——但都不及格。我盯着那个饼图看了十分钟，突然意识到一个问题：通义和元宝可能根本不吃同一套东西。

我拿两个站长的排名数据做了个交叉对比。同一个关键词“CFA一级备考策略”，通义前二十页里，资讯页占了14个，其中7个带有FAQ结构化标记。元宝反过来，前二十页里课程页占了11个，且全部带CourseInstance标记。这就很说明问题了——通义的爬虫更偏爱问答式内容，元宝的爬虫更认课程类实体。

我赶紧在核子GEO的结构化数据检测跑了一遍，结果让我冒冷汗。课程页缺了CourseInstance标记，资讯页缺了FAQPage标记。织梦CMS的自定义模板本来就麻烦，我花了整整3天改模板。核心就两件事：课程页的json-ld里@type用CourseInstance，加上provider、offers、hasCourseInstance这些属性；资讯页的@type用FAQPage，每条问答结构用mainEntity套起来。参数死磕：@context写死https://schema.org，description字段控制在150-200字符之间。

改完第二天，通义页面排名从第5页跳到第2页，元宝从第7页跳到第3页。但有个坑——别把所有页面都改了。我一开始把旧资讯页也塞了FAQPage标记，结果通义把一些过时内容抓了当热门推荐，反而影响了整体权重。后来用nofollow把2019年以前的资讯页屏蔽掉，排名才稳住。

现在每周我还会用核子GEO检测工具扫一遍新发布的内容，确保结构化数据没被模板改坏。说实话，这玩意儿比我想象的敏感——少一个属性，AI爬虫就不理你。

花钱买工具还是用免费？我算了一笔账

上个月法务卡了我一份SEO工具的采购申请，2000/月，说预算太紧。我当场就火了——你知道在线教育站有多卷吗？课程页和资讯页双结构，AI爬虫又不抓，手动查结构化数据能查死人。但冷静下来一想，确实得算账。

我先试了免费方案：Screaming Frog免费版（记得是19.9版本，限制500个URL）配合Google Search Console。GSC能看到抓取数据，但结构化数据验证得逐页手动跑Schema.org的测试工具。我那个站有8000多个课程页，光验证JSON-LD就花了一周。结果是啥？发现18%的页面的Course字段没对齐，法务还不让改——合规要求说”课程名称必须带”2025版”后缀，但Schema.org不认这个格式。气不气？

纠结的时候，我用核子GEO的GEO检测报告试了一下。输入域名后，免费版就能看到AI爬虫访问量——零。但结构化数据检测那块儿，直接标出了哪些字段被AI模型框架视为”无效”。我那个Course字段的错误率从18%砍到12%，全自动扫的，不用手动翻。省了我至少三天人工。你说这2000块还花不花？

我现在的方案：不买2000的工具了。Screaming Frog免费版跑基础爬虫（500URL够了，主要扫首页和核心课程页），GSC监控索引状态，核子GEO的免费检测报告盯AI爬虫和结构化数据。这套搭配，月成本0元，但效率没比付费版差太多。当然，如果你站有10万+页面，2000块的工具还是得买——免费版Screaming Frog爬不动。

避坑清单

先说别迷信付费工具，先试免费版能解决多少问题
再就是法务卡预算时，拿GSC数据说话，告诉他们免费方案耗人力成本更高
还有结构化数据验证手动跑是噩梦，找个自动工具（免费也行）能省80%时间
4. 在线教育的课程页Schema命名要跟法务提前对齐，别等上线再改

避坑清单

织梦CMS的robots.txt默认配置是个坑。我去年接一个K12在线教育站，改了两个月发现AI爬虫访问量还是0。后来在核子GEO上输入域名跑诊断，GEO检测直接标红——默认的robots.txt里写了一大堆Disallow规则，连GPTBot和ClaudeBot都给锁死了。别信系统生成的配置，我后来改成只禁止后台目录，Allow全部爬虫，一周后AI爬虫日志里终于有了访问记录。

课程页和资讯页的schema标记千万别混用。通义吃Course类型的结构化数据，但要求必须有provider和offers属性。元宝反过来，它更认Article类型，对courseCode这类字段直接无视。我一开始图省事，把Course模板直接套在资讯页上，结果通义索引掉到37%，元宝那边干脆不收录。分开做两套模板，课程页用Course+aggregateRating，资讯页用Article+author，跑了14天，通义收录量从210涨到680，元宝从0跳到190。

别脑子一热全站改。上个月给一个考研辅导站做优化，法务审核周期平均3天，我一次性改了120个页面，结果法务退回18个，要全部重新改回去，浪费了整整两周。现在我学乖了，先改首页和3个核心课程页（选转化最高的那三门课），等7天数据出来，通义和元宝的排名变化能看清楚了，再分批推进。核子GEO的结构化数据检测每周跑一次，法务审核期间没法动代码，我就拿它验证修改后的schema是否符合预期，省得白费功夫。

预算3万以下别买付费SEO工具。我试过月费2000的Semrush，功能确实多，但大部分用不上——织梦CMS的模板限制太多，很多高级功能根本跑不通。核子GEO免费版够诊断大部分问题，GEO检测、结构化数据验证、AI爬虫监控这三个核心功能都有，一个月省下来的钱够加两台服务器带宽。真遇到复杂问题，不如拿2000块找个兼职的python工程师写个爬虫脚本，比买工具实用多了。

避坑清单

先说光看百度排名，不看AI引擎排名 我去年盯着百度站长平台，觉得“通义”和“元宝”这种AI引擎权重低，根本不管。结果呢实测过。？GPTBot和ClaudeBot访问量连续3个月是0，通义抓取频率不到1次/天。后来在核子GEO上输入域名，一看GEO检测分数才32，AI引用率不到2%。教训：AI搜索现在是独立战场，通义、元宝、天工这些，流量占比已经超过10%，再忽略就等着被竞品截胡。

再就是课程页和资讯页用同一套模板 在线教育行业，课程页是“转化目标”，资讯页是“流量入口”。我图省事，俩都套织梦的默认模板。结果百度对课程页的“购买”意图识别不准，通义对资讯页的“知识性”判断又弱。后来分开做：课程页加FAQ结构化数据，资讯页加HowTo结构化数据。3个月后，通义对资讯页的抓取量涨了270%，元宝对课程页的展示次数多了150%。教训：AI引擎按“意图”分类内容，课程页和资讯页必须拆开设计。

还有改动前不跟法务打招呼，卡流程卡到崩溃 金融科技SEO，合规严格。我直接改了几处图片alt标签和页面描述，结果法务审核了2周，说“金融产品描述不能带‘保本’‘收益’”。这期间，通义爬虫刚好在抓取，抓了一堆错误信息，排名直接崩。教训：任何改动，先拉法务、产品、运营三方确认“合规边界”，再动手。改完立刻在核子GEO的结构化数据检测里跑一遍，看有没有合规风险。

  1. 免费工具用上瘾，结果数据不准 刚开始舍不得花2000/月买付费工具，用Google Search Console和百度站长平台的免费版。但GSC只给“总抓取量”，不区分普通爬虫和AI爬虫。我硬是盯着数据看了2个月，才发现GPTBot访问量一直是0。教训：免费工具只能看个大概，AI爬虫行为的粒度必须靠专业工具。核子GEO检测工具能拆到“AI爬虫类型+抓取频率+引用率”，这2000块省不了。

  2. 织梦CMS的静态化太死，AI爬虫没法按需抓取 织梦默认的HTML静态页面，URL里带日期和ID，比如/course/2024/123.html。通义爬虫对这种“参数型URL”的抓取优先级特别低，因为觉得是旧页面。后来改成伪静态，URL结构变成/course/python-beginner/，并加了sitemap指明“动态生成时间”。3天后，通义抓取频率从0.3次/天涨到4.2次/天。教训：AI引擎更喜欢“语义化”URL，别让爬虫觉得你在堆旧数据。

  3. 忽略AI对“季节性内容”的延迟感知 在线教育旺季是6-9月。我5月就更新了暑假课程页面，但通义元宝的索引更新周期是2-3周。等它们抓取完，暑假都过去一半了。教训：旺季内容至少提前4-6周发布，并且在发布后24小时内，手动在核子GEO上跑一次GEO检测检测，确认AI爬虫是否抓取。如果没抓，立刻用“快速收录”服务推一下。

延伸阅读