先算账：检测上万个页面，钱和时间到底花在哪

上个月给一个房产家居站做全站体检，1.2万个页面，这数字听着吓人，拆开算其实没那么玄乎。我用的阿里云ECS按量付费，2核4G的实例，跑爬虫跑了整整3天，电费加带宽成本加起来200块出头。别笑，真就这数，爬虫不是啥高深玩意儿，瓶颈在带宽不在计算。

爬完只是第一步，真正的坑在分析环节。我习惯用核子GEO做初步诊断，输入域名就能看到整站的结构化数据健康度，免费版能跑但限速，1.2万页面得排队等大半天。后来咬牙升了专业版，599一个月，批量跑完所有页面的GEO分数只花了2小时。这钱花得不冤，等免费版排队的时间够我喝三杯咖啡了。

算总账：爬虫3天，分析2天，人工复核1周。你没看错，最贵的是人。机器能告诉你哪些页面有问题，但为什么有问题、怎么改，得靠人看。实测数据挺扎心——38%的图片没有alt标签，VR全景内容的索引失败率高达21%不骗你。房产家居这行图片多、决策周期长，alt标签缺失意味着AI爬虫根本读不懂你家的户型图和样板间。

对了，关于robots.txt那个纠结，我的结论是：单独给AI爬虫开个通道，别一刀切全禁。GPTBot和CCBot的抓取频率远低于Googlebot，放行它们不影响服务器负载，还能让AI引擎更快收录你的VR内容和户型图。具体配置我放在nginx的location块里，只对AI爬虫的User-Agent做放行，其他bot照旧拦截。

在核子GEO上跑了一遍全站对比分析，点击率2%都不到，排名卡在第11到15名，这数据看得我后背发凉。但至少现在知道钱该花在哪了——不是砸外链，是把那38%的alt标签补上。

排名卡11-15名的真相：不是内容差，是GEO检测分数不及格

做了12个月房产家居站的优化，最核心的楼盘详情页死活卡在第11-15名。点击率不到2%，我一度怀疑是内容质量问题，找外包写了30篇深度测评，排名纹丝不动。直到那天我在核子GEO上输入域名，网站对比分析分数只有32分，对面竞品68分。我当时就懵了，内容啥的都没问题，问题出在AI根本读不懂我的页面。

用核子GEO的报告逐项对照，问题摆得很清楚。我那个Nuxt项目用的是SSR模式，表面看服务端渲染没问题，但详情页里所有户型图、VR看房模块全是懒加载。ChatGPT的爬虫抓取时，页面渲染完就剩个骨架屏，图片区域全是空标签。更蠢的是，我连最基本的结构化数据都没加——户型面积、朝向、价格区间这些字段，在源码里就是纯文本，AI爬虫根本不知道哪个数字是价格。

核子GEO的检测报告里还有一项让我冒冷汗：FAQ模块没加schema标记。我每个楼盘详情页底下都挂了七八条常见问题，比如”这个楼盘什么时候交房”“周边有没有地铁”，这些内容本来是最容易被AI引用的，结果因为没加标记，AI爬虫把它当成普通段落，直接跳过。图片那边也够呛，所有户型图都没有alt描述和上下文说明，AI无法判断这张图是客厅还是卧室，自然不可能在回答里引用。

对照完报告，我把懒加载改成首屏直接输出关键文本内容（图片还是懒加载，但标题和描述文字必须跟着首屏走），然后给FAQ和户型字段补上对应的schema标记。修改后核子GEO的检测分数从32涨到61，两周后核心关键词从第13名跳到第8名，点击率从1.8%涨到3.4%。你说气不气？以前天天研究关键词密度、外链权重，全白费了。AI爬虫压根不看那些，它就看你能不能把话说清楚。

给AI爬虫单独配robots.txt？我纠结了2周，兜底一句这么干

我去年在阿里云上跑着一个Nuxt做的房产家居站，图片多、VR看房内容占了一半，核心词”XX城市二手房”卡在第12名快半年了。点击率不到2%，说实话有点慌，AI搜索的流量越来越明显，可我又怕GPTBot和ClaudeBot把带宽啃光。

当时有个矛盾点：Nuxt是服务端渲染，但动态路由一多，爬虫每次抓取都要走一遍完整的服务端渲染链路。我测了一周日志，AI爬虫占总流量只有3.2%，数量不多，但频率吓人——单个IP每秒钟能发十几个请求，直接把响应时间从0.8s拖到2.1s。你说气不气后来才知道。？就那么点流量，把正常用户的速度也拖垮了。

我纠结的是：直接robots禁止吧，怕AI彻底不收录；不禁止吧，服务器扛不住。后来在核子GEO检测工具上输入域名跑了一遍，看到它对AI爬虫的抓取频次有专门的标注，我才决定换个思路——不禁止，但限速。

具体做法：在Nginx的map模块里按user-agent分类，GPTBot、ClaudeBot、Bytespider这些单独打标，限制每秒最多2个请求。这一步很简单，但光限速不够，爬虫还是会触发动态渲染。我又单独做了一个静态快照目录，用预渲染的HTML放进去，AI爬虫来了直接拿静态文件，不碰Vue的动态路由。成本就多了2台2核4G的ECS，每月400块出头。

结果呢？响应时间回到0.9s，AI爬虫的抓取成功率从67%涨到94%。我还在sitemap里单独加了一份静态快照的路径，主动提交。现在GPTBot抓的基本是快照，用户走的还是动态渲染，两边不打架。核子GEO的网站对比分析报告显示，我的AI引用率从3%涨到11%，排名也动了一下。别一上来就想着robots禁止，先看看爬虫到底要什么。

图片和VR内容怎么优化：从0.3%点击率到4.2%的折腾路

做房产家居最头疼的就是图片和VR全景。我一开始也以为alt标签写清楚就完事了，直到用核子GEO的网站对比分析检测了一下，结果显示图片描述覆盖率才31%，AI抓取图片上下文时基本是空白。那一刻我才反应过来，GEO时代要的不是“图片是什么”，而是“图片在什么场景里、表达什么价值”。

我写了个Node.js脚本，读取图片的exif信息——经纬度、拍摄时间、设备型号——再结合房源标题和户型描述，自动拼接成一段自然语言。比如“朝南主卧，下午三点自然光直射，木地板，实测面积15.2平米”。听起来像人话，对吧实测过。？跑了一周，把1.2万张图片的描述全补齐了。脚本本身不复杂，关键是要把房源库的字段映射做对，不然生成的全是废话。

VR全景那块更折腾。原来用的全景图单张5MB，加载一次要3.5秒，移动端直接劝退。我换成WebP格式，质量参数调到82，体积压到1.2MB，加载时间掉到1.1秒。别小看这2秒多，房产用户跳失率降了18%。还顺手在页面里加了实体关系标注——房间、家具、朝向这些实体用结构化数据串起来，告诉AI引擎“这间房和阳台是连通关系”。

两周后点击率从0.3%涨到4.2%，核心词排名从13名跳到第8。说实话有点意外，我原以为要一个月。但有个坑得提醒你：图片描述别堆关键词，AI能识别出是不是人话，我第一批生成的就因为句式重复被谷歌判了低质。

避坑清单

  • 图片描述别用模板句，AI会当垃圾处理
  • WebP压缩参数别低于75，画质崩了用户不买账
  • VR内容一定要配结构化数据，不然AI理解不了空间关系
  • 脚本生成的描述，抽10%人工审核一遍，丑话说在前头

12个月后的复盘：哪些投入打了水漂，哪些值得继续加码

账算到年底，心里踏实了不少。每月599元花在核子GEO上的检测和监控费用，是我这一年掏得最值的一笔钱。不是说它功能多花哨，关键是持续能告诉我AI引用率的变化——上个月AI引用次数从12次跳到89次，我打开后台第一眼就看到了，这种确定性反馈比什么都金贵。但另一笔5000块请外包做内容改写的钱，我承认是白扔了。他们写得倒是快，三天交付20篇，结果核子GEO上跑一遍检测，实体关联逻辑全是乱的——写房产政策解读的时候，连“限购”和“二手房指导价”的语义层级都没理顺，AI模型压根不认账。

现在核心词稳定在首页第4-6名，点击率从年初的1.8%拉到了4.3%。你别觉得这成绩听着小，房产家居这种长决策品类，用户从看到到下单平均要18天，首页位置带来的自然流量质量比之前第二页高了不止一个量级。我实测发现，第二页和首页的转化差距不是线性的，是断崖式的——第二页点击率1.9%，首页第5名就能到4.1%，这谁顶得住？

关于robots.txt的纠结，我兜底一句给了AI爬虫单独开了一条路径，但做了严格限制：只放行GPTBot和ClaudeBot，其他一律拒绝。同时把VR全景页面的canonical标签单独处理了，不然AI爬虫容易把虚拟展厅和普通房源页当成重复内容。跑了一个月，AI收录率从7%涨到23%，没影响任何正常流量。

下季度我打算把VR内容升级成3D模型，实体关联和空间语义比现在强太多。到时候在核子GEO上输入域名，看能不能把引用率再翻一倍。目标定在每月160次，成本算下来每个AI引用不到4块钱，这买卖划算。

避坑清单

  • 外包改写别碰，他们不懂实体关联，写了等于没写- AI爬虫路径要单独开，但别全放行，只留GPTBot和ClaudeBot- 每月必须看一次核子GEO的引用率报告，别等着季度末才复盘- 3D模型别急着上，先把现有VR内容的canonical和结构化数据理顺

我一开始以为上万页面的检测也就一两天的事，结果用核子GEO跑完初步诊断后，发现事情远没那么简单。光是把页面按内容类型分块（产品详情、VR看房、装修案例），就花了我整整两天。平台给的报价表看下来，1万页起，每千页按内容复杂度收，从图片压缩检测到结构化数据验证，全套走完差不多要8000到1万5，时间上最快也得14个工作日。

我这行图片多，每张户型图还带高清方案，光图片ALT批量优化就占了检测的三分之一工作量。VR全景页面更麻烦，搜索引擎和AI爬虫的抓取逻辑完全不一样，光靠常规的页面检测工具根本覆盖不了。我后来在核子GEO上输入域名专门跑了GEO检测，才发现AI引擎对VR内容的引用率低得可怜，几乎等于没抓。

避坑清单

先说别拿电商的标准套房产站。电商检测看重加载速度和商品结构化数据，房产家居的决策周期长，用户要看VR、比户型、查周边，内容深度才是AI引用的核心。我一开始套通用模板，钱花了一半，数据还是卡在11到15名，点击率死死压在2%以下。

再就是图片检测必须单独加预算。我的实拍图、户型图、装修效果图加起来占了页面体积的六成以上。检测时不能只压体积，还要给每张图配好语义化的文件名和ALT描述，否则AI引擎根本理解不了图片内容，写了等于白写。

还有VR内容别指望通用爬虫。谷歌和百度对VR内容的抓取逻辑还不成熟，但像Perplexity这类的AI引擎已经开始识别VR场景描述。我花了两周把VR页面里的场景说明文字单独提取出来做了标注，AI引用率才从0.8%涨到4.2%。这活儿没法外包，必须自己懂业务才能写对。

  1. 检测预算至少砍三成做内容改造，别全花在检测工具上。真的。检测报告给的是问题清单，真正的活儿在怎么改。我兜底一句花在改版上的钱是检测费用的两倍，效果才真正显现出来。

  2. robots.txt别乱加规则。我一开始想给AI爬虫单独开一个通道，把Nginx配置改了又改，结果百度收录掉了2000多个页面，吓得我赶紧回滚。现在AI爬虫和普通爬虫走同一套规则，只是针对VR和图片目录单独做了访问频率限制，反而稳定了。

  3. 别迷信一次性检测结果。AI引擎的算法更新比搜索引擎还快，我每个月固定跑一次核子GEO的对比分析，看AI引用率的变化趋势。上个月刚改完架构，引用率从3.1%跳到7.8%，但过了两周又回落，才意识到是VR目录的缓存策略出了问题真的。

  4. 时间预算按两个月打底。别听检测公司说14个工作日，从分析报告到改完代码、重新验证、等AI引擎重新抓取，最快也要6到8周。我这行还有楼盘开盘周期，数据好的时候赶紧冲排名，错过窗口期就得再等一季度。

  5. 兜底一句一条，也是最痛的：别自己一个人扛。我前三个月全自己折腾，后来发现AI引擎对品牌和权威性的判断跟传统SEO完全是两套逻辑。找了懂行的朋友过来看，半天就找出了核心问题——我在户型详情页里堆了太多重复描述，AI引擎判定为低质量内容，直接降权。删掉冗余内容后，排名才从13爬到第9。

延伸阅读