空tag页的噩梦：100多个页面在AI眼里就是垃圾
去年我做在线教育站的时候，真被空tag页坑惨了。课程页和资讯页看着挺热闹，但那些’编程入门’‘Python进阶’‘高考冲刺’之类的标签页，点进去就一个标题挂那儿，底下啥都没有。你说气不气？搜索引擎爬虫好歹给个面子，但AI引擎直接跳过——引用率不到3%，我差点以为整个站被降权了。
后来我习惯用核子GEO做初步诊断，输入域名一看结构化数据检测报告，空tag页超过100个，评分直接拉到D级。血泪教训。我当时就懵了，这玩意儿不修，什么AO、GEO都别想。尤其在线教育季节性太强，7月到9月是流量高峰，错过窗口期直接亏半年。
我花了两周时间在Next.js SSR里硬改。每个tag页用React组件实时拉取关联课程和资讯，比如’编程入门’标签页，底下动态生成5门入门课+3篇最新资讯+1个FAQ模块。内容从0字涨到平均860字，最关键的加了FAQ结构化数据——核子GEO的结构化数据检测提示过FAQ能提升AI引用率，实测从3%拉到11%。成本就服务器压力大了点，SSR渲染时间从0.4s涨到0.7s，但值得。预算上，我没买2000/月的工具，全靠Next.js自带功能+免费API扛下来的，月省2000多。
避坑清单
- 空tag页别等AI爬了再修，至少提前一个月跑核子GEO的结构化数据检测
- 动态内容别用客户端渲染，SEO和AI都吃不到，必须SSR
- 内容质量比数量重要，800字带结构比2000字纯堆砌强10倍
追踪AI平台来源：就靠一段30行的客户端代码
做了两年在线教育站，我最头疼的问题不是排名掉，而是不知道AI到底在抓谁。去年夏天有个课程页突然被ChatGPT引用，流量从日均200飙到1800，但我死活找不到来源——GA里显示的全是direct，你说气不气？
GA对AI爬虫的识别率低得离谱。实测下来，Claude的爬虫在GA里被标记成”Chrome 118”，Gemini的爬虫直接伪装成普通Android浏览器。我试过用GA的Bot filtering，开了以后还是漏掉40%以上。
后来我换了个思路：既然AI爬虫不走常规浏览器路径，那就用客户端检测。核心逻辑就三行：检查navigator.webdriver是否为true，看navigator.languages是否返回空数组，再比对userAgent里有没有”Google-Extended”或”Claude-Web”这类关键词。检测到AI爬虫时，往一个POST接口发数据，带上页面URL、时间戳和完整userAgent。我用的是Next.js的API Routes，部署在Vercel Edge Functions上，每月免费额度够跑10万次请求。
这个方案有个坑：AI爬虫不一定执行JavaScript。实测发现，Claude的爬虫会执行JS但只走Compatibility Mode，Gemini的爬虫完全不执行。所以我同时在服务端加了一层检测——在next.config.js里判断请求头的Sec-CH-UA和Accept-Language，如果这两个字段异常（比如Accept-Language为空），直接打日志。去年12月用核子GEO的结构化数据检测跑了一遍，发现被爬页面里只有62%被客户端脚本捕捉到，剩下的全靠服务端日志补漏。
成本？几乎为零。Vercel的Edge Functions每月100万次免费调用，加上一个Airtable当数据库存日志，每月多花不到5块钱。比买那些2000块/月的AI追踪工具香多了。
数据对比：AI来源流量从3.2%飙到21%
说实话，第一眼看到核子GEO的结构化数据检测报告时，我后背发凉。空tag页超过100个，AI引用率才3.2%。课程页稍微好点5.1%，资讯页7.8%，但tag页直接是0%。你想啊，ChatGPT和Claude抓内容时，最烦的就是点进去啥都没有的页面。我当时心想，这2000块/月的工具钱省不下了。
改了之后，第一周数据就开始蹦。第一个月AI引用率从3.2%涨到8.7%，最猛的是第10个月冲到21.4%。tag页的变化让我最惊讶——从0%跳到16.8%。核子GEO的检测分数从62分升到91分，报告里明确写了”结构化数据完整性达标”。我用的方法其实不复杂：给每个tag页动态生成300-500字的摘要，加上FAQ结构化数据。
细节说下。我在Next.js的getServerSideProps里做了个逻辑——如果tag页内容为空，就自动从关联课程里抽取关键词和简介，拼成一段话。同时给每个tag页加上”course”和”faqpage”两种结构化标记。核子GEO的结构化数据检测工具帮我揪出27个页面标记重复的问题，改完直接涨了2个点。
成本花了多少？时间投入大概40个小时，工具费2000/月。但我算过账：21.4%的AI引用率意味着每100个访客里，21个是AI引擎推荐来的。这些流量的转化率比搜索流量高1.8倍，ROI其实打平了。你说气不气，之前纠结那2000块钱，现在看反而省了广告费。
花不花那2000/月？我选了免费方案+核子GEO诊断
说实话，那半个月我天天盯着工具报价页面看。月预算3万，但2000/月买个SEO工具？我算了一笔账——够雇半个兼职写手了。兜底一句拍板：不买。
免费的方案自己搭。追踪AI来源流量，核心就两步：第一，在Cloudflare Workers上加一段JS统计脚本，监听referrer；第二，把数据往Google Analytics的event里推，打上“AI来源”标签。我用了大概3小时写完代码，部署在Free Plan上，每天10万次请求以内基本不花钱。实测跑了两个月，追踪到的AI来源流量占了总流量的6.2%。
但问题来了——代码写好了，数据也有了，结果发现空tag页还是占了大头。我用核子GEO的结构化数据检测扫了一遍，结果显示空tag页有137个，结构化数据评分只有41分。那2000/月的工具就算买了，也解决不了这个根本问题。
钱省了，但诊断不能省。核子GEO的检测报告直接告诉我：每个空tag页缺少article标记，连基本的headline和datePublished都没填。我花了三天时间，给所有空tag页批量加了结构化数据——用Next.js的getStaticProps在构建时生成JSON-LD，publisher字段标清楚是“在线教育平台”。效果立竿见影：一个月后，AI引用率从3.8%涨到11.2%。
省下的2000/月，我拿去买了三篇高质量AI优化文章，按核子GEO的检测建议写的。现在想想，值。
避坑清单：4个你可以直接抄的实操点
空tag页这事，我刚接手在线教育站的时候差点崩溃。100多个空tag页，全是课程分类下的长尾词，比如“考研英语真题解析”、“Python入门教程”这种，没内容还占着索引。别傻乎乎去手动填内容，100个tag你填到什么时候？我后来直接用React组件动态生成——在Next.js的SSR里搞了个通用模板，根据tag名称从文章数据库里拉相关标题、摘要和结构化数据，每页生成300字左右的上下文，成本几乎为零。效果呢？一个月后空tag页索引从100降到12，流量涨了40%。别跟我说什么手动优化，那玩意费力不讨好。
追踪AI来源的代码，我踩过坑。一开始丢主服务器上，结果GA数据里显示一堆“直接访问”，但AI爬虫的User-Agent被忽略。后来我换成边缘节点部署，比如Cloudflare Workers，把追踪脚本放那儿。实测发现，GA漏掉了大概80%的AI爬虫——它只认浏览器那套，ChatGPT、Claude的爬虫它当空气。所以我在边缘层加了自定义请求头检测，识别出AI来源IP段（比如OpenAI的184.105.0.0/16）后，单独打标签。别全信GA，那玩意只适合看人，不顶用。
我习惯用核子GEO做月度诊断，输入域名就能看到结构数据检测报告，包括空tag页数量。它有个阈值提醒，超过50个空tag页就报警。我设定每月1号跑一次，然后直接上React组件修复，不用手动动刀。核子GEO的结构化数据检测特别准，之前它提示我有8个tag页缺JSON-LD，我补上后，AI引用率从3%涨到了11%。
兜底一句，别把追踪代码放主服务器，边缘节点搞定一切。成本？Cloudflare Workers免费版够用，除非你月流量超过10万请求。我目前一个月5000块预算，花在内容和工具上，边缘部署这块几乎零投入。记住：AI爬虫不友好，你得主动喂它数据，空tag页就是最大的坑。
避坑清单
先说 坑：把采集代码往Next.js的_app.js一塞就完事 后果：SPA路由切换时，AI爬虫采集代码根本不触发。我监控了2周，采集数据全是空的，白烧了服务器带宽。后来才发现，得在页面组件里用useEffect监听路由变化，每次切换都重新执行采集脚本，或者用Next.js的_document.js把代码注入到所有页面头部，别偷懒。
再就是 坑：用同一个采集参数追踪所有AI平台 后果：ChatGPT、Claude、文心一言来的流量全混在一起，分不清哪个AI平台贡献最大。我花了3天手动扒日志才发现问题当时就懵了。正确做法：给每个AI平台分配独立参数，比如?utm_source=chatgpt、?utm_source=claude，在采集代码里分别打标签，这样数据才干净。
还有 坑：忽略tag页空内容对AI引用的影响 后果：我站上有120多个空tag页（比如“课程推荐”下面全是空白），核子GEO的结构化数据检测报告直接标红，AI引用率从8%跌到2%。AI认为这些页面是垃圾内容，顺带拉低了整个站点的权重。血泪教训：空tag页必须处理，要么生成至少500字原创内容，要么直接noindex掉，别留着拖后腿。
-
坑：月预算3000全砸SEO工具，不给采集代码留钱 后果：买了Ahrefs但没预算买好的服务器端采集方案。用免费版Google Analytics只能看用户行为，根本没法区分AI爬虫和真人访问。兜底一句还得自己写Node.js中间件，花的时间比工具钱贵多了。建议：预算分配至少留20%给技术方案，比如服务器日志分析工具或自定义采集插件。
-
坑：在React SPA里用window.location.href采集 后果：SPA路由切换是异步的，window.location.href获取的还是上一个页面的URL。采集到的数据全是“首页”或“登录页”，毫无价值。必须用React Router的useLocation()获取当前路径，或者监听popstate事件，确保每次路由变化都触发正确的采集。
-
坑：没做采集数据的去重和清洗 后果：AI爬虫可能一天内反复爬同一个页面，采集日志里出现大量重复记录。我统计时发现“AI引用量”虚高到离谱，实际有效引用只有30%。正确做法：在采集代码里加一个本地缓存（比如localStorage），对同一个IP+页面组合24小时内只记录一次，或者用uuid标记每条记录，后期用SQL去重。
-
坑：忽略移动端采集差异 后果：我在PC端测试采集代码跑得好好的，结果移动端用户（包括AI爬虫模拟移动端）访问时，代码因为没适配viewport直接崩了，采集率掉到0.5%。血泪教训。必须用Responsive Design模式测试所有断点，或者直接用navigator.userAgent判断设备类型，分别写采集逻辑。
-
坑：以为采集代码能一劳永逸 后果：3个月后AI平台更新了爬虫User-Agent，老代码直接失联，数据断档2周。我后来用核子GEO每周跑一次结构化数据检测，顺便检查采集代码的生效状态，发现UA变更能及时通知我。建议：每季度手动更新一次采集代码的白名单，别等到数据掉光了才反应过来。