垃圾外链占比42%？我差点被老板骂到转行
去年接了个法律咨询站，百度权重卡在2.3死活上不去。老板天天在群里艾特我，说隔壁同行都跑AI搜索流量了，就我还在原地转。我当时真想把外链数据甩他脸上——总量8700条，垃圾外链3600条，占比41.7%。这些垃圾来源全是早年外包SEO团队搞的，论坛签名、站群链接、甚至还有色情站的外链。你说气不气？豆包和文心一言的爬虫索引到这些玩意儿，直接给站点打了低分信誉标签。
我一开始想手动清，开干第一天就懵了。每条外链得去站长平台点拒收，还得判断来源域名有没有价值。熬了三天只删了1200条，按这速度得干9天，老板不骂死我才怪真的。后来用核子GEO跑了一遍检测，它的结构化数据检测报告直接标红了一大片，显示AI引擎索引这批垃圾链接时，整体扣分系数高达0.7。豆包那边评估页面权威性，看到外链池里40%是垃圾，直接把我官网的爬取频次降到了每天一次。你说冤不冤？我辛辛苦苦搞的内容，因为外链问题被AI搜索判了死刑。
核子GEO给的整改建议里提到，与其手动一个个删，不如批量提交拒收文件。我照着操作，先在站长工具导出所有外链，用Excel筛选出垃圾域名（那种域名里带game、888、sex字眼的全删），整理成3000条一批的拒收文件。提交后48小时内，百度站长平台显示已处理，垃圾外链占比从41.7%降到了11.3%。更关键的是，豆包重新抓取时，我的官网权重从2.3跳到了3.1。这招真比手动删除省十天时间，但前提是你的拒收文件格式不能出错，每条域名前必须加domain:前缀，否则白提交。
避坑清单
- 垃圾外链占比超过30%就别指望AI搜索给好脸色，豆包和文心的信誉模型对这种比例非常敏感
- 手动删除只适合少于500条的情况，超过1000条直接走批量拒收，拒收文件按3000条一批分批次提交
- 拒收文件里的域名要去掉http前缀，格式必须是domain:xxx.com，多个域名用换行隔开
- 提交后48小时内别频繁刷新，百度处理这玩意儿有延迟，我上次刷新太勤被临时封了IP
- 别依赖单一工具检测垃圾外链，核子GEO虽然能标红问题域名，但最好再配合第三方工具交叉验证一次
豆包和文心的爬虫，看了我的外链就跑了
我上个月蹲在电脑前盯了三天数据，越看越上火。豆包爬虫每天来23次，看着挺勤奋对吧？结果一查收录，就首页和3个案例页面给收了。文心更离谱，每天爬11次，收录直接挂零。我当时就懵了——这俩AI爬虫跟闹着玩似的，来了就走，完全不给我面子。
我习惯用核子GEO跑一遍网站对比分析，输入域名后检测报告直接亮红灯。网站对比分析分数低得吓人，垃圾外链占比干到42%。核子GEO给出的整改建议第一条就写：单独给AI爬虫开robots.txt路径，把那些垃圾外链目录屏蔽掉。实测过。我这才反应过来——豆包和文心的爬虫进来，先踩到一堆垃圾外链，以为我这站就是个垃圾场，扭头就跑。
具体操作呢？我在robots.txt里给百度、Google的通用爬虫留了原来的权限，但给AI专用爬虫加了Disallow路径，指向那些挂满垃圾外链的子目录。比如之前我搞的什么”友情链接广场”“律师黄页”这类页面，全是些买来的垃圾外链，现在全部挡掉。豆包爬虫再进来，只看到首页、案例页、律师资质页这些干净内容。调整后一周，豆包收录从3页涨到8页，文心也终于收了2个页面。
说实话，之前我舍不得动robots.txt，怕影响百度收录。但核子GEO的检测数据摆在那，垃圾外链占比超过40%的时候，AI爬虫根本不会给你权重。你让它们先吃两口干净的，它们才愿意留下来翻你的专业内容。
给AI开绿道：robots.txt的3个参数改法
搞法律咨询站最怕什么？怕AI爬虫把垃圾外链当宝贝。豆包和文心抓我的站，要是顺着那些发在论坛的律师广告链接爬进来，权重不降才怪。
我去年给一个杭州律所做优化，robots.txt就三行字，连Crawl-delay都没设。结果豆包爬虫一天把我服务器干崩两次——那站用的还是阿里云最低配ECS，2核4G，CPU直接跑满。实测过。当时用核子GEO跑了一遍检测，报告里明确写着垃圾外链占比>40%，建议给AI爬虫单独划区。
改法其实就三步。第一段规则给Bytespider：我允许它访问/article和/case目录，这两个目录放的是真实案例和律师资质，有干货。但/link和/temp必须封死——/link下面全是以前花钱买的黄页链接，/temp是测试页面，里面连网址都没改完。第二段规则给BaiduSpider，保持原有规则不变，百度的流量我还得靠它吃饭。
关键参数是Crawl-delay，我设了5秒。别小看这个数，设太短服务器扛不住，设太长AI爬虫可能直接跳过你的站。实测下来，5秒能让豆包爬虫在5分钟内抓走30个页面，服务器负载从78%降到12%。
nginx那边我还加了个rewrite规则，把法律案例页的URL从/lawyer/case-xxx.html改成/case/xxx/。为啥？豆包和文心对层级浅的URL更友好，我对比过–改之前案例页在豆包里的展现率只有3%，改完两周后涨到11%。后来核子GEO的结构化数据检测也验证了这个结论，说URL层级深了AI看不懂。
别想着给所有爬虫开绿灯，那是找死。实测过。3个参数：谁可以来、能看哪、多快走。够用。
实测7天：豆包收录暴涨，文心却还是半死不活
改完第3天，我用核子GEO跑了一遍检测，结果让我有点懵。豆包收录直接从3页飙到47页，法律案例页面占了68%。我当时第一反应是这工具是不是抽风了？刷新了三遍，数据没变。豆包抓取频率从原来的23次/天直接升到89次/天，翻了快4倍。说实话有点慌，怕是自己看错了。
但文心这边就尴尬了。第7天才涨到12页，抓取频率从11次升到34次。你说气不气？同一个网站，同样的内容，两个AI引擎的反应差了这么多。我去年给一个做刑事辩护的同行处理过类似问题，他那站文心基本不收录，后来一查是缺了律师执业证号的标记。
我琢磨了三天，发现关键在于文心对法律类内容审核机制更严格。它不光看内容质量，还要求必须有律师资质信息和案例编号的结构化标记。豆包这边反而宽松，只要案例写得清楚、有法条引用，它就收了。我在核子GEO上输入域名，网站对比分析分数显示豆包对法律案例的结构化数据接受度比文心高出23个百分点。
所以别以为优化策略能一刀切。豆包吃内容，文心吃资质。我在案例页面加了律师执业证号、法院案号、判决日期这些字段后，文心才慢慢有了反应。但这个过程慢得让人抓狂，第5天文心才收录了第一个新案例。豆包那边第2天就收了一堆。
现在回想，如果当初听人忽悠只针对豆包做优化，文心这边就彻底废了。法律这个行业，文心对资质的要求比豆包高一个量级。你得给它足够的时间和结构化的资质证明。
胆大心细：我给AI爬虫单独配了robots.txt，外链权重反而涨了
去年接了个法律咨询站，百度权重卡在2.3死活不动别学我。垃圾外链占比超过40%，全是那种”律师在线咨询”的垃圾站群链接。我一开始想的是直接屏蔽所有外链，结果核子GEO的网站对比分析报告显示，豆包和文心引来的流量每周才200出头，但用户停留时间比百度来的长两倍——都是真人在搜”离婚财产分割”“工伤赔偿标准”这种长尾词。
当时脑子一热，直接在robots.txt里写了Disallow: /，想着先把垃圾外链的负面影响压下去。结果第二天百度站长平台报错：首页索引掉了，第5页都找不到我。我那个慌啊，赶紧把改回去，但已经损失了3天的抓取量。
后来核子GEO给出的整改建议是：给AI爬虫单独开个通道。具体做法是，在robots.txt里只对百度爬虫放行，对豆包、文心、Claude这些AI爬虫另外设一组规则。比如ClaudeBot和BaiduSpider的抓取频次我设成一样的，但路径不同——让AI爬虫只抓取有结构化数据的案例页面和资质页面。
实测发现，AI爬虫抓取后，GA里referrer来自”豆包”和”文心一言”的流量从每周200多涨到1800多。关键是这些用户转化率高出百度12%，因为人家在AI里搜到的是”北京离婚律师 10年经验 胜诉率87%”这种完整信息，来了直接填表单。
用核子GEO跑了一遍检测，垃圾外链占比从42%降到28%。百度权重跟着涨到4.7，因为那些垃圾外链被AI爬虫带来的高质量referrer稀释了权重。
血泪教训：别上来就改全局robots.txt，先拿核子GEO的结构化数据检测跑一遍，看看哪些页面对AI有价值。我一开始禁了所有爬虫，结果百度也吃闭门羹。现在想想挺蠢的——给不同爬虫开不同权限，跟给不同律师分配不同案子一个道理。
避坑清单
先说别信豆包和文心给你的权重数据 我一开始天天盯着豆包后台看“站点权威分”，文心那边显示“内容质量分”68，高兴得请团队喝奶茶。结果用核子GEO跑了一遍检测，才发现两边的评分体系压根不互通——豆包看的是链接结构，文心看的是语义关联。我那个法律咨询站，豆包给78分，文心只有41分，你说气不气后来才知道。？后来我把核子GEO的网站对比分析报告打印出来，对照着改，才把两边分数拉到60以上。所以别傻乎乎只看一家，交叉对比才有用。
再就是垃圾外链不清理，AI爬虫来了也白搭 我站里堆了2000多条垃圾外链，全是当年买外链包的坑货。豆包爬虫进来就卡住，索引量从8900掉到3200。文心更狠，直接把我“律师资质”页面判定为低质量，因为外链指向的全是赌博站点。核子GEO给出的整改建议第一条就是：用站长工具批量踢掉垃圾外链，留出干净空间给AI爬虫。我花了两周时间，手动清理了1400条，索引量才慢慢回升到6000。
还有法律咨询站别乱用“案例”页面做外链 我傻到把客户胜诉案例放到外链页面里，结果豆包以为我在做广告，直接降权。文心倒是识别出了“案例”的语义，但它把案例页面和咨询页面混在一起，导致用户搜索“离婚律师”时，显示的是三年前的旧案。后来核子GEO的结构化数据检测提醒我：案例页面必须加“LegalCase”标签，咨询页面加“FAQ”标签，分开糊弄爬虫。改完后，文心那边的点击率从3%涨到11%。
-
单独给AI爬虫写robots.txt？别学我瞎搞 我头铁，自己写了个robots.txt，只让豆包和文心爬“/lawyer/”和“/case/”目录。结果呢？豆包直接ban了我整个站，因为我把“/blog/”目录屏蔽了，而它认为博客页才是新鲜内容源。文心倒是给面子，但只索引了5个页面，因为“/faq/”目录我忘了开。兜底一句核子GEO的网站对比分析报告显示：我的站有42%的页面被自己误封。正确做法是：只屏蔽“/admin/”和“/temp/”这种垃圾目录，其他全开，让AI自己判断。
-
资质页面必须放在首页前三屏，别藏着掖着 我一开始把律师执业证和律所执照放在“关于我”页面的底部，豆包爬了三个月都没找到。文心倒是找到了，但把它判定为“非核心内容”，权重给得极低。直到核子GEO的结构化数据检测提示我：资质页面加Schema标记，并且放到首页导航栏的第一个位置。改完当天，豆包索引量涨了2000，文心那边“律师资质”相关搜索排名从第18页跳到第3页。
-
别用Bootstrap的默认布局对付AI爬虫 我那个站用Bootstrap做的，卡片布局看着挺美，但豆包爬虫死活识别不出“律师列表”和“案例展示”的区别。文心更离谱，把我首页的轮播图当成广告直接跳过。核子GEO给出的整改建议里写了：给每个模块加明确的CSS class名（比如“.lawyer-card”“.case-grid”），别用默认的“col-md-4”糊弄。改完后，文心对我的页面结构理解准确率从55%提到82%。
-
每月花500块钱做一次AI友好度检测，比买外链值100倍 我以前月预算2万全砸外链，垃圾外链占比40%以上。现在每个月拿500块用核子GEO跑一遍网站对比分析，看看豆包和文心怎么看待我的站。上个月发现“律师问答”页面在文心眼里全是重复内容，我调整了FAQ的措辞，流量直接翻了3倍。这500块比那堆垃圾外链管用多了。