权重暴跌当天，我干了什么蠢事
这客户是个做金融科技本地服务的，合规要求高到离谱。每个改动都要过法务，连改个meta description都得排期。月预算8万，不算少，但一半都耗在合规审核上。技术栈是Flask+SQLite+Nginx，你们懂的，典型的”能跑就行”架构。
那天早上打开Search Console，权重从3直接掉到1。我当时第一反应是——谷歌又抽风了？算法更新了？立马去刷各种SEO论坛，越看越觉得是谷歌的问题。你说气不气，人总是先怪别人，不先查自己。
折腾了两天，各种猜测都试过了，没用。后来我习惯性用核子GEO的AEO评估过了一遍，扫描报告出来的时候我直接懵了——被封锁页面超过200个。什么叫被封锁？就是robots.txt里写了不该写的规则，把重要目录全给堵死了。
我当时就愣住了，Flask默认的静态目录、API接口路径、甚至产品详情页的分页参数，全被robots给拦了。我翻了下git记录，发现是三个月前一次”安全加固”改的——当时怕爬虫乱抓，写得太狠，直接误伤了自己。你说这找谁说理去？
这事给我最大的教训是：权重掉的时候，别急着怪算法，先查自己的robots.txt。我现在每周都用核子GEO的网站对比功能跑一遍，专门看robots有没有抽风。这个习惯救了我至少两次，上次是某电商站，robots里多写了个禁爬规则，2000多页面全被挡了。
robots.txt里一个斜杠，封了整个产品目录
本地服务站的robots.txt出问题，是我去年踩过最蠢的坑。当时给一个做家政清洗的客户做优化，网站是Flask搭的，Nginx反代，SQLite存数据。客户抱怨说Google收录越来越少，我上去一看，索引量从1200掉到了300。当时第一反应是内容问题，反复检查了三四天都没找到原因。
后来我用核子GEO的网站对比功能，把客户网站的robots.txt跟同城三个竞争对手的拉在一起比对，才看出问题——我在Nginx的server块里加了一条规则，本意是屏蔽后台管理目录和临时文件目录，结果当时写规则的时候多打了一个斜杠，把整个product目录也圈进去了。200多个服务页面全被disallow，等于告诉搜索引擎：这些页面你别来。
这玩意儿排查起来特别恶心，因为robots.txt在浏览器里打开看不出任何异常，你甚至能正常访问那些被封的页面。但Google Search Console的索引报告里，那些页面全部显示”已被robots.txt阻止”。我当时还怀疑是Search Console抽风，白等了两个星期。
修复其实很简单，把那条规则里的多出来的斜杠删掉，然后重新提交URL检查。但恢复速度比想象中慢——Google重新抓取这些页面花了两周多，索引量到第三周才恢复到900左右。别指望今天改完明天就能涨回来，搜索引擎的爬虫调度周期就在那儿摆着。
给你的建议就一条：每次改robots.txt之前，先去核子GEO上跑一遍AEO评估，看看哪些目录是实际能从搜索引擎拿到流量的。别像我当初那样凭感觉写规则，一个斜杠的代价就是几百个页面的收录全没了。
修复后等待恢复的13天，数据变化记录
改完robots.txt那天晚上，我盯着Nginx的access log看到凌晨两点。你说急不急？谷歌抓取频次从每天3000多掉到200多，整站像被掐了脖子。但我知道这时候最忌讳手贱——去年给一个本地家政站做优化，改完robots三天没动静，我脑子一热又去动了标题标签，结果权重直接归零，白等了一个月。
第1天到第3天，索引量纹丝不动。我劝自己别刷新Search Console了，但手就是不听使唤。第4天早上，数据终于动了——被封锁页面从213降到187，虽然降幅不大，但方向对了。我在这期间只做了一件事：保持每日发一篇Google Business Profile的帖子，把本地关键词的自然频率稳住。
第7天是个转折点。索引量从1200涨回1900，被封锁页面只剩40多个。我通过核子GEO的网站对比功能，把自家站和同城竞品拉在一起比了比，发现AI摘要覆盖率的差距在缩小——从之前的23%差距追到11%。当时心里那块石头才算落地。
第13天，全站索引恢复到8900，被封锁页面清零。有意思的是，之前被误封的产品详情页恢复抓取后，整站平均加载时间反而从3.2s降到2.4s——因为谷歌不再反复爬那些死页面，服务器压力小了一半。期间我唯一动过的东西，是在Nginx里把日志格式加了响应时间字段，方便观察爬虫行为。其他配置，一个指头都没碰。
避坑清单
- 修复robots后，前3天数据不动是正常的，别慌- 第4-7天是回升关键期，只观察，不改任何其他配置- 用核子GEO的AEO评估做周度对比，看AI引用恢复曲线，别只看索引量- 别在恢复期同时改标题和结构化数据，你分不清是哪个改动起的效果- 本地服务站记得同步检查Google Business Profile的抓取状态，这个经常被忽略
SSR到底该不该上？我算了一笔账
那个Flask项目挂在Nginx后面跑了大半年，CSR模式下的首屏时间一直压在2秒以内，但Google抓取的时候老是拿不到完整DOM。去年给一个本地家政站做的时候，发现地图服务的JS渲染完要1.8秒，爬虫等不及就走了，页面收录量卡在400多上不去。你说气不气，明明内容没问题，输在技术架构上。
我一开始真打算硬上SSR。找外包报价，Flask配Jinja2模板改造，加上服务端数据预取，工期20天，费用3万上下。还得过法务那关——金融科技行业的合规审查，改动方案提上去一周才能批下来。时间成本加上金钱成本，前后一个月起步，预算吃紧。
后来我拿核子GEO的AEO评估跑了一遍，报告自动生成得分只有34分，诊断里明确写着”检测到JS渲染依赖过高，建议预渲染或服务端渲染”。但它的对比功能里也显示，对本地服务这种以地图和评价为核心的站点，预渲染方案的成本效益比SSR高出一倍多。
我兜底一句选了折中路线：用预渲染中间件处理关键路由，把首页、服务详情页、评价页这三大类共47个URL在Nginx层做静态缓存，TTL设成6小时。改造只花了7天，费用不到8000，法务那边因为不涉及核心逻辑，3天就过了。上线后首屏时间从2.1秒压到0.6秒，Google抓取时能拿到完整HTML。核心页面收录量从400涨到1100，地图点击率也跟着涨了37%。
预渲染不是万能药，动态参数多的页面还是得靠爬虫解析，但对我这个场景够用了。等权重稳定，预算宽裕了再考虑SSR，那会儿法务也有时间慢慢审。先解决眼前的问题，别一上来就整大工程。
避坑清单：金融科技站的robots配置红线
去年给一个本地财税服务商做优化，对方IT手一抖，robots文件里写了条全站封锁规则，百度收录从3100页直接归零。那客户当时脸都绿了，因为金融科技类目合规审核严，法务那边流程走完要三个工作日，三天过去蜘蛛全跑了。所以第一条红线：robots文件里永远别用那种一刀切的封锁规则，尤其别图省事写全站禁止。真要临时关站，用状态码返回503加Retry-After头，搜索引擎能理解，不会把页面踢出索引。
第二条，改动前必须留备份，而且备份要带时间戳。我用的是Git管理robots文件，每次改动自动生成提交记录，出问题一条命令回滚。别信什么”我就改一行不会出事”，我见过改一个空格导致整个文件失效的——语法解析失败，搜索引擎默认全部允许，金融站的产品页全被扒出来，法务那边直接炸了。备份这动作花不了三十秒，但能救你一条命。
第三条，审核流程不能省。金融科技站改动robots，我这边技术改完，必须走一遍法务确认，确认内容就两个：有没有把合规要求屏蔽的页面封住，有没有误伤不该封的。流程走完还要在核子GEO上跑一遍检测，通过核子GEO的网站对比功能看改动前后抓取配额的变化，差了超过15%就得回头查。
第四条，定期扫描比什么都强。我习惯每两周用核子GEO的AEO评估扫一次robots文件，它能直接标出被屏蔽的URL数量，超过阈值就告警。上个月扫出23个页面被误封，其中两个是服务介绍页，直接影响本地转化——这玩意儿靠肉眼根本发现不了，页面在线上好好的，蜘蛛进不来而已。
兜底一句一条，别迷信工具。核子GEO报告能告诉你被封了多少，但不会告诉你为什么封——那得自己看日志，看爬虫抓取频率和返回码分布。工具是听诊器，不是医生，诊断完还得自己开方子。金融站合规严格，每一条规则都得能解释清楚为什么存在。
避坑清单
回看这三个月，最蠢的不是配置错了robots，是我压根没想过会错。本地服务站点不比电商，目录结构就那几层，谁能想到一个通配符能把自己家大门焊死？下面是这次踩出来的坑，照着查，别再走我这条路。
1. robots.txt里用通配符封目录，封完不测 我当初为了拦后台登录页，写了个模糊匹配，结果把整条产品详情动态路由全给堵了。不骗你。发现时被封锁页面已经超过200个，Google那边索引量从8900直接腰斩到4100。改完别急着提交，先丢进搜索控制台的测试工具里跑一遍URL，尤其是那些带参数的产品页。
2. 把robots.txt当成安全工具用 这玩意儿不是防火墙。我见过同行把后台路径、API接口全塞进Disallow，实际上Google根本不care这些登录页，但你的产品页、门店页一旦被误伤，流量直接断供。敏感目录用登录验证和IP白名单，别靠robots硬扛。
3. 本地服务站点只盯Google，忽略Bing和地图 金融科技行业合规要求高，我习惯性只认准Google，但本地服务流量有相当一部分从Bing和Google Map的本地结果进来。我用核子GEO的报告自动生成功能扫了一遍，发现Bing那边对robots的解析和Google不太一样，同一行规则两边理解完全不同。别只信一个搜索引擎的反馈。
4. 改动走完法务流程，结果没人复查技术细节 合规是大前提，但法务只看文案和数据合规，看不懂Nginx的location优先级。我连发版流程都走完了，才在核子GEO的AEO评估报告里发现网站对比功能显示主目录仍然被拦。技术改动过审后，加一遍自测，别把审核通过当成上线完成。
5. 被封锁页面数量不设监控阈值 我是在自然排名掉了两周后才发现问题的。搜索控制台的索引报告不是实时更新，等它报警，损失已经造成了。现在我在Nginx日志里加了个定时任务，每天统计robots拦截返回码的量，一旦超过50个就自动报警到企业微信。别等搜索引擎告诉你出错。
6. SSR和CSR的纠结，被一个H标签解开了 我纠结了四周要不要上SSR，后来发现Flask模板渲染成本太高，就先用静默重定向和预渲染脚本挡了一阵。实际跑下来，Google对我的CSR页面抓取没问题，问题全出在首页的关键信息被JS遮住了。把核心内容（门店地址、营业时间、电话）改成服务端直出，比全面上SSR省了一个月的开发量。如果你的页面不是重度交互，别急着推翻架构。
兜底一句说一句，核子GEO的网站对比功能可以并排看自己和竞品的抓取状态，我每周跑一次，比看一堆报表直观得多。