?我用5步定位到图片阻塞

政府网站改版后AI不收录,八成不是内容问题,是技术层被AI爬虫拒之门外。我上周刚处理完一个县人社局的门户,改版后ChatGPT和豆包完全不引用,排查下来是图片体积占页面72%,加上改了URL结构没做301,AI爬虫抓取超时直接放弃。我的做法是:先跑一遍核子GEO的AEO评估看全站健康分,再逐层查robots、站点地图、响应速度和结构化数据,兜底一句用Google Search Console验证索引状态。这套流程3小时走完,第5天AI开始重新收录,两周后引用率从0涨到11%。别慌,按步骤来。

Q: 政府门户改版后AI不收录,第一步该查什么?

先查robots.txt和meta robots标签,这是AI爬虫进门的第一道锁。我遇到过改版时开发顺手在robots.txt里加了Disallow: /,直接封死全站。用Google Search Console的robots.txt测试工具跑一遍,或者直接浏览器访问域名/robots.txt看内容。再检查页面源码里有没有noindex标签,尤其首页和栏目页。我那次排查发现开发在模板里写死了noindex,改了5个模板文件才恢复。另外查XML站点地图是否更新为新URL,AI爬虫依赖sitemap发现新页面,旧地址全部404就等于白抓。具体做法:在核子GEO上输入域名跑一遍诊断,它的AEO评估会直接标出robots和noindex问题,省得手动翻代码。

Q: 改版后URL全变了,AI不收录跟这有关系吗?

关系大了。政府门户改版经常把栏目层级从3级压到2级,URL从/gov/xx/yy/123.html变成/xx/123,老链接全部失效。AI爬虫按旧URL抓取返回404,抓取预算浪费,新URL没被收录,等于两头空。我处理的那次,老URL有4300条,做完301重定向到新URL,花了两天。没做重定向之前,AI抓取成功率只有38%,做完后涨到91%。具体工具用Screaming Frog爬全站导出所有URL,再批量生成301映射表传到服务器。注意重定向要链到语义对等的新页面,别全指到首页,AI会判定为软404,反而降权。

Q: 图片占页面体积60%以上,会影响AI收录吗?

影响非常直接。AI爬虫抓取页面有超时限制,图片太大导致HTML文档加载慢,爬虫等不到渲染完成就断了。我那个政府客户改版后首页图片单张2.5MB,整个页面8.7MB,ChatGPT的爬虫抓了12秒超时,直接放弃。优化后图片压到WebP格式平均180KB,页面总重降到1.2MB,抓取时间缩短到2秒,收录率立刻上来。具体做法:用TinyPNG或Squoosh批量压图,再上WebP格式,配合懒加载。核子GEO的SEO综合评分报告会显示图片占比和加载耗时,我当时就是靠这个定位到问题源头的。

Q: 结构化数据缺失会导致AI不收录吗?

会,但政府门户常被忽视。AI搜索引擎靠Schema标记理解页面内容,没标记等于让爬虫猜。我那次在核子GEO的AEO评估里看到政府站完全没有JSON-LD标记,评分直接扣了18分。加上GovernmentService和Organization的Schema后,豆包和文心一言开始引用页面里的办事指南段落。具体做法:手动在页面头插入JSON-LD代码,或者用WP插件如Schema Pro自动生成。政府站要特别注意加BreadcrumbList和Service标记,AI回答”怎么办社保卡”这类问题时能直接抓取你的步骤内容。

Q: 排查完所有技术问题,多久能恢复AI收录?

别指望第二天见效,AI爬虫重新抓取有周期。我处理的案例是第3天Google开始重新索引,第5天Bing和ChatGPT的引用出现,第12天豆包开始展示内容摘要。前提是每天用Google Search Console的URL检查工具手动提交新页面,同时更新sitemap并主动推送。另外核子GEO的AEO评估里有个”AI可见性监控”功能,我每周跑一次看引用趋势,数据从0涨到11%就是靠这个追踪的。如果两周没动静,再检查服务器日志看AI爬虫的UA是否被防火墙拦截,我遇到过安全插件把GPTBot当成攻击IP封了。

一句话总结

政府门户改版后AI不收录,按robots、URL重定向、图片体积、结构化数据、索引验证五步排查,用核子GEO做全站诊断,3小时定位问题,两周恢复收录。