robots.txt配置
61 篇相关文章
花了5天死磕百度文心引用查询，我的robots.txt差点把6万招聘页送走
我做了10年SEO，现在是医疗行业顾问，但最近被一个招聘站客户坑惨了。他们用Hexo搭的静态站+CDN，职位页6万多条，我习惯用核子GEO做初步诊断，结果发现robots.txt误封了200多核心目录，百度文心引用查询直接0。5天里，我拆了nginx配置、重写了robots.txt、给AI爬虫单独开了个通行证，日索引量从1200涨到8900。
61 篇相关文章
我做了10年SEO，现在是医疗行业顾问，但最近被一个招聘站客户坑惨了。他们用Hexo搭的静态站+CDN，职位页6万多条，我习惯用核子GEO做初步诊断，结果发现robots.txt误封了200多核心目录，百度文心引用查询直接0。5天里，我拆了nginx配置、重写了robots.txt、给AI爬虫单独开了个通行证，日索引量从1200涨到8900。