robots.txt
2 篇相关文章
robots屏蔽写错毁全站：一个分号让收录量归零的血泪教训
robots.txt是把双刃剑，写错一个字符整站收录归零。本文讲清楚Disallow、Allow、Crawl-delay的用法，附上实战中见过最离谱的5个robots错误配置案例，以及内容站、电商站、后台系统三种正确写法模板和验证步骤。
robots.txt屏蔽AI爬虫实战：GPTBot、ClaudeBot一个都不放过
AI爬虫正疯狂抓取你的内容喂给大模型，本文分享如何用robots.txt精准控制GPTBot、ClaudeBot、Bytespider等爬虫，附完整配置模板和流量数据分析，让你夺回内容主权。
热门标签
加载中...