爬虫优化
3 篇相关文章
Claude品牌提及检测：我把抓取效率从27%拉到89%，只改了这4个参数
去年我帮一个AI工具站做Claude品牌提及检测，发现传统关键词监控漏掉42%的语义关联内容。我重新设计了抓取策略，引入BERT向量模型做语义匹配，把有效提及率从27%提到89%。这篇文章不讲废话，直接给你4个核心参数和完整配置代码，你照着抄就能用。
短视频搜索可见度从0飙到87%的3个月实战：我踩了15个坑才总结出的打法
我干了10年SEO，去年开始专门搞短视频搜索可见度。3个月里，帮3个账号的搜索曝光从月均2000涨到18.7万，可见度从0%干到87%。这中间踩了15个坑，光改标题就废了40版。今天把实测的5个核心策略全写出来，包括百度、抖音、微信搜一搜的抓取差异和具体配置参数，别像我当初那样白花3个月试错。
AI抓取友好性检测：12个核心指标让引擎爬虫效率提升340%
我干了10年SEO/GEO，伺候过百度、Google、Bing、Claude、ChatGPT的爬虫。去年给一个电商站做AI抓取友好性检测，发现70%的页面爬虫根本进不去。这篇文章拆解12个实测指标，从robots.txt配置到结构化数据验证，附完整检测脚本和nginx配置，索引量从1200涨到8900，跳出率从78%降到21%。