自己撸的爬虫：每天全网扫一遍文心一言，抓回来的数据怎么清洗

这活儿我靠一把requests 2.31.0 + BeautifulSoup 4.12.2就干了。每天凌晨2点，crontab调起来，扫知乎、微博、公众号、36氪、虎嗅、钛媒体等20个站点，关键词组合就仨：‘文心一言+品牌’‘文心一言+评测’‘文心一言+体验’。别问我为啥不搞动态渲染——这些站的内容页基本都是静态的，requests够了。每个站点加了2秒随机延时，怕被封，headers轮换用fake_useragent 1.4.0里的20个UA。

抓回来的数据，80%是垃圾。我清洗规则就三条，别整那些花里胡哨的。第一，用jieba 0.42.1分词，把正文里的广告文案整段砍掉——凡是包含‘点击购买’‘立即下单’‘限时折扣’的段落，直接regex干掉。第二，只保留正文长度≥500字符的，短于这个数的不是水文就是凑数，我实测过滤掉40%的噪音。第三，URL去重，用MySQL的UNIQUE索引，title+source_url做联合约束，重复的直接INSERT IGNORE跳过。

存储用MySQL 8.0，表结构就三字段：id自增、title varchar(200)、content text、source_url varchar(500)、crawl_time datetime，索引打在crawl_time上。跑了3个月，累计抓了8900条有效提及。注意，我说的是‘有效’——去掉广告、短文、重复后剩下的。每天平均不到100条，但全是干货。

这个坑我踩过：刚开始没做UA轮换，扫到第5个站就被微博封了IP，害得我换阿里云弹性IP，花了30块。后来加了fake_useragent，再没被封过。

下一步干什么

这些数据怎么喂给AI引擎做品牌声量分析？下一章我写清楚，把百度指数和Google Trends的对比数据全扒出来。

动态内容池：把抓来的提及转成网站内页，自动生成300+页面

抓回来的数据直接贴？那是新手干的活。我去年给一个AI资讯站做优化时，爬虫每天抓200+条品牌提及，但用户根本不想看原始数据。后来我写了个Python模板引擎，用Jinja2 3.1.2版本，把每篇提及文心一言的文章摘要、关键词、发布日期提取出来，自动生成一个“品牌动态”页面。模板就长这样：

<h1>{{title}}</h1>
<p class="summary">{{summary[:150]}}...</p>
<p class="meta">关键词：{{keywords}} | 日期：{{pub_date}}</p>
<a href="{{source_url}}" target="_blank" rel="nofollow">原文链接</a>

每个页面都独立，title标签自动拼接“文心一言动态：{{title}}”，H1用原文标题，摘要截取150字再加省略号。爬虫每天新增30-50条，我写了个cron任务每天凌晨2点跑，生成HTML文件扔到/var/www/brand/wenxin/目录下。

Nginx配置伪静态，URL格式必须干净：

server {
    listen 80;
    server_name yoursite.com;

    location /brand/wenxin/ {
        try_files $uri /brand/wenxin/index.php?route=$uri&$args;
    }

    location ~* /brand/wenxin/(\d+)\.html$ {
        try_files /brand/wenxin/page_$1.html /404.html;
    }
}

索引量从0开始涨，我设置了自动更新sitemap.xml——写了个Python脚本扫描目录，生成带<lastmod>标签的URL列表，每24小时提交一次到百度站长平台。3个月下来，这类页面从0涨到340个，百度收录率92%，光这部分流量就占了全站的18%。

这个坑我踩过：模板里千万别用动态请求，必须生成纯静态HTML。动态页面爬虫容易卡住，Crawl Budget浪费得心疼。我实测发现，静态页面的平均加载速度是0.3s，动态请求要1.2s，差4倍。钱花在服务器上不如花在静态化上，划算。

避坑清单

  1. 模板引擎用Jinja2，别自己手写字符串拼接，容易出XSS漏洞
  2. 伪静态一定要配try_files回退到404，不然爬虫吃404页面浪费额度
  3. sitemap.xml的<priority>别给1.0，给0.5就行，不然百度会以为你在刷权重
  4. 每天新增页面别超过100个，我试过一天加200个，百度直接降权3天

百度爬虫绿灯：robots.txt和sitemap配置，让收录从23跳到190

去年我接手一个文心一言品牌监测站，收录卡在23条卡了两个月。百度爬虫不是不来，是来了全被通用页面分流了。我直接在网站根目录扔了个sitemap_brand.xml，只包含品牌提及页面——大概300个URL，按兜底一句修改时间排序。提交到百度站长平台的Sitemap管理，3周后收录从23跳到190，涨了8.2倍。

关键在Nginx配置。我给百度爬虫开了独立限速，不是限制它，是给它开绿灯。limit_req_zone $http_user_agent zone=baiduspider:10m rate=50r/s; 这行放http块，然后配置一个专门给百度用的server块：

http {
    limit_req_zone $http_user_agent zone=baiduspider:10m rate=50r/s;

    server {
        listen 80;
        server_name example.com;

        if ($http_user_agent ~* "Baiduspider") {
            set $baiduspider 1;
        }

        location /brand/ {
            limit_req zone=baiduspider burst=100 nodelay;
            proxy_pass http://backend;
        }
    }
}

rate=50r/s 意思是每秒50个请求，burst=100 允许瞬间爆发100个请求。别像我当初那样设成100r/s，百度爬虫会把你的服务器打趴——实测CPU从15%飙到92%。

robots.txt也改了。通用配置是Disallow: /，我换成了：

User-agent: Baiduspider
Allow: /brand/
Disallow: /api/
Disallow: /admin/
Sitemap: https://example.com/sitemap_brand.xml

重点是这个：页面里我加了<meta name='keywords' content='文心一言,品牌提及'>。别小看这玩意儿，百度爬虫抓取效率直接翻3倍——从平均12分钟抓一次变成4分钟。我对比过，不加这个meta的页面，百度平均要等8轮爬取才收录，加了之后2轮就进索引。

避坑清单

  1. limit_req_zone的rate别设超过50，我试过80，服务器直接502
  2. sitemap文件别超过10MB或5万条URL，百度会截断
  3. Allow: /brand/必须写在Disallow前面，百度解析顺序是从上往下
  4. meta keywords别堆砌，超过5个词百度会降权

动态内容池的3个坑：重复内容、时效性、版权问题，我踩了血泪教训

第一个坑，爬回来的文章摘要跟原文雷同，被百度判成低质。我去年给一个品牌监测站做动态内容池，直接抓取文心一言相关文章的前200字当摘要。上线第一天索引量涨了300，第二天直接掉到0。查百度站长平台，低质内容警告红了一大片。后来我加了随机重写：每段摘要用GPT-2-mini模型跑一遍，改30%的词语。模型参数我调了三天才摸清楚——temperature设0.7，top_p设0.85，max_length设150 tokens。实测对比：优化前重复度86%，优化后降到12%，索引量从0重新爬到4700。

第二个坑，半年前的旧闻权重低到离谱。我起初把3个月内所有提及文心一言的文章都塞进内容池，结果百度根本不收录，Google Search Console显示内容新鲜度评分只有2.3/10。我后来设定只收录7天内的提及，用Redis的TTL字段自动管理，过期直接下架。配置值：key设置brand_mention:{article_id}，TTL设为604800秒（正好7天）。优化后收录率从8%跳到67%，索引量从1200涨到8900。

第三个坑，知乎的评论直接贴被投诉。我当初图省事，把知乎上讨论文心一言的高赞评论整段复制到动态池，第二天就收到知乎的版权投诉邮件。我改成只提取‘用户观点’类字段——用spaCy的依存句法分析，只保留主语+谓语+宾语结构，不直接照搬原文。比如原评论“文心一言写代码比GPT-3.5差远了”，提取后变成“文心一言写代码能力不足”。再没收到投诉，百度原创度评分从61%升到89%。

这三个坑让我白损失了2个月时间。别学我，重写、时效、版权，一个都不能省。

避坑清单

  • 摘重要随机重写，不重复度超过15%
  • 内容池只留7天内的文章，用Redis TTL自动清理
  • 第三方内容必须重构句子结构，别直接复制

成果量化：品牌提及从0到230次/天，索引量从0到8900，跳出率78%→32%

优化前，我搜百度”文心一言品牌提及”，前50页都找不到我的站。2023年8月，我拿一个新域名（aiwenyan.com）做测试，首页干净得像白纸，百度索引量挂零。我蹲了7天，每天看日志，发现百度蜘蛛一次都没来过。这站之前啥优化都没做，就是个静态页面，跳出率78%，用户待12秒就跑。

3个月后，数据翻了个底朝天。品牌提及页面每天被百度爬虫访问230次，Google也跟进来，索引量从0飙到8900。跳出率从78%砸到32%，用户平均停留时长从12秒拉到2分41秒。我靠的不是堆关键词，是搭了个品牌提及监控内容池。

具体怎么干的？我用Python写了个爬虫，每天凌晨2点抓百度、头条、微信公号上带”文心一言”的文章，关键词匹配加正则过滤，入库到MySQL。关键配置：爬虫用Scrapy 2.9.0，User-Agent轮换池设了50个（Mozilla/5.0…全版本），请求间隔0.5秒，防封。内容池服务器是阿里云2核4G，每月98元，装nginx 1.24.0，跑WordPress 6.4.1。nginx里我加了缓存，add_header Cache-Control "public, max-age=3600"，静态文件压缩用gzip on。

开发花了40小时，大部分时间在调爬虫的去重逻辑。我实测发现，品牌提及页面不需要原创，关键是聚合时效性。每篇文章自动生成摘要，标题加粗品牌词，内部链接指向相关主题。百度反馈很直接：第三天索引就涨到12条，两周后日均抓取破50次。成本低到离谱，服务器98元/月，爬虫脚本放crontab，零人工干预。

如果你手头有个AI工具站，这招绝对值得试。品牌提及内容池能快速喂饱爬虫，前提是你得扛住初期索引挂零的心理压力。别像我当初那样，头一周差点放弃。

避坑清单

  • 爬虫User-Agent别用默认，轮换池至少30个，否则第二天就被封IP
  • 内容池更新频率别低于2小时一次，百度喜欢新鲜货
  • nginx缓存时间别设太长，max-age超过3600秒，爬虫会忽略新文章

避坑清单

  1. 别把品牌提及当搜索量刷
    我去年给一个AI写作站做“文心一言品牌提及”优化，客户非要我每天刷500条提及。结果是：百度站长平台直接标记异常，索引量从1.2万掉到3000。正确做法是：用自然语料+真实用户行为，单日新增提及量控制在50条以内，且要分散到30个不同IP段。

  2. 忽略负面提及会被降权
    Google Search Console数据显示，A站3个月没处理负面提及（比如“文心一言生成内容质量差”），整体品牌提及词的CTR从8.7%暴跌到2.1%。我现在的方案是：用Semrush监控，对负面提及24小时内回复+修正，回复率必须90%以上。

  3. 锚文本别用死链接
    有个电商站把“文心一言品牌提及”全锚到首页，结果百度判定作弊，首页排名从第3跌到第18。我的血泪教训：锚文本分布要自然，品牌词占60%，长尾词占25%，裸链占15%。每条链接都加rel="nofollow"。

  4. 跨平台提及比百度自家权重高
    知乎、小红书上的“文心一言”提及，百度抓取后收录成本比百度站内低40%。我实测：微博提及的收录率是21%，百度贴吧是68%，知乎高达92%。别只盯着百度系，资源分配按知乎60%、小红书25%、百度贴吧15%来。

  5. 新站别碰品牌提及
    我去年给一个0权重新站做，3周索引量涨了1800条，但百度质量分从1.2直接降到0.3。后来才知道：新站前3个月品牌提及算恶意堆砌。正确节奏是：前3个月只做长尾词，第4个月引入5%品牌提及，慢慢加到15%。

  6. 提及密度超15%会被判滥发
    Google的算法更新后，品牌提及密度超过12%的页面，排名会降30%。我现在的阈值是：单页面品牌词密度控制在5%-8%，超出部分用同义词替换（比如“文心一言”改“百度AI模型”“文心大模型”）。

  7. 忽略语义关联会被判低质
    有个医疗站把“文心一言品牌提及”和“痔疮治疗”放一个页面，百度直接不给索引。我的做法：每篇文章必须包含至少3个语义相关词（比如“AI生成”“大模型应用”“自然语言处理”），用Word2vec计算相似度，低于0.6的页面直接删除。

  8. 移动端提及必须适配
    移动端点击率比PC低37%，但百度对移动端品牌提及的加权系数是PC的1.8倍。我踩坑：PC端做了200条提及，移动端只有10条，结果排名反而掉了。现在强制要求：移动端提及量至少占PC的60%，且字体大小不小于16px。

别整那些虚的，照着这8条改，品牌提及效果能翻倍。