百度=“百家号站内搜索”?

如果你经常关注热点新闻，那么你一定知道前段时间有篇文章《搜索引擎百度已死》引起很大争议，做为一名吃瓜群众，我也想理性探讨下，其实这篇文章我很早之前就想写了，但是每次开始执笔，就会有别的事情耽误，因为我日常也不经常“fq”，所以使用百度也成了和我息息相关的事，今天我们就理性去探讨下这个问题。

搜索公众号最近一个月关于“搜索引擎百度已死”的文章，按阅读量去排序，前几篇都是10w+的阅读量，由此可见广大网民对于此事关注度还是蛮高的。

我随机挑选了几个关键词（滴滴、流浪地球、裁员）在百度进行搜索

• 滴滴
  

  

  百度搜索“滴滴”结果

• 裁员
  

  

• 流浪地球
  

  

图中标注的全是百家号发布的内容，为了避免结果的偶然性，三个关键词的搜索结果显然不具备代表性，也不能客观的认为“百度搜索结果的首页，充斥着大量来自百家号的内容。”

所以我们增加样本，通过增加样本集来增加结果的准确性。

流程图

Chrome浏览器右键检查查看network这些老生常谈的话这里就不啰嗦了，因为我们主要是想采集信息类的结果，所以我选择了去采集百度资讯的新闻。

• 数据采集

import time
import datetime
import re
import random
import requests

from bs4 import BeautifulSoup
from urllib.parse import urlparse

zx_url = "https://www.baidu.com/s?ie=utf-8"

word = '滴滴'

my_headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
        }

data = {'rtt': 1, 'bsst': 1, 'cl': '2', 'tn': 'news', 'word': word}

r = requests.get(url=zx_url, params=data, headers=my_headers)


soup = BeautifulSoup(zx_html, 'html.parser')
soup_content = soup.find('div', id='content_left')

result_list = soup_content.find_all('div', class_='result')
now = datetime.datetime.now()
current_time = now.strftime("%Y-%m-%d 08:00:00")
ystd_day = now - datetime.timedelta(days=50)


for result in result_list:
    title = result.find('h3', attrs={'class': 'c-title'}).get_text().strip()    # 去除空格
    href = result.find('a').get("href")
    re_time = result.find('p', attrs={'class': 'c-author'}).get_text().\
        replace('\n', '').replace('\t', '').replace(' ', '').replace('\xa0', '')    # 去除多余字符

    d_time = datetime.datetime.strptime(re_time[-16:], '%Y年%m月%d日%H:%M')
    print('title: %s; href:%s; d_time:%s;' % (title, href, d_time))

• 这里采用Python的urllib的子模块urlparse去解析链接，判断是否为百家号的内容

res = urlparse(href)
http_res = res.scheme + '://' + res.netloc

代码略去了部门对数据库读写的操作

部分日志

其实日志已经暴露了一切，秉持一贯严谨的态度，对结果进行了统计，关键词的数量有200个，每个关键词采集前5页的链接，因为此次关键词是随机的，所以搜索部分关键词，只有1-2页的结果，最终采集链接条数共6038条，其中百家号的文章共2888条，占比47.8%，结果仁者见仁智者见智。

方可成在《搜索引擎百度已死》后又写了一篇文章，其中一段话我十分赞同：

搜索引擎其实是信息社会的基础设施。一家市场占有率大约70%的搜索引擎，掌握的几乎就是全社会的信息入口。中国人能接触到怎样的信息，是真实还是虚假，优质还是低劣，很大程度上会被它决定。

所以，我们才会对百度搜索成为百家号站内搜索颇有意见，我挺怀念早期的百度、早期的贴吧、早期的微博、早期的抖音，不过在商业化面前谈不动情怀。

最后以人民网三评百度结尾：

• 百度已死?人民网：不注重公共效益无异于饮鸩止渴

• 人民网二评“百度已死”：互联互通 基石怎可动摇

• 人民网三评“百度已死”：关乎未来 不负时代期待