我和高中时喜欢的女孩子在一起了

现在大家的生活中，已经越来越离不开B站了，

2020年的第一季度，B站月活跃用户达到了1.72亿，日活跃用户也已经突破了5000万个用户。

而B站的弹幕区一直是人才圣地。今天我们就用户python来爬取B站排行榜热门视频弹幕'我和高中时喜欢的女孩子在一起了'

看完视频只想说“好羡慕哦”！

工作原理

那么我们该如何获取此视频10000+弹幕呢？

在B站中，只要视频中有弹幕，就会有一个 cid 参数。cid 用来表示某个视频对应的弹幕池。每个弹幕都有一个对应的 XML 文件，我们可以通过解析 XML 文件获取到 B 站视频的弹幕。

所以，只要知道了 cid 参数值，就可以找到视频弹幕数据的位置了。

那我们在观看视频的时候该如何拿到这个 XML 文件呢？

B 站的弹幕是在 XML 文件里，每个视频都有其对应的 cid 和 aid，我们取到 cid 中的数字放入 http://comment.bilibili.com/cid.xml，即可得到该视频对应的弹幕 XML 文件。

思路分析

b站是提供弹幕接口的，所以我们的整体操作进行如下：

1.到B站获取cid

2.将cid与网站固定格式进行链接

3.用python请求网页

4.进行简单的单词处理

5.生成词云

接下来我们就按照刚才说的顺序进行详细解释

网站分析

我们要抓取得视频链接地址：

https://www.bilibili.com/video/BV1u34y1y7tY

先来思考一个问题，B站一个视频的弹幕最多会有多少？

比较多的会有2000条吧，这么多数据，B站肯定是不会直接把弹幕和这个视频绑在一起的。

也就是说，有一个视频地址为https://www.bilibili.com/video/BV1u34y1y7tY

你如果直接去requests.get这个地址，里面是不会有弹幕的，因为B站的弹幕是先加载当前视频的界面，然后再异步填充弹幕的。

接下来我们可以打开谷歌浏览器(平常可以火狐谷歌控制台都使用，因为谷歌里面因为插件被拦截下来的包在火狐可以抓到，同理谷歌也是)的控制台来观察网络请求了。

首先我们打开视频播放地址，F12打开浏览器开发者模式，如下图找到视频对应的cid就可以构造出弹幕链接

http://comment.bilibili.com/512470713.xml

到此可为止，有了弹幕文件，后面将通过爬虫方式解析弹幕，并进行弹幕内容分析。

请求发送

我们使用request模拟浏览器发送请求获取弹幕数据

url =f'http://comment.bilibili.com/{cid}.xml'

headers = {

'referer':'xxxxxxxx',

'User-Agent':'xxxxxxxx',

'cookie':"xxxxxxxx"

}

resp = requests.get(url, headers = headers)

print(resp.text)

成功获取到了数据但是全部都是乱码，这里我们不用设置字符的编码格式，

只需要让request获取到的编码格式和网页的编码格式相等即可

一行代码即可搞定

# 调用.encoding属性获取requests模块的编码方式

# 调用.apparent_encoding属性获取网页编码方式

# 将网页编码方式赋值给response.encoding

resp.encoding = resp.apparent_encoding

信息提取

数据已经给成功的获取到，接下来我们要提取出所有的弹幕信息，

我们从获取到网站的响应信息后可以看出，所有的弹幕文字信息其实都是在

标签之内的

痛！太痛了

所以我们选择使用正则提取。

# 获取所有评论内容

content_list = re.findall('(.*?)', resp.text)

数据保存

我们使用函数将所有的弹幕数据存储在'B站弹幕1.csv'文件中

ifos.path.exists(comment_file_path):

os.remove(comment_file_path)

foritemincontent_list:

withopen(comment_file_path,'a', encoding ='utf-8')asfin:

fin.write(item +'\n')

print(item)

print('-------------弹幕获取完毕！-------------')

数据处理

接下来就是对数据去重和去空处理了,然后随机抽取五条数据展示如下：

# 读取数据

rcv_data = pd.read_csv('./B站弹幕1.csv', encoding='gbk', header=None, sep='\t')

# 删除重复记录

rcv_data = rcv_data.drop_duplicates()

# 删除缺失值

rcv_data = rcv_data.dropna()

# 抽样展示5条数据

print(rcv_data.sample(5))

精彩弹幕

388葫芦娃葫芦娃一根藤上七朵花,

95彻骨伤,

646气死我啦,

11太甜了，大叔祝你们幸福,

272一个单身狗看的津津有味,

词频展示

文章评论出现频率最高的前十个词分别如下:

defvisual_cipin():

# 词频设置

all_words = [wordforwordinresult.split(' ')iflen(word) >1andwordnotinstop_words]

wordcount = Counter(all_words).most_common(10)

x1_data, y1_data = list(zip(*wordcount))

'''

('幸福', '恭喜', '祝福', '太痛', '一起', '这么', '哈哈哈', '你们', '呜呜', '两个')

(29, 27, 26, 18, 17, 17, 16, 16, 14, 14)

'''

词云展示

我们使用结巴分词

最后使用stylecloud绘制漂亮的词云图展示

# 词云展示

defvisual_ciyun():

pic ='./img.jpg'

gen_stylecloud(text=result,

icon_name='fas fa-heart',

font_path='msyh.ttc',

background_color='white',

output_name=pic,

custom_stopwords=stop_words

)

print('词云图绘制成功！')