python爬虫之-获取b站搜索页面所有视频弹幕

谨以此文表示对一线工作者的感谢！

作为一个在特殊期间只能宅在家里做贡献的小小程序员，真的非常感激那些美丽的白衣天使们。刚好前几天学会了一些python的小应用，用代码表达我的感谢！

实现功能：

用python爬取哔哩哔哩搜索页面的所有视频弹幕，建立词云

1、爬取页面：

2、实现思路

实现思路就是从以上页面中获取所有视频的链接，比如说第一个视频的链接为：https://www.bilibili.com/video/av85319370?from=search&seid=4971102771316254686

然后我再从链接里面获取该视频号，这个视频就是av85319370，然后再从该视频页面的所有包里面找到弹幕包，就是以下两个包：

从这两个包里面我们可以知道，第二个包里面存放有该视频的所有弹幕信息，但是该视频链接的oid值存放在第一个json数据包里面，所以就得先获取第一个包的内容，再获取第二个包的内容。

将所有视频的弹幕都得到了之后，再利用jieba库进行词语截取，截取完之后将所有词语数量进行统计，最终得到数量前200的所有词语，绘制词云。。。

实现代码：

1、所需库

用于爬取页面的是 requests，BeautifulSoup, lxml，json
用于中文词汇分割的是 jieba
制作词云相关：wordcloud, numpy, PIL

2、代码

# coding=utf-8
import requests,lxml,jieba,codecs,re,json
from bs4 import BeautifulSoup
from wordcloud import WordCloud
from collections import Counter
import numpy as np
from PIL import Image

barragepath = 'C:/Users/11037/Desktop/allbarrages.txt' #存放在本地的文件位置
maskpicture = 'C:/Users/11037/Desktop/china.jpeg' #词云mask图片
wordsource = 'C:/Users/11037/Desktop/wordsource.txt' #存放制作图云词汇的文件

barrages = [] #存取所有原始弹幕
barragespages = []  #存放弹幕xml文档的页面列表

def getpage(url): #获取页面信息
    html = requests.get(url).content.decode('utf-8')
    return html

def getbarrage(html):  #获取弹幕页面所有弹幕
    bs = BeautifulSoup(html,'lxml')
    dlist = bs.find_all('d')
    for d in dlist:
        barrages.append(d.string)

def jsongetaid(url):  #从json页面中获取cid值
    html = getpage(url)
    data = json.loads(html)
    return str(data['data'][0]['cid'])

def getAllLink(html): #得到所有弹幕的xml文档页面
    global barragespages
    jsonlink = []  #json页面链接
    url = 'https://api.bilibili.com/x/player/pagelist?aid='
    end = '&jsonp=jsonp'
    pattern = re.compile('av(\d)*')
    bs = BeautifulSoup(html,'lxml')
    alist = bs.find('ul',class_="video-list clearfix").find_all('a')
    for al in alist:
        link = al['href']
        match = pattern.search(link)
        if match==None:
            alist.remove(al)
        else:
            string = str(match.group())
            string = string.strip('av')
            string = url + string + end
            jsonlink.append(string)
    l2 = list(set(jsonlink))
    l2.sort(key=jsonlink.index)
    jsonlink = l2
    newurl = 'https://api.bilibili.com/x/v1/dm/list.so?oid='
    for link in jsonlink:
        string = newurl + jsongetaid(link)
        barragespages.append(string)

def splitbarrage(barragelist): #统计弹幕列表中重复量前200的词汇
    file = codecs.open(barragepath,'wb','utf-8')
    for b in barragelist:
        file.write(b)
    file = codecs.open(barragepath,'r','utf-8')
    wordfile = codecs.open(wordsource, 'wb', 'utf-8')
    text = file.read()
    words = [x for x in jieba.cut(text) if len(x) >= 2]
    count = Counter(words).most_common(200)
    patern = re.compile("'(.*)'")
    for c in count:
        match = patern.search(str(c))
        if match:
            string = str(match.group()).strip("'")
            wordfile.write(string + ' ')
    wordfile.close()

def createWold(url): #创建词云
    file = codecs.open(url,'r','utf-8')
    text = file.read()
    mask = np.array(Image.open(maskpicture))
    print(text)
    wordcloud = WordCloud(
        background_color="White",
        font_path='C:/Windows/Fonts/msyh.ttc',
        width=2000,height=2000,
        mask=mask).generate(text)
    img = wordcloud.to_image()
    img.save('C:/Users/11037/Desktop/cloudpicture.jpg')
    img.show()

if __name__ == '__main__':
    #搜索界面url
    searchurl = 'https://search.bilibili.com/all?keyword=%E7%99%BD%E8%A1%A3%E5%A4%A9%E4%BD%BF&from_source=nav_search_new'
    html = getpage(searchurl)
    getAllLink(html)
    for pageurl in barragespages: #遍历搜索界面的所有视频获取弹幕
        print('已获取',str(pageurl),'的弹幕')
        html = getpage(pageurl)
        getbarrage(html)
    splitbarrage(barrages)
    createWold(wordsource)

运行生成的图片：

最后，祝所有的医护人员工作顺利，身体健康，祝我们的祖国繁荣昌盛！