bilibili完结番剧分区数据抓取（第二节）

在上一节中，我们分析了爬取b站视频数据的方法。
获取json文件->提取json数据->保存数据为csv
在这一节中，我们就来具体实现吧。

image.png

这条链接就是我们要访问的json文件了。我们把ps设为 最大值50。rid去查找上一节给出的github地址，找到是32。然后就需要不断改变当前页码数了。我们用一个列表来存储这些url链接。
需要注意的一点是b站完结分区有816页，每页20，最后一页有7个。要算一下换成每页50有多少页，然后range函数是不不含右边界的，比如range(1,3)，返回的列表只有1,2两个数，所以还要加个1。

def get_url():
    url = 'http://api.bilibili.com/x/web-interface/newlist?rid=32&pn='
    for i in range(1, 328):
        urls.append(url + str(i) + '&ps=50')

然后获取这些json文件中我们需要的信息。

def get_message(url):
    print(url)
    time.sleep(1)   #隔1s爬一次，不过用了4个线程 ，实际上是1s爬4次
    try:
        r = requests.get(url, timeout=5)
        if r.status_code == 200:
            data = json.loads(r.text)['data']['archives']
            for j in range(len(data)):
                content = {}
                content['aid'] = data[j]['aid']
                content['title'] = data[j]['title']
                content['view'] = data[j]['stat']['view']
                content['danmaku'] = data[j]['stat']['danmaku']
                content['reply'] = data[j]['stat']['reply']
                content['favorite'] = data[j]['stat']['favorite']
                content['coin'] = data[j]['stat']['coin']
                comic_list.append(content)
        else:
            print("请求网页失败！")
    except Exception as e:
        print(e)

写入csv文件，这里需要注意下文件路径，我是为了把文本和代码分开，才加了层路径，你可以直接写成r'bilibili-comic.csv'即可

def write_to_file(comic_list):
    with open(r'..\result\bilibili-comic.csv', 'w', newline='', encoding='utf-8') as f:
        fieldnames = ['aid', 'title', 'view', 'danmaku', 'reply', 'favorite', 'coin']
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        writer.writeheader()
        try:
            writer.writerows(comic_list)
        except Exception as e:
            print(e)

然后调用这些函数，我们可以使用多线程提升爬虫的运行速度
首先导入python多线程库

from multiprocessing.dummy import Pool as ThreadPool

我的电脑是4核的，就创建4个线程，然后调用map函数运行get_messsage函数

get_url()
pool = ThreadPool(4)
pool.map(get_message, urls)
pool.close()
write_to_file(comic_list)

最后写入文件。

image.png

得到的是这样的结果，一共16309条，去除第一行的csv头，又多了一条，可能刚才又有up上传了一部视频，暂时不管。我们直接用excel打开这个csv文件（需要转一下码，用记事本打开然后另存为ascii编码，不然中文是乱码）。使用excel自带的排序功能，按照播放量进行排序。

image.png

这就是b站完结区所有番剧的播放量排行了。你也可以按照其他项进行排序，就可以获得不同的排行榜了。
注：完结区是发布的合集番剧，有些番是连载区的，并没有发布合集，这里是没有的。所以不要问为啥第一不是XXX。最近各个视频网站都下架了一大批番剧，且看且珍惜吧！
完整源代码发布在我的github上，欢迎前往浏览。
https://github.com/HOUTASU/crawler_pycharm/blob/master/code/bilibili.py