Aiohttp异步爬取小说排行榜

Aiohttp异步爬取小说排行榜

*** Aiohttp简介及使用 ***

​ Aiohttp是Python的一个第三方网络编程模块， 它可以开发服务端和客户端，服务端也就是我们常说的网站服务器；客户端是访问网站的API接口，常用于接口测试，也可用于开发网络爬虫。Aiohttp是基于Asyncio实现的HTTP框架，Asyncio是从Python3.4开始引入的标准库，它是因协程的概念而生，这是Python官网推荐高并发的模块之一。

​ 由于Asyncio具有高并发的特性，因此Aiohttp继承了Asyncio的特性， 使得Aiohttp非常适合开发网络爬虫。在使用Aiohttp之前，需要安装Aiohttp模块，安装方式可以使用pip指令完成，也可以自行下载whl安装包（https://www.lfd.uci.edu/~gohlke/pythonlibs/#aiohttp），安装指令如下：

# pip 在线安装aiohttp
pip3 install aiohttp

Aiohttp模块安装完成之后，在Python的交互模式下，导入Aiohttp模块并验证模块安装是否成功，验证代码如下：

>>>import aiohttp
>>>aiohttp.__version__
'3.8.4'

Aiohttp异步爬取小说排行榜

运行环境

​ 操作系统：mac OS

​ IDE: Pycharm professional 2020.1

通过案例了解Aiohttp的应用，案例实现过程如下：

• 爬取对象是起点小说网的24小时热销榜
• 数据清洗会使用第三方模块bs4实现
• 数据以CSV文件存储并以电子表格文件输出

安装bs4模块，使用pip在线安装即可，进入terminal输入安装指令如下：

% pip3 install bs4

首先分析24小时热销榜的网页结构，在浏览器访问网址（www.qidian.com/rank/hotsales?page1)并打开浏览器的开发者工具，点击Network选项卡的Doc标签，如下图所示：

分析网页结构是要根据爬虫的爬取方式而决定，爬取方式主要分两类，说明如下：

  (1) 如果使用Selenium或Splash爬取数据，网页分析需要在开发者工具的Elements选项卡里进行，因为Selenium和Splash是获取网页加载后的内容。

​ （2）如果使用Requests或Aiohttp这类模块爬取数据，则由开发者工具的Network选项卡进行网页分析，并且还要在各个分类标签里找到数据所对应的请求方式。

从图上看到， 网页上的小说信息可以在Doc标签里找到对应的HTML源码，并且在Doc标签的请求地址与浏览器的地址栏是一致的，也就是说我们只需对网页地址发送HTTP请求即可获取小说信息。

在网页下最下方设有分页功能，当点击不同的页数按钮，浏览器地址栏的URL地址会随之变化， 如第一页的page1、第二页的page2…以此类推，参数page 代表分页功能的页数，URL地址根据页数的不同来显示相应的小说信息。如下图所示：

从上述的分析得知，只要动态改变URL地址的参数page即可得到不同页数的网页内容，然后将网页内容进行数据清洗并提取相应的小说信息，最后将小说信息写入csv文件，然后输出为电子表格文件，项目实现代码如下：

from bs4 import BeautifulSoup
import aiohttp
import asyncio
import csv
import pandas as pd
from pandas.io.excel import ExcelWriter


# 定义网站访问函数getData,将网站内容返回
async def getData(url, headers):
    # 创建会话对象session
    async with aiohttp.ClientSession() as session:
        # 发送GET请求，并设置请求头
        async with session.get(url, headers=headers) as response:
            # 返回响应内容
            return await response.text()


# 定义存储数据函数，解析页面返回
def saveData(result):
    for _ in result:
        soup = BeautifulSoup(_, 'html.parser')
        find_div = soup.find_all('div', class_='book-mid-info')
        for d in find_div:
            name = d.find('h2').getText()
            author = d.find('a', class_='name').getText()
            intro = d.find('p', class_='intro').getText()
            update = d.find('p', class_='update').getText()
            csvFile = open('data.csv', 'a', newline='')
            writer = csv.writer(csvFile)
            writer.writerow([name, author, intro,  update])
            csvFile.close()


# 定义运行函数
def run():
    for _ in range(25):
        # 构建不同的URL地址并传入函数getData,最后由asyncio模块执行
        task = asyncio.ensure_future(getData(url.format(_ + 1), headers))
        # 将所有请求加入到列表tasks
        tasks.append(task)
    # 等待所有请求执行完成，一并返回全部的响应内容
    result = loop.run_until_complete(asyncio.gather(*tasks))
    saveData(result)
    print(len(result))


if __name__ == '__main__':
    headers = {
        'User-Agent':
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 '
            'Safari/537.36 '
    }
    csvFile = open('data.csv', 'w', newline='')
    writer = csv.writer(csvFile)
    # 写入标题，以便后面转成电子表格文件做表头
    writer.writerow(['书 名', '作 者', '简介', '更新日期'])
    csvFile.close()
    url = 'https://www.qidian.com/rank/hotsales/page{}/'
    # 创建get_event_loop对象
    loop = asyncio.get_event_loop()
    tasks = []
    # 调用函数run
    run()
    with ExcelWriter('畅销小说排行榜.xlsx') as ew:
        # 将csv文件转换为excel文件
        pd.read_csv("data.csv").to_excel(ew, sheet_name="起点中文小说畅销榜", index=False)

排行榜25个分页所爬取的时间约为3秒左右，这样的爬取效率归功于Aiohttp的异步并发特性。打开输出电子表格文件查看排行榜的小说信息如下图：