Python学习笔记4——爬取异步加载数据

一.什么是异步加载？

在之前的学习笔记中，爬取的网页是需要手动翻页的网址，但是一些网站是通过自动加载翻页的，如knewone网页。浏览knewone的官网就能发现，当下拉到网页最下端时，网站会自动加载新的数据，这样的网站加载方法，称为异步加载。

异步加载又称之为非阻塞模式，当向网页提出请求（request）时，其实网站只是返回了主要样式和部分数据，而持续加载的网页数据是由JS控制，这时新加载出的网页数据与之前的请求是没有关系的，因此称之为异步加载。

二.如何抓取异步加载数据？

以爬取knewone的数据为例，学习连续爬取异步加载网页的方法。

分为以下步骤：

1、观察网页

右键点击网页 —— 点击检查打开监视器 —— 在打开的窗口中选择Network（Network中可查看动态加载数据）—— 选择XHR —— 下拉加载数据，记录数据信息

通过观察可以发现，往下下拉加载的数据越多，动态加载就会陆续出现新的加载成功的页码。点击任意一个新加载的页码，可查询动态加载的数据。点击之后，在新弹出窗口的Headers中，便能找到网页的网址。例如下面的knewone.com网页，新加载的网页在后面添加了page=?的后缀。

在Headers右侧的Response中，是网页的结构，包含了网页的链接、图片地址等相关信息。

2、编写代码

以爬取https://knewone.com/discover为例，爬取网站的图片链接、标题等数据。编写代码的过程如下：

①引入第三方库

第一步同样是引入第三方库，引入BeautifulSoup和requests。

from bs4 import BeautifulSoup #引入BeautifulSoup第三方库import requests #引入requests第三方库

②通过解析网页抓取数据。

首现随意先抓取一个网页的信息，通过解析网页和数据抓取，确保能全部获得我们所需要的相关数据后，再连续抓取网页数据。解析网页和抓取数据的方法和Python学习笔记3 中的方法一样，这里就不再赘述。在编写的过程中，可以每写一步，就通过print()输出查看我们自己编写的程序是否正确，这个对于像我一样的新手来说，虽然麻烦了一点，但还是很有必要的。

url = 'https://knewone.com/discover?page=2'wb_data = requests.get(url)#向网页发送请求

soup = BeautifulSoup(wb_data.text,'lxml')#解析网页

titles = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > section > h4 > a')#抓取标题

imgs = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a > img')#抓取图片

links = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a')#抓取链接#

③整理数据

将抓取出的数据，通过for循环进行整理，装入data{}列表中，最终输出数据。

for title,img,link in zip(titles,imgs,links):

data = {

'title':title.get('title'),

'img':img.get('src'),

'link':link.get('href')

}

print(data)

输出结果为：

④定义函数

为了方便，我们可以将以上写的代码，通过def，定义一个新的函数，方便我们调取。最终函数如下：

关于Python的函数：

函数是组织好的，可重复使用的，用来实现单一或相关联功能的代码段。

Python本身就提供了许多内建函数，比如print()，但也可以自己创建函数。定义一个函数可以定义一个由自己想要功能的函数

函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数内容以冒号起始，并且缩进。return [表达式] 结束函数。

图片引用自《编程小白的第一本 Python 入门书》

def：即define，含义是创建函数

function：即函数名，最好与函数本身的使用相联系

arg：即argument，输入的参数

return即返回结果

以定义计算三角形面积为例：

def triangle_area(bottom,height):

return bottom*height*1/2

调用函数

print(triangle_area(4,5))

输出为10

⑤连续爬取异步加载网页

利用学习笔记3.1 中的方法，通过for循环和format函数，找出异步加载的前9页网址链接。