Python学习笔记4——爬取异步加载数据

一.什么是异步加载？

在之前的学习笔记中，爬取的网页是需要手动翻页的网址，但是一些网站是通过自动加载翻页的，如knewone网页。浏览knewone的官网就能发现，当下拉到网页最下端时，网站会自动加载新的数据，这样的网站加载方法，称为异步加载。

异步加载又称之为非阻塞模式，当向网页提出请求（request）时，其实网站只是返回了主要样式和部分数据，而持续加载的网页数据是由JS控制，这时新加载出的网页数据与之前的请求是没有关系的，因此称之为异步加载。

二.如何抓取异步加载数据？

以爬取knewone的数据为例，学习连续爬取异步加载网页的方法。

分为以下步骤：

1、观察网页

右键点击网页 —— 点击检查打开监视器 —— 在打开的窗口中选择Network（Network中可查看动态加载数据）—— 选择XHR —— 下拉加载数据，记录数据信息

通过观察可以发现，往下下拉加载的数据越多，动态加载就会陆续出现新的加载成功的页码。点击任意一个新加载的页码，可查询动态加载的数据。点击之后，在新弹出窗口的Headers中，便能找到网页的网址。例如下面的knewone.com网页，新加载的网页在后面添加了page=?的后缀。

在Headers右侧的Response中，是网页的结构，包含了网页的链接、图片地址等相关信息。

2、编写代码

以爬取https://knewone.com/discover为例，爬取网站的图片链接、标题等数据。编写代码的过程如下：

①引入第三方库

第一步同样是引入第三方库，引入BeautifulSoup和requests。

from bs4 import BeautifulSoup #引入BeautifulSoup第三方库import requests #引入requests第三方库

②通过解析网页抓取数据。

首现随意先抓取一个网页的信息，通过解析网页和数据抓取，确保能全部获得我们所需要的相关数据后，再连续抓取网页数据。解析网页和抓取数据的方法和Python学习笔记3 中的方法一样，这里就不再赘述。在编写的过程中，可以每写一步，就通过print()输出查看我们自己编写的程序是否正确，这个对于像我一样的新手来说，虽然麻烦了一点，但还是很有必要的。

url = 'https://knewone.com/discover?page=2'wb_data = requests.get(url)#向网页发送请求

soup = BeautifulSoup(wb_data.text,'lxml')#解析网页

titles = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > section > h4 > a')#抓取标题

imgs = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a > img')#抓取图片

links = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a')#抓取链接# 

③整理数据

将抓取出的数据，通过for循环进行整理，装入data{}列表中，最终输出数据。

for title,img,link in zip(titles,imgs,links):

     data = {

             'title':title.get('title'),

             'img':img.get('src'),

             'link':link.get('href')

      }

      print(data)

输出结果为：

④定义函数

为了方便，我们可以将以上写的代码，通过def，定义一个新的函数，方便我们调取。最终函数如下：

关于Python的函数：

函数是组织好的，可重复使用的，用来实现单一或相关联功能的代码段。

Python本身就提供了许多内建函数，比如print()，但也可以自己创建函数。定义一个函数可以定义一个由自己想要功能的函数

函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数内容以冒号起始，并且缩进。return [表达式] 结束函数。

图片引用自《编程小白的第一本 Python 入门书》

def：即define，含义是创建函数

function：即函数名，最好与函数本身的使用相联系

arg：即argument，输入的参数

return即返回结果

以定义计算三角形面积为例：

def  triangle_area(bottom,height):

       return bottom*height*1/2

调用函数

print(triangle_area(4,5))

输出为10

⑤连续爬取异步加载网页

利用学习笔记3.1 中的方法，通过for循环和format函数，找出异步加载的前9页网址链接。

urls = [ 'https://knewone.com/discover?page={}'.format(str(i)) for i in range(1,10)]#找出异步加载前9页的网址链接

for single_url in urls:#通过for循环将urls中的异步加载数据信息，放入single_url中                 get_info(single_url)#调取我们自己定义的get_info(url)函数

最终会有源源不断的数据被爬取出来。

完整的代码如下：

总结：

1.异步加载又称之为非阻塞模式，与常见的翻页网站略有不同，需进入网页监视器的network中查询加载的网址；

2.爬取异步加载网页的步骤与之前爬取常见翻页网站的方法几乎相同，同样需要经过：引入第三方库、通过解析网页抓取数据、整理数据等步骤；

3.可以通过定义函数，凸显出编程的层次感，并且方便将来调用；

4.需要注意的坑：def定义时，之后的冒号必不可少，且之后的内容必须缩进。