Python爬虫——Ajax数据爬取

前言

有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到正常显示的页面数据,但使用requests得到的结果并没有。这是因为在requests获得的都是原始的HTML文档,而浏览器中的页面则是经过JavaScript处理数据后生成的结果,这些数据的来源有很多种,可能是通过Ajax加载的,可能是包含在HTML文档中的,也可能是经过JavaScript和特定的算法计算后生成的。

本文将讲解什么是Ajax以及如何分析和抓取Ajax请求。

Ajax

Ajax即异步的JavaScript和XML,它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

对于前言的第一种情况,数据加载是一种异步加载方式,原始的页面最初不会包含某些数据,原始页面加载完后,会再向服务器请求某个接口获得数据,然后数据才被处理从而呈现到网页上,这其实就是发送了一个Ajax请求。

对于传统的网页,如果想更新其内容,那么必须要刷新整个页面,但有了Ajax,便可在页面不被全部刷新的情况下更新其内容。在这个过程中,页面实际上是在后台与服务器进行了数据交换,获取到数据之后,再利用JavaScript改变网页,这样网页内容就会更新了。

Ajax应用场景

浏览网页的时候,我们会发现很多网页都有下滑查看更多的选项。

例如进入微博(https://weibo.com/),下滑几个微博之后,再向下就没有了,转而会出现一个加载动画的,不一会就会刷线新的微博内容,整个过程其实就是Ajax加载的过程。

Python爬虫——Ajax数据爬取_第1张图片

我们注意到页面其实并没有整个刷新,也就意味着页面的链接没有变化,但是网页中却多了新内容,也就是后面刷出来的新微博。这就是通过Ajax获取新数据并呈现出来的过程。

Ajax分析方法

我们知道真实的数据其实都是一次次Ajax请求得到的,如果想要抓取这些数据,需要知道这些请求到底是怎么发送的,发往哪里,发了哪些参数,如果我们知道了这些,不就可以用python模拟这个发送操作,获取到其中的结果了吗?

查看请求

我们知道拖动刷新的内容由Ajax加载,而且页面的URL没有变化,那么应该到哪里去查看这些Ajax请求呢?这里以知乎-发现(https://www.zhihu.com/special/all)为例,借助Chrome浏览器的开发者工具来介绍。

首先,用Chrome浏览器打开知乎-发现(https://www.zhihu.com/special/all),随后在页面中右击鼠标,从弹出的快捷菜单中选择“检测”选择,此时便会弹出开发者工具。如下图:

Python爬虫——Ajax数据爬取_第2张图片

此时在Elements选项卡中便会观察到网页的源代码,但这不是我们想要寻找的内容。切换到Network选项卡,随后重新刷新页面,可以发现这里出现了非常多的条目,如下图:

Python爬虫——Ajax数据爬取_第3张图片

Ajax其实有其特殊的请求类型,它叫作xhr。我们发现有个名称list?limit=10&offset=20的请求,这就是一个Ajax请求,用鼠标点击这个请求,可以查看到这个请求的详细信息。

右侧可以观察到其Request Headers、URL和Respouse Headers等信息。其中Request Headers中有一个信息为X-Requested-with:fetch,这个就是标记了此请求是Ajax请求。

Python爬虫——Ajax数据爬取_第4张图片

随后点击一下Preview,即可看到响应的内容,它是JSON格式的。观察可以发现,这里返回结果是专题的信息,如:标题、点击量和介绍等,这也是用来渲染个人主页所使用的数据。JavaScript接收到这些数据之后,再执行相应的渲染方法,整个页面就渲染出来了。如下图:

Python爬虫——Ajax数据爬取_第5张图片

另外,也可以切换到Respouse选项卡,从中观察到真实的返回数据,如下图:

接下来,切回到第一个请求,观察一下它的Respouse是什么,如下图:

Python爬虫——Ajax数据爬取_第6张图片

这是最原始的链接(https://www.zhihu.com/special/all)返回的结果,其代码只有不到20行,结构也非常简单,只是执行了一些JavaScript。

所以我们看到的知乎-发现的真实数据并不是最原始的页面返回的,而是后来执行JavaScript后再次向后台发送了Ajax请求,浏览器拿到数据后再进一步渲染出来的。

过滤请求

使用Chrome开发者工具筛选功能筛选出所有的Ajax请求。如下图:

Python爬虫——Ajax数据爬取_第7张图片

不断滑动页面,可以看到页面底部有一条条新的专题被刷新出,而开发者工具下方也一个个地出现Ajax请求,这样我们就可以捕获到所有的Ajax请求了。

随意点开一条目,都可以清楚地看到其Request URL、Request Headers、Respouse Headers、Respouse Body等内容,此时想要模拟请求和提取就非常简单了。如下图:

Python爬虫——Ajax数据爬取_第8张图片

Ajax结果提取

接下来用Python来模拟这些Ajax请求,把知乎-发现-全部专题的部分内容爬取下来。

分析请求

打开Ajax的XHR过滤器,然后一直滑动页面以加载新的专题内容,可以看到,会不断有Ajax请求发出。

选定其中一个请求,分析它的参数信息。点击该请求,进入详情页面,如下图:

Python爬虫——Ajax数据爬取_第9张图片

可以发现,这是一个GET类型的请求,请求链接为:https://www.zhihu.com/api/v4/news_specials/list?limit=10&offset=10,请求的参数有2个:limit和offset。看看其他请求,可以发现,它们的limit没有改变,改变的值就是offset,很明显这个参数就是用来控制分页的,offset=1代表第一页,offset=2代表第二页,以此类推。

分析响应

观察这个请求的响应内容,如下图:

Python爬虫——Ajax数据爬取_第10张图片

这个内容是JSON格式的,浏览器开发者工具自动做了解析以方便我们查看,最关键的两部分信息就是data和paging:前者是一个列表,包含10个元素,展开其中一个看一下。后者包含一个比较重要的信息total,它是专题的总个数,我们可以根据这个数字来估算分页数。如下图:

可以发现,它包含了知乎-发现-全部专题的一些信息,例如:banner(图片链接),id(发帖者id)、introdunction(简介)、title(标题)、updated(更新时间)、view_count(点击量)等,而且它们都是一些格式化的内容。

这样我们请求一个接口,这样就可以得到10个专题,而且请求时只需要改变offset参数即可。

这样的话,我们只需要简单一个循环,就可以获得所有专题了。

实战演练

这里我们用程序模拟这些Ajax请求,将全部专题爬取下来。

爬取首页信息数据

首先,定义一个方法来获取每次请求的结果,在请求时,offset是一个可变参数,所以我们将它作为方法的参数传递进来,相关代码如下:

from urllib.parse import urlencode
import requests
base_url='https://www.zhihu.com/api/v4/news_specials/list?'
headers={
    'Host':'www.zhihu.com',
    'Referer':'https://www.zhihu.com/special/all',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
    'X-Requested-With':'fetch'
    }

#获取网页的响应并返回json格式的数据
def get_offset(offset):
    params={
        'limit':'10',
        'offset':offset
    }
    url=base_url+urlencode(params)
    try:
        response=requests.get(url,headers=headers)
        if response.status_code==200:
            return response.json()
    except requests.ConnectionError as e:
        print('Error',e.args)

这里定义了base_url来表示请求的URL的前半部分。接下来,构造参数字典,其中limit是固定参数,page是可变参数,再调用urlencode()方法将参数转化为URL的GET请求参数,随后base_url与参数拼合形成一个新的URL。接着,我们用requests请求这个链接,加入headers参数。当响应码为200,则调用json()方法将内容解析为JSON返回,否则不返回任何信息。如果出现异常,则捕获并输出其异常信息。

提取我们需要的数据

首先定义一个解析方法,用来从结果中提取想要的信息,例如想保存全部专题中的图片链接,id、点击量和标题这几个内容。先遍历data,然后获取里面的各个信息并赋值为一个新的字典返回即可:

from pyquery import PyQuery as pq
def parse_page(json):
    if json:
        items=json.get('data')
        for item in items:
            zhihu={}
            zhihu['banner']=item.get('banner')
            zhihu['id']=item.get('id')
            zhihu['view_count']=item.get('view_count')
            zhihu['title']=pq(item.get('title')).text()
            yield zhihu

使用了pyquery库将正文中的HTML标签去掉。

遍历offset将输出打印:

if __name__=='__main__':
    for offset in range(1,110):
        json=get_offset(offset)
        results=parse_page(json)
        for result in results:
            print(result)

这样,我们就顺利通过分析Ajax并编写爬虫爬取下来知乎-发现-全部专题的部分内容了。

部分数据展示:

Python爬虫——Ajax数据爬取_第11张图片

最后

本文的目的是为了演示Ajax的模拟请求的过程,爬取结果不是重点,该程序仍有很多可以完善的地方,大家觉得哪里可以改正完善的地方,可以在评论区或者私信我,我们一起讨论讨论。

好了,Python爬虫——Ajax数据爬取的知识讲解到这来了,感谢观看!!!

 

你可能感兴趣的:(Python爬虫,python,ajax,编程语言)