Python爬虫实战02：分析Ajax请求并抓取今日头条街拍

1 目标网站分析

首先我们打开今日头条网站，搜索 街拍，点击图集，这里每就是我们要爬取的目录，我们称为索引页。1

点开一个标题，进去，称为详情页。2这里面的图是我们所要爬取的。比如这里可以点击图片，共7张图。2

这里我们可以想到，可以先把详情页的每个标题URL爬取下来，再请求详情页得到每个图集。

分析详情页代码，打开谷歌浏览器开发工具，选择Network，刷新网页。发现第一个请求中返回的不含图片的任何信息。

想到头条应该是Ajax请求，选择XHR，继续刷新，点击图集。发现我们点击图集发出的请求返回的代码中data中含有我们想要的图片信息，是Json格式。可以看到title信息，刚好符合。
3

Headers，属于get请求，可以看到请求参数。
4

也可以看到我们请求索引页的网址。

然后滑动网页，发现左边又多了个请求，offset=20，由此得知索引页可通过改变offset来换页。6

继续看详情页，我们想找到每个图集的内容。同样打开network工具，刷新网页。选择XHR，发现每个请求中都不包含图集信息。选择ALL查看，我们可以看到对应网址的请求返回了一段代码。我们右击图片，新窗口查看，得到图片的地址后面的数字。到前面的代码中搜索，发现图片信息恰好在gallery: JSON.parse(” “)中，是Json格式。其中’sub_image’的值包含的就是我们想要获取的图集的信息。7

理一下基本思路：

1. 爬取索引页的信息。通过分析ajax请求，得到每个详情页的网址。（比如这里就返回了18个详情页）
2. 爬取详情页的信息，分析网页代码，用正则表达式得到每个图集的信息。
3. 将爬取的信息存到MongoDB，并下载图片。
4. 通过改变offset爬取多页信息，利用多线程加快速度。

2 流程框架

• 抓取索引页内容

  利用requests请求目标站点，得到索引网页HTML代码，返回结果。

• 抓取详情页内容

  解析返回结果，得到详情页的链接，并进一步抓取详情页的信息。

• 下载图片与保存数据库

  将下载的图片保存到本地，并把页面信息及图片URL保存至MongDB.

• 开启循环和多线程

  对多页内容遍历，开启多线程提高抓取速度。

3 爬虫实战

使用pycharm。

3.1 抓取索引页内容

def get_page_index(offset, keyword):
    """抓取索引页的内容"""
    data = {  # 请求参数，offset和keyword我们设置成变量，方便改变。
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': 20,
        'cur_tab': 3,
        'from': 'gallery'
    }
    # urlencode()可以把字典对象转化为url的请求参数
    url = 'https://www.toutiao.com/search_content/?' + urlencode(data)
    try:  # 防止程序中断
        response = requests.get(url)  
        if response.status_code == 200:  # 如果访问成功则返回文本内容
            return response.text
        return None
    except RequestException:
        print('请求索引页出错')
        return None

3.2 解析索引数据

def parse_page_index(html):
    """ 解析索引数据"""
    # json.loads()对JSON数据进行解码,转换成一个字典
    data = json.loads(html)
    # 当data这个字典存在且'data'键名存在与data字典中。data.keys()返回data这个字典所有的键名
    if data and 'data' in data.keys():
        # get() 函数返回字典中指定键的值，在这里遍历data字典中键名为'data'的
        # 值，每个元素分别为一个图集。
        for item in data.get('data'):
            # 对于'data'的值中的每个元素，建立一个生成器，得到每个网址
            yield item.get('article_url')  # 'article_url'中信息是每个图集的网址

3.3 获取详情页信息

def get_page_detail(url):
    """ 拿到详情页图的信息"""
    try:
        # 此处不加headers会导致访问详情页失败
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64;x64)AppleWebKit/537.36(KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求详情页出错', url)
        return None

3.4 解析详情页

def parse_page_detail(html, url):
    """ 解析详情页"""
    # 声明解析后的网页对象
    soup = BeautifulSoup(html, 'lxml')
    # 通过传入css选择器，选择第一个