三、入门爬虫,爬取豆瓣电影

上次爬取了百度图片,是分析解决ajax的json的响应的,对于一些网站的常见的翻页,是这次主要内容。

明确目标

爬取的是豆瓣电影,并保存到csv格式中

爬取豆瓣是非常的简单,因为没有任何反爬的机制

爬取的url :https://movie.douban.com/explore

三、入门爬虫,爬取豆瓣电影_第1张图片

分析网站

三、入门爬虫,爬取豆瓣电影_第2张图片

和上次一样的套路

爬取全代码

# -*- coding:utf-8 -*-
# time :2019/4/8 13:00
# author: 毛利

import json
import requests

def boudan(name,num,sort):
    with open('douban.csv', 'a+') as f:
        f.write('评分' + ',' + '标题' + ',' + 'url' + ',' + '图片url' + '\n')
        map={
            '1': '&sort=recommend',
            '2':'&sort=time',
            '3':'&sort=rank'
        }

        sorted = map[sort]
        for i in range(int(num)

你可能感兴趣的:(零基础学Python爬虫)