scrapy爬虫框架学习之路-3-24

scrapy爬虫框架

从2020年3月24日开始，也就是今天，我要开始日更我在学习、练习scrapy爬虫框架时的收获，问题。目的就是为了能够熟练的操作scrapy，能为我找工作提供一些帮助就更好了。

首先，什么是scrapy？scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。简单的说就是用来使得更好地进行爬虫工作。

工具安装

首先，scrapy是一个python的爬虫框架，所以python环境是必不可少的，我建议的安装方式是Anaconda+python，使用Anaconda创建python的虚拟环境是非常方便的，也很方便进行第三方库的安装，我在这里推荐安装python3.6.现在python版本出到python3.8以上了，但是与python配套的一些库不一定支持最新的版本，所以使用稳定的版本为的就是避免到时候某些库不支持所带来的麻烦，3.6是我喜欢的一个数字，于是推荐。不过不在这篇文章介绍python和Anaconda安装了，详情

scrapy安装

在安装好python环境后就可以安装scrapy环境了，官方的安装方式如下：

安装依赖：

1. pip install lxml
2. pip install parsel
3. pip install w3lib
4. pip install twisted
5. pip install cryptography
6. pip install pyOpenSSL 

安装好依赖后就可以安装scrapy了

pip install scrapy

scrapy基础爬虫

安装好scrapy框架后我们就可以使用这个框架进行练习咯，我这里爬取的是豆瓣高分电影的目录，其实它是一个json文件，所以我们需要访问的就这这个链接，今天的主要任务就是能够将第一页的电影名称，评分，链接从json文件中提取出来。

在这里插入图片描述

其实就是一个json文件，这个json的链接

https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit=20&page_start=0

这个就是我们需要爬取的链接，这个链接里面包含着我们需要的数据。

如果使用requests库脚本爬取，其思路如下：

1. 导入相关库。
2. 建立requests请求。
3. 获取数据。

代码如下：

import requests#request库，用于发起request·请求
import json#处理json文件
import time#用于时间延迟
import random#一个随机数模块
import csv
def UrlManager(url):#这个函数的作用是构建request的请求，并设置一些请求头文件。
    url_set=[]
#一个头文件，作用是防止UA反爬虫，豆瓣对没有设置这个User-Agent是不接受访问的，会报403.
    header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'}
#拼接处需要爬取的完整链接，上文的只是一个页面，其实完整的豆瓣高分榜肯定不止一个页面
#其中该URL的最后一个参数page_start是可以更改的，最后的url_set包含了所有需要爬取的爬取到的json数据
    for i in range(0,500,20):
        params={"type":"movie","tag":"豆瓣高分","sort":"rank","page_limit":"20","page_start":i}
        r= requests.get(url, params,headers=header)
        print('page{}已完成'.format(i))
        time.sleep(1)
        url_set.append(r.text)
    print(len(url_set))
    return url_set
 #数据处理，将我们需要的数据提取出来最后的movie就是我们需要得到数据
def HtmlDownload(url_set):
    movie=[]
    for i in url_set:
        movie.append(json.loads(i)['subjects'])
    print(len(movie))
    return movie
#将数据保存为csv格式，即使wps都能查看
def DataOut(movie):
    column=['电影名称','豆瓣评分','url地址']
    row=[]
    path='F://King_honor/movie.csv'
    for i in movie:
        for j in i:
            print(j)
            row.append((j['title'],j['rate'],j['url']))
    print(len(row))
    print('添加完成')
    with open(path,'w') as f:
        f_csv=csv.writer(f)
        f_csv.writerow(column)
        f_csv.writerows(row)
        print('全部已完成')
 #程序的入口
if __name__=='__main__':
    
    print('开始')
    url='https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit=20'
    url_set=UrlManager(url)
    movie=HtmlDownload(url_set)
    DataOut(movie)

上述代码就是我们使用request的方式完成的一个简单的豆瓣高分榜的数据提取，甚至都没有解析网页的部分。接下来，我们就按照上述编程的思路将代码转化为使用scrapy来写。

预知后事如何，且听下回分解。