Python爬虫——scrapy安装和使用

目录

1.scrapy是什么?

2.安装scrapy

3.scrapy项目的创建以及运行

4.response的属性和方法

5.scrapy工作原理

6. scrapy shell

 7. yield实例

7.1 管道封装(当当网)

7.2 多条管道下载

 7.3 多网页下载

 7.4 一个item包含多级页面的数据(电影天堂)

 8 CrawlSpider(读书网)

9 数据入库 (读书网) 

10 日志信息和日志等级

11 scrapy的post请求 (百度翻译)


1.scrapy是什么?

        Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理 或存储历史数据等一系列的程序中。

2.安装scrapy

        CMD进入python编辑器所在的Scripts目录下。

pip install scrapy -i https://pypi.douban.com/simple

Python爬虫——scrapy安装和使用_第1张图片

安装过程中可能出现的错误:

报错1:building 'twisted.test.raiser' extension

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++

Build Tools": http://landinghub.visualstudio.com/visualcppbuildtools

解决办法:

        下载twisted库,网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

        注意:cp后面是 python版本,amd64代表64

Python爬虫——scrapy安装和使用_第2张图片

         下载对应版本,下载完成后使用 pip install twisted的路径 进行安装

安装完成后在进行安装scrapy。

报错2:提示升级pip指令:python.exe m pip install ‐‐upgrade pip

解决办法:运行指令python.exe m pip install ‐‐upgrade pip 即可。

报错3: win32错误。

scrapy startproject scrapy_baidu

解决办法: 运行指令 pip install pypiwin32

3.scrapy项目的创建以及运行

        scrapy项目不能使用之前的方式创建,只能通多命令窗口的方式进行创建。

        首先我们使用命令窗口进入项目需要放到的路径下面。

Python爬虫——scrapy安装和使用_第3张图片

3.1 输入命令创建项目。切记 scrapy的项目名不能以数字开头,不能存在汉字。

scrapy startproject scrapy_baidu

Python爬虫——scrapy安装和使用_第4张图片

         此时我们查看pycharm编辑器,会看到出现如下内容。

Python爬虫——scrapy安装和使用_第5张图片

 3.2 创建爬虫文件。

        要在spiders文件夹中去创建爬虫文件

                        进去创建文件的目录           cd 项目的名字\项目的名字\spiders

                        创建爬虫的文件                  scrapy genspider 爬虫文件的名字  要爬取的网页

cd scrapy_baidu\scrapy_baidu\spiders

scrapy genspider baidu http://www.baidu.com

Python爬虫——scrapy安装和使用_第6张图片

         创建文件成功后,查看pycharm中spiders目录下新生成一个文件,并且修改文件如下图所示。

Python爬虫——scrapy安装和使用_第7张图片

3.3 修改文件settings.py

Python爬虫——scrapy安装和使用_第8张图片

3.4 运行爬虫文件        

        scrapy crawl 爬虫的名字

scrapy crawl baidu

Python爬虫——scrapy安装和使用_第9张图片

4.response的属性和方法

        response.text                       获取的是响应的字符串

        response.body                     获取的是二进制数据

        response.xpath()                  可以直接使用xpath方法来解析response中的内容

        response.extract()                提取seletor对象的data属性值

        response.extract_first()        提取seletor列表的第一个数据

5.scrapy工作原理

Python爬虫——scrapy安装和使用_第10张图片

Python爬虫——scrapy安装和使用_第11张图片

6. scrapy shell

         Scrapy终端,是一个交互终端,供您在未启动spider的情况下尝试及调试您的爬取代码。 其本意是用来测试提取 数据的代码,不过您可以将其作为正常的Python终端,在上面测试任何的Python代码。

        该终端是用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据。 在编写您的spider时,该 终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行spider的麻烦。

        一旦熟悉了Scrapy终端后,您会发现其在开发和调试spider时发挥的巨大作用。

6.1 安装ipython

pip install ipython

6.2 使用

        安装完成后,打开命令窗口,输入命令:

scrapy shell www.baidu.com

Python爬虫——scrapy安装和使用_第12张图片

Python爬虫——scrapy安装和使用_第13张图片

 7. yield实例

7.1 管道封装(当当网)

 7.1.1 创建项目

Python爬虫——scrapy安装和使用_第14张图片

         查看pycharm

Python爬虫——scrapy安装和使用_第15张图片

 7.1.2 修改文件items.py(定义数据结构)

class ScrapyDangdangItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 通俗的说就是你要下载的数据有什么

#     爬取图片
    src = scrapy.Field()
    # 名字
    name = scrapy.Field()
    # 价格
    price = scrapy.Field()

7.1.3 编写爬虫代码(dang.py)

import scrapy


class DangSpider(scrapy.Spider):
    name = 'dang'
    allowed_domains = ['http://category.dangdang.com/cp01.01.02.00.00.00.html']
    # http://category.dangdang.com/ 我默认链接最后的斜杆删除,要之后获取不到数据
    start_urls = ['http://category.dangdang.com/cp01.01.02.00.00.00.html']

    def parse(self, response):
        # pipelines     下载数据
        # items         定义数据结构的
        # src = //ul[@id="component_59"]/li//img/@src
#         alt = //ul[@id="component_59"]/li//img/@alt
#         price = //ul[@id="component_59"]/li//p[@class="price"]/span[1]/text()
#       所有的seletor的对象 都可以再次调用xpath方法
        li_list = response.xpath('//ul[@id="component_59"]/li')

        print("=======================")

        for li in li_list:
            # 第一张图片和其他的图片的标签属性是不一样的
            # 第一张图片的src是可以使用的,其他图片的地址是data-original
            src = li.xpath('.//img/@data-original').extract_first()
            if src:
                src = src
            else:
                src = li.xpath('.//img/@src').extract_first()

            name = li.xpath('.//img/@alt').extract_first()
            price = li.xpath('.//p[@class="price"]/span[1]/text()').extract_first()

            print(src,name,price)

        命令窗口运行命令:scrapy crawl dang 可以查看到下面界面。

Python爬虫——scrapy安装和使用_第16张图片

 7.1.4 保存并且下载我们刚才爬取到的数据。

        首先,我们需要在settings.py文件中打开管道的设置。

Python爬虫——scrapy安装和使用_第17张图片

         其次,编写文件dang.py

import scrapy

from scrapy_dangdang.items import ScrapyDangdangItem


class DangSpider(scrapy.Spider):
    name = 'dang'
    allowed_domains = ['http://category.dangdang.com/cp01.01.02.00.00.00.html']
    # http://category.dangdang.com/ 我默认链接最后的斜杆删除,要之后获取不到数据
    start_urls = ['http://category.dangdang.com/cp01.01.02.00.00.00.html']

    def parse(self, response):
        # pipelines     下载数据
        # items         定义数据结构的
        # src = //ul[@id="component_59"]/li//img/@src
#         alt = //ul[@id="component_59"]/li//img/@alt
#         price = //ul[@id="component_59"]/li//p[@class="price"]/span[1]/text()
#       所有的seletor的对象 都可以再次调用xpath方法
        li_list = response.xpath('//ul[@id="component_59"]/li')

        print("=======================")

        for li in li_list:
            # 第一张图片和其他的图片的标签属性是不一样的
            # 第一张图片的src是可以使用的,其他图片的地址是data-original
            src = li.xpath('.//img/@data-original').extract_first()
            if src:
                src = src
            else:
                src = li.xpath('.//img/@src').extract_first()

            name = li.xpath('.//img/@alt').extract_first()
            price = li.xpath('.//p[@class="price"]/span[1]/text()').extract_first()

            # 爬取到的数据放到对象里面
            book = ScrapyDangdangItem(src=src,name=name,price=price)

#              yield 是一个类似 return 的关键字,迭代一次遇到yield时就返回yield后面(右边)的值。
#             获取一个book就将book交给pipelines(管道)
            yield book

        最后,我们编写文件pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter

# 如果想使用管道的话 那么就必须在settings中开启管道
class ScrapyDangdangPipeline:
    # 在爬虫文件开始之前就执行的方法
    def open_spider(self,spider):
        self.fp = open('book.json','w',encoding='utf-8')



    # item就是yield后面的book对象
    def process_item(self, item, spider):
        # 以下这种模式不推荐   因为每次传递过来一个对象那么就打开一次文件  文件的操作的过于频繁
        #
        #
        # # 1.write方法必须要写一个字符串,而不能是其他对象
        # # 2.w模式 会每一个对象都打开一次文件 覆盖之前的内容
        # with open('book.json','a',encoding='utf-8')as fp:
        #     fp.write(str(item))

        self.fp.write(str(item))

        return item

    # 在爬虫文件结束之后就执行的方法
    def close_spider(self,spider):
        self.fp.close()

        此时,我们在命令窗口使用命令(scrapy crawl dang)运行向,项目时,就可在项目中看到爬取的数据所在的文件了。

Python爬虫——scrapy安装和使用_第18张图片

7.2 多条管道下载

        在上面代码的基础上修改文件 pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter

# 如果想使用管道的话 那么就必须在settings中开启管道
class ScrapyDangdangPipeline:
    # 在爬虫文件开始之前就执行的方法
    def open_spider(self,spider):
        self.fp = open('book.json','w',encoding='utf-8')



    # item就是yield后面的book对象
    def process_item(self, item, spider):
        # 以下这种模式不推荐   因为每次传递过来一个对象那么就打开一次文件  文件的操作的过于频繁
        #
        #
        # # 1.write方法必须要写一个字符串,而不能是其他对象
        # # 2.w模式 会每一个对象都打开一次文件 覆盖之前的内容
        # with open('book.json','a',encoding='utf-8')as fp:
        #     fp.write(str(item))

        self.fp.write(str(item))

        return item

    # 在爬虫文件结束之后就执行的方法
    def close_spider(self,spider):
        self.fp.close()

import urllib.request

# 多条管道开启 下载图片
# 1.定义管道类
# 2.在settings中开启管道  'scrapy_dangdang.pipelines.DangDangDownloadPipeline':301
class DangDangDownloadPipeline:
    def process_item(self, item, spider):
        url = 'http:' + item.get('src')
        filename ='./books/' + item.get('name') + '.jpg'

        urllib.request.urlretrieve(url=url,filename=filename)

        return item

        其次配置文件settings.py

Python爬虫——scrapy安装和使用_第19张图片

         在项目的spiders目录下面新建文件夹book,然后使用命令(scrapy crawl dang)运行项目时,就可在项目中看到爬取的数据所在的文件了。

Python爬虫——scrapy安装和使用_第20张图片

 7.3 多网页下载

        编写文件dang.py

import scrapy

from scrapy_dangdang.items import ScrapyDangdangItem


class DangSpider(scrapy.Spider):
    name = 'dang'
    # 如果多也下载的话,那么必须要调整的是allowed_domains 的范围  一般情况下只写域名
    allowed_domains = ['category.dangdang.com']
    # http://category.dangdang.com/ 我默认链接最后的斜杆删除,要之后获取不到数据
    start_urls = ['http://category.dangdang.com/cp01.01.02.00.00.00.html']

    base_url = 'http://category.dangdang.com/pg'
    page = 1

    def parse(self, response):
        # pipelines     下载数据
        # items         定义数据结构的
        # src = //ul[@id="component_59"]/li//img/@src
#         alt = //ul[@id="component_59"]/li//img/@alt
#         price = //ul[@id="component_59"]/li//p[@class="price"]/span[1]/text()
#       所有的seletor的对象 都可以再次调用xpath方法
        li_list = response.xpath('//ul[@id="component_59"]/li')

        print("=======================")

        for li in li_list:
            # 第一张图片和其他的图片的标签属性是不一样的
            # 第一张图片的src是可以使用的,其他图片的地址是data-original
            src = li.xpath('.//img/@data-original').extract_first()
            if src:
                src = src
            else:
                src = li.xpath('.//img/@src').extract_first()

            name = li.xpath('.//img/@alt').extract_first()
            price = li.xpath('.//p[@class="price"]/span[1]/text()').extract_first()

            # 爬取到的数据放到对象里面
            book = ScrapyDangdangItem(src=src,name=name,price=price)

#              yield 是一个类似 return 的关键字,迭代一次遇到yield时就返回yield后面(右边)的值。
#             获取一个book就将book交给pipelines(管道)
            yield book

#             每一页的爬取业务逻辑全都是一样的,所以我们只需要将执行的那个页的请求再次调用parse方法即可
#               第二页请求:http://category.dangdang.com/pg2-cp01.01.02.00.00.00.html
#               第二三请求:http://category.dangdang.com/pg3-cp01.01.02.00.00.00.html
        if self.page < 100:
            self.page = self.page+1
            url = self.base_url + str(self.page) + '-cp01.01.02.00.00.00.html'

            # 怎么去调用parse方法
            # scrapy.Request就是scrapy的get请求
            # url就是请求地址  callback就是你要执行的那个函数,主意不需要加圆括号
            yield  scrapy.Request(url=url,callback=self.parse)

        使用命令(scrapy crawl dang)运行项目时,就可在项目中看到爬取的数据所在的文件了。

Python爬虫——scrapy安装和使用_第21张图片

 7.4 一个item包含多级页面的数据(电影天堂)

        按照上面方法新建项目

Python爬虫——scrapy安装和使用_第22张图片

         items.py——定义数据结构

import scrapy


class ScrapyMovieItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()
    src = scrapy.Field()

        修改配置文件——settings.py

Python爬虫——scrapy安装和使用_第23张图片

        编写管道——pipelines.py

class ScrapyMoviePipeline:

    def open_spider(self,spider):
        self.fp = open('movie.json','w',encoding='utf-8')

    def process_item(self, item, spider):
        self.fp.write(str(item))
        return item


    def close_spider(self,spider):
        self.fp.close()

        编写爬虫代码——mv.py

import scrapy
from scrapy_movie.items import ScrapyMovieItem


class MvSpider(scrapy.Spider):
    name = 'mv'
    allowed_domains = ['www.ygdy8.net']
    start_urls = ['https://www.ygdy8.net/html/gndy/china/index.html']

    def parse(self, response):
        # 要第一页的电影名字 和第二页相对应电影的图片
        a_list = response.xpath('//div[@class="co_content8"]//td[2]//a[2]')

        print('==============================')
        for a in a_list:
            # 获取第一页的name 和 要点击的链接
            name = a.xpath('./text()').extract_first()
            href = a.xpath('./@href').extract_first()

            # 第二页的地址
            url = 'https://www.ygdy8.net' + href

            # 对第二页的链接发起访问   meta表示传递给parse_second方法的数据
            yield  scrapy.Request(url=url,callback=self.parse_second,meta={'name':name})

    def parse_second(self,response):

        # 注意 如果拿不到数据的情况下 一定要检查xpath语法是否正确
        src = response.xpath('//div[@id="Zoom"]//img/@src').extract_first()
        # 接收到请求的那个meta参数的值
        name = response.meta['name']

        movie = ScrapyMovieItem(src = src,name = name)

        yield movie

         使用命令(scrapy crawl mv)运行项目时,就可在项目中看到爬取的数据所在的文件了。

Python爬虫——scrapy安装和使用_第24张图片

 8 CrawlSpider(读书网

        CrawlSpider可以定义规则,再解析html内容的时候,可以根据链接规则提取出指定的链接,然后再向这些链接发送请求。所以,如果有需要跟进链接的需求,意思就是爬取了网页之后,需要提取链接再次爬取,使用CrawlSpider是非常合适的

        创建项目,创建爬虫文件

scrapy startproject scrapy_readbook

cd scrapy_readbook\scrapy_readbook\spiders

scrapy genspider -t crawl read https://www.dushu.com/book/1188.html

       items.py——定义数据结构

import scrapy


class ScrapyReadbookItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()
    src = scrapy.Field()

        修改配置文件——settings.py

Python爬虫——scrapy安装和使用_第25张图片

        编写管道——pipelines.py

class ScrapyReadbookPipeline:

    def open_spider(self, spider):
        self.fp = open('book.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        self.fp.write(str(item))
        return item

    def close_spider(self, spider):
        self.fp.close()

        编写爬虫代码——read.py

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy_readbook.items import ScrapyReadbookItem

class ReadSpider(CrawlSpider):
    name = 'read'
    allowed_domains = ['www.dushu.com']
    start_urls = ['https://www.dushu.com/book/1188_1.html']

    rules = (
        Rule(LinkExtractor(allow=r'/book/1188_\d+\.html'),
                           callback='parse_item',
                           follow=False),
    )

    def parse_item(self, response):

        img_list = response.xpath('//div[@class="bookslist"]//img')

        for img in img_list:
            name = img.xpath('./@alt').extract_first()
            src = img.xpath('./@data-original').extract_first()
            book = ScrapyReadbookItem(name=name,src=src)
            yield book

        使用命令(scrapy crawl read)运行项目时,就可在项目中看到爬取的数据所在的文件了。

Python爬虫——scrapy安装和使用_第26张图片

9 数据入库 (读书网) 

       在上面项目(读书网)基础上,继续完善实现数据入库的操作。

         为了更好的模拟生产环境,这里使用虚拟机中的数据库,数据库安装教程可以参考:linux环境安装mysql8.0以及使用Navicat连接Linux中的mysql_朂後 哋箹萣的博客-CSDN博客

        新建数据库,并且创建表

mysql -uroot -p自己密码
create database spider01 charset=utf8;
use spider01;
create table book(id int primary key auto_increment,name varchar(128),src varchar(128));

Python爬虫——scrapy安装和使用_第27张图片

        同时也可可以使用xshell连接数据库,这样方便之后的数据查看。 

         本虚拟机ip为192.168.10.102。准备工作完成。

        修改配置文件——settings.py

DB_HOST = '192.168.10.102'
# 端口号是一个整数
DB_PORT = 3306
DU_USER = 'root'
DB_PASSWORD = '1171127310'
DB_NAME = 'spider01'
# utf-8的-不允许写
DB_CHARSET = 'utf8'

Python爬虫——scrapy安装和使用_第28张图片

          编写管道——pipelines.py,并且配置进settings.py中(如上图)

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class ScrapyReadbookPipeline:

    def open_spider(self, spider):
        self.fp = open('book.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        self.fp.write(str(item))
        return item

    def close_spider(self, spider):
        self.fp.close()

# 加载settings文件
from scrapy.utils.project import get_project_settings

import pymysql

class MysqlPipeline:

    def open_spider(self,spider):
        settings = get_project_settings()

        self.host = settings['DB_HOST']
        self.port = settings['DB_PORT']
        self.user = settings['DU_USER']
        self.password = settings['DB_PASSWORD']
        self.name = settings['DB_NAME']
        self.charset = settings['DB_CHARSET']

        self.connect()

    def connect(self):
        self.conn = pymysql.connect(
            host=self.host,
            port=self.port,
            user=self.user,
            password=self.password,
            db=self.name,
            charset=self.charset
        )

        self.cursor = self.conn.cursor()

    def process_item(self, item, spider):

        sql = 'insert into book(name,src) values("{}","{}")'.format(item['name'],item['src'])
        # 执行sql语句
        self.cursor.execute(sql)
        # 提交
        self.conn.commit()
        return item

    def close_spider(self,spider):
        self.cursor.close()
        self.conn.close()

        上面文件pipelines.py中使用到了pymysql,若没有安装,安装步骤为:cmd进入到python安装目录下的Scripts下,使用下面命令安装即可使用。

pip install pymysql -i https://pypi.douban.com/simple

Python爬虫——scrapy安装和使用_第29张图片

         使用命令(scrapy crawl read)运行项目时,就可在项目中看到爬取的数据所在的文件了,同时打开数据库可以看到爬取的数据存放到数据库表中了。

Python爬虫——scrapy安装和使用_第30张图片

        此时,该项目完成了把读书网前13页数据爬取下来并且保存在数据库中的操作,若想把所有的书都爬取下来保存在数据库中,我们此时只需要修改文件read.py即可。

Python爬虫——scrapy安装和使用_第31张图片

10 日志信息和日志等级

        创建项目,创建爬虫文件

Python爬虫——scrapy安装和使用_第32张图片

         修改settings.py文件

Python爬虫——scrapy安装和使用_第33张图片

Python爬虫——scrapy安装和使用_第34张图片

11 scrapypost请求 (百度翻译)

        创建项目,创建爬虫文件

Python爬虫——scrapy安装和使用_第35张图片

         编写爬虫代码——testpost.py

import scrapy
import json

class TestpostSpider(scrapy.Spider):
    name = 'testpost'
    allowed_domains = ['fanyi.baidu.com']
    # post请求 如果没有参数 那么这个请求将没有任何意义
    # 所以start_urls 也没有用
    # 所以parse也没有用
    # start_urls = ['http://fanyi.baidu.com/']
    #
    # def parse(self, response):
    #     pass

    def start_requests(self):
        url = 'https://fanyi.baidu.com/sug'

        data = {
            'kw': 'final'
        }

        yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse_second)

    def parse_second(self,response):
        content = response.text
        print('===========================')
        obj = json.loads(content)
        print(obj)

        运行效果:

Python爬虫——scrapy安装和使用_第36张图片

你可能感兴趣的:(python,python,爬虫)