scrapy框架

首先我们先了解下scrapy的基本知识,scrapy框架的作用:通过少量代码实现快速抓取
1.简单爬虫的基本流程:
scrapy框架_第1张图片
或者是这样
scrapy框架_第2张图片
而scarpy的流程是另一种模式
scrapy框架_第3张图片
1.调度器把requests–>引擎–>下载中间件—>下载器
2.下载器发送请求,获取响应---->下载中间件---->引擎—>爬虫中间件—>爬虫
3.爬虫提取url地址,组装成request对象---->爬虫中间件—>引擎—>调度器
4.爬虫提取数据—>引擎—>管道→管道进行数据的处理和保存
每一个模块的作用是不同的:
scrapy框架_第4张图片
一个scrapy框架的基本开发流程:
1.创建一个scrapy项目:scrapy startproject mySpider
2.生成一个爬虫:scrapy genspider itcast "itcast.cn
3.提取数据:完善spider,使用xpath等方法
4.保存数据:pipeline中保存数据
我们一步步来:
首先sudo apt-get install scrapy加载scrapy的包
创建scrapy项目的命令:scrapy startproject +<项目名字>
scrapy框架_第5张图片
在项目路径下执行:scrapy genspider +<爬虫名字> + <允许爬取的域名>
scrapy框架_第6张图片
然后完善爬虫spider itcast.py

import scrapy

# 自定义spider类,继承scrapy.spider
class ItcastSpider(scrapy.Spider):  
    # 爬虫名字 
    name = 'itcast' 
    # 允许爬取的范围,防止爬虫爬到别的网站
    allowed_domains = ['itcast.cn'] 
    # 开始爬取的url地址
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

    # 数据提取的方法,接受下载中间件传过来的response
    def parse(self, response): 
        # scrapy的response对象可以直接进行xpath
        names = response.xpath('//div[@class="tea_con"]//li/div/h3/text()') 
        print(names)

        # 获取具体数据文本的方式如下
        # 分组
        li_list = response.xpath('//div[@class="tea_con"]//li') 
        for li in li_list:
            # 创建一个数据字典
            item = {}
            # 利用scrapy封装好的xpath选择器定位元素,并通过extract()或extract_first()来获取结果
            item['name'] = li.xpath('.//h3/text()').extract_first() # 老师的名字
            item['level'] = li.xpath('.//h4/text()').extract_first() # 老师的级别
            item['text'] = li.xpath('.//p/text()').extract_first() # 老师的介绍
            print(item)
            yield item

注意:
1.response.xpath方法的返回结果是一个类似list的类型,其中包含的是selector对象,操作和列表一样,但是有一些额外的方法
2.extract() 返回一个包含有字符串的列表,extract_first() 返回列表中的第一个字符串,列表为空没有返回None
3.spider中的parse方法必须有需要抓取的url地址必须属于allowed_domains,但是start_urls中的url地址没有这个限制
4.启动爬虫的时候注意启动的位置,是在项目路径下启动
获取数据后我们用管道来保存:
修改pipelines.py文件:

import json

class ItcastPipeline(object):
    # 爬虫文件中提取数据的方法每yield一次item,就会运行一次
    # 该方法为固定名称函数
    def process_item(self, item, spider):
        print(item)

在settings.py设置开启pipeline:

ITEM_PIPELINES = {
    'myspider.pipelines.ItcastPipeline': 400
}

最后运行:运行scrapy
命令:在项目目录下执行scrapy crawl +<爬虫名字>
scrapy crawl itcast

你可能感兴趣的:(爬虫)