scrapy

爬虫框架

1. 软件结构就功能组件集合，使用的模板。5+2结构

​ Engine：调度中心

​ Scheduler调度器：待爬取URL，去重

​ Downloader下载器：获取页面信息

​ Spiders：初始request，分析response并提取item，额外的Request

​ Item Pipeline：处理数据，存储

​ Spider middlewares：处理spider的输入(response)和输出(item, requests)，修改丢弃新增请求和响应

​ Downloadr middlewares：可通过设置自动更换user-agent，IP；修改丢弃新增请求或爬取项

2. Data flow:

   1.引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。

   2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。

   3.引擎向调度器请求下一个要爬取的URL。

   4.调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件((request)方向)转发给(Downloader)。

   5.下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。

   6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。

   7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

   8.引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。

   9.(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

   用户编写模块（配置）：Spiders、Item Pipelines（三个已写好的）

3. 比较：

   ​ 相同：无处理js、提交表单、应对验证码等功能（可扩展）

   ​ requests：网页，功能库，重点在下载，定制灵活

   ​ scrapy：网站，框架，并发性好，重点在爬虫结构，深度定制困难

常用命令：

​ scrapy-h：scrapy命令行

命令行格式：scrapy[options][args]

命令	说明	格式
startproject	创建新工程	scrapy startproject [dir]
genspider	创建爬虫	scrapy genspider [options]
settings	获取爬虫配置信息	scrapy settings [options]
crawl	运行爬虫	scrapy crawl
list	列出工程所有爬虫	scrapy list
shell	启动URL调试命令行	scrapy shell [url]

实例：

http://python123.io/ws/demo.html

1. 建立工程

   ​ python123demo/:外层目录，
   ​ scrapy.cfg：部署配置文件
   ​ python123demo/：自定义python代码
   ​ _init_.py：初始化脚本
   ​ items.py items：代码模板（继承类）,放爬取的数据模型
   ​ middlewares.py：Middlewares代码模板（继承类）

   ​ pipelines.py：Pipelines代码模板（继承类），存储到本地

   ​ settings.py：Scrapy爬虫的配置文件，请求头，多久发送，IP代理

   ​ spiders/：Spiders代码模板目录，爬虫放在这

   ​ _init_.py：初始化脚本

   ​ _pycache_ ：缓存目录，无需修改

2. 产生爬虫：

3. 配置爬虫：

   ​ 修改URL

   ​ 修改parse：fname名字

   settings : 建议设置：ROBOTSTXT_OBEY=False（？不一定，慎重，类人爬取可以）

   ​ DEFAULT_REQUEST_HEADERS = {} #伪装身份

   ​ DOWNLOAD_DELAY = 1

   items里定义好模型的类，

   ​ 去spider下from… import NameItem，

   ​ itemnaem=NameItem(a=a, b-b, c=c)``yield itemname

   ​ pipeline中dumps要同dict()

   pipeline的三个方法：

   ​ open_spider, process_item, close_spider；

   ​ 执行pipeline先去settings里取消注释ITEM_pipelineS

   优化：pipeline

   ​ JsonItemExporter：占内存

   ​ JsonLinesItemExporter：每次写入，一行

   找到下一页标签：yield scrapy.Request(next_url, callback=self.parse())

4. 运行

        
# 1.cd目录
# 1.建立工程
scrapy startprojection proname

# 2.产生爬虫demo.py
cd python123demo
scrapy genspider spidername 'domain...(网址)'

# 3.修改spidername.py 文件
class DemoSpider(scrapy.Spoder):
    ...
    
	def parse(self, response):
        fname = response.url.split('/')[-1]
        with open (fname, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s .' % fname)
       
   
#执行命令行
scrapy crawl spidername

# 完整版demo，多个urls
import scrapy

class DemoSpider(scrapy.Spider):
    name = 'demo'
    
    def start requests(self):
        urls = [
            ...
        ]
        for url in urls:
            yield scrapy.Request(url=url,callback=self.parse)
           
	def parse(self, response):
        fname = response.url.split('/')[-1]
        with open (fname, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s .' % fname)

yield 关键字，

生成器：不断产生值的函数，每次产生一个值（yield），函数被冻结，被唤醒后再产生一个值

def gen(n):
    for i in range(n):
        yield i**2
       
   
def square(n):
    ls = [i**2 for i in range(n)]
    return ls

# yield不同：迅速灵活空间小

笔记

1. resonse 是一个scrapy.http.response.html.HtmlResponse对象，可以执行xpath和css

2. 提取出的数据是Selector应用get或getall方法

3. 传递给pipeline用yield返回

4. item建议在items中定义好模型，name=scrapy.Field()

scrapy爬虫使用步骤：

1.创建工程给spider模板

2.编写spider

3.编写item pipeline

4.优化配置策略

scrapy爬虫模型

1. Rquest类：HTTP请求class scrapy.http.Request()

   ​ spdider生成，downloader执行

   ​ 属性：

   ​ url，callback，encoding

   ​ body：主体，字符串类型

   ​ headers：字典风格的请求头

   ​ method：请求方法，GET, POST

   ​ meta：用户添加的扩展信息。再内部模块简传递信息，不同请求之间传递

   ​ dot_filter：表示不由调度器过滤，要执行重复请求时。

   ​ errback：发送错误时执行的函数

   ​ copy：复制该请求

   ​

2. Response类：HTTP相应，class scrapy.http.Response()

   ​ Downloader生成，Spider处理

   ​ 属性：

   ​ url，mete， encoding，text，xpath/css选择器

   ​ body：主体，字符串类型，未解析的text

   ​ headers：头部信息

   ​ copy：复制该响应

   ​ status：HTTP状态码，默认200

   ​ flags：一组标记

   ​ request：产生response类型对应发request类

3. Item类：提取的信息，class scrapy.item.Item()

   ​ spider产生，item pipeline处理

   ​ 类字典类型，键值对

   ​ 爬虫提取信息的方法：BeautifulSoup，lxml，re，XPath Selector，CSS Selector

   css selector基本使用：

   .css('a::attr(href)').extract()，a名称，href属性

CrawlSpider

通过 scrapy gensider -t crawl [name] [域名]创建

LinkExtractors链接提取器

主要参数介绍：

​ allow：允许的url，restrict_xpaths洋的xpath和allow共同过渡链接

​ deny，allow_domains，deny_domains，

Rule规则类：

主要参数：

link_extractor：一个linkExtractor对象，统一爬取规则

callback：满足的url执行哪个回调函数，不用覆盖自己

follow：根据指定规则从response中提取的链接是否跟进

process_links：从link_extractor在回去的链接传递给这个函数，过滤不爬取的

需要注意

LinkExtractor 和Rule这两个东西决定爬虫的具体走向

follow=True此页面有要爬取，callback=‘’， 爬取页面对应的函数，只获取url则可以不指定

Scrapy Shell

在项目所在目录，cmd终端：scrapy shell [链接],其他和在代码中操作基本相同

用于测试提取的数据

发送post请求

需要Request子类FormRequese

一开始就使用post请求，要重写start_requests(self)方法

识别验证码

下载文件和图片

scrapy为下载文件提供了item pipelines，成为media pipeline，常用：files pipeline和Images pipeline

Files pipeline

1.定义Itme，属性：file_urls，files

2.下载完成后相关信息，存储在files中（路径，url，校验码等）

3.配置settings的FILES_STORE，设置下载路径

4.启动pipeline，在ITEM_PIPELINES中设置'scrapy.pipelines.files.FilesPipeline':1

Images Pipeline

1.定义Item，属性：image_urls，images

2.下载完成后相关信息，存储在images中

3.配置settings中配置IMAGES_STORE下载路径

IMAGES_STORE = os.path.join(os.path.dirname(os.path.dirname(__file__)), 'images')

4.启动pipeline：ITEM_PIPELINES设置'scrapy.pipelines.images.ImagesPipeline':1

中间件下载器：反爬虫

1. 请求前：process_request()

   ​ 参数：request：对象；spider：发送请求的spider

   ​ 返回值：

   ​ None：继续处理request，执行其他相应方法

   ​ Response：返回response

   ​ request：不再使用之前request对象下载，根据现在返回的对象返回数据

   ​ 异常：调用process_exception方法

2. 请求后：process_response()

   ​ 参数：request，response，spider

   ​ 返回值：Response，Request，异常

3. 请求头user-agent=[]，设置多个，随机选取一个

   包含所有浏览器请求头：http://www.useragentstring.com/pages/useragentstring.php?typ=Browser

   # middlewares.py
   class UserAgentDownloadMiddleware(object):
       USER_AGENTS = [
           'Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)',
           'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)',
           'Mozilla/4.0 (compatible; MSIE 7.0; America Online Browser 1.1; rev1.5; Windows NT 5.1; .NET CLR 1.1.4322)',
           'Mozilla/5.0 (compatible; MSIE 9.0; AOL 9.7; AOLBuild 4343.19; Windows NT 6.1; WOW64; Trident/5.0; FunWebProducts)'
       ]
       def process_request(self,request,spider):
           user_agent = random.choice(self.USER_AGENTS)
           request.headers['User-Agent'] = user_agent
   
          
      
   #setttins.py添加
   
   DOWNLOADER_MIDDLEWARES = {
      'useragent_demo.middlewares.UserAgentDownloadMiddleware': 543,
   }
   

4. IP代理池

   #middlewares.py
   class IPProxyDownloadMiddleware(object):
       PROXIES = [...]
   
       def process_request(self,request,spider):
           proxy = random.choice(self.PROXIES)
           request.meta['proxy']=proxy
          
      
   #settings
   DOWNLOADER_MIDDLEWARES = {
      'useragent_demo.middlewares.UserAgentDownloadMiddleware': 543,
       'useragent_demo.middlewares.IPProxyDownloadMiddleware': 100,
   }
   

   存储:pymysql(?)

   # pipeline
   import pymysql
   
   
   class JianshuspiderPipeline:
       def __init__(self):
           dbparams = {
               'host':'127.0.0.1',
               'port':3306,
               'user':'root',
               'password':'root',
               'database':'jianshu',
               'charset':'utf8'
           }
           self.conn = pymysql.connect(**dbparams)
           self.cursor = self.conn.cursor()
           self._sql = None
   
       def process_item(self, item, spider):
           self.cursor.execute(self.sql, (item['title'], item['content'], item['origin_url'], item['article_id']))
           return item
   
       @property
       def sql(self):
           if not self._sql:
               self._sql = """
               insert into article(id, title, content, origin_url, article_id) values(null, %s, %s, %s, %s)
               """
               self.conn.commit()
               return self._sql
   

   分布式爬虫

安装pip install scrapy-redis

问题：不重复，保存在同一个地方

概述

支持分布式的nosql数据库，保存在内存中，可定时存储到硬盘，比memcached支持更多的数据结构

使用场景：

登录会话存储，排行榜计数器，消息队列，当前在线人数，常用数据缓存，前…缓存，好友关系，订阅和发布

scrapy-redis架构：

在原框架上加上redis：

​ scheduler发送给redis（去重）发送给调度器

​ pipeline发送：存储

既：

​ 从redis获取请求，爬取的数据发给redis

#简单了解：https://www.bilibili.com/video/BV124411A7Ep?p=29