爬虫(9) - Scrapy框架(1) | Scrapy 异步网络爬虫框架

什么是Scrapy 基于Twisted的异步处理框架 纯python实现的爬虫框架 基本结构:5+2框架,5个组件,2个中间件 5个组件: Scrapy Engine:引擎,负责其他部件通信 进行信号和数据传递;负责Scheduler、Downloader、Spiders、Item Pipeline

你可能感兴趣的:(爬虫(9) - Scrapy框架(1) | Scrapy 异步网络爬虫框架)