爬虫进阶之路
目录
前言
请求库
requests模块
selenium模块
解析库
lxml模块
Beautiful Soup模块
pyquery模块
tesserocr模块
数据存储
MySQL
MongoDB
Redis
Web模块
flask模块
django模块
爬虫框架
scrapy模块
scrapy-splash模块
scrapy-redis模块
部署支撑工具
Docker
Scrapyd
Scrapyd-Client
Scrapyd API
Scrapyrt
前言
爬虫可以简单分为几步：抓取页面、分析页面和存储数据
pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter
请求库
抓取页面过程就是模拟浏览器向服务器发送请求
requests模块
requests库是一个阻塞式HTTP请求库，当我们发送一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进入下一步处理
安装：pip3 install requests
selenium模块
selenium是一个自动化测试的工具，利用它我们可以驱动浏览器执行特定动作，如点击、下拉等，对于一些javascript渲染的页面来说，这种抓取方式非常有效
安装:pip3 install selenium
chrome浏览器的的驱动程序：ChomeDriver
下载地址:https://chromedriver.storage.googleapis.com/index.html
根据chrome浏览器版本寻找对应的chromedriver下载，下载完成后，将chromedriver的可执行文件配置到环境变量下，windows下建议直接放到python的script目录下，linux下，将chromedriver放到usr/bin目录下
firefox浏览器的驱动程序：GeckoDriver
下载地址:https://github.com/mozilla/geckodriver/releases
同chromedriver使用方法相同，可以配置环境变量，也可以直接放入python/script目录下
无界面浏览器：PhantomJS
使用chrome和firefox进行网页爬取有个不便之处，因为程序运行过程中需要一直开着浏览器，在爬取网页的过程中浏览器可能一直动来动去，不讲究，所以可以安装一个无界面浏览器phantomjs，此时抓取过程会在后台运行，不会再有窗口出现。
phantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准:DOM操作、CSS选择器、JSON、Canvas以及SVG
Selenium支持phantomJS，这样在运行的时候不会再弹出一个浏览器了，而且phantomJSde运行效率也很高
安装:观网下载，将可执行文件的路径配置在环境变量里(E:\BaiduNetdiskDownload\phantomjs-2.1.1-windows\bin)，也可以将整个phontomJS文件夹放入已配置环境变量的目录里，如python/script(建议)
解析库
lxml模块
lxml支持HTML和XML的解析，支持Xpath解析方式，而且解析效率高
安装:pip3 install lxml
Beautiful Soup模块
Beautiful Soup是一个HTML和XML的解析库，它拥有强大的API和多样的解析方式，Beautiful Soup解析器是基于lxml的，所以安装前需要已安装lxml
安装:pip3 install beautifulsoup4
pyquery模块
pyquery同样是一个强大的网页解析工具，它提供了和jquery类似的语法来解析HTML文档，支持CSS选择器，使用方便
安装:pip3 install pyquery
tesserocr模块
tesserocr是一个OCR识别库，它是对tesseract做的一层python api封装，它的核心是tesseract，所以安装tesserocr之前，需要安装tesseract
在爬虫过程中，会遇到各种各样的验证码，而且大多数验证码还是图形验证码，这就需要使用ORC来识别，ORC即Optical Character Recognition,光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过错
安装:
从https://digi.bib.uni-mannheim.de/tesseract/下载安装[email protected];
pip3 install tesserocr pillow
如果pip安装报错,则选择使用wheel文件安装:https://github.com/simonflueckiger/tesserocr-windows_build/releases（根据python版本和win位数选择版本，不然会报错，python3已直接支持wheel文件安装，报错一般不是修改文件名的问题，是版本不对）
数据存储
MySQL
mysql进阶之路：https://mp.csdn.net/postedit/82466144
MongoDB
mongodb进阶之路：https://mp.csdn.net/postedit/82491615
Redis
redis进阶之路：https://mp.csdn.net/postedit/82497629
Web模块
flask模块
Flask是一个轻量级的Web服务程序，主要用来做一些API服务
安装:pip3 install flask
django模块
Django进阶之路：https://mp.csdn.net/postedit/82894028
爬虫框架
scrapy模块
Scrapy是一个十分强大的的爬虫框架，依赖的库比较多，所以安装之前确保依赖库已安装完成
基本依赖库：1、lxml；2、pyOpenSSL；3、Twisted；4、PyWin32
scrapy-splash模块
scrapy-splash是一个scrapy中支持JavaScripy渲染的工具
Scrapy-Splash的安装分为两个部分:
splash服务：安装后会启动一个splash服务，通过它的接口来实现javascript页面的加载,通过docker安装：docker run -p 8050:8050 scrapinghub/splash
Scrapy-Splash的python库:安装后可在Scrapy模块中使用splash服务，pip3 install scrapy-splash
scrapy-redis模块
Scrapy-redis是Scrapy的分布式扩展模块，有了它我们可以实现Scrapy分布式爬虫搭建
安装:pip3 install scrapy-redis
部署支撑工具
Docker
貌似只支持x64位的主机。。。
Scrapyd
Scrapyd是一个用于部署和运行Scrapy项目的工具，通过它可以将写好的Scrapy项目上传到云主机并通过API来控制它的运行
既然是项目部署，基本上都使用Linux主机
安装:pip3 install scrapyd
Scrapyd-Client
将Scrapy代码部署到远程Scrapyd的时候，第一步就是要将代码打包为EGG文件，其次需要将EGG文件上传到远程主机，这个过程可以通过Scrapyd-Client来实现这些功能
安装:pip3 install scrapyd-client
Scrapyd API
安装好Scrapyd之后，我们可以直接请求它提供的API来获取当前主机的Scrapy任务运行状况。比如，
crul http://localhost:6800/listprojects.json
返回的结果是JSON字符串
{"status":"ok","projects":["otherproject"]}
安装：pip3 install python-scrapyd-api
Scrapyrt
Scrapyrt为Scrapy提供一个调度的HTTP接口，通过它就不需要再执行scrapy命令而是通过HTTP接口来调度Scrapy任务了，Scrapyrt比Scrapyd更轻量，如果不需要分布式任务的话，可以简单使用Scrapyrt实现远程Scrapy任务的调度
安装：pip3 install scrapyrt