Python3网络爬虫开发实践读书笔记 --- 第一章 开发环境配置

一直觉得爬虫是一个很有趣的方向，在互联网时代，谁掌握了数据，谁就掌握了未来，而爬虫就是获取数据的方法之一。这一系列文章是我在阅读“Python3网络爬虫开发实践”一书以及其他线上资料学习爬虫过程中的一些笔记和心得，希望能分享给大家。

第一章，开发环境配置

1. 安装Python3.8

我开发的环境是Ubuntu16.04，安装Python最新版本的方法如下：

sudo apt-get update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev wget
wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
tar -xf Python-3.8.0.tgz
cd Python-3.8.0
./configure --enable-optimizations
make -j 8
sudo make altinstall
python3.8 --version

1. 安装第三方库和工具

要进行爬虫的实践，我们需要还原爬虫的步骤，主要分为以下几步：

• 分析不同的网站，寻找爬取目标URL
• 分析URL参数
• 发起请求，抓取网页
• 内容处理
• 数据存储

所以学习过程中也需要一些工具和库来模拟其中的步骤，我是根据Python3网络爬虫开发实践推荐的第三方库进行安装和进一步学习的。根据以上步骤对应安装的工具和第三方库如下：

请求库
a. request: pip3 install request
b. Selenium,自动化测试工具，可以驱动浏览器执行特定动作: pip3 install selenium
c. 浏览器及浏览器驱动（用于对接Selenium），我用的Firefox和GeckoDriver

download from https://github.com/mozilla/geckodriver/releases
mv geckodriver /usr/bin
vi ~/.profile #export PATH="$PATH:/usr/local/geckodriver"
source ~/.profile
geckodriver #启动

d. PhantomJS
e. aiohttp: pip3 install aiohttp

解析库
a.lxml,支持HTML和XML的解析: pip3 install lxml
b.Beautiful Soup，支持HTML和XML的解析: pip3 install beautifulsoup4
c.pyquery，jQuery语法解析HTML文档和CSS选择器: pip3 install pyquery
d.tesserocr,验证码识别: sudo apt-get intall -y tesserocr-ocr libtesserocr-dev libleptonica-dev

数据库
a.MySQL

sudo apt-get install -y mysql-server mysql-client
sudo service mysql start
sudo service mysql stop
sudo service mysql restart

b.Redis

sudo apt-get install -y redis-server

存储库 （Python用于与数据库交互的存储库）
a.PyMySQL: pip3 install pymysql
b.PyMongo: pip3 install pymongo
c.redis-py: pip3 install redis
d.RedisDump: pip3 install redis-dump

Web库
a.Flask: pip3 install flask
b.Tornado: pip3 install tornado

爬虫框架
a.pyspider: pip3 install pyspider
b.Scrapy: pip3 install Scrapy
c.Scrapy-Splash: pip3 install scrapy-splash
d.Scrapy-Redis: pip3 install scrapy-redis

部署
a.Docker https://docs.docker.com/insta...
b.Scrapyd: pip3 install scrapyd
c.Scrapyd-Client: pip3 install scrapyd-client
d.Scrapyd API: pip3 install python-scrapyd-api
e.Scrapyrt: pip3 install scrapyrt
f.Gerapy: pip3 install gerapy