笔记整理——Python爬虫（二）：开发环境搭建（Linux）

MySQL安装及配置

Linux下MySQL5.7诟病百出，已经不建议使用，那么如何在Linux下安装MySQL8.0呢？

1. 将MySQL APT存储库添加到系统的软件存储库列表中
   进入MySQL官网查看版本号：
   
   图片中红框标识出来的就是最新版本号，复制此版本号；
   使用wget进行下载：

   wget https://dev.mysql.com/get/mysql-apt-config_0.8.15-1_all.deb
   

   将下载好的文件使用dpkg命令进行安装：

   sudo dpkg -i mysql-apt-config_0.8.15-1_all.deb
   

   中间弹窗直接点击OK；
   然后更新一下存储库信息：

   sudo apt-get update
   

2. 使用APT安装MySQL
   （注意：如果不执行以上步骤直接进行APT安装，则安装的是MySQL5.7版本）
   命令：

   sudo apt-get install mysql-server
   

   其中两个弹窗:

   第一个是确认密码（这一步一定要设置数据库密码）

   另一个是选择加密方式，工具较新选第一个，较老选第二个

3. 开放远程访问
   为了方便后期使用可视化图形界面操作数据库，这里需要开放一下远程访问权限。
   1.连接到数据库；

   mysql -uroot -p
   

   输入密码进入；
   2.查看数据库中mysql表；

   show databases;
   

   3.选择当前使用数据库为mysql；

   use mysql;
   

   4.查看权限：

   select host, user, authentication_string, plugin from user;
   

   5.更改加密方式（******为你自己设置的密码）：

   ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '******';
   

   6.开放远程访问权限（授权远程连接）：

   ALTER USER 'root'@'%' IDENTIFIED BY '123456' PASSWORD EXPIRE NEVER;
   
   GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
   
   ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
   

   7.刷新权限：

   flush privileges;
   

MongoDB安装及配置

首先检查一下本机是否安装MongoDB：

确认未安装，执行APT命令进行安装MongoDB：

sudo apt-get install mongodb

如下图：

安装完毕后简单测试一下：
输入命令：

mongo
mongod

出现下图所示：

已经能够正常进入MongoDB界面，安装成功。

Redis安装及配置

使用APT命令安装Redis数据库：

sudo apt-get install redis-server

安装完毕后测试：

redis-cli

至此安装成功。
接下来对redis进行基本配置：
进入 /etc/redis 下的redis.conf配置文件：

sudo vi /etc/redis/redis.conf

如下图所示：

找到bind 127.0.0.1,将其注释掉即可；
继续下拉，找到requirepass foobared,如图：

这里就是设置redis的连接密码，将其解除注释，并修改foobared为任意自己想要设置的密码即可；
修改完毕后，输入：

:wq

保存，关闭窗口，然后输入：

sudo service redis restart

重启一下redis服务即可。
在设置完毕redis连接密码后，如果仍然以无密码状态登录，当你做任何操作时，会提示你没有权限，此时只需要退出redis再重新进入：

redis-cli -a yourpassword

即可恢复正常使用，如下图：

Python爬虫常用库安装及配置

Python爬虫常用库有很多，在这里只介绍几个比较常见的库的安装。
Linux下常用的Python库大部分都是通过pip3包管理工具进行安装的，所以在安装这些库之前，我们先安装pip3：

sudo apt-get install python3-pip

测试本机已安装，故不作图片演示；
安装完毕之后查看下版本号：

pip3 --version

确认为pip3即可：

爬虫常用库的安装：

pip3 install requests selenium beautifulsoup4 pyquery pymongo redis flask django jupyter

其实诸如redis等我们之前已经安装过了，jupyter也已经在安装Anaconda3的时候自动安装好了。
其他常用Python库安装：
pymysql：

pip3 install pymysql

lxml:

sudo pip3 install lxml

scrapy:
首先安装依赖，依次执行以下命令安装所需依赖库：

sudo apt-get install python-dev
sudo apt-get install build-essential
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-setuptools

如图所示：




然后再安装scrapy：

pip3 install Scrapy

验证是否安装成功：终端输入命令：

scrapy

如图：