分布式爬虫（二）：配置安装Python以及redis
上一篇博客已将虚拟机安装以及配置网卡完成，接下来继续安装Python-3.6.5版本以及redis数据库。
操作环境： Windows10、VMware Workstation Pro、Centos7、Xshell6
相关文章： 分布式爬虫（一）：安装虚拟机
目录
-
- 一、Python
-
- 1.1、安装3.6.5版本
- 1.2、pip
-
- 1.2.1、pip换源
- 1.2.2、解决pip下载“超时”
- 二、redis
- 三、redis开启远程访问
一、Python
1.1、安装3.6.5版本
第一步：准备编译环境
yum groupinstall 'Development Tools'
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel
第二步：创建目录
softs：用于放置软件压缩包的目录。
apps：用于放置软件下载的目录。
/usr/local/python3：创建Python安装目录
mkdir /opt/softs
mkdir /opt/apps
sudo mkdir /usr/local/python3
第三步：下载Python-3.6.5
若无wget命令，直接输入yum install wget即可
wget --no-check-certificate https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
亦可以通过迅雷下载Python源码包
地址：https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
通过Xshell中的Xftp6将压缩包传输到指定目录
第四步：解压
-C：指定解压后的路径目录
tar -zxvf Python-3.6.5.tgz -C /opt/apps
# 切换到解压后的根目录
cd /opt/apps/Python-3.6.5
第五步：编译安装
--enable-optimizations配置项用于提高Python安装后的性能。
安装需要一定时间，安心等待即可。
./configure --prefix=/usr/local/python3 --enable-optimizations
make
make install
第六步：创建Python3链接
Linux里输入python命令是打开Python2.7.5环境，这里创建python3的软链接指向Python3，这样Python2和Python3就都可以用了。
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3
-V：查看版本
第七步：创建pip3链接
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
第八步：测试
pip3 install requests下载第三方库
1.2、pip
升级pip版本：pip3 install --upgrade pip
pip3 install --upgrade pip
1.2.1、pip换源
pip下载第三方库时，默认使用的是官方源，所以导致下载一下内存较大的第三方库会出现缓慢的情况。这时我们应该是将pip换成国内源，这样便可大大提升下载的速度。
pip源主要有以下几个：
豆瓣：http://pypi.douban.com/simple/
清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云: http://mirrors.aliyun.com/pypi/simple/
中国科技大学: https://pypi.mirrors.ustc.edu.cn/simple/
中国科学技术大学: http://pypi.mirrors.ustc.edu.cn/simple/
创建pip文件夹
# 切换路径
cd ~
# 创建目录
mkdir /root/.pip
# 切换到pip目录下
cd /root/.pip
vi编写pip.conf
vi pip.conf
进入pip.conf文件后，将一下内容写入文件中。
[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
测试：下载第三方库selenium
pip3 install selenium
经测试，下载速度的确比换源前快很多。
1.2.2、解决pip下载“超时”
Windows在cmd中，linux在终端中输入：（注：超时秒数可自行设置）
pip --default-timeout=100 install -U pip
二、redis
第一步：安装gcc依赖
由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装：
yum install gcc
第二步：下载redis安装包
# 切换到压缩包目录下
cd /opt/softs
wget http://download.redis.io/releases/redis-4.0.6.tar.gz
ls查看此目录下的所有文件
第三步：解压压缩包
将redis解压到/opt/apps目录下
tar -zxvf redis-4.0.6.tar.gz -C /opt/apps
第四步：跳转到redis解压目录下
cd /opt/apps/redis-4.0.6
第五步：编译安装
make MALLOC=libc
将/usr/local/redis-4.0.6/src目录下的文件加到/usr/local/bin目录
cd src && make install
第六步：启动redis服务
redis-server
出现以下图片结果即表示redis服务启动成功：
第七步：进入redis数据库
redis-cli
出现以下画面，表示成功进入redis数据库。
三、redis开启远程访问
redis默认只允许本地访问连接，若想使其他服务器远程访问指定ip的redis数据库，可以修改redis目录下的redis.conf文件
先切换到redis-4.0.6目录下
cd /opt/apps/redis-4.0.6
vi 编辑文件redis.conf
vi redis.conf
1、将bind 127.0.0.1改成bind 0.0.0.0（允许其他服务器访问）
2、redis默认保护模式protected-mode yes，将yes修改成no即可
protected-mode no
Esc+:+Shift三键一起按，输入wq!强制保存退出。
保存退出后，重新启动redis服务：redis-server，使修改的配置生效。
验证：windows开启redis服务，linux连接redis-cli -h (ip地址)
-h：指定主机IP
-p：指定主机端口
默认主机IP是127.0.0.1 默认端口 6379
不填则使用默认值
“赠人玫瑰,手有余香”，看完的小伙伴记得点赞，感谢！