将爬虫部署到linux服务器

一、环境搭建

1.1、python环境安装

参考linux系统安装python3环境

1.2、Twisted安装

因为scrapy爬虫框架依赖Twisted插件，所有需要先安装它
1）cd opt/到目录，执行命令wget https://twistedmatrix.com/Releases/Twisted/18.9/Twisted-18.9.0.tar.bz2，下载对应版本
2）解压
执行命令tar -jxvf Twisted-18.9.0.tar.bz2

[root@localhost opt]# ll
drwxr-xr-x.  4 1000 mysql      245 10月 15 2018 Twisted-18.9.0
-rw-r--r--.  1 root root   3088398 10月 15 2018 Twisted-18.9.0.tar.bz2

3）安装
进入Twisted-18.9.0目录，执行命令python3 setup.py install

1.3、scrapy安装

执行命令pip3 install scrapy

1.4、scrapy-redis安装（非必须）

执行命令pip3 install scrapy-redis
如果需要使用scrapy-redis开发分布式爬虫，则需要安装该插件

二、部署运行

2.1、上传项目

将爬虫项目上传至linux服务器的opt/目录下（可使用rz命令或xftp工具）

[root@localhost opt]# ll
drwxr-xr-x.  3 root root        40 7月   4 10:40 scrapy03

2.2、启动爬虫

1）进入到/opt/scrapy03/scrapy03/spiders目录

[root@localhost spiders]# ll
总用量 8
-rw-r--r--. 1 root root 161 7月   4 10:40 __init__.py
drwxr-xr-x. 2 root root  67 7月   4 10:40 __pycache__
-rw-r--r--. 1 root root 919 7月   4 10:40 quanben.py

2）执行scrapy runspider quanben.py启动爬虫
3）将开启开始写入redis库中，爬虫会正式开始执行
在redis客户端中，执行命令lpush quanben:start_urls + 开始地址

D:\3.dev\soft\redis>redis-cli.exe -h 192.168.1.100 -p 6379
192.168.1.100:6379> lpush quanben:start_urls https://www.quanben.net/8/8583/4296044.html
(integer) 1

2.3、效果查看

数据已经成功写入redis库中