爬虫项目部署

爬虫项目部署到linux

部署之前准备工作

（1）下载安装xshell，远程连接到服务器配置好爬虫的环境。
（2）安装xftp(主要是传输项目文件的)，在服务器上建立一个项目文件夹，把py文件放进去，注意导包的时候使用 from b import ,而不是使用from a.b import ,a为项目的主文件夹。

连接Xshell方式：

方法1

（1）打开xshell，连接远程服务器。输入：ssh 服务器ip，例如：ssh 192.168.10.236，然后按enter键。默认的，ssh 会尝试用当前用户作为用户名来连接,如果没有，就必须提供一个：ssh -l leni 192.168.0.103 -p 或者ssh [email protected],-p为端口。默认为22.
（2）在弹出框里面根据提示输入用户名，按确认键。
（3）在根据提示输入密码。这样就连接成功了。

方法2

打开xshell—>点击左上角的文件按钮–》新建–》首先填写连接信息，名称、（自己定义）；协议（默认SSH）；主机（服务器的ip）；端口号（服务器的端口）————-》最后填写用户身份验证信息，方法（默认）；用户名（服务器的用户名）；密码（服务器的密码）——–》最后点击确认按钮

常用命令

（1）cd
（2）ls
（3）rm

部署步骤

（1）ps -ef|grep 程序名 ，查看该程序是否已运行，建议命名：spider_程序名
（2）如果要停止该程序 ，执行命令： kill -9 进程Id
（3）部署前，确保同一程序已经停止
（4）在xshell里面找到xftp按钮，就在xshell图标傍边
（5）单击打开，点击弹出框‘连接’按钮，在左侧选择项目
（6）通过ftp把svn上的爬虫程序(spider文件夹中)，拷入/accicdent目录中
（7）部署：cd 到 程序目录 如：cd /accident/driverLicenNoCheck
（8）执行：nohup python（有时候需要写python的版本） 程序名（带后缀 如：NoCheck.py） &（表示后台运行） 例：nohup python NoCheck.py &

补充

screen:是在大批量操作时不二的选择
screen 示例:

[root@pvcent107 ~]# screen -dmS Urumchi
[root@pvcent107 ~]# screen -list
There is a screen on:
12842.Urumchi (Detached)
1 Socket in /tmp/screens/S-root.

[root@pvcent107 ~]# screen -r Urumchi
当我们用“-r”连接到 screen 会话后，我们就可以在这个伪终端里面为所欲为，再也不用担心 HUP 信号会对我们的进程造成影响，也不用给每个命令前都加上“nohup”或者“setsid”了

1. 使用了 screen 后新进程的进程树:

[root@pvcent107 ~]# screen -r Urumchi
[root@pvcent107 ~]# ping www.ibm.com &
[1] 9488
[root@pvcent107 ~]# pstree -H 9488
init─┬─Xvnc
├─acpid
├─atd
├─screen───bash───ping
├─2*[sendmail]

而使用了 screen 后就不同了，此时 bash 是 screen 的子进程，而 screen 是 init（PID为1）的子进程。那么当 ssh 断开连接时，HUP 信号自然不会影响到 screen 下面的子进程了
.