数字crawlergo动态爬虫结合长亭XRAY被动扫描。Linux部署。

找了网上的教程，都是win-sever上部署的，win服务器太贵了，尝试改改一下大佬的脚本，咦，就行了。

让我们高呼，大佬牛逼！

先放win版部署文章：https://xz.aliyun.com/t/7047

大佬脚本源码：https://github.com/timwhitez/crawlergo_x_XRAY

xray地址：https://github.com/chaitin/xray

crawlergo爬虫地址：https://github.com/0Kee-Team/crawlergo

 

安装环境：centos7+python3.6

安装过程中遇到的问题：

1.Chromium安装

因为crawlergo需要依赖Chromium，所以要先安装。

项目上提到了安装方法，大家可以去项目原址试一试。我因为遇到了许多问题，最终没有成功。

我则是通过yum安装的：

CentOS 7 安装 Chromium：
CentOS 7 安装 EPEL 软件源:：sudo yum install epel-release
CentOS 7 安装 Chromium：sudo yum -y install chromium


测试chromium有没有安装成功的时候遇到了问题，报错
ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported.

需要添加 --no-sandbox 参数运行。
解决方法
首先，找到安装位置，我的是/usr/bin/google-chrome
其次，将 exec -a "$0" "$HERE/chrome" "$@"  改为
exec -a "$0" "$HERE/chrome" "$@" --user-data-dir --no-sandbox

2.python3安装

 yum -y install python3.x86_64

我一条命令就安装完成了，没有遇到问题。

此外还需要安装另外两个模块，方便大神的脚本运行。需要就pip3 install 就完事了。

pip3 install simplejson
pip3 install requests
pip3 install requests
pip3 install subprocess

3.改大神的代码

不知是该感谢大神还是感谢python，在这一并给跪了。

用的launcher_new，把-c后面的参数缓存你的Chromium安装位置即可。