安装scrapy，scrapy-splash，elasticsearch教程
安装scrapy，scrapy-splash，elasticsearch教程
公司开发需要，需要爬去网页ajax动态数据，存入elasticsearch数据库中，因此需要安装部署以下三个工具。
安装scrapy
下载四个软件:
lxml-4.1.1-cp36-cp36m-win_amd64.whl
http://linux-1251121573.cosgz.myqcloud.com/soft/scrapy/lxml-4.1.1-cp36-cp36m-win_amd64.whl
pyOpenSSL-17.5.0-py2.py3-none-any.whl
http://linux-1251121573.cosgz.myqcloud.com/soft/scrapy/pyOpenSSL-17.5.0-py2.py3-none-any.whl
Twisted-17.9.0-cp36-cp36m-win_amd64.whl
http://linux-1251121573.cosgz.myqcloud.com/soft/scrapy/Twisted-17.9.0-cp36-cp36m-win_amd64.whl
pywin32-221.win-amd64-py3.6.exe
http://linux-1251121573.cosgz.myqcloud.com/soft/scrapy/pywin32-221.win-amd64-py3.6.exe
其他版本下载网址分别如下：
https://www.lfd.uci.edu/~gohlke/pythonlibs/
https://pypi.python.org/pypi/pyOpenSSL
https://sourceforge.net/projects/pywin32/files/pywin32/
安装方法：
先安装三个whl文件
pip install XXXX.whl
之后点击运行pywin32文件直接运行即可
以上4个软件安装完毕之后，
pip install scrapy
既可以完成安装scrapy爬虫框架
安装scrapy-splash
第一步 按照docker
具体参考百度
第二步 拉取 scrapy-splash镜像
docker pull scrapinghub/splash
第三步 运行docker创建容器
docker run --name aplash -d -p 8050:8050 scrapinghub/splash --max-timeout 3600
参数–max-timeout 3600是设置超时时间。
执行以上命令后，访问 IP:8050 即可查看 splash
至此scrapy-splash安装完成。
安装elasticsearch
第一步 下载elasticsearch
下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.zip
或者：http://linux-1251121573.cosgz.myqcloud.com/soft/elk/elasticsearch-6.2.2.zip
第二步 安装
直接解压即可
运行
./elasticsearch -d
后台运行
第三步 安装head插件
elasticsearch6.X版本之后，不支持命令行安装head插件，需要手动安装。
https://github.com/mobz/elasticsearch-head
或者： http://linux-1251121573.cosgz.myqcloud.com/soft/elk/elasticsearch-head-master.zip
下载完成后解压至其他目录，不要存放在elasticsearch的plugins中，否则会导致elasticsearch无法启动
第四步 安装nodejs
下载nodejs：https://nodejs.org/dist/v8.9.4/node-v8.9.4-x64.msi
或者：http://linux-1251121573.cosgz.myqcloud.com/soft/node/node-v8.9.4-x64.msi
安装完成后，进入 elasticsearch-head插件文件夹。
执行npm install -g grunt -cli 命令安装grunt
之后npm install 进行安装pathomjs
以上即安装完所有插件
执行grunt server 命令即可启动elasticsearch-head
通过访问：ip:9100 浏览web页面。
简单安装完elasticsearch-head是无法连接elasticsearch服务器的，
需要修改 elasticsearch中/config/elasticsearch.yml配置文件，添加如下参数：
增加如下字段
http.cors.enabled: true
http.cors.allow-origin: “*”
并取消如下参数的注视。
network.host: 192.168.1.X
稍后重启 grunt和elasticsearch即可完成。
至此以上三个软件全部安装完毕。
参考网站：
http://blog.csdn.net/qq3401247010/article/details/78742524
https://www.jianshu.com/p/2516138e9e75?open_source=weibo_search
https://www.cnblogs.com/zklidd/p/6433123.html