Crawlab安装部署

前言

Crawlab是基于Golang的分布式爬虫管理平台，个人认为最方便的就是可视化爬虫管理与爬虫定时。。。Crawlab文档中推荐的是直接使用docker部署，但LZ这人就想从难的先尝试一手，于是乎最开始直接选择直接部署。。在mac中整了大半天环境，结果不出预料，失败。。。最后由于时间问题还是选了docker，嗯。。时间问题。。。然后接着在公司的centos服务器上装docker，很顺利，然后，失败。。。原因是开启的端口一直被ipv6占用，导致前端一直打不开，解决方法找到了，但要开关机。。公司服务器也不能乱搞，最后的最后为了稳妥一点，选了个旧机箱，直接装了个ubuntu镜像（个人使用ubuntu顺手一点）。。之后省略n字。。运行成功

以下是ununtu安装部署Crawlab过程（安装过程厚颜就放上几个链接）：

1.ubuntu-18.04.3-desktop-amd64镜像

ubuntu18的镜像预装了python3，不用再去搞什么python2与3共存，都已经给你装好了（不过pip3还是要记得自个儿安装一下）:
http://mirrors.163.com/ubuntu-releases/18.04/

另附启动盘制作方法: https://ywnz.com/linuxjc/3978.html

2.设置root用户密码

ubuntu安装过程中只能先设置登陆密码，登进去之后再设置root密码，毕竟有些环境安装还是要sudo的: https://segmentfault.com/a/1190000018164314

3.更改下载源

不想下载龟速就老老实实改一下：https://blog.csdn.net/HHT0506/article/details/104216764

4.安装Docker

这个网上教程很多，能用就行：

sudo apt install docker.io

sudo systemctl start docker

sudo systemctl enable docker

一句一句按顺序来，一点都不要急，最后看看版本，有显示就说明ok了

docker -v

5.之后的按照文档进行操作，大同小异

https://docs.crawlab.cn/Installation/Docker.html

6.这个docker-compose.yml，我贴上我自己现在用的，最简单的那种

（注意这个CRAWLAB_API_ADDRESS，网址前一定要加‘http://’，我之前在这里栽过跟头，ip地址使用当前部署ubuntu的地址）

version: '3.3'
services:
  master: 
    image: tikazyq/crawlab:latest
    container_name: master
    environment:
      CRAWLAB_API_ADDRESS: "http://192.168.2.183:8000"
      CRAWLAB_SERVER_MASTER: "Y"
      CRAWLAB_MONGO_HOST: "mongo"
      CRAWLAB_REDIS_ADDRESS: "redis"
    ports:    
      - "8080:8080" # frontend
      - "8000:8000" # backend
    depends_on:
      - mongo
      - redis
  mongo:
    image: mongo:latest
    restart: always
    ports:
      - "27017:27017"
  redis:
    image: redis:latest
    restart: always
    ports:
      - "6379:6379"

大功告成