在Docker Swarm上部署Apache Storm：第2部分

【编者按】本文来自 Baqend Tech Blog，描述了如何在 Docker Swarm，而不是在虚拟机上部署和调配Apache Storm集群。文章系国内 ITOM 管理平台 OneAPM 编译呈现。

点此查看《在Docker Swarm上部署Apache Storm：第1部分》

创建Swarm集群

如果一切顺利，那么你现在已经有了三台Ubuntu服务器，每个上面都运行了一个Docker守护进程。可以通过私有网络中的zk1.cloud和manager.swarm访问Ubuntu 1，或者也可以从外部通过manager.swarm.baqend.com（至少在8080端口）访问。我们一直在这台机器上折腾，并且，从现在开始，这是我们唯一需要访问的机器。为了保证Swarm节点之间的协调通畅，我们需要配置ZooKeeper ensemble和Swarm管理器。

1.通过SSH连接Ubuntu1，接着快速检查一遍。如果Docker安装正确，运行下列代码可以显示出一个所有运行中的Docker容器的列表（只有针对Swarm的）：

docker ps

2.现在我们可以按下面的方法在每台机器上启动一个ZooKeeper节点：

docker -H tcp://zk1.cloud:2375 run -d --restart=always \
      -p 2181:2181 \
      -p 2888:2888 \
      -p 3888:3888 \
      -v /var/lib/zookeeper:/var/lib/zookeeper \
      -v /var/log/zookeeper:/var/log/zookeeper  \
      --name zk1 \
      baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 1
docker -H tcp://zk2.cloud:2375 run -d --restart=always \
      -p 2181:2181 \
      -p 2888:2888 \
      -p 3888:3888 \
      -v /var/lib/zookeeper:/var/lib/zookeeper \
      -v /var/log/zookeeper:/var/log/zookeeper  \
      --name zk2 \
      baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 2
docker -H tcp://zk3.cloud:2375 run -d --restart=always \
      -p 2181:2181 \
      -p 2888:2888 \
      -p 3888:3888 \
      -v /var/lib/zookeeper:/var/lib/zookeeper \
      -v /var/log/zookeeper:/var/log/zookeeper  \
      --name zk3 \
      baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 3

通过明确说明-H……参数，我们可以在不同的主机上启动ZooKeeper容器。-p命令打开ZooKeeper默认需要的那些端口。两个-v命令通过将ZooKeeper使用的文件夹映射到对应的主机文件夹，可以在发生容器错误的情况仍然保持连贯性。以逗号分隔的主机名列表通知ZooKeeper这一集合中有哪些服务器。集合中的每个节点都不例外。唯一的变量就是ZooKeeper的ID（第二个参数），因为它对每个容器都是不一样的。

你可以使用以下命令行来检查ZooKeeper是否一切正常：

docker -H tcp://zk1.cloud:2375 exec -it zk1 bin/zkServer.sh status && \
docker -H tcp://zk2.cloud:2375 exec -it zk2 bin/zkServer.sh status && \
docker -H tcp://zk3.cloud:2375 exec -it zk3 bin/zkServer.sh status

如果你的集群一切正常，每个节点都会汇报它们是主节点还是从节点。

3.现在，开启Swarm管理器：

docker run -d --restart=always \
      --label role=manager \
      -p 2376:2375 \
      swarm manage zk://zk1.cloud,zk2.cloud,zk3.cloud

4.现在Swarm集群正在运行。但是我们必须把这一点告诉Docker客户端。最后你只须保证之后所有的Docker运行语句都指向Swarm管理器的容器（它会负责排程），并且不违反本地Docker守护进程。

cat << EOF | tee -a ~/.bash_profile
    # this node is the master and therefore should be able to talk to the Swarm cluster:
    export DOCKER_HOST=tcp://127.0.0.1:2376
EOF
export DOCKER_HOST=tcp://127.0.0.1:2376

上面这段会立即执行，并且保证下次我们登录机器的时候被再次执行。

健康度检查

现在一切都被启动运行了。键入docker info检查一下manager节点上的集群状态。你会看到3个运行中的worker，类似这样：

Nodes: 3
 docker1: zk1.cloud:2375
  └ Status: Healthy
  └ Containers: 3
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 2.053 GiB
  └ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, server=manager, storagedriver=devicemapper
  └ Error: (none)
  └ UpdatedAt: 2016-04-03T15:39:59Z
 docker2: zk2.cloud:2375
  └ Status: Healthy
  └ Containers: 2
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 2.053 GiB
  └ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, storagedriver=devicemapper
  └ Error: (none)
  └ UpdatedAt: 2016-04-03T15:39:45Z
 docker3: zk3.cloud:2375
  └ Status: Healthy
  └ Containers: 2
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 2.053 GiB
  └ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, storagedriver=devicemapper
  └ Error: (none)
  └ UpdatedAt: 2016-04-03T15:40:15Z

最重要的是每个节点的Status: Healthy那一行。如果你发现出现了其它的状态，例如Status: Pending，或者有的节点没有显示出来，那么即使其它地方还没有报错，也应该用以下命令试着重启管理容器，

docker restart $(docker ps -a --no-trunc --filter "label=role=manager"

然后再检查一次（这个操作可能会引发一个错误信息；无视它）。

配置Storm集群

现在Swarm已经运行起来了，你将要创建一个覆盖网络来跨越所有的Swarm节点，为单独的Storm组建运转多个容器。尽管Supervisor节点（即Storm workers）散布于Swarm集群中的所有节点，Nimbus和UI会在manager节点上，每台服务器上一个。

1.先创建覆盖网络stormnet：

docker network create --driver overlay stormnet

然后通过Docker来检查stormnet是否存在：

docker network ls

2.现在一个一个地启动Storm组件。每个Storm相关的容器会有一个cluster=storm标记，这样你在后面杀死整个Storm集群时，不会错杀其它容器。

首先，启动UI

docker run \
    -d \    
    --label cluster=storm \    
    --label role=ui \    
    -e constraint:server==manager \    
    -e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud \    
    --net stormnet \    
    --restart=always \    
    --name ui \    
    -p 8080:8080 \    
    baqend/storm ui \
      -c nimbus.host=nimbus

接下来是Nimbus：

docker run \
    -d \    
    --label cluster=storm \    
    --label role=nimbus \    
    -e constraint:server==manager \    
    -e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud \    
    --net stormnet \    
    --restart=always \    
    --name nimbus \    
    -p 6627:6627 \    
    baqend/storm nimbus \
      -c nimbus.host=nimbus

为了确保这些在manager节点上运行，我们加入一个限制条件：constraint:server==manager。

3.你现在可以访问Storm UI了，就好像它是在manager节点上运行一样：假如你的manager节点有个公开IP并且其端口8080开放，你就可以用链接http://manager.swarm.baqend.com:8080通过浏览器来访问Storm集群。但是目前还没有运行任何supervisor节点。

4.运行以下语句三次，来启动三个supervisor：

docker run \
    -d \    
    --label cluster=storm \    
    --label role=supervisor \    
    -e affinity:role!=supervisor \    
    -e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud \    
    --net stormnet \    
    --restart=always \    
    baqend/storm supervisor \
     -c nimbus.host=nimbus \     
     -c supervisor.slots.ports=[6700,6701,6702,6703]

因为我们无所谓具体启动哪里的supervisor节点，这里我们不用加入任何限制条件或容器名。但是，为了防止同一台机器上的有两个supervisor被启动，我们用了一个affinity标记：affinity:role!=supervisor。如果你要用更多的supervior容器，就得添加更多的Swarm worker节点（Ubuntu 4、Ubuntu 5等等）。

5.看一眼Storm UI，确保有三个Supervisor在运行。

（远程）拓扑部署

可以通过与manager主机在同一网络中的任意一台装有Docker守护进程的服务器来部署拓扑网络。在下面的代码中，假设你目前使用的目录中，拓扑fatjar是一个名为topology.jar的文件。

docker -H tcp://127.0.0.1:2375 run \
   -it \   
   --rm \   
   -v $(readlink -m topology.jar):/topology.jar \   
   baqend/storm \
     -c nimbus.host=manager.swarm \     
     jar /topology.jar \
       main.class \
       topologyArgument1 \
       topologyArgument2

注意：这个命令会生出一个Docker容器，部署拓扑，接着删除容器。我们用-H tcp://127.0.0.1:2375参数来确保容器是在你当前使用的机器上启动的。如果让Docker Swarm自己来编排，部署就可能会失败，因为在生成容器的主机上可能找不到必要的拓扑文件。

另外，readlink -m topology.jar会为topology.jar生成一个绝对路径，因为并不支持相对路径。但是你也可以直接提供一个绝对路径。

终止一个拓扑

可以通过与Storm web UI交互从而终止一个拓扑，或者也可以通过下面的方式，假设正在运行的拓扑叫做runningTopology：

docker run \
   -it \   
   --rm \   
   baqend/storm \
     -c nimbus.host=manager.swarm \     
     kill runningTopology

此处并不需要主机参数-H …，因为上述命令是独立的，并不依赖任何文件。

关掉Storm集群

由于每个与Storm相关的容器都有一个cluster=storm标签，你可以用下述语句终止所有的容器：

docker rm -f $(docker ps -a --no-trunc --filter "label=cluster=storm"

不要忘记安全性！

我们在此教程中示范了如何在Docker上用多节点的ZooKeeper集为了高可用性和容错性运行一个分布式Storm集群。为了不让这个教程过分复杂，我们跳过了针对TLS配置Docker Swarm的部分。如果你打算把Docker Swarm用于关键的业务应用中，你必须在这个方面多下些功夫。

Baqend是怎样使用Apache Storm的？

我们利用Storm的能力来提供低延迟的流查询和查询缓存：

连续查询

如果你的APP允许连续查询，Apache Storm能接受你的连续查询和所有你的写入操作，并且将它们相比对：每当写一个对象时，所有注册的连续查询都与之比对。既然Storm一直在跟踪所有查询的结果，它就能发现新的主机或者新的匹配或不匹配的情况，并且在变更刚发生的时候通知你。

查询缓存

对于查询缓存来说，我们用这些通知来主动让缓存失效：Baqend Cloud用一段合理长度的TTL来缓存一个查询结果，一旦发生变更就自动让缓存的查询结果无效。得益于Storm，我们的匹配网络延迟仅为几毫秒，相较以往，数据的获取速度显著提高。

Baqend Cloud将很快发布这两大功能，近期，我们也会在Baqend Tech博客发表更多有关架构的细则和标杆性测试结果。敬请期待！

结束语

本教程是为1.10.3版本的Docker和1.1.3的Swarm所做，并在OpenStack和AWS上测试。本教程及我们的Storm和ZooKeeper Docker镜像文件都在Chicken Dance License v0.2的保护下有效。

• 在GitHub获取教程
• 在Docker Hub和GitHub获取baqend/storm Docker镜像文件
• 在Docker Hub和GitHub获取baqend/zookeeper Docker镜像文件

你可以在GitHub上复制我们的项目，如有任何改进，也欢迎发起pull请求！

OneAPM Cloud Insight 产品集监控、管理、计算、协作、可视化于一身，帮助所有 IT 公司，减少在系统监控上的人力和时间成本投入，让运维工作更加高效、简单。想阅读更多技术文章，请访问 OneAPM 官方技术博客。

本文转自 OneAPM 官方博客

原文地址：http://highscalability.com/blog/2016/4/25/the-joy-of-deploying-apache-storm-on-docker-swarm.html