手把手教你实现 docker 跨主机间网络通讯

目标

实现 2 台 docker 主机中的容器与容器之间、容器与主机之间的网络互通

资源准备

• 准备两台已经安装好 docker 的 Linux 服务器(docker 安装非常的简单，这里就不多介绍了)：

1. 192.168.9.1
2. 192.168.9.2

• 下载 flannel-v0.8.0 ，这里我们是通过 CoreOS 的 flannel 解决网络通讯问题
• 准备一个 etcd 集群用于解决 ip 分配的唯一问题，查看集群准备方案

服务器初始化：

2 台服务器分别执行：mkdir -p /opt/flannel/{bin,conf}

开始实施

• 解压 flannel-v0.8.0-linux-amd64.tar.gz

将 flanneld 与 mk-docker-opts.sh 复制到 /opt/flannel/bin 目录

• 在 etcd 中申请 ip 段

在拥有 etcdctl 工具的机器上执行如下命令，这里的 backend 选用 vxlan，没有使用默认的 UDP

etcdctl --endpoints "http://你的etcd集群ip:2379" set /xieyanke/network/config '{"NetWork":"10.0.0.0/16", "SubnetMin": "10.0.1.0", "SubnetMax": "10.0.10.0", "Backend": {"Type": "vxlan"}}'

• 编辑 flanneld 的配置文件

vi /opt/flannel/conf/flanneld.conf

ETCD_ENDPOINTS="http://你的etcd1集群IP:2379,http://你的etcd2集群IP:2379,http://你的etcd3集群IP:2379"
ETCD_PREFIX="/xieyanke/network"

• 为了方便管理，这里配置一个 flanneld 的 systemd

vi /usr/lib/systemd/system/flanneld.service

[Unit]
Description=Flanneld
Documentation=https://github.com/coreos/flannel
After=network.target
Before=docker.service
[Service]
EnvironmentFile=/opt/flannel/conf/flanneld.conf
User=root
ExecStart=/opt/flannel/bin/flanneld \
        --etcd-endpoints=${ETCD_ENDPOINTS} \
        --etcd-prefix=${ETCD_PREFIX} \
        --iface=你要绑定网卡的IP \
        --ip-masq
Restart=on-failure
Type=notify
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target

• 启动 flanneld

systemctl daemon-reload
systemctl start flanneld

• 通过 mk-docker-opts.sh 创建 docker 启动参数

执行：/opt/flannel/bin/mk-docker-opts.sh -i

生成的参数会在 /run/docker_opts.env 中记录

• systemd 中添加 docker 的启动参数

这里主要添加的是：
EnvironmentFile=/run/docker_opts.env
ExecStart=/usr/bin/dockerd
$DOCKER_OPT_BIP
$DOCKER_OPT_IPMASQ
$DOCKER_OPT_MTU

vi /usr/lib/systemd/system/docker.service

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=/run/docker_opts.env
ExecStart=/usr/bin/dockerd \
        $DOCKER_OPT_BIP \
        $DOCKER_OPT_IPMASQ \
        $DOCKER_OPT_MTU 
ExecReload=/bin/kill -s HUP $MAINPID
# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
# Uncomment TasksMax if your systemd version supports it.
# Only systemd 226 and above support this version.
#TasksMax=infinity
TimeoutStartSec=0
# set delegate yes so that systemd does not reset the cgroups of docker containers
Delegate=yes
# kill only the docker process, not all processes in the cgroup
KillMode=process
# restart the docker process if it exits prematurely
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target

• 重启 docker

systemctl daemon-reload
systemctl restart docker

• 查看 docker 与 flannel 的虚拟网卡是否在同一网段，如果在同一个网段则表明配置成功

ifconfig docker0
ifconfig flannel.1

---

实际测试

分别在 2 台docker 主机上创建 2 个容器

192.168.9.1# docker run -it busybox sh

# 查看容器IP
/ # cat /etc/hosts
10.0.2.2    44ceb6a97c90

192.168.9.2# docker run -it busybox sh

# 查看容器IP
/ # cat /etc/hosts
10.0.3.2    f914961f8d3c

分别在容器 10.0.2.2 与 10.0.3.2 中执行 ping 192.168.9.1、192.168.9.2、10.0.2.2、10.0.3.2，验证网络是否互通，如果没有 ping 成功，则表明主机防火墙开了，手工关闭一下防火墙即可