------------------------------------重要说明------------------------------------
本文内容都是参考Cloudman系列进行学习,是个人学习过程记录,与原版不同!
原版请参考cloudman《每天5分钟玩转Docker容器技术》Cloudman博客如下:
https://blog.51cto.com/cloudman
------------------------------------重要说明------------------------------------
为支持容器跨主机通信,Docker 提供了 overlay driver,使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输,VxLAN 提供与 VLAN 相同的以太网二层服务,但是拥有更强的扩展性和灵活性。
Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息,包括 Network、Endpoint、IP 等。
Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件,我们这里使用 Consul。
a) 实验环境描述
在 docker 主机 docker02(192.168.56.130)和 docker03(192.168.56.128)上实践各种跨主机网络方案,在 192.168.56.129 上部署支持的组件,比如 Consul。
l 【consul】【Docker machine】(Ubuntu01) 192.168.56.129
l Docker host(Ubuntu02) 192.168.56.130
l Docker host(Ubuntu03) 192.168.56.128
b) Overlay环境搭建
Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息,包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件,我们这里使用 Consul。
最简单的方式是以容器方式运行 Consul:
docker run -d -p 8500:8500 -h consul --name consul progrium/consul -server -bootstrap
容器启动后,可以通过 http://192.168.56.129:8500 访问 Consul。
修改 docker02 和 docker03 的 docker daemon 的配置文件,将docker02和docker03注册到consul数据库中
vim /etc/systemd/system/docker.service.d/10-machine.conf
--cluster-store=consul://192.168.56.129:8500 指定 consul 的地址
--cluster-advertise=ens33:2376 告知 consul 需要连接的地址
重启 docker daemon
systemctl daemon-reload
systemctl restart docker
docker02 和 docker03 将自动注册到 Consul 数据库中
刷新网页
c) 创建Overlay网络
在 docker02 中创建 overlay 网络 ov_net1:
docker network ls
docker network create -d overlay ov_net1
注意到 ov_net1 的 SCOPE 为 global,而其他网络为 local。在 docker03 上查看存在的网络:
docker03 上也能看到 ov_net1。这是因为创建 ov_net1 时 docker02 将 overlay 网络信息存入了 consul,docker03 从 consul 读取到了新网络的数据。之后 ov_net 的任何变化都会同步到 docker02 和 docker03。
docker network inspect 查看 ov_net1 的详细信息:
IPAM 是指 IP Address Management,docker 自动为 ov_net1 分配的 IP 空间为 10.0.0.0/24。
运行一个 busybox 容器并连接到 ov_net1:
首先记录当前host的网络
docker run -itd --name bbox1 --network ov_net1 busybox
查看容器的网络配置:
bbox1 有两个网络接口 eth0 和 eth1。eth0 IP 为 10.0.0.2,连接的是 overlay 网络 ov_net1。eth1 IP 172.18.0.2,容器的默认路由是走 eth1,eth1 是哪儿来的呢?
查看docker中的网络情况
查看host的网络情况
实验之前并没有docker_gwbridge这个bridge,并且这个bridge有一个interfaces:veth2bd2e8e接口,查看此接口
其实,docker 会创建两个网络:bridge网络和VxLAN网络。
其中 bridge 网络为 “docker_gwbridge”,作用是为容器提供访问外网的能力;
container中的eth1口连接到veth2bd2e8e连接到“docker_gwbridge,为所有连接到 overlay 网络的容器提供访问外网的能力。
查看“docker_gwbridge”网络信息
docker network inspect docker_gwbridge
从 docker network inspect docker_gwbridge 输出可确认 docker_gwbridge 的 IP 地址范围是 172.18.0.0/16,当前连接的容器就是 bbox1(172.18.0.2)。
而且此网络的网关就是网桥 docker_gwbridge 的 IP 172.18.0.1。
这样容器 bbox1 就可以通过 docker_gwbridge 访问外网。
如果外网要访问容器,可通过主机端口映射,比如:
docker run -p 80:80 -d --net ov_net1 --name web1 httpd
d) overlay 如何实现跨主机通信?
在 docker03 中运行容器 bbox2:
bbox2 IP 为 10.0.0.3,可以直接 ping bbox1:
可见 overlay 网络中的容器可以直接通信,同时 docker 也实现了 DNS 服务。
e) overlay 网络具体实现
查看 overlay 网络的 namespace 可以在 host1 和 host2 上执行 ip netns(请确保在此之前执行过 ln -s /var/run/docker/netns /var/run/netns)
可以看到两个 host 上有一个相同的 namespace “1-fc5db23ef3”
这就是 ov_net1 的 namespace,查看 namespace 中的 br0 上的设备。
ip netns exec 1-fc5db23ef3 brctl show
查看 vxlan1 设备的具体配置信息可知此 overlay 使用的 VNI(VxLAN ID)为 256
ip netns exec 1-fc5db23ef3 ip -d l show vxlan1
具体实现如下:
docker 会为每个 overlay 网络创建一个独立的 network namespace,其中会有一个 linux bridge br0,endpoint 还是由 veth pair 实现,一端连接到容器中(即 eth0),另一端连接到 namespace 的 br0 上。
br0 除了连接所有的 endpoint,还会连接一个 vxlan 设备,用于与其他 host 建立 vxlan tunnel。容器之间的数据就是通过这个 tunnel 通信的。逻辑网络拓扑结构如图所示:
f) overlay 如何实现隔离的?
不同的 overlay 网络是相互隔离的。我们创建第二个 overlay 网络 ov_net2 并运行容器 bbox3。
可以发现没有生成新的docker_gwbridge,共用一个docker_gwbridge,测试下是否可以与网关和外界通讯
测试下是否可以与bbox1和bbox2通信
如果要实现 bbox3 与 bbox1 通信,可以将 bbox3 也连接到 ov_net1。
可见生成了一个新的网卡eth2:10.0.0.4,测试与bbox1和bbox2通讯
g) overlay IPAM
docker 默认为 overlay 网络分配 24 位掩码的子网(10.0.X.0/24),所有主机共享这个 subnet,容器启动时会顺序从此空间分配 IP。当然我们也可以通过 --subnet 指定 IP 空间。
docker network create -d overlay --subnet 10.22.1.0/24 ov_net3
------------------------------------重要说明------------------------------------
本文内容都是参考Cloudman系列进行学习,是个人学习过程记录,与原版不同!
原版请参考cloudman《每天5分钟玩转Docker容器技术》Cloudman博客如下:
https://blog.51cto.com/cloudman
------------------------------------重要说明------------------------------------
书籍:
1.《每天5分钟玩转Kubernetes》
https://item.jd.com/26225745440.html
2.《每天5分钟玩转Docker容器技术》
https://item.jd.com/16936307278.html
3.《每天5分钟玩转OpenStack》
https://item.jd.com/12086376.html