docker pipework 实现跨宿主主机容器互联

1、本地容器之间私有网络互联

Docker 默认的桥接网卡是 docker0。它只会在本机桥接所有的容器网卡，举例来说容器的虚拟网卡在主机 上看一般叫做 veth* 而 Docker 只是把所有这些网卡桥接在一起，如下：

# brctl show

查看IP地址：

# ip add

# ifconfig

这样的网络看成是一个私有的网络，通过 nat 连接外网，如果要让外网连接到容器中，就需要 做端口映射，即 -p 参数。

缺点：

（1）需要配套服务注册/发现，否则宿主上端口分配困难，容易冲突。

（2）由于每个容器暴露的端口都不一致，造成前端路由层nginx配置（proxy_pass）里无法使用dns的方式。

（3）端口映射要在容器启动时就指定好，后期无法变更。

（4）测试发现nat不支持websocket。

2、物理主机之间的容器网络互联

2.1、自建桥接网络

优点：

（1）每个容器都有独立ip，对外提供服务，如nginx+php，nginx+resin，都可以使用默认的80端口

（2）由于容器暴露端口都可以使用80端口，因此前端路由层nginx配置（proxy_pass）里可以使用dns的方式。

（3）无需为了后期端口映射添加而烦恼

（4）桥接支持websocket

2.2、拓扑图

2.3、配置如下

1、网桥方式需要安装网桥管理工具

# yum install bridge-utils

2、修改主机的/etc/network/interfaces文件

# vim /etc/sysconfig/docker

DOCKER_OPTS="-b=br0"

3、修改本机网卡

# vim /etc/sysconfig/network-scripts/ifcfg-ens33

BRIDGE="br0"

ZONE=public

4、添加bro桥接网卡

# vim /etc/sysconfig/network-scripts/ifcfg-br0

DEVICE="br0"

ONBOOT="yes"

NM_CONTROLLED="no"

BOOTPROTO="static"

TYPE="Bridge"

IPADDR="192.168.56.130"

PREFIX="24"

GATEWAY="192.168.56.2"

DNS1="8.8.8.8"

DNS2="114.114.114.114"

5、关闭NetworkManager管理套件

#systemctl stop NetworkManager

# systemctl disable NetworkManager、

6、重启网卡，查看

# systemctl restart network

7、下载pipework

# git clone https://github.com/jpetazzo/pipework

# cp pipework/pipework /usr/local/bin/

2.4、启动容器测试

# docker run -dti --name br01 --privileged centos:7.4.1708 /bin/bash

登录容器查看（默认还是采用地方nat模式）

# docker exec -ti e79ed4d70fe1 /bin/bash

使用pipework更改网络模式

# pipework br0 br01 192.168.56.140/[email protected]

或

# pipework br0 br01 dhcp      //前提保证有DHCP服务

再次查看

局域网已可以正常访问

补充：

若想完全抛弃自带的网络设置，在启动容器的时候可以指定--net=none

# docker run -dti --name br02 --network=none --privileged centos:7.4.1708 /bin/bash

# pipework br0 br02 192.168.56.141/[email protected]

重启系统后pipework网卡配置无效解决方法（持久性）

在宿主配置开机启动pipework配置

1、开机启动docker

# systemctl enable docker

2、开机启动容器（docker服务）

# docker update --restart=always bf1b95631b60

3、配置开启启动pipework相关配置

# vim /etc/rc.local

#添加如下参数

pipework br0 br02 192.168.56.141/[email protected]

4、授权

# chmod +x /etc/rc.local

5、重启系统后无法分配IP地址

报错如下：

Object "netns" is unknown, try "ip help".

该错误是由于系统版本暂时不支持namespaces, 可通过更新内核或者iproute的方法获取对namespaces的支持.更新方法如下:

[openstack-kilo]

name=OpenStack Kilo Repository

baseurl=https://repos.fedorapeople.org/repos/openstack/EOL/openstack-icehouse/epel-6/

skip_if_unavailable=0

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-RDO-kilo

更新：

yum update iproute -y

pipework的缺点：

1.此方法配置的时候有时容器之间不能访问，容器内无法ping通外网（宿主机可以ping通）。但重启服务器后，同样操作，竟然就是可以了。。。。

2.使用pipework绑定的ip物理机，虚拟机，docker容器的ip都在同一网段，重启后将失效，这在实际生产环境中是很难实现的。

3、不适合数量多的容器，分配配置麻烦