docker容器网络配置

1.Linux内核实现名称空间的创造

1.1ip netns命令

可以通过ip netns命令来完成对网络命名空间的操作。ipnetns命令来自于iproute安装包，一般系统会进行安装，如果没有的话，请自行安装。

注意：ip netns命令修改网络配置时需要sudo权限。

可以通过ip netns命令完成对网络命名空间的相关操作，可以通过ip netns help查看命令帮助信息：

[root@localhost ~]# ip netns help
Usage: ip netns list
       ip netns add NAME
       ip netns set NAME NETNSID
       ip [-all] netns delete [NAME]
       ip netns identify [PID]
       ip netns pids NAME
       ip [-all] netns exec [NAME] cmd ...
       ip netns monitor
       ip netns list-id

默认情况下，Linux系统中是没有任何网络命名空间，所以ip netns list命令不会返回任何信息。

1.2创建网络命名空间

通过命令创建一个称为ns0的命名空间：

[root@localhost ~]# ip netns list
[root@localhost ~]# ip netns add ns0
[root@localhost ~]# ip netns list
ns0

如果相同名称的命名空间已经存在，命令会报无法创建命名空间文件“ / var / run / netns / ns0”：文件存在的错误。

[root@localhost ~]# ls /var/run/netns/
ns0
[root@localhost ~]# ip netns add ns0
Cannot create namespace file "/var/run/netns/ns0": File exists

对于每个网络命名空间来说，它会有自己独立的网卡，路由表，ARP表，iptables等和网络相关的资源。

1.3操作网络命名空间

ip命令提供了ip netns exec子命令可以在对应的网络命名空间中执行命令。

查看新创建的网络命名空间的网卡信息

[root@localhost ~]# ip netns exec ns0 ip addr
1: lo:  mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

可以看到，新创建的网络名称空间中会创建一个lo回环网卡，此时网卡处于关闭状态。此时，尝试去ping该lo回环网卡，会提示网络不可达

[root@localhost ~]# ip netns exec ns0 ping 127.0.0.1
connect: 网络不可达

通过下面的命令启用lo回环网卡

[root@localhost ~]# ip netns exec ns0 ip link set lo up
[root@localhost ~]# ip netns exec ns0 ping 127.0.0.1
PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data.
64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.042 ms
64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.031 ms

1.4转移设备

我们可以在不同的Network Namespace之间转移设备（如veth）。由于一个设备只能属于一个Network Namespace，所以转移后在这个Network Namespace内就看不到这个设备了。

其中，veth设备属于可转移设备，而很多其他设备（如lo，vxlan，ppp，bridge等）是不可以转移的。

1.5一对

VETH对全称是虚拟以太网对，是一个成对的端口，所有从这对端口一端进入的数据包都将从另一端出来，反之也是一样。
引入VETH对是为了在不同的网络命名空间直接进行通信，利用它可以直接将两个网络命名空间连接起来。

1.6创建第七对

[root@localhost ~]# ip link add type veth
[root@localhost ~]# ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33:  mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:88:34:3d brd ff:ff:ff:ff:ff:ff
    inet 192.168.249.131/24 brd 192.168.249.255 scope global noprefixroute dynamic ens33
       valid_lft 1122sec preferred_lft 1122sec
    inet6 fe80::ad8c:10d3:b579:8614/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: docker0:  mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:38:4e:31:46 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: veth0@veth1:  mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether ca:23:e1:4b:92:a3 brd ff:ff:ff:ff:ff:ff
5: veth1@veth0:  mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether f6:bd:9e:56:78:91 brd ff:ff:ff:ff:ff:ff

可以看到，此时系统中添加了一对veth对，将veth0和veth1两个虚拟网卡连接了起来，此时这对veth对处于“未启用”状态。

1.7实现网络命名空间间通信

下面我们利用veth对实现两个不同的网络命名空间之间的通信。刚才我们已经创建了一个称为ns0的网络命名空间，下面再创建一个信息网络命名空间，命名为ns1

[root@localhost ~]# ip netns add ns1
[root@localhost ~]# ip netns list
ns1
ns0

然后我们将veth0加入到ns0，将veth1加入到ns1

[root@localhost ~]# ip link set veth0 netns ns0
[root@localhost ~]# ip link set veth1 netns ns1

然后我们分别为这对veth pair配置上ip地址，并启用它们

[root@localhost ~]# ip netns exec ns0 ip link set veth0 up
[root@localhost ~]# ip netns exec ns0 ip addr add 10.0.0.1/24 dev veth0
[root@localhost ~]# ip netns exec ns1 ip link set lo up
[root@localhost ~]# ip netns exec ns1 ip link set veth1 up
[root@localhost ~]# ip netns exec ns1 ip addr add 10.0.0.2/24 dev veth1

查看这对veth pair的状态

[root@localhost ~]# ip netns exec ns0 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
4: veth0@if5:  mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether ca:23:e1:4b:92:a3 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.0.0.1/24 scope global veth0
       valid_lft forever preferred_lft forever
    inet6 fe80::c823:e1ff:fe4b:92a3/64 scope link 
       valid_lft forever preferred_lft forever
[root@localhost ~]# ip netns exec ns1 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
5: veth1@if4:  mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether f6:bd:9e:56:78:91 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.0.0.2/24 scope global veth1
       valid_lft forever preferred_lft forever
    inet6 fe80::f4bd:9eff:fe56:7891/64 scope link 
       valid_lft forever preferred_lft forever

从上面可以抛光，我们已经成功启用了这个veth对，并为每个veth设备分配了对应的ip地址。我们尝试在ns1中访问ns0中的ip地址：

[root@localhost ~]# ip netns exec ns1 ping 10.0.0.1
PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data.
64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.140 ms
64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.037 ms
64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.042 ms

可以看到，第七对成功实现了两个不同的网络命名空间之间的网络互动。

1.8veth设备重命名

[root@localhost ~]# ip netns exec ns0 ip link set veth0 down
[root@localhost ~]# ip netns exec ns0 ip link set dev veth0 name eth0
[root@localhost ~]# ip netns exec ns0 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
4: eth0@if5:  mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether ca:23:e1:4b:92:a3 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.0.0.1/24 scope global eth0
       valid_lft forever preferred_lft forever
[root@localhost ~]# ip netns exec ns0 ip link set eth0 up

2.典型网络模式配置

2.1桥模式配置

[root@localhost ~]# docker run -it --name t1 --rm busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
6: eth0@if7:  mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # exit
[root@localhost ~]# docker container ls -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
[root@localhost ~]# docker run -it --name t1 --network bridge --rm busybox 
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
8: eth0@if9:  mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # exit

2.2无模式配置

[root@localhost ~]# docker run -it --name t1 --network none --rm busybox 
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
/ # exit

2.3容器模式配置

启动第一个容器

[root@localhost ~]# docker run -it --name b1 --rm busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
10: eth0@if11:  mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # 

启动第二个容器

[root@localhost ~]# docker run -it --name b2 --rm busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
14: eth0@if15:  mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # 

可以看到称为b2的容器IP地址是172.17.0.3，与第一个容器的IP地址不是一样的，意味着并没有共享网络，此时如果我们将第二个容器的启动方式改变一下，就可以使称为b2的容器IP与b1容器IP一致，也即共享IP，但不共享文件系统。

[root@localhost ~]# docker run -it --name b2 --rm --network container:b1 busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
14: eth0@if15:  mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # 

此时我们在b1容器上创建一个目录

/ # mkdir /tmp/data
/ # ls /tmp/
data

到b2容器上检查/ tmp目录会发现并没有这个目录，因为文件系统是处于隔离状态，所在共享了网络而已。

在b2容器上部署一个站点

/ # ls /tmp/
/ # echo 'hello world' > /tmp/index.html
/ # ls /tmp/
index.html
/ # httpd -h /tmp
/ # netstat -antl
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       
tcp        0      0 :::80                   :::*                    LISTEN   

在b1容器上用本地地址去访问此站点

/ # wget -O - -q 127.0.0.1:80
hello world

由此可见，container模式下的容器间关系就相当于一台主机上的两个不同进程

2.4主机模式配置

启动容器时直接规范模式为主机

[root@localhost ~]# docker run -it --name b2 --rm --network host busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33:  mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:88:34:3d brd ff:ff:ff:ff:ff:ff
    inet 192.168.249.131/24 brd 192.168.249.255 scope global dynamic ens33
       valid_lft 1261sec preferred_lft 1261sec
    inet6 fe80::ad8c:10d3:b579:8614/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0:  mtu 1500 qdisc noqueue 
    link/ether 02:42:38:4e:31:46 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:38ff:fe4e:3146/64 scope link 
       valid_lft forever preferred_lft forever

此时如果我们在这个容器中启动一个http站点，我们就可以直接用主机机的IP直接在浏览器中访问该容器中的站点了。

3.容器的常用操作

3.1查看容器的主机名

[root@localhost ~]# docker run -it --name t1 --network bridge --rm busybox
/ # hostname
80cbf4b742fa

3.2在容器启动时注入主机名

[root@localhost ~]# docker run -it --name t1 --network bridge --hostname liping --rm busybox
/ # hostname
liping
/ # cat /etc/hosts
127.0.0.1	localhost
::1	localhost ip6-localhost ip6-loopback
fe00::0	ip6-localnet
ff00::0	ip6-mcastprefix
ff02::1	ip6-allnodes
ff02::2	ip6-allrouters
172.17.0.2	liping     # 注入主机名时会自动创建主机名到IP的映射关系
/ # cat /etc/resolv.conf 
# Generated by NetworkManager
search localdomain
nameserver 192.168.249.2    # DNS也会自动配置为宿主机的DNS
/ # ping www.baidu.com
PING www.baidu.com (14.215.177.38): 56 data bytes
64 bytes from 14.215.177.38: seq=0 ttl=127 time=70.037 ms
64 bytes from 14.215.177.38: seq=1 ttl=127 time=42.033 ms

3.3手动指定容器要使用的DNS

[root@localhost ~]#  docker run -it --name t1 --network bridge --hostname liping --dns 114.114.114.114 --rm busybox
/ # cat /etc/resolv.conf
search localdomain
nameserver 114.114.114.114
/ # nslookup -type=a www.baidu.com
Server:		114.114.114.114
Address:	114.114.114.114:53

Non-authoritative answer:
www.baidu.com	canonical name = www.a.shifen.com
Name:	www.a.shifen.com
Address: 14.215.177.38
Name:	www.a.shifen.com
Address: 14.215.177.39

3.4手动往/ etc / hosts文件中注入主机名到IP地址的映射

[root@localhost ~]# docker run -it --name t1 --network bridge --hostname liping --add-host www.a.com:1.1.1.1 --rm busybox
/ # cat /etc/hosts
127.0.0.1	localhost
::1	localhost ip6-localhost ip6-loopback
fe00::0	ip6-localnet
ff00::0	ip6-mcastprefix
ff02::1	ip6-allnodes
ff02::2	ip6-allrouters
1.1.1.1	www.a.com
172.17.0.2	liping

3.5开放容器端口

执行docker run的时候有个-p选项，可以将容器中的应用端口映射到主机机中，从而实现让外部主机可以通过访问主机的某端口来访问容器内部应用的目的。

-p选项能够使用多次，其所能够暴露的端口必须是容器确实在监听的端口。

-p选项的使用格式：

• -p
  • 将指定的容器端口映射到主机所有地址的一个动态端口
• -p <主机端口>：<容器端口>
  • 将容器端口 映射到指定的主机端口
• -p ::
  • 将指定的容器端口 映射到主机指定 的动态端口
• -p ： ：
  • 将指定的容器端口 映射到主机指定 的端口

动态端口指的是随机端口，具体的映射结果可使用docker port命令查看。

[root@localhost ~]# docker run --name web --rm -p 80 nginx

以上命令执行后会一直占用着前端，我们新开一个终端连接来看一下容器的80端口被映射到了主机机的什么端口上

[root@localhost ~]# docker port web
80/tcp -> 0.0.0.0:32768

由此可见，容器的80端口被暴露到了主机机的32768端口上，此时我们在主机机上访问一下该端口看是否能访问到容器内的站点

[root@localhost ~]# curl http://127.0.0.1:32768







Welcome to nginx!
If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.

For online documentation and support please refer to
nginx.org.

Commercial support is available at
nginx.com.

Thank you for using nginx.

iptables防火墙规则将随身容器的创建自动生成，随身容器的删除自动删除规则。

将容器端口映射到指定IP的随机端口

[root@localhost ~]# docker run --name web --rm -p 192.168.249.131::80 nginx

在另一个终端上查看端口映射情况

[root@localhost ~]# docker port web
80/tcp -> 192.168.249.131:32768

将容器端口映射到主机机的指定端口

[root@localhost ~]# docker run --name web --rm -p 80:80 nginx

在另一个终端上查看端口映射情况

[root@localhost ~]# docker port web
80/tcp -> 0.0.0.0:80

3.6自定义docker0桥的网络属性信息

自定义docker0桥的网络属性信息需要修改/etc/docker/daemon.json配置文件

{
    "bip": "192.168.249.125/24",
    "fixed-cidr": "192.168249.125/25",
    "fixed-cidr-v6": "2001:db8::/64",
    "mtu": 1500,
    "default-gateway": "10.20.1.1",
    "default-gateway-v6": "2001:db8:abcd::89",
    "dns": ["10.20.1.2","10.20.1.3"]
}

核心选项为bip，即bridge ip之意，用于指定docker0桥自身的IP地址；其他选项可通过此地址计算得出。

3.7docker远程连接

dockerd守护进程的C / S，其至少侦听Unix套接字格式的地址（/var/run/docker.sock），如果要使用TCP替代，则需要修改/etc/docker/daemon.json配置文件，添加如下内容，然后重启docker服务：

"hosts": ["tcp://0.0.0.0:2375", "unix:///var/run/docker.sock"]

在客户端上向dockerd直接传递“ -H | --host”选项指定要控制哪台主机上的docker容器

docker -H 192.168.249.249.131:2375 ps

3.8docker创建自定义桥

创建一个额外的自定义桥，区别于docker0

[root@localhost ~]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
2166306bfc82        bridge              bridge              local
6dc26f122a07        host                host                local
16b57e624a73        none                null                local
[root@localhost ~]# docker network create -d bridge --subnet "192.168.2.0/24" --gateway "192.168.2.1" br0
237a1cafe6e03a8f6d6b1eb4f7b26edc8928540b97bf6c03bebfb47b3a3edfa7
[root@localhost ~]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
237a1cafe6e0        br0                 bridge              local
2166306bfc82        bridge              bridge              local
6dc26f122a07        host                host                local
16b57e624a73        none                null                local

使用新创建的自定义桥来创建容器：

[root@localhost ~]# docker run -it --name b1 --network br0 busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
35: eth0@if36:  mtu 1500 qdisc noqueue 
    link/ether 02:42:c0:a8:02:02 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.2/24 brd 192.168.2.255 scope global eth0
       valid_lft forever preferred_lft forever

再创造一个容器，使用默认的桥:

[root@localhost ~]# docker run --name b2 -it busybox
/ # ip a
1: lo:  mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
37: eth0@if38:  mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

试想一下，此时的b2与b1能否互相通信？如果不能该如何实现通信？