dailybird
dailybird

谈谈 Docker 网络

基于近期学习的 Docker 内容，整理与 Docker 网络相关的知识。

实验环境：Centos 7.4

Docker 版本如下：

Client:
 Version:      18.03.1-ce
 API version:  1.37
 Go version:   go1.9.5
 Git commit:   9ee9f40
 Built:        Thu Apr 26 07:20:16 2018
 OS/Arch:      linux/amd64
 Experimental: false
 Orchestrator: swarm

Server:
 Engine:
  Version:      18.03.1-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.5
  Git commit:   9ee9f40
  Built:        Thu Apr 26 07:23:58 2018
  OS/Arch:      linux/amd64
  Experimental: false

1. Linux 网络命名空间与 Veth

1.1 Linux 网络命名空间

以下摘自 linux 网络命名空间 Network namespaces - CSDN博客 ：

Linux命名空间是一个相对较新的内核功能，对于实现容器至关重要。 命名空间将全局系统资源包装到一个抽象中，该抽象只会与命名空间中的进程绑定，从而提供资源隔离。Linux内核提供了6种类型的命名空间：pid，net，mnt，uts，ipc和user。网络命名空间为命名空间中的所有进程提供了全新的网络堆栈。 这包括网络接口，路由表和iptables规则。

我们可以使用：

ip netns list

查看当前系统中存在的网络空间

或者通过以下指令增加或删除：

# 增加
ip netns add ns1

# 删除
ip netns delete ns1

这里，我们使用如下指令，查看 ns1 网络命名空间中网络情况：

[root@localhost vagrant]# ip netns exec ns1 ip a
1: lo:  mtu 65536 qdisc noop state DOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

可以看到，在新创建的 ns1 中，仅存在一个处于 DOWN 状态的本地回环端口。

此时，我们使用以下指令执行时，会发现网络不通：

[root@localhost vagrant]# ip netns exec ns1 ping localhost -c 4
connect: 网络不可达

此时我们需要借助 ip link，将 lo 端口 UP 起来：

ip netns exec ns1 set dev lo up

此时，对本地端口的 ping 请求就可达了：

[root@localhost vagrant]# ip netns exec ns1 ping localhost -c 4
PING localhost (127.0.0.1) 56(84) bytes of data.
64 bytes from localhost (127.0.0.1): icmp_seq=1 ttl=64 time=0.031 ms
64 bytes from localhost (127.0.0.1): icmp_seq=2 ttl=64 time=0.060 ms
64 bytes from localhost (127.0.0.1): icmp_seq=3 ttl=64 time=0.070 ms
64 bytes from localhost (127.0.0.1): icmp_seq=4 ttl=64 time=0.036 ms

--- localhost ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3004ms
rtt min/avg/max/mdev = 0.031/0.049/0.070/0.017 ms

注：ip link 指令可以查到本机网络接口情况，这一指令在 Veth 中还会提到。

1.2 Veth

关于 Veth 的特点，以下摘自：Linux虚拟网络设备之veth - Linux程序员 - SegmentFault 思否：

veth和其它的网络设备都一样，一端连接的是内核协议栈。
veth设备是成对出现的，另一端两个设备彼此相连
一个设备收到协议栈的数据发送请求后，会将数据发送到另一个设备上去。

这里，我们再新建一个 ns2 的网络命名空间，并通过 Veth，实现 ns1 和 ns2 之间的连通，步骤如下：

1.2.1 准备 ns1 和 ns2 网络命名空间

首先，我们通过：

ip netns add ns2

创建 ns2 网络命名空间。

注：也可仿照上述 ns1 的做法，将 ns2 中 lo 置于 UP 状态。

1.2.2 创建 Veth pair

下面，我们执行如下指令，创建 Veth pair：

ip link add veth-ns1 type veth peer name veth-ns2

之后，我们可以通过 ip link 指令，看到接口列表中新增了我们刚刚添加的那个 veth pair：

[root@localhost vagrant]# ip link

...

4: veth-ns2@veth-ns1:  mtu 1500 qdisc noop state DOWN mode DEFAULT qlen 1000
    link/ether 8e:3c:d3:98:29:9d brd ff:ff:ff:ff:ff:ff
5: veth-ns1@veth-ns2:  mtu 1500 qdisc noop state DOWN mode DEFAULT qlen 1000
    link/ether 92:8a:2f:d6:e0:72 brd ff:ff:ff:ff:ff:ff

1.2.3 将 Veth pair 两端分别加入到 ns1 和 ns2

执行以下指令：

# 将 Veth pair 的 veth-ns1 添加到 ns1
ip link set veth-ns1 netns ns1

# 将 Veth pair 的 veth-ns2 添加到 ns2
ip link set veth-ns2 netns ns2

此时，我们再次执行 ip link，会发现，之前创建 Veth pair 的两端已经分别存在于 ns1 和 ns2 中：

ip netns exec ns1 ip link

ip netns exec ns2 ip link

1.2.4 为 Veth pair 的两端分别配置 IP 地址

执行以下指令：

ip netns exec ns1 ip addr add 192.168.1.1/24 dev veth-ns1

ip netns exec ns2 ip addr add 192.168.1.2/24 dev veth-ns2

注意，这一步一定要在 Veth pair 的两端加入到 ns1、ns2 之后进行。

1.2.5 将 Veth pair 的两端置为 UP 状态

执行以下指令：

ip netns exec ns1 ip link set dev veth-ns1 up

ip netns exec ns2 ip link set dev veth-ns2 up

此时，我们便可以通过 ip a 看到目前该网络空间的情况了：

###### ns1 ######

[root@localhost vagrant]# ip netns exec ns1 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
5: veth-ns1@if4:  mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 92:8a:2f:d6:e0:72 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 192.168.1.1/24 scope global veth-ns1
       valid_lft forever preferred_lft forever
    inet6 fe80::908a:2fff:fed6:e072/64 scope link
       valid_lft forever preferred_lft forever
       

###### ns1 ######

[root@localhost vagrant]# ip netns exec ns2 ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
4: veth-ns2@if5:  mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 8e:3c:d3:98:29:9d brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.1.2/24 scope global veth-ns2
       valid_lft forever preferred_lft forever
    inet6 fe80::8c3c:d3ff:fe98:299d/64 scope link
       valid_lft forever preferred_lft forever

1.2.6 检验连通

通过两端互 ping 的方式，检测连通性：

ns1 -> ns2

[root@localhost vagrant]# ip netns exec ns1 ping 192.168.1.2 -c 4
PING 192.168.1.2 (192.168.1.2) 56(84) bytes of data.
64 bytes from 192.168.1.2: icmp_seq=1 ttl=64 time=0.037 ms
64 bytes from 192.168.1.2: icmp_seq=2 ttl=64 time=0.040 ms
64 bytes from 192.168.1.2: icmp_seq=3 ttl=64 time=0.046 ms
64 bytes from 192.168.1.2: icmp_seq=4 ttl=64 time=0.044 ms

--- 192.168.1.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3000ms
rtt min/avg/max/mdev = 0.037/0.041/0.046/0.008 ms

ns2 -> ns1

[root@localhost vagrant]# ip netns exec ns2 ping 192.168.1.1 -c 4
PING 192.168.1.1 (192.168.1.1) 56(84) bytes of data.
64 bytes from 192.168.1.1: icmp_seq=1 ttl=64 time=0.030 ms
64 bytes from 192.168.1.1: icmp_seq=2 ttl=64 time=0.038 ms
64 bytes from 192.168.1.1: icmp_seq=3 ttl=64 time=0.068 ms
64 bytes from 192.168.1.1: icmp_seq=4 ttl=64 time=0.067 ms

--- 192.168.1.1 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3006ms
rtt min/avg/max/mdev = 0.030/0.050/0.068/0.019 ms

1.2.7 总结

以上过程的核心步骤示意如下：

谈谈 Docker 网络_第1张图片

2. Docker bridge 型网络 与 bridge0

2.1 bridge 连通实验

执行 ip link，我们可以看到：

[root@localhost vagrant]# ip link

...

3: docker0:  mtu 1500 qdisc noqueue state UP mode DEFAULT
    link/ether 02:42:7f:68:8e:01 brd ff:ff:ff:ff:ff:ff

这里存在一个 docker0，这在 Docker bridge 型网络中起到至关重要的作用。

注意：根据 Docker 官方文档：Networking features in Docker for Mac | Docker Documentation，在 Mac OS 中是没有 bridge0 的。推荐使用 Centos 系统进行试验。

接着，我们使用如下指令创建一个 Container，用以观察容器 bridge 型网络的实现方式：

docker run -d --name box1 busybox /bin/sh -c "while true; do sleep 3600; done;"

注：

  1. 使用一个死循环指令可以使得容器不会立刻停止；
  2. Docker 容器默认的网络为 bridge

然后执行 ip link 观察变化，可以发现，列表中多出了如下部分：

[root@localhost vagrant]# ip link

...

11: veth4f19367@if10:  mtu 1500 qdisc noqueue master docker0 state UP mode DEFAULT
    link/ether 42:01:42:6c:52:5a brd ff:ff:ff:ff:ff:ff link-netnsid 0

接着，为了观察网络桥接情况，我们需要安装一个软件：

yum install bridge-utils

然后使用：

[root@localhost vagrant]# brctl show
bridge name    bridge id        STP enabled    interfaces
docker0        8000.02427f688e01    no        veth4f19367

可以看到，创建 box1 容器后，新增的 Veth 通过桥接连接到了 docker0 上，使得容器和宿主机之间可以互相连通。

为了检测连通性，首先我们执行：

[root@localhost vagrant]# ip a

...

3: docker0:  mtu 1500 qdisc noqueue state UP
    link/ether 02:42:7f:68:8e:01 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:7fff:fe68:8e01/64 scope link
       valid_lft forever preferred_lft forever

...

得到宿主机的 IP 为 172.17.0.1/16

然后通过：

[root@localhost vagrant]# docker exec box1 ip a

...

10: eth0@if11:  mtu 1500 qdisc noqueue
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

得到 box1 这一容器的 IP 为 172.17.0.2/16

之后，便可以通过以下方式检测二者互相的连通性：

宿主机（ 172.17.0.1 ）-> 容器（ 172.17.0.2 ）

[root@localhost vagrant]# ping 172.17.0.2 -c 4
PING 172.17.0.2 (172.17.0.2) 56(84) bytes of data.
64 bytes from 172.17.0.2: icmp_seq=1 ttl=64 time=0.049 ms
64 bytes from 172.17.0.2: icmp_seq=2 ttl=64 time=0.054 ms
64 bytes from 172.17.0.2: icmp_seq=3 ttl=64 time=0.057 ms
64 bytes from 172.17.0.2: icmp_seq=4 ttl=64 time=0.082 ms

--- 172.17.0.2 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3001ms
rtt min/avg/max/mdev = 0.049/0.060/0.082/0.014 ms

容器（ 172.17.0.2 ）-> 宿主机（ 172.17.0.1 ）

[root@localhost vagrant]# docker exec box1 ping 172.17.0.1 -c 4
PING 172.17.0.1 (172.17.0.1): 56 data bytes
64 bytes from 172.17.0.1: seq=0 ttl=64 time=0.068 ms
64 bytes from 172.17.0.1: seq=1 ttl=64 time=0.258 ms
64 bytes from 172.17.0.1: seq=2 ttl=64 time=0.084 ms
64 bytes from 172.17.0.1: seq=3 ttl=64 time=0.087 ms

--- 172.17.0.1 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.068/0.124/0.258 ms

同理，我们可以再创建一个 box2 容器，检测 box1 与 box2 之间的连通性。由于方法相同，这里简述如下：

# 创建 box2 容器
docker run -d --name box2 busybox /bin/sh -c "while true; do sleep 3600; done;"

# 【省略】通过 ip a 分别查询 box1 和 box2 的 ip

# 连通测试 box1 -> box2
docker exec box1 ping 172.17.0.3 -c 4

# 连通测试 box2 -> box1
docker exec box2 ping 172.17.0.2 -c 4

2.2 总结

如上，Docker 中实现 bridge 型网络互连的方式如下图：

谈谈 Docker 网络_第2张图片

此外，bridge 型网络中，容器与公网连通的方式如下：

谈谈 Docker 网络_第3张图片

注：bridge 指的是网络类型，bridge0 是接口名。

3. 以容器名进行网络连接

在 Docker 容器中，以 IP 方式进行彼此连通，会使得很多业务场景首先，我们更期望使用域名或者别名进行网络访问，从而在 IP 地址变化时，依然保证系统各模块的稳定（ 每次创建容器，其 IP 地址不是恒定的 ）。

由此，我们可以使用如下方式实现这一功能。

首先，我们需要将先前启动的容器停止并删除：

docker rm -f $(docker ps -aq)

注：这一指令会停止并删除所有容器。

3.1 Docker link

此方法旨在使用 docker 启动时的 --link 参数，步骤如下：

3.1.1 准备 box1、box2 两个容器

docker run -d --name box1 busybox /bin/sh -c "while true; do sleep 3600; done;"

# 注意，这里添加了 --link box1 参数

docker run -d --name box2 --link box1 busybox /bin/sh -c "while true; do sleep 3600; done;"

3.1.2 连通测试——以 IP

box1 -> box2

[root@localhost vagrant]# docker exec box1 ping 172.17.0.3 -c 4
PING 172.17.0.3 (172.17.0.3): 56 data bytes
64 bytes from 172.17.0.3: seq=0 ttl=64 time=0.071 ms
64 bytes from 172.17.0.3: seq=1 ttl=64 time=0.158 ms
64 bytes from 172.17.0.3: seq=2 ttl=64 time=0.110 ms
64 bytes from 172.17.0.3: seq=3 ttl=64 time=0.146 ms

--- 172.17.0.3 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.071/0.121/0.158 ms

box2 -> box1

[root@localhost vagrant]# docker exec box2 ping 172.17.0.2 -c 4
PING 172.17.0.2 (172.17.0.2): 56 data bytes
64 bytes from 172.17.0.2: seq=0 ttl=64 time=0.081 ms
64 bytes from 172.17.0.2: seq=1 ttl=64 time=0.082 ms
64 bytes from 172.17.0.2: seq=2 ttl=64 time=0.091 ms
64 bytes from 172.17.0.2: seq=3 ttl=64 time=0.109 ms

--- 172.17.0.2 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.081/0.090/0.109 ms

3.1.3 连通测试——以容器名

box1 -> box2

[root@localhost vagrant]# docker exec box1 ping box2 -c 4
ping: bad address 'box2'

box2 -> box1

[root@localhost vagrant]# docker exec box2 ping box1 -c 4
PING box1 (172.17.0.2): 56 data bytes
64 bytes from 172.17.0.2: seq=0 ttl=64 time=0.073 ms
64 bytes from 172.17.0.2: seq=1 ttl=64 time=0.106 ms
64 bytes from 172.17.0.2: seq=2 ttl=64 time=0.173 ms
64 bytes from 172.17.0.2: seq=3 ttl=64 time=0.078 ms

--- box1 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.073/0.107/0.173 ms

3.2 自定义 bridge 类型网络

对 Docker 而言，我们可以新建一个 bridge 类型的网络，并将需要以彼此的容器名互联的容器添加到这一网络中，即可实现上述需求。注意，一定要使用新建的 bridge 网络，采用默认的那个是不行的。

为了进行试验，我们需要先将 3.1 中创建的容器删除，然后进行如下步骤：

3.2.1 新建 bridge 类型网络

执行如下指令，创建 bridge 类型网络：

docker network create my-bridge --driver bridge

3.2.2 创建容器

这里，我们创建三个容器：box1、box2、box3，并将 box1 和 box2 加入新创建的 my-bridge 网络中：

docker run -d --name box1 --network my-bridge busybox /bin/sh -c "while true; do sleep 3600; done;"

docker run -d --name box2 --network my-bridge busybox /bin/sh -c "while true; do sleep 3600; done;"

docker run -d --name box3 busybox /bin/sh -c "while true; do sleep 3600; done;"

然后，我们同一下指令，检测容器是否存在于网络中：

检查 my-bridge 网络中有哪些容器：

# 指令
docker network inspect my-bridge

# 结果
"Containers": {
    "70b929cee25b665ff0d55cd4e979fcf8dd21190c6200d49af0f2bef07efb723e": {
        "Name": "box2",
        "EndpointID": "6c19d556751f3e745f947cc0b0e2995312b6712055fac4d79a52114b6f21ddd2",
        "MacAddress": "02:42:ac:12:00:03",
        "IPv4Address": "172.18.0.3/16",
        "IPv6Address": ""
    },
    "92d63195660f1e666028294144ddd65be06e38827debaad1ebd90ce9c79dbaa7": {
        "Name": "box1",
        "EndpointID": "9b28b2e724ff19e1cbce1fb05afe4a439f51735c0a2a7671c8002fa58c087199",
        "MacAddress": "02:42:ac:12:00:02",
        "IPv4Address": "172.18.0.2/16",
        "IPv6Address": ""
    }
}

检查 bridge 网络中有哪些容器：

# 指令
docker network inspect bridge

# 结果
"Containers": {
    "5526023acd4197c9abf6f17c9a59585322cd2154b70238872083e48b7012ab4e": {
        "Name": "box3",
        "EndpointID": "6ceb455b487e533439c715a48849986a62ecda68d51d141f228ebdb7d06cf560",
        "MacAddress": "02:42:ac:11:00:02",
        "IPv4Address": "172.17.0.2/16",
        "IPv6Address": ""
    }
}

3.2.3 测试

首先，我们对处于 my-bridge 这一自定义网络中的容器 box1、box2 之间的连通性进行测试（ 通过容器名 ）：

[root@localhost vagrant]# docker exec box1 ping box2 -c 1
PING box2 (172.18.0.3): 56 data bytes
64 bytes from 172.18.0.3: seq=0 ttl=64 time=0.052 ms

--- box2 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.052/0.052/0.052 ms
[root@localhost vagrant]# docker exec box2 ping box1 -c 1
PING box1 (172.18.0.2): 56 data bytes
64 bytes from 172.18.0.2: seq=0 ttl=64 time=0.053 ms

--- box1 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.053/0.053/0.053 ms

然后我们测试 box3 与 box1、box2 之间的连通性（ 通过容器名 ）：

[root@localhost vagrant]# docker exec box1 ping box3 -c 1
ping: bad address 'box3'
[root@localhost vagrant]# docker exec box2 ping box3 -c 1
ping: bad address 'box3'
[root@localhost vagrant]# docker exec box3 ping box1 -c 1
ping: bad address 'box1'
[root@localhost vagrant]# docker exec box3 ping box2 -c 1
ping: bad address 'box2'

然后，我们测试一下这三个容器对公网的连通性：

[root@localhost vagrant]# docker exec box1 ping www.baidu.com -c 1
PING www.baidu.com (115.239.210.27): 56 data bytes
64 bytes from 115.239.210.27: seq=0 ttl=61 time=22.467 ms

--- www.baidu.com ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 22.467/22.467/22.467 ms
[root@localhost vagrant]# docker exec box2 ping www.baidu.com -c 1
PING www.baidu.com (115.239.210.27): 56 data bytes
64 bytes from 115.239.210.27: seq=0 ttl=61 time=19.068 ms

--- www.baidu.com ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 19.068/19.068/19.068 ms
[root@localhost vagrant]# docker exec box3 ping www.baidu.com -c 1
PING www.baidu.com (115.239.211.112): 56 data bytes
64 bytes from 115.239.211.112: seq=0 ttl=61 time=20.087 ms

--- www.baidu.com ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 20.087/20.087/20.087 ms

可以发现：

  1. box1 和 box2 之间是相互连通的（ 通过容器名 ）；
  2. box3 之于 box1、box2 都是不连通的（ 通过容器名 ）；
  3. 这三个容器对公网都是连通的。

3.3 Docker network connect

对于已经启动的容器，可以通过 docker network connect 将其加入某一网络中。

接着 3.2 中的试验，我们将 box3 容器加入到 my-bridge 网络中，然后重新检测其对 box1、box2 的连通性：

3.3.1 将 box3 加入 my-bridge 网络中

docker network connect my-bridge box3

3.3.2 检验 my-bridge 网络中现有容器情况

# 指令
docker network inspect my-bridge

# 结果
"Containers": {
    "5526023acd4197c9abf6f17c9a59585322cd2154b70238872083e48b7012ab4e": {
        "Name": "box3",
        "EndpointID": "b7fe8d2697ab20ec5a92886768e33345dd7d161488ac30488e8800e4b0fb0166",
        "MacAddress": "02:42:ac:12:00:04",
        "IPv4Address": "172.18.0.4/16",
        "IPv6Address": ""
    },
    "70b929cee25b665ff0d55cd4e979fcf8dd21190c6200d49af0f2bef07efb723e": {
        "Name": "box2",
        "EndpointID": "6c19d556751f3e745f947cc0b0e2995312b6712055fac4d79a52114b6f21ddd2",
        "MacAddress": "02:42:ac:12:00:03",
        "IPv4Address": "172.18.0.3/16",
        "IPv6Address": ""
    },
    "92d63195660f1e666028294144ddd65be06e38827debaad1ebd90ce9c79dbaa7": {
        "Name": "box1",
        "EndpointID": "9b28b2e724ff19e1cbce1fb05afe4a439f51735c0a2a7671c8002fa58c087199",
        "MacAddress": "02:42:ac:12:00:02",
        "IPv4Address": "172.18.0.2/16",
        "IPv6Address": ""
    }
}

可以发现，box3 已经加入到了 my-bridge 网络之中。

3.3.3 检验 box3 对 box1、box2 之间的连通性（ 通过容器名 ）

[root@localhost vagrant]# docker exec box3 ping box1
PING box1 (172.18.0.2): 56 data bytes
64 bytes from 172.18.0.2: seq=0 ttl=64 time=0.075 ms
^C
[root@localhost vagrant]# docker exec box3 ping box1 -c 1
PING box1 (172.18.0.2): 56 data bytes
64 bytes from 172.18.0.2: seq=0 ttl=64 time=0.066 ms

--- box1 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.066/0.066/0.066 ms
[root@localhost vagrant]# docker exec box3 ping box2 -c 1
PING box2 (172.18.0.3): 56 data bytes
64 bytes from 172.18.0.3: seq=0 ttl=64 time=0.069 ms

--- box2 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.069/0.069/0.069 ms
[root@localhost vagrant]# docker exec box1 ping box3 -c 1
PING box3 (172.18.0.4): 56 data bytes
64 bytes from 172.18.0.4: seq=0 ttl=64 time=0.050 ms

--- box3 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.050/0.050/0.050 ms
[root@localhost vagrant]# docker exec box2 ping box3 -c 1
PING box3 (172.18.0.4): 56 data bytes
64 bytes from 172.18.0.4: seq=0 ttl=64 time=0.052 ms

--- box3 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.052/0.052/0.052 ms

可以发现，现在 box1、box2、box3 之间可以互相通过容器名连通了。

4. Overlay 网络实现多 Docker 节点中容器间通信

4.1 多 Docker 节点中容器间通信问题

在实际生产中，往往存在不同主机间 Docker 容器的互访问题，如下图所示：

谈谈 Docker 网络_第4张图片

由于 box_o_1 和 box_o_2 处于各自机器的 Docker 中，若想互相访问，可以通过层层路由配置，使数据包可以在二者之间传递。

这一过程在管理和扩展上都比较麻烦。针对这一问题，Docker 采用 Overlay 网络来解决。

谈谈 Docker 网络_第5张图片

4.2 Overlay 网络与 VXLAN

简而言之，Overlay 可以使得我们将报文在 IP 报文之上再次封装。以 4.1 中的图举例，Overlay 使得数据可以先通过传统网络由左侧节点到达右侧节点，数据包在右侧节点拆包后，其内容又是一个标准的网络数据包，进而能够传递到 box_o_2 容器中。

在 Overlay 网络中，VXLAN 技术为其核心，以下内容摘自：Overlay之VXLAN架构：

VXLAN： VXLAN是将以太网报文封装成UDP报文进行隧道传输，UDP目的端口为已知端口，源端口可按流分配，标准5元组方式有利于在IP网络转发过程中进行负载分担；隔离标识采用24比特来表示；未知目的、广播、组播等网络流量均被封装为组播转发。

VXLAN 报文结构如下，下图取自：QinQ vs VLAN vs VXLAN：

谈谈 Docker 网络_第6张图片

4.3 在 Docker 中使用 Overlay

4.3.1 实验目的及前置准备

在这一实验中，我们需要准备：

  1. 两台已安装 Docker 的机器。这里的机器系统为：Centos7.4，机器 IP 分别为：192.168.33.10 及 192.168.33.11；
  2. 两台 Docker 机器之间彼此互通。

实验的目的是实现位于两台机器上两个容器彼此互通。

4.3.2 etcd

当我们在其中一台机器上创建一个 overlay 类型的网络时，会报错如下：

[vagrant@192-168-33-10 ~]$ docker network create -d overlay my-overlay
Error response from daemon: This node is not a swarm manager. Use "docker swarm init" or "docker swarm join" to connect this node to swarm and try again.

这里是提示我们，单机模式时，是无法创建 overlay 类型网络的。要想实现，这一需求，可以使用 Docker 编排工具，如 swarm。

但这篇博客的重点不在 swarm，我们可以在 docker 启动时，为其指定一个分布式存储，从而使得我们能够实验 overlay 网络。

etcd 是一个分布式键值存储系统，其 Github 地址为：GitHub - coreos/etcd: Distributed reliable key-value store for the most critical data of a distributed system。

关于 etcd 的安装细节可以参考另一篇博文：分布式 key-value 存储系统 etcd 的安装备忘。这里直接贴出安装指令：

# 在两台机器上下载、解压 etcd，并进入 etcd 目录

wget https://github.com/coreos/etcd/releases/download/v3.3.8/etcd-v3.3.8-linux-amd64.tar.gz
tar -zvxf etcd-v3.3.8-linux-amd64.tar.gz
cd etcd-v3.3.8-linux-amd64

# 在 192.168.33.10 中执行

nohup ./etcd --name my-etcd-1 \
--listen-client-urls http://192.168.33.10:2379 \
--advertise-client-urls http://192.168.33.10:2379 \
--listen-peer-urls http://192.168.33.10:2380 \
--initial-advertise-peer-urls http://192.168.33.10:2380 \
--initial-cluster my-etcd-1=http://192.168.33.10:2380,my-etcd-2=http://192.168.33.11:2380 \
--initial-cluster-token my-etcd-token \
--initial-cluster-state new \
>/dev/null 2>&1 &

# 在 192.168.33.11 中执行

nohup ./etcd --name my-etcd-2 \
--listen-client-urls http://192.168.33.11:2379 \
--advertise-client-urls http://192.168.33.11:2379 \
--listen-peer-urls http://192.168.33.11:2380 \
--initial-advertise-peer-urls http://192.168.33.11:2380 \
--initial-cluster my-etcd-1=http://192.168.33.10:2380,my-etcd-2=http://192.168.33.11:2380 \
--initial-cluster-token my-etcd-token \
--initial-cluster-state new \
>/dev/null 2>&1 &

最终可以通过以下方式检测集群的启动情况：

[vagrant@192-168-33-10 etcd-v3.3.8-linux-amd64]$ ./etcdctl --endpoints http://192.168.33.10:2379 cluster-health
member 42ab269b4f75b118 is healthy: got healthy result from http://192.168.33.11:2379
member 7118e8ab00eced36 is healthy: got healthy result from http://192.168.33.10:2379
cluster is healthy

注：建议 etcd 启动后，重新 ssh 一次，以免出现 etcd 的一些莫名其妙的报错信息。

4.3.3 借助 etcd 重启 docker

接下来我们要借助 etcd，重启 docker，并为其指定分布式存储：

首先，在两台机器上停止 docker:

systemctl stop docker

然后，重启 docker。注意，这一步需要在 etcd 启动后进行：

# 在 192.168.33.10 中执行：
sudo /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store=etcd://192.168.33.10:2379 --cluster-advertise=192.168.33.10:2375 &

# 在 192.168.33.11 中执行：
sudo /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-store=etcd://192.168.33.11:2379 --cluster-advertise=192.168.33.11:2375 &

4.3.4 创建 overlay 网络

接下来，我们再次创建 overlay 网络

在 192.168.33.10 中执行：

[vagrant@192-168-33-10 etcd-v3.3.8-linux-amd64]$ docker network create -d overlay my-overlay
989fbe070eed940a0c3ec4182e7d04413a16eb9e33547b0d88002a7ec5138a07

由于在 docker 启动时指定了分布式存储，因而我们无需再在 192.168.33.11 中创建这一 overlay 网络，创建过程已经在节点之间同步了：

# 192.168.33.10 中的网络创建行为已经在 192.168.33.11 中同步了

[vagrant@192-168-33-11 etcd-v3.3.8-linux-amd64]$ docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
16498c285808        bridge              bridge              local
b5cb83566f18        host                host                local
989fbe070eed        my-overlay          overlay             global
80fe629bd0c3        none                null                local

为了证明这一点，我们可以在 etcd 中看到这一存储：

[vagrant@192-168-33-11 etcd-v3.3.8-linux-amd64]$ ./etcdctl --endpoints http://192.168.33.11:2379 ls /docker/network/v1.0/network
/docker/network/v1.0/network/989fbe070eed940a0c3ec4182e7d04413a16eb9e33547b0d88002a7ec5138a07

可以看到，这一网络的 Hash 名正是我们在先前创建时所生成的名字。

注：不同的 docker 版本可能使得这一路径不同。

4.3.5 创建容器，并使其加入 my-overlay 网络

# 在 192.168.33.10 上启动 box1
[vagrant@192-168-33-10 ~]$ docker run -d --name box1 --network my-overlay busybox /bin/sh -c "while true; do sleep 3600; done"

# 在 192.168.33.11 上启动 box2
[vagrant@192-168-33-11 ~]$ docker run -d --name box2 --network my-overlay busybox /bin/sh -c "while true; do sleep 3600; done"

接着，我们使用以下指令，查看该网络中的容器情况：

docker network inspect my-overlay

"Containers": {
    "46397d0f23812e4252858b8e28c76f6fe5ecc34a95389af0abb22473058cd930": {
        "Name": "box1",
        "EndpointID": "b9826147f5b9bdd9e504ecd5860caf85d52151da1c03d47a9627403c55099b2e",
        "MacAddress": "",
        "IPv4Address": "10.0.0.2/24",
        "IPv6Address": ""
    },
    "ep-740ffaf6b455a7f3214ac83d9452d2229f1b19b847c4fba478a1b3650af97927": {
        "Name": "box2",
        "EndpointID": "740ffaf6b455a7f3214ac83d9452d2229f1b19b847c4fba478a1b3650af97927",
        "MacAddress": "",
        "IPv4Address": "10.0.0.3/24",
        "IPv6Address": ""
    }
}

可以发现，及时处于不同的主机上，我们也在打印的信息中看到这两个容器。此外，这两个容器的 IP 并没有重复，这也是借助分布式存储系统起到的效果。

4.3.6 连接测试

192.168.33.10 - box1(10.0.0.2) -> 192.168.33.11 - box2(10.0.0.3)

[vagrant@192-168-33-10 ~]$ docker exec box1 ping box2 -c 4
PING box2 (10.0.0.3): 56 data bytes
64 bytes from 10.0.0.3: seq=0 ttl=64 time=0.785 ms
64 bytes from 10.0.0.3: seq=1 ttl=64 time=0.643 ms
64 bytes from 10.0.0.3: seq=2 ttl=64 time=0.601 ms
64 bytes from 10.0.0.3: seq=3 ttl=64 time=0.638 ms

--- box2 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.601/0.666/0.785 ms
[vagrant@192-168-33-10 ~]$ docker exec box1 ping 10.0.0.3 -c 4
PING 10.0.0.3 (10.0.0.3): 56 data bytes
64 bytes from 10.0.0.3: seq=0 ttl=64 time=1.020 ms
64 bytes from 10.0.0.3: seq=1 ttl=64 time=0.690 ms
64 bytes from 10.0.0.3: seq=2 ttl=64 time=1.003 ms
64 bytes from 10.0.0.3: seq=3 ttl=64 time=0.918 ms

--- 10.0.0.3 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.690/0.907/1.020 ms

192.168.33.11 - box2(10.0.0.3) -> 192.168.33.10 - box1(10.0.0.2)

[vagrant@192-168-33-11 ~]$ docker exec box2 ping box1 -c 4
PING box1 (10.0.0.2): 56 data bytes
64 bytes from 10.0.0.2: seq=0 ttl=64 time=0.593 ms
64 bytes from 10.0.0.2: seq=1 ttl=64 time=0.691 ms
64 bytes from 10.0.0.2: seq=2 ttl=64 time=0.690 ms
64 bytes from 10.0.0.2: seq=3 ttl=64 time=0.671 ms

--- box1 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.593/0.661/0.691 ms
[vagrant@192-168-33-11 ~]$ docker exec box2 ping 10.0.0.2 -c 4
PING 10.0.0.2 (10.0.0.2): 56 data bytes
64 bytes from 10.0.0.2: seq=0 ttl=64 time=0.987 ms
64 bytes from 10.0.0.2: seq=1 ttl=64 time=0.699 ms
64 bytes from 10.0.0.2: seq=2 ttl=64 time=0.769 ms
64 bytes from 10.0.0.2: seq=3 ttl=64 time=1.054 ms

--- 10.0.0.2 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.699/0.877/1.054 ms

可见，采用 overlay 网络，可以实现不同机器上，docker 容器间的互通。

下面，我们补充之前的图，用于展示这一实验中的网络拓扑情况：

谈谈 Docker 网络_第7张图片

参考链接

  1. linux 网络命名空间 Network namespaces - CSDN博客
  2. Linux虚拟网络设备之veth - Linux程序员 - SegmentFault 思否
  3. Overlay之VXLAN架构 - CSDN博客
  4. QinQ vs VLAN vs VXLAN
  5. 分布式 key-value 存储系统 etcd 的安装备忘 - DB.Reid - SegmentFault 思否

你可能感兴趣的:(docker,etcd)

  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • docker igotyback eureka云原生
    Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
  • 06选课支付模块之基于消息队列发送支付通知消息 echo 云清 学成在线javarabbitmq消息队列支付通知学成在线
    消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
  • Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
    1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
  • docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
    小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
  • Dockerfile FROM 两个 redDelta
    Docker相关视频讲解：什么是容器Docker介绍实现"DockerfileFROM两个"的步骤步骤表格步骤操作1创建一个Dockerfile文件2写入FROM指令3构建第一个镜像4创建第二个Dockerfile文件5写入FROM指令6构建第二个镜像7合并两个镜像操作步骤说明步骤1：创建一个Dockerfile文件使用任意文本编辑器创建一个名为Dockerfile的文件。登录后复制#Docker
  • Dockerfile命令详解之 FROM 清风怎不知意 容器化java前端javascript
    许多同学不知道Dockerfile应该如何写，不清楚Dockerfile中的指令分别有什么意义，能达到什么样的目的，接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是，按照惯例，它们应该是大写的，以便更容易地将它们与参数区分开来。(引用
  • Dockerfile（1） - FROM 指令详解 小菠萝测试笔记 dockerpythonjavacmd大数据
    FROM指明当前的镜像基于哪个镜像构建dockerfile必须以FROM开头，除了ARG命令可以在FROM前面FROM[--platform=][AS]FROM[--platform=][:][AS]FROM[--platform=][@][AS]小栗子FROMalpine:latest一个dockerfile可以有多个FROM可以有多个FROM来创建多个镜像，或区分构建阶段，将一个构建阶段作为另
  • 【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八） 向往风的男子 k8s学习kubernetes容器
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
  • 【K8s】专题十一：Kubernetes 集群证书过期处理方法 行者Sun1989 Kuberneteskubernetes云原生容器
    本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
  • Docker学习十一：Kubernetes概述 爱打羽球的程序猿 Docker学习系列dockerkubernetes学习
    一、Kubernetes简介2006年，Google提出了云计算的概念，当时的云计算领域还是以虚拟机为代表的云平台。2013年，Docker横空出世，Docker提出了镜像、仓库等核心概念，规范了服务的交付标准，使得复杂服务的落地变得更加简单，之后Docker又定义了OCI标准，Docker在容器领域称为事实的标准。但是，Docker诞生只是帮助定义了开发和交付标准，如果想要在生产环境中大批量的使
  • 安装 `privoxy` 将 Socks5 转换为 HTTP 代理 MonkeyKing.sun 网络
    (base)shgbitai@shgbitai-C9X299-PGF:~/tools$curl-xhttp://127.0.0.1:1080https://registry-1.docker.io/v2/curl:(56)ProxyCONNECTaborted(base)shgbitai@shgbitai-C9X299-PGF:~/tools$curl-xhttps://127.0.0.1:108
  • Halo 开发者指南——容器私有化部署 SHENHUANJIE DockerHalo华为云SWRRegistry
    华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
  • SpringBoot整合ES搜索引擎 实现网站热搜词及热度计算 码踏云端 springbootElasticsearchspringbootelasticsearch后端热搜词热度计算java
    博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于
  • 小白 | 华为云docker设置镜像加速器 伏一 工具安装华为云docker容器
    一、操作场景通过dockerpull命令下载镜像中心的公有镜像时，往往会因为网络原因而需要很长时间，甚至可能因超时而下载失败。为此，容器镜像服务提供了镜像下载加速功能，帮助您获得更快的下载体验。二、约束与限制构建镜像的客户端所安装的容器引擎（Docker）版本必须为1.11.2及以上。“华北-乌兰察布一”、“亚太-雅加达”、“拉美-墨西哥城一”、“拉美-墨西哥城二”和“拉美-圣保罗一”区域不支持该
  • docker改容器IP的两种方法 redmond88 linuxdockertcp/ip容器
    最简单实用的方法：docker默认的内网网段为172.17.0.0/16，如果公司内网网段也是172.17.x.x的话，就会发生路由冲突。解决办法改路由比较办法，可以一开始就将docker配置的bip改成169.254.0.1/24，可以避免冲突。在daemon配置文件里加个"bip":“169.254.0.1/24”，重启docker就可以了1234[root@st-dev6~]#vim/etc
  • docker 安装、运行nginx shell脚本 三希 dockernginx容器
    以下是一个简单的用于安装和运行DockerNginx的shell脚本：bash#!/bin/bash#安装Docker（如果还未安装）#请根据实际情况调整安装命令#拉取Nginx镜像dockerpullnginx#运行Nginx容器dockerrun-d--namemynginx-p80:80nginx
  • docker项目切换（nginx）、重启shell 脚本 懒惰的小蜗牛 dockerdockernginx容器
    docker项目切换、重启脚本背景具体操作nginx配置配置文件1配置文件2编写nginx替换脚本(用来执行端口替换)编写启动脚本dockerfile文件正常编写给脚本授权执行./start脚本背景项目部署docker中，更新项目时，需要将原原来的容器停止，再启动新的容器，这样会有一个空窗期，导致不可用解决方案：映射不同的端口并启动新的容器，将nginx转发到新容器，停止旧容器具体操作说明ngin
  • FastCGI结合docker下的Nginx执行shell脚本 南波波 nginxdocker
    1使用docker下载Nginx下面展示一些内联代码片。a.#dockerpullnginx#dockerrun--namerunoob-php-nginx-p8088:80-d\-v~/nginx/www:/usr/share/nginx/html:ro\-v~/nginx/conf/conf.d:/etc/nginx/conf.d:ro\nginxb.在~/nginx/conf/conf.d创
  • 【docker npm】npm 私库 琴 韵 dockernpm容器
    1.部署环境window11x64DockerDesktop4.34.1(166053)DockerEnginev27.2.01.1.Docker镜像源1.1.1.DockerEngine配置{"builder":{"features":{"buildkit":true},"gc":{"defaultKeepStorage":"32GB","enabled":true}},"experimenta
  • ETCD 六 etcd总体架构 wanghaichao1234 etcdetcd架构数据库
    etcd源码结构etcd项目代码的目录结构：包名用途apiprotobuf定义client/v3客户端sdkcontribraftexample实现etcdctl命令行客户端实现，用于网路的操作etcdutl命令行管理工具，直接操作etcd数据文件。hack基准测试、测试集群、k8s部署、分支管理、证书等pkg实用程序包的集合raftraft实现server.auth角色身份验证server.em
  • Docker安装Kafka和Kafka-Manager 阿靖哦
    本文介绍如何通过Docker安装kafka与kafka界面管理界面一、拉取zookeeper由于kafka需要依赖于zookeeper，因此这里先运行zookeeper1、拉取镜像dockerpullwurstmeister/zookeeper2、启动dockerrun-d--namezookeeper-p2181:2181-eTZ="Asia/Shanghai"--restartalwayswu
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • 单节点canal的介绍和搭建（对接mysql和rocketMQ） 汀风 中间件阿里云mysqljava
    单节点canal-server+canal-admin的介绍和搭建（对接mysql和rocketMQ）一、简介1、Canal1、工作原理2、MySQL主从复制实现3、canal架构4、binarylog1、新增binlog2、更新binglog3、增加字段bin-log4、删除字段bin-log5、修改字段bin-log二、使用2.1安装1、本地安装2、docker安装canal-admincan
  • 【大模型】triton inference server idiotyi 大模型自然语言处理语言模型人工智能
    前言：tritoninferenceserver常用于大模型部署，可以采用http或GRPC调用，支持大部分的backend，单GPU、多GPU都可以支持，CPU也支持。本文主要是使用tritoninferenceserver部署大模型的简单流程示例。目录1.整体流程2.搭建本地仓库3.服务端代码4.启动服务5.客户端调用1.整体流程搭建模型仓库模型配置服务端调用代码docker启动服务客户端调用
  • K8S学习笔记02——K8S组件 沉淅尘 #Docker#K8Skubernetes
    Kubernetes组件一、控制平面组件（ControlPlaneComponents）(1)kube-apiserver(2)etcd(3)kube-scheduler(4)kube-controller-manager(5)cloud-controller-manager二、Node组件1.kubelet2.kube-proxy3.容器运行时（ContainerRuntime）三、插件（Add
  • 基于Prometheus和Grafana的现代服务器监控体系构建 golove666 运维prometheusgrafana服务器
    构建一个基于Prometheus和Grafana的现代服务器监控体系涉及多个步骤。以下是大体的流程和步骤说明：1.Prometheus监控系统Prometheus是一个开源的系统监控和报警工具，专门设计用于抓取时间序列数据。1.1Prometheus的安装Docker安装Prometheusdockerrun-d--name=prometheus-p9090:9090prom/prometheus
  • Kubernetes组件 汉只只 网络docker大数据分布式hadoop
    Kubernetes核心组件Kubernetes定义了一组构建块，它们可以共同提供部署、维护和扩展应用程序的机制。组成Kubernetes的组件设计为松耦合和可扩展的，这样可以满足多种不同的工作负载。可扩展性在很大程度上由KubernetesAPI提供——它被作为扩展的内部组件以及Kubernetes上运行的容器等使用。Kubernetes主要由以下几个核心组件组成：etcd保存了整个集群的状态；
  • 手把手教你企业微信SCRM源码下载和私有化部署教程 MoChat-1号 php微信微信公众平台微信开放平台
    服务器要求MoChat对系统环境有一些要求，仅可运行于Linux和Mac环境下，但由于Docker虚拟化技术的发展，在Windows下也可以通过DockerforWindows来作为运行环境，通常来说Mac环境下，我们更推荐本地环境部署，以避免Docker共享磁盘缓慢导致MoChat启动速度慢的问题。提示MoChat基于Docker-compose方式的安装视频https://www.bilibi
  • Docker 常用命令 C语言扫地僧 Linux专栏docker容器
    1Docker镜像命令1.1dockerimages#语法dockerimages[OPTIONS][REPOSITORY[:TAG]]#别名dockerimagels,dockerimagelist功能列出本地镜像。关键参数-a:列出本地所有的镜像（含中间映像层，默认情况下，过滤掉中间映像层）；--digests:显示镜像的摘要信息；-f:显示满足条件的镜像；--format:指定返回值的模板文
  • 关于旗正规则引擎规则中的上传和下载问题 何必如此 文件下载压缩jsp文件上传
    文件的上传下载都是数据流的输入输出，大致流程都是一样的。 一、文件打包下载 1.文件写入压缩包 string mainPath="D:\upload\";     下载路径 string tmpfileName=jar.zip;        &n
  • 【Spark九十九】Spark Streaming的batch interval时间内的数据流转源码分析 bit1129 Stream
      以如下代码为例（SocketInputDStream）： Spark Streaming从Socket读取数据的代码是在SocketReceiver的receive方法中，撇开异常情况不谈(Receiver有重连机制，restart方法，默认情况下在Receiver挂了之后，间隔两秒钟重新建立Socket连接)，读取到的数据通过调用store(textRead)方法进行存储。数据
  • spark master web ui 端口8080被占用解决方法 daizj 8080端口占用sparkmaster web ui
    spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：   1、cd SPARK_HOME/sbin   2、vi start-master.sh     3、定位到下面部分
  • oracle_执行计划_谓词信息和数据获取 周凡杨 oracle执行计划
      oracle_执行计划_谓词信息和数据获取(上) 一：简要说明 在查看执行计划的信息中，经常会看到两个谓词filter和access，它们的区别是什么，理解了这两个词对我们解读Oracle的执行计划信息会有所帮助。 简单说，执行计划如果显示是access，就表示这个谓词条件的值将会影响数据的访问路径（表还是索引），而filter表示谓词条件的值并不会影响数据访问路径，只起到
  • spring中datasource配置 g21121 dataSource
    datasource配置有很多种，我介绍的一种是采用c3p0的，它的百科地址是： http://baike.baidu.com/view/920062.htm   <!-- spring加载资源文件 --> <bean name="propertiesConfig" class="org.springframework.b
  • web报表工具FineReport使用中遇到的常见报错及解决办法（三） 老A不折腾 finereportFAQ报表软件
    这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。 1、repeated column width is largerthan paper width： 这个看这段话应该是很好理解的。比如做的模板页面宽度只能放
  • mysql 用户管理 墙头上一根草 linuxmysqluser
    1.新建用户 //登录MYSQL@>mysql -u root -p@>密码//创建用户mysql> insert into mysql.user(Host,User,Password) values(‘localhost’,'jeecn’,password(‘jeecn’));//刷新系统权限表mysql>flush privileges;这样就创建了一个名为：
  • 关于使用Spring导致c3p0数据库死锁问题 aijuans springSpring 入门Spring 实例Spring3Spring 教程
    这个问题我实在是为整个 springsource 的员工蒙羞 如果大家使用 spring 控制事务，使用 Open Session In View 模式， com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.
  • 百度词库联想 annan211 百度
    <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>RunJS</title&g
  • int数据与byte之间的相互转换实现代码 百合不是茶 位移int转bytebyte转int基本数据类型的实现
    在BMP文件和文件压缩时需要用到的int与byte转换,现将理解的贴出来;   主要是要理解;位移等概念 http://baihe747.iteye.com/blog/2078029   int转byte;   byte转int;   /** * 字节转成int,int转成字节 * @author Administrator *
  • 简单模拟实现数据库连接池 bijian1013 javathreadjava多线程简单模拟实现数据库连接池
    简单模拟实现数据库连接池 实例1： package com.bijian.thread; public class DB { //private static final int MAX_COUNT = 10; private static final DB instance = new DB(); private int count = 0; private i
  • 一种基于Weblogic容器的鉴权设计 bijian1013 javaweblogic
            服务器对请求的鉴权可以在请求头中加Authorization之类的key，将用户名、密码保存到此key对应的value中，当然对于用户名、密码这种高机密的信息，应该对其进行加砂加密等，最简单的方法如下： String vuser_id = "weblogic"; String vuse
  • 【RPC框架Hessian二】Hessian 对象序列化和反序列化 bit1129 hessian
     任何一个对象从一个JVM传输到另一个JVM，都要经过序列化为二进制数据(或者字符串等其他格式，比如JSON)，然后在反序列化为Java对象，这最后都是通过二进制的数据在不同的JVM之间传输(一般是通过Socket和二进制的数据传输)，本文定义一个比较符合工作中。   1. 定义三个POJO    Person类 package com.tom.hes
  • 【Hadoop十四】Hadoop提供的脚本的功能 bit1129 hadoop
    1. hadoop-daemon.sh 1.1 启动HDFS ./hadoop-daemon.sh start namenode ./hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0中，SecondaryNa
  • 中国互联网走在“灰度”上 ronin47 管理 灰度
    中国互联网走在“灰度”上（转） 文/孕峰   第一次听说灰度这个词，是任正非说新型管理者所需要的素质。第二次听说是来自马化腾。似乎其他人包括马云也用不同的语言说过类似的意思。   灰度这个词所包含的意义和视野是广远的。要理解这个词，可能同样要用“灰度”的心态。灰度的反面，是规规矩矩，清清楚楚，泾渭分明，严谨条理，是决不妥协，不转弯，认死理。黑白分明不是灰度，像彩虹那样
  • java-51-输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 bylijinnan java
    public class PrintMatrixClockwisely { /** * Q51.输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 例如：如果输入如下矩阵： 1 2 3 4 5 6 7 8 9
  • mongoDB 用户管理 开窍的石头 mongoDB用户管理
      1:添加用户    第一次设置用户需要进入admin数据库下设置超级用户（use admin）      db.addUsr({user:'useName',pwd:'111111',roles:[readWrite,dbAdmin]});    第一个参数用户的名字    第二个参数
  • [游戏与生活]玩暗黑破坏神3的一些问题 comsci 生活
        暗黑破坏神3是有史以来最让人激动的游戏。。。。但是有几个问题需要我们注意      玩这个游戏的时间，每天不要超过一个小时，且每次玩游戏最好在白天      结束游戏之后，最好在太阳下面来晒一下身上的暗黑气息，让自己恢复人的生气   &nb
  • java 二维数组如何存入数据库 cuiyadll java
    using System; using System.Linq; using System.Text; using System.Windows.Forms; using System.Xml; using System.Xml.Serialization; using System.IO; namespace WindowsFormsApplication1 {
  • 本地事务和全局事务Local Transaction and Global Transaction(JTA) darrenzhu javaspringlocalglobaltransaction
    Configuring Spring and JTA without full Java EE http://spring.io/blog/2011/08/15/configuring-spring-and-jta-without-full-java-ee/ Spring doc -Transaction Management http://docs.spring.io/spri
  • Linux命令之alias - 设置命令的别名，让 Linux 命令更简练 dcj3sjt126com linuxalias
    用途说明 设置命令的别名。在linux系统中如果命令太长又不符合用户的习惯，那么我们可以为它指定一个别名。虽然可以为命令建立“链接”解决长文件名的问 题，但对于带命令行参数的命令，链接就无能为力了。而指定别名则可以解决此类所有问题【1】。常用别名来简化ssh登录【见示例三】，使长命令变短，使常 用的长命令行变短，强制执行命令时询问等。   常用参数 格式：alias 格式：ali
  • yii2 restful web服务[格式响应] dcj3sjt126com PHPyii2
    响应格式 当处理一个 RESTful API 请求时， 一个应用程序通常需要如下步骤 来处理响应格式： 确定可能影响响应格式的各种因素， 例如媒介类型， 语言， 版本， 等等。 这个过程也被称为 content negotiation。 资源对象转换为数组， 如在 Resources 部分中所描述的。 通过 [[yii\rest\Serializer]]
  • MongoDB索引调优（2）——[十] eksliang mongodbMongoDB索引优化
    转载请出自出处：http://eksliang.iteye.com/blog/2178555 一、概述       上一篇文档中也说明了，MongoDB的索引几乎与关系型数据库的索引一模一样，优化关系型数据库的技巧通用适合MongoDB，所有这里只讲MongoDB需要注意的地方 二、索引内嵌文档     可以在嵌套文档的键上建立索引，方式与正常
  • 当滑动到顶部和底部时，实现Item的分离效果的ListView gundumw100 android
    拉动ListView，Item之间的间距会变大，释放后恢复原样； package cn.tangdada.tangbang.widget; import android.annotation.TargetApi; import android.content.Context; import android.content.res.TypedArray; import andr
  • 程序员用HTML5制作的爱心树表白动画 ini JavaScriptjqueryWebhtml5css
    体验效果：http://keleyi.com/keleyi/phtml/html5/31.htmHTML代码如下： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"><head><meta charset="UTF-8" > <ti
  • 预装windows 8 系统GPT模式的ThinkPad T440改装64位 windows 7旗舰版 kakajw ThinkPad预装改装windows 7windows 8
      该教程具有普遍参考性，特别适用于联想的机器，其他品牌机器的处理过程也大同小异。 该教程是个人多次尝试和总结的结果，实用性强，推荐给需要的人！   缘由 小弟最近入手笔记本ThinkPad T440，但是特别不能习惯笔记本出厂预装的Windows 8系统，而且厂商自作聪明地预装了一堆没用的应用软件，消耗不少的系统资源（本本的内存为4G，系统启动完成时，物理内存占用比
  • Nginx学习笔记 mcj8089 nginx
    一、安装nginx             1、在nginx官方网站下载一个包，下载地址是：  http://nginx.org/download/nginx-1.4.2.tar.gz      2、WinSCP(ftp上传工
  • mongodb 聚合查询每天论坛链接点击次数 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 18 */ { "_id" : ObjectId("5596414cbe4d73a327e50274"), "msgType" : "text", "sendTime" : ISODate("2015-07-03T08:01:16.000Z"
  • java术语（PO/POJO/VO/BO/DAO/DTO） Luob. DAOPOJODTOpoVO BO
    PO(persistant object) 持久对象 在o/r 映射的时候出现的概念,如果没有o/r映射,就没有这个概念存在了.通常对应数据模型(数据库),本身还有部分业务逻辑的处理.可以看成是与数据库中的表相映射的java对象.最简单的PO就是对应数据库中某个表中的一条记录,多个记录可以用PO的集合.PO中应该不包含任何对数据库的操作. VO(value object) 值对象 通
  • 算法复杂度 Wuaner Algorithm
    Time Complexity & Big-O： http://stackoverflow.com/questions/487258/plain-english-explanation-of-big-o http://bigocheatsheet.com/ http://www.sitepoint.com/time-complexity-algorithms/
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他