Docker Swarm 使用NFS数据共享

主要解决在集群中不同主机之间的容器数据共享,当前以单主机的nfs为例,你也可以搭建分布式文件系统
docker swarm 集群的搭建请看前面的文章Docker Swarm集成搭建

1. 搭建nfs

  • centos 7 系统

1.1. 安装

yum -y install nfs-utils rpcbind

1.2. 配置文件

nfs 的配置文件 /etc/expots
共享目录赋予权限:chmod 755 /home/data

vim /etc/exports
/root/share 172.16.10.0/24(rw,async,insecure,anonuid=1000,anongid=1000,no_root_squash)

配置生效

exportfs -rv

配置文件说明:

/root/share 为共享目录

* 192.168.1.0/24 可以为一个网段,一个IP,也可以是域名,域名支持通配符 如: *.com
* rw:read-write,可读写;
* ro:read-only,只读;
* sync:文件同时写入硬盘和内存;
* async:文件暂存于内存,而不是直接写入内存;
* no_root_squash:NFS客户端连接服务端时如果使用的是root的话,那么对服务端分享的目录来说,也拥有root权限。显然开启这项是不安全的。
* root_squash:NFS客户端连接服务端时如果使用的是root的话,那么对服务端分享的目录来说,拥有匿名用户权限,通常他将使用nobody或nfsnobody身份;
* all_squash:不论NFS客户端连接服务端时使用什么用户,对服务端分享的目录来说都是拥有匿名用户权限;
* anonuid:匿名用户的UID值
* anongid:匿名用户的GID值。备注:其中anonuid=1000,anongid=1000,为此目录用户web的ID号,达到连接NFS用户权限一致。
* defaults 使用默认的选项。默认选项为rw、suid、dev、exec、auto nouser与async。
* atime 每次存取都更新inode的存取时间,默认设置,取消选项为noatime。
* noatime 每次存取时不更新inode的存取时间。
* dev 可读文件系统上的字符或块设备,取消选项为nodev。
* nodev 不读文件系统上的字符或块设备。
* exec 可执行二进制文件,取消选项为noexec。
* noexec 无法执行二进制文件。
* auto 必须在/etc/fstab文件中指定此选项。执行-a参数时,会加载设置为auto的设备,取消选取为noauto。
* noauto 无法使用auto加载。
* suid 启动set-user-identifier设置用户ID与set-group-identifer设置组ID设置位,取消选项为nosuid。
* nosuid 关闭set-user-identifier设置用户ID与set-group-identifer设置组ID设置位。
* user 普通用户可以执行加载操作。
* nouser 普通用户无法执行加载操作,默认设置。
* remount 重新加载设备。通常用于改变设备的设置状态。
* rsize 读取数据缓冲大小,默认设置1024。–影响性能
* wsize 写入数据缓冲大小,默认设置1024。
* fg 以前台形式执行挂载操作,默认设置。在挂载失败时会影响正常操作响应。
* bg 以后台形式执行挂载操作。
* hard 硬式挂载,默认设置。如果与服务器通讯失败,让试图访问它的操作被阻塞,直到服务器恢复为止。
* soft 软式挂载。服务器通讯失败,让试图访问它的操作失败,返回一条出错消息。这项功能对于避免进程挂在无关紧要的安装操作上来说非常有用。
* retrans=n 指定在以软方式安装的文件系统上,在返回一条出错消息之前重复发出请求的次数。
* nointr 不允许用户中断,默认设置。
* intr 允许用户中断被阻塞的操作并且让它们返回一条出错消息。
* timeo=n 设置请求的超时时间以十分之一秒为单位。
* tcp 传输默认使用udp,可能出现不稳定,使用proto=tcp更改传输协议。客户端参考mountproto=netid

1.3. 启动nfs服务

systemctl enable rpcbind
systemctl start rpcbind
systemctl enable nfs-server
systemctl start nfs-server

确认NFS服务器启动成功

[root@master opt]# rpcinfo -p
   program vers proto   port  service
    100024    1   udp  50813  status
    100024    1   tcp   6021  status
    100005    1   udp  20048  mountd
    100005    1   tcp  20048  mountd
    100005    2   udp  20048  mountd
    100005    2   tcp  20048  mountd
    100005    3   udp  20048  mountd
    100005    3   tcp  20048  mountd
    100003    3   tcp   2049  nfs
    100003    4   tcp   2049  nfs
    100227    3   tcp   2049  nfs_acl
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    100227    3   udp   2049  nfs_acl
    100021    1   udp  35715  nlockmgr
    100021    3   udp  35715  nlockmgr
    100021    4   udp  35715  nlockmgr
    100021    1   tcp   5350  nlockmgr
    100021    3   tcp   5350  nlockmgr
    100021    4   tcp   5350  nlockmgr
[root@master opt]# cat /var/lib/nfs/etab
/root/share 172.16.10.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=1000,anongid=1000,sec=sys,rw,secure,root_squash,all_squash)

2. 将nfs应用到docker swarm中

在现有的集群中

IP 角色
172.16.10.172 master
172.16.10.173 node1
172.16.10.174 node2

2.1. 以手动创建docker service的方式

先手动创建docker volume volume_create/#examples

docker volume create --driver local \
    --opt type=nfs \
    --opt o=addr=172.16.10.172,rw \
    --opt device=:/root/share \
    foo33

--opt device=:/root/share 指向共享目录,也可以是共享目录下的子目录

查看一下volume

[root@master share]# docker volume ls
DRIVER              VOLUME NAME
local               4c1cbdd6e3d41d1a1d51947b2790d85ed43633de5f1b67d49c178277fa7eff08
local               681da6e4b4207705fd8a3b8da280cbec12d284e626b548bea8af0db5522b72db
local               682ad60281ad3e68321f3a7828c7ad2df8873a68d2f94ee602700498392fb252
local               efb6b51422ec168075cc207e7d7e01a7cec65cda6736b4ba8d2617213a258eff
local               elk_esdata
local               f5ce2d5d45b11d745e85633e87a7ba38fab09afcde5cda0291bb6cfa84da010c
local               f7c089ebff176bb98b5055d5762bc07c110f67cec74d87f4496e88cb3acaae27
local               f6497e59073da936a28bdc1ba646390f9ef937551ee6bbeaa72db3b851114bbb
local               faa50b0f8bfccd96362b7306af57ccb79ef2bf6fceba9720f4bd0c45bb842f4f
local               foo2
local               foo33
local               myvol2

看到了docker volume列表中有foo33,查看volume详细

[root@master share]# docker volume inspect foo33
[
    {
        "CreatedAt": "2019-01-15T11:13:45+08:00",
        "Driver": "local",
        "Labels": {},
        "Mountpoint": "/var/lib/docker/volumes/foo33/_data",
        "Name": "foo33",
        "Options": {
            "device": ":/root/share",
            "o": "addr=172.16.10.172,rw",
            "type": "nfs"
        },
        "Scope": "local"
    }
]

可以看出nfs 的/root/share 被挂载到了当前主要的 /var/lib/docker/volumes/foo33/_data

这里有个问题,如果不用docker compose创建服务的话,你必须在服务所在的节点上创建docker volume
我的服务要创建3个副本,服务可能会分布到三个主机上,那么我在三个主机上都创建docker volume create foo33使用上面的代码在其它两台主机上都执行一遍

[root@node2 ~]# docker volume ls
DRIVER              VOLUME NAME
省略... 
local               foo33
省略...
[root@node1 share]# docker volume ls
DRIVER              VOLUME NAME
省略... 
local               foo33
省略...

然后发布服务

docker service create \
  --name test-nginx-nfs \
  --publish 84:80 \
  --mount type=volume,source=foo33,destination=/app/share \
  --replicas 3 \
  nginx

服务名 test-nginx-nfs 把foo33安装到容器的/app/share目录中

[root@master share]# docker service create   --name test-nginx-nfs   --publish 84:80   --mount type=volume,source=foo33,destination=/app/share   --replicas 3   nginx
ska2oere0k3e6kbi6i5a5hnfa
overall progress: 3 out of 3 tasks
1/3: running   [==================================================>]
2/3: running   [==================================================>]
3/3: running   [==================================================>]
verify: Service converged

查看服务分布的节点:

[root@master share]# docker service ps test-nginx-nfs
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
xgpgfgfk7jo4        test-nginx-nfs.1    nginx:latest        node2               Running             Running 47 seconds ago
xy8do6go0nrn        test-nginx-nfs.2    nginx:latest        node1               Running             Running 47 seconds ago
56zfy845yxo3        test-nginx-nfs.3    nginx:latest        master              Running             Running 46 seconds ago

抽一个节点看 node1
我在nfs服务搭建成功后在/root/share目录中放了一个文件名叫index.html的文件

[root@master share]# pwd
/root/share
[root@master share]# ls
index.html

node1
查看宿主机挂载目录

[root@node1 /]# docker volume inspect foo33
[
    {
        "CreatedAt": "2019-01-15T11:13:45+08:00",
        "Driver": "local",
        "Labels": {},
        "Mountpoint": "/var/lib/docker/volumes/foo33/_data",
        "Name": "foo33",
        "Options": {
            "device": ":/root/share",
            "o": "addr=172.16.10.172,rw",
            "type": "nfs"
        },
        "Scope": "local"
    }
]
[root@node1 /]# cd /var/lib/docker/volumes/foo33/_data
[root@node1 _data]# ls
index.html
[root@node1 _data]#

查看容器目录

[root@node1 share]# docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                                                 NAMES
e81de34902f4        nginx:latest            "nginx -g 'daemon of…"   10 seconds ago      Up 8 seconds        80/tcp                                                test-nginx-nfs.2.ed05o9nezwpppw8ov7jtvjagv
bf5550586e1e        rabbitmq:3-management   "docker-entrypoint.s…"   7 weeks ago         Up 7 weeks          4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 25672/tcp   rabbit_rabbit3.1.3vn2fjjux9jtaeclutiietzys
[root@node1 share]# docker exec -it e81de34902f4 bash
root@e81de34902f4:/# cd app/share/
root@e81de34902f4:/app/share# ls
index.html
root@e81de34902f4:/app/share#

2.2. 使用 编排的方式发布service

docker compose文档

version: '3.3'

services:

  nginx-test5:
    image: nginx:latest
    deploy:
      mode: replicated
      replicas: 1
      restart_policy:
        condition: on-failure
    ports:
      - "88:80"
    networks:
      my-overlay-network:
        aliases:
          - nginx-test5
    volumes:
      - "foo_new:/app/share"


volumes:
  foo_new:
    driver: local
    driver_opts:
      type: "nfs"
      o: "addr=172.16.10.172,rw"
      device: ":/root/share"

networks:
  my-overlay-network:
    driver: overlay

使用docker compose编排不需要分别在每一个主机上手动创建docker volume

发布服务

[root@master opt]# docker stack deploy -c docker-compose.yml app
Creating network app_my-overlay-network
Creating service app_nginx-test5
[root@master opt]# docker stack ls
NAME                SERVICES            ORCHESTRATOR
app                 1                   Swarm
rabbit              3                   Swarm
[root@master opt]# docker stack services app
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
ighafroycq0c        app_nginx-test5     replicated          3/3                 nginx:latest        *:88->80/tcp
[root@master opt]# docker service ps app_nginx-test5
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
54gdcmfxh218        app_nginx-test5.1   nginx:latest        master              Running             Running 13 seconds ago
jt2v0mlgqwup        app_nginx-test5.2   nginx:latest        node2               Running             Running 15 seconds ago
z039pxqu4sbl        app_nginx-test5.3   nginx:latest        node1               Running             Running 14 seconds ago
[root@master opt]#

查看docker volume

[root@master opt]# docker volume ls
DRIVER              VOLUME NAME
省略......
local               app_foo_new
local               foo33
local               myvol2
local               test-vol
[root@master opt]# docker volume inspect app_foo_new
[
    {
        "CreatedAt": "2019-01-15T11:13:45+08:00",
        "Driver": "local",
        "Labels": {
            "com.docker.stack.namespace": "app"
        },
        "Mountpoint": "/var/lib/docker/volumes/app_foo_new/_data",
        "Name": "app_foo_new",
        "Options": {
            "device": ":/root/share",
            "o": "addr=172.16.10.172,rw",
            "type": "nfs"
        },
        "Scope": "local"
    }
]
[root@master opt]#

抽查一个看看node2

查看本机挂载:

[root@node2 ~]# docker volume ls
DRIVER              VOLUME NAME
省略......
local               app_foo_new
local               foo2
local               foo33
local               myvol2
local               test-vol
[root@node2 ~]# docker volume inspect app_foo_new
[
    {
        "CreatedAt": "2019-01-15T11:13:45+08:00",
        "Driver": "local",
        "Labels": {
            "com.docker.stack.namespace": "app"
        },
        "Mountpoint": "/var/lib/docker/volumes/app_foo_new/_data",
        "Name": "app_foo_new",
        "Options": {
            "device": ":/root/share",
            "o": "addr=172.16.10.172,rw",
            "type": "nfs"
        },
        "Scope": "local"
    }
]
[root@node2 ~]# cd /var/lib/docker/volumes/app_foo_new/_data
[root@node2 _data]# ls
index.html
[root@node2 ~]#

查看容器:

[root@node2 _data]# docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                                                 NAMES
7e333092c3cf        nginx:latest            "nginx -g 'daemon of…"   5 minutes ago       Up 5 minutes        80/tcp                                                app_nginx-test5.2.jt2v0mlgqwupvv5lag7epriwo
91d318ee2b04        rabbitmq:3-management   "docker-entrypoint.s…"   7 weeks ago         Up 7 weeks          4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 25672/tcp   rabbit_rabbit2.1.ykbawm133w4c9rzsrmlm9mkhp
[root@node2 _data]# docker exec -it 7e333092c3cf bash
root@7e333092c3cf:/# cd app/share/
root@7e333092c3cf:/app/share# ls
index.html
root@7e333092c3cf:/app/share#

总结:环境配置比较简单,难的是nfs服务的读写,随着业务和流量的增加,读写量增大,可能需要分布式的文件系统,分布式的文件系统又改如何何理的使用

你可能感兴趣的:(Docker Swarm 使用NFS数据共享)