docker存储卷

docker存储卷

1.1 使用数据卷的最佳场景

• 在多个容器之间共享数据，多个容器可以同时以只读或者读写的方式挂载同一个数据卷，从而共享数据卷中的数据。
• 当宿主机不能保证一定存在某个目录或一些固定路径的文件时，使用数据卷可以规避这种限制带来的问题。
• 当你想把容器中的数据存储在宿主机之外的地方时，比如远程主机上或云存储上。
• 当你需要把容器数据在不同的宿主机之间备份、恢复或迁移时，数据卷是很好的选择。

背景：

• 一个程序，对于容器来说，启动时依赖于可能不止一层的镜像，联合挂载启动而成，使用overlay2文件系统，引导最上层的可写层，对于读写层来说，所有在容器中可执行的操作，包括对数据和内容的修改，都是保存在最上层之上的，对于下层内容的操作，假设要删除一个文件，需要使用写时复制。

• docker镜像由多个只读层叠加面成，启动容器时，docker会加载只读镜像层并在镜像栈顶部加一个读写层

• 如果运行中的容器修改了现有的一个已经存在的文件，那该文件将会从读写层下面的只读层复制到读写层，该文件版本仍然存在，只是已经被读写层中该文件的副本所隐藏，此即“写时复制(COW)”机制

1.2 COW技术原理（Copy On Write，写时复制）

• 针对随时变化的数据进行备份
• 直接映射原始盘的数据内容
• 当原始盘的旧数据有修改时，在修改之前自动将旧数据存入前端盘
• 对前端盘的修改不回写到原始盘
• 前端盘：永远显示在制作出前端盘那一瞬间原始盘所有数据内容

• 对于这种方式来说，我们去访问一个文件，修改和删除等一类的操作，其效率会非常的低，因为隔着很多层镜像。
• 对于这类的操作，修改删除等，一般效率非常低，如果对一于I/O要求比较高的应用，如redis在实现持久化存储时，是在底层存储时的性能要求比较高。
• 假设底层运行一个存储库mysql,mysql本来对于I/O的要求就比较高，如果mysql又是运行在容器中自己的文件系统之上时，也就是容器在停止时，就意味着删除，其实现数据存取时效率比较低，要避免这个限制要使用存储卷来实现。
• 而要想绕过这种限制，我们可以通过使用存储卷的机制来实现。
• 容器自带存储测试

2 存储卷

2.1 什么是存储卷

• 可以想象来在各全局的名称空间中，也就是理解为在宿主机中找一个本地的文件系统，可能存在某一个目录中，直接与容器上的文件系统中的某一目录建立绑定关系。

• 类似于挂载一样，宿主机的/data/web目录与容器中的/container/data/web目录绑定关系，然后容器中的进程向这个目录中写数据时，是直接写在宿主机的目录上的，绕过容器文件系统与宿主机的文件系统建立关联关系，使得可以在宿主机和容器内共享数据库内容，让容器直接访问宿主机中的内容，也可以宿主机向容器供集内容，两者是同步的。

• mount名称空间本来是隔离的，可以让两个本来是隔离的文件系统，在某个子路径上建立一定程度的绑定关系，从而使得在两个容器之间的文件系统的某个子路径上不再是隔离的，实现一定程度上共享的效果。
  在宿主机上能够被共享的目录(可以是文件)就被称为volume。

2.1 使用存储卷的好处

• 如果容器中跑的进程的所有有效数据都保存在存储卷中，从而脱离容器自身文件系统之后，带来的好处是当容器关闭甚至被删除时，只要不删除与此容器绑定的在宿主机上的这个存储目录，我们就不用担心数据丢失了。因此就可以实现数据持久，脱离容器的生命周期而持久。

• 我们通过这种方式管理容器，容器就可以脱离主机的限制，可以在任意一台部署了docker的主机上跑容器，而其数据则可以置于一个共享存储文件系统上，比如nfs。

• Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的，也就是说宿主机上有一块属于自己的硬盘，这个硬盘并没有共享给其他的Docker主机，而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。

• 这就意味着容器在这台主机上停止运行或者被删除了再重建，只要关联到硬盘上的这个目录下，那么其数据还存在。但如果在另一台主机上启动一个新容器，那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上，那么这个问题就不再是问题了。

2.2 为什么要用存储卷

这得从 docker 容器的文件系统说起。出于效率等一系列原因，docker 容器的文件系统在宿主机上存在的方式很复杂，关闭并重启容器，其数据不受影响，但删除Docker容器，则其更改将会全部丢失。

因此Docker存在的问题有：

• 存储于联合挂载文件系统中，不易于宿主机访问
• 容器间数据共享不便(无法在多个容器之间共享数据)
• 当容器删除时，容器中产生的数据将丢失

而要解决这些问题，解决方案就是使用存储卷。docker 引入了数据卷(volume) 机制。数据卷是存在于一个或多个容器中的特定文件或文件夹，这个文件或文件夹以独立于 docker 文件系统的形式存在于宿主机中。数据卷的最大特定是：其生存周期独立于容器的生存周期。

测试容器自带存储方式

//先创建一个容器，然后再容器里面创建一个test目录
[root@docker ~]# docker images
REPOSITORY     TAG       IMAGE ID       CREATED        SIZE
caiaoc/mysql   v1.0      ba85e9d47f00   2 days ago     3.81GB
caiaoc/nginx   v1.0      a985a6973aec   2 days ago     549MB
caiaoc/php     v1.0      f5fe6827f02b   2 days ago     1.46GB
busybox        latest    d23834f29b38   6 days ago     1.24MB
httpd          latest    ad17c88403e2   2 weeks ago    143MB
nginx          latest    ea335eea17ab   2 weeks ago    141MB
centos         latest    5d0da3dc9764   2 months ago   231MB
[root@docker ~]# docker run -it --name test --rm d23834f29b38
/ # ls
bin   dev   etc   home  proc  root  sys   tmp   usr   var
/ # mkdir test
/ # ls
bin   dev   etc   home  proc  root  sys   test  tmp   usr   var
/ # 

我们再开一个终端在外面查看容器详细信息，找到容器自带的联合文件系统位置

[root@docker ~]# docker ps
CONTAINER ID   IMAGE          COMMAND   CREATED          STATUS          PORTS     NAMES
884bbc2e7674   d23834f29b38   "sh"      55 seconds ago   Up 53 seconds             test


[root@docker ~]# docker inspect 884bbc2e7674
......
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/e90ddd5f8da09b4d3c5c57f559e3d8dd388147f45f31491a439d37e4777dc918-init/diff:/var/lib/docker/overlay2/dc58cbf2283fd227305ba8a92514c4f64c9ce378800f5c444b9342f7328b2334/diff",
                "MergedDir": "/var/lib/docker/overlay2/e90ddd5f8da09b4d3c5c57f559e3d8dd388147f45f31491a439d37e4777dc918/merged",
                "UpperDir": "/var/lib/docker/overlay2/e90ddd5f8da09b4d3c5c57f559e3d8dd388147f45f31491a439d37e4777dc918/diff",
                "WorkDir": "/var/lib/docker/overlay2/e90ddd5f8da09b4d3c5c57f559e3d8dd388147f45f31491a439d37e4777dc918/work"
            },
            "Name": "overlay2"
        },
......


//我们进入这个容器存储目录可以发现这里也有我们创建的test目录
[root@docker ~]# cd /var/lib/docker/overlay2/e90ddd5f8da09b4d3c5c57f559e3d8dd388147f45f31491a439d37e4777dc918/merged
[root@docker merged]# ls
bin  dev  etc  home  proc  root  sys  test  tmp  usr  var
[root@docker merged]# 


我们在外面这个目录中删除test目录
[root@docker merged]# rm -rf test/
[root@docker merged]# ls
bin  dev  etc  home  proc  root  sys  tmp  usr  var
[root@docker merged]# 


//此时在容器里面查看发现目录也没了
/ # ls
bin   dev   etc   home  proc  root  sys   tmp   usr   var
/ # 


//当我我们退出容器后，容器就删除了(因为前面创建容器带了--rm删除)
/ # 
/ # exit
[root@docker ~]# docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES
[root@docker ~]# 


//此时我们再查看容器自带的存储目录发现数据都没了
[root@docker merged]# ls
[root@docker merged]# 

2.3 存储卷管理方式

• volume于容器初始化之时会创建，由base image提供的卷中的数据会于此期间完成复制
  　　- volume的初意是独立于容器的生命周期实现数据持久化，因此删除容器之时既不会删除卷，也不会对哪怕未被引用的卷做垃圾回收操作
  　　- 卷为docker提供了独立于容器的数据管理机制
  可以把“镜像”想像成静态文件，例如“程序”，把卷类比为动态内容，例如“数据”，于是，镜像可以重用，而卷可以共享
  • 卷实现了“程序(镜像)"和”数据(卷)“分离，以及”程序(镜像)“和"制作镜像的主机”分离，用记制作镜像时无须考虑镜像运行在容器所在的主机的环境
  • 描述：有了存储卷，如果写在/上，还是存在联合挂载文件系统中，如果要写到卷上，就会写到宿主机关联的目录上，程序运行过程生成的临时数据会写到tmp目录中，也就会在容器的可写层中存储，随着容器被删除而删除，并没太大的影响，只有关键型的数据才会保存在存储卷上.

2.4 存储卷的分类

Docker有两种类型的卷，每种类型都在容器中存在一个挂载点，但其在宿主机上的位置有所不同：

• 绑定挂载卷 (Bind mount volume)

​ 指向主机文件系统上用户指定位置的卷

• Docker 管理卷(Docker-managed volume)

​ Docker 守护进程在主机文件系统的一部分中创建托管卷，该部分由 Docker 拥有

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4vOELjQI-1638801944772)(https://s2.ax1x.com/2019/04/06/AWgtaD.png)]

3 容器数据管理

用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据，或者需要把容器内的数据进行备份，甚至多个容器之间进行数据的共享，这必然涉及容器的数据管理操作。

容器中管理数据主要有两种方式：

• 数据卷（Data Volumes）
• 数据卷容器（Data Volumes Containers）

容器Volume使用语法：

Docker 管理卷(Docker-managed volume)

语法：docker run -it --name CONTAINER_NAME -v VOLUMEDIR IMAGE_NAME

演示

// 创建一个容器指定容器里面data目录和本机随机生成的存储目录做映射
[root@docker ~]# docker run -it --rm --name test1 -v /data busybox
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var


//我们在容器data目录里面生成一个abc文件
/ # cd data/
/data # touch abc
/data # ls
abc
/data # 


//找到和容器做映射的本机存储目录
[root@docker ~]# docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED          STATUS          PORTS     NAMES
e16dc3b95a4e   busybox   "sh"      24 seconds ago   Up 22 seconds             test1
[root@docker ~]# docker inspect e16dc3b95a4e
......

        "Mounts": [
            {
                "Type": "volume",
                "Name": "40b1632c5486adbe9ea37710402426dee4ca93b208e116d3a3fc180a49ec2bbe",
                "Source": "/var/lib/docker/volumes/40b1632c5486adbe9ea37710402426dee4ca93b208e116d3a3fc180a49ec2bbe/_data",
                "Destination": "/data",
                "Driver": "local",
                "Mode": "",
                "RW": true,
                "Propagation": ""
            }
        ],
        
......



//进入这个目录查看
[root@docker ~]# cd /var/lib/docker/volumes/40b1632c5486adbe9ea37710402426dee4ca93b208e116d3a3fc180a49ec2bbe/_data
[root@docker _data]# ls
abc

//再本机存储目录写入
[root@docker _data]# echo  "htllo world" > abc 
[root@docker _data]# 

//到容器中查看是否拥有
/data # cat abc 
htllo world
/data # 


//当我们删除容器时可以发现，本机的存储目录也没有了数据
/data # exit
[root@docker ~]# 
[root@docker ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES
[root@docker ~]# 
[root@docker _data]# ls
[root@docker _data]# 

绑定挂载卷(Bind mount volume)

语法：docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME

命令示例：

//我们创建一个容器指定本机上的/opt/test目录和容器的/data目录做映射
[root@docker ~]# docker run -it --rm  -v /opt/test:/data busybox
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var

//到容器中创建文件
/ # cd data/
/data # touch abc
/data # ls
abc
/data # 


//到本机/opt/test目录查看是否有文件
[root@docker ~]# cd /opt/
[root@docker opt]# ls
containerd  package  test
[root@docker opt]# 

//在本机上编写abc文间
[root@docker opt]# echo  "xixi haha" > test/abc 
[root@docker opt]# ls test/abc 
test/abc
[root@docker opt]# cat  test/abc 
xixi haha
[root@docker opt]# 

//然后到容器上查看,发现编写的abc文件中有此内容
/data # ls 
abc
/data # cat  abc 
xixi haha
/data # 


//我们删除容器
/data # exit
[root@docker ~]# 
[root@docker ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES
[root@docker ~]# 

//然后再到本机上/opt/test上查看数据是否缺失
[root@docker opt]# ls 
containerd  package  test
[root@docker opt]# ls test/
abc
[root@docker opt]# cat test/abc 
xixi haha
[root@docker opt]# 


//我们再创建一个容器，这次用本机的/opt/test目录和容器中test1目录做映射，
//可以发现/opt/test目录中的数据全都映射到了容器中的test1目录中
[root@docker ~]# docker run -it --rm  -v /opt/test:/test1 busybox
/ # ls
bin    dev    etc    home   proc   root   sys    test1  tmp    usr    var
/ # cd test1/
/test1 # ls 
abc
/test1 # cat abc 
xixi haha

//当我们再在容器中增加数据
/test1 # touch 1234
/test1 # ls
1234  abc
/test1 # 


//可以发现在本机上是有新添加的数据的
[root@docker opt]# ls
containerd  package  test
[root@docker opt]# ls test/
1234  abc
[root@docker opt]# cat test/abc 
xixi haha
[root@docker opt]# 

3.1 在容器中使用数据卷

3.1.1在容器内创建一个数据卷

下面使用nginx镜像创建一个web容器，并创建一个数据卷挂载到容器的/webapp目录下：

[root@docker ~]# docker run -d -P --name web -v /webapp nginx

这里的-P是允许外部访问容器需要暴露的端口。

3.1.2 挂载一个主机目录作为数据卷

[root@docker ~]# docker run -d -P --name web1 -v /var/www/html:/webapp nginx

上面的命令加载主机的/var/www/html目录到容器的/webapp目录：
这个功能在进行测试的时候非常方便，比如用户可以放置一些程序或数据到本地目录中，然后在容器内运行和使用。另外，本地目录的路径必须是绝对路径，如果目录不存在，Docker会自动创建。

Docker挂载数据卷的默认权限是读写(rw)，用户也可以通过(ro)指定为只读：

[root@localhost ~]# docker run -d -P --name web2 -v /var/www/html:/webapp:ro nginx

加了:ro以后，容器内挂载的数据卷的数据就无法修改了。

3.1.3 挂载一个本地主机文件作为数据卷

-v选项也可以从主机挂载单个文件到容器中作为数据卷：

[root@docker ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos /bin/bash

这样就可以记录在容器输入过的命令历史了。

如果直接挂载一个文件到容器，使用文件编辑工具，包括vi或者sed去修改文件内容的时候，可能会造成inode的改变，这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。

3.1.4 采用nfs文件系统挂载

注意：采用nfs共享存储时要先挂载存储目录再创建容器，不然数据只是放在了本机共享目录中了，而不是放在共享存储里面

使用nfs共享存储的方式去存储数据

[root@nfs ~]# mkdir /nfs
[root@nfs ~]# vi /etc/exports 
[root@nfs ~]# cat /etc/exports 
/nfs 192.168.200.145(rw)
[root@nfs ~]# 
[root@nfs ~]# yum -y install nfs-utils
[root@nfs ~]# systemctl enable --now nfs-server
Created symlink /etc/systemd/system/multi-user.target.wants/nfs-server.service → /usr/lib/systemd/system/nfs-server.service.
[root@nfs ~]# systemctl restart nfs-server

[root@nfs ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@nfs ~]# vi /etc/selinux/config 
[root@nfs ~]# setenforce 0
[root@nfs ~]# getenforce 0
Permissive
[root@nfs ~]#  

[root@nfs ~]# showmount -e 192.168.200.144
Export list for 192.168.200.144:
/nfs 192.168.200.145
[root@nfs ~]# 

docker主机配置

[root@docker ~]# yum -y install nfs-utils
[root@docker ~]# mkdir /storage
[root@docker ~]# mount -t nfs 192.168.200.144:/nfs  /storage/

[root@docker ~]# df -h
文件系统              容量  已用  可用 已用% 挂载点
devtmpfs              1.8G     0  1.8G    0% /dev
tmpfs                 1.9G     0  1.9G    0% /dev/shm
tmpfs                 1.9G  9.1M  1.9G    1% /run
tmpfs                 1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/mapper/cs-root    64G  8.6G   56G   14% /
/dev/mapper/cs-home    32G  255M   31G    1% /home
/dev/sda1            1014M  195M  820M   20% /boot
tmpfs                 371M     0  371M    0% /run/user/0
192.168.200.144:/nfs   62G  2.0G   60G    4% /storage
[root@docker ~]# 


[root@docker ~]# docker run -it --rm -v /storage/:/data busybox
/ # ls 
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var
/ # cd data/
/data # ls
/data # echo "xixi haha" > abc   //注意这里因为权限不够需要添加权限才能写入

到nfs主机设置读写权限

//注意我这里nfs主机是centos8系统，然后是用的nobody这样用户去写入的，
//如果用的是centos7系统，需要用nfsnobody这个去写入
[root@nfs ~]# cat /etc/redhat-release 
CentOS Stream release 8
[root@nfs ~]# 


[root@nfs ~]# id nobody
uid=65534(nobody) gid=65534(nobody) 组=65534(nobody)
[root@nfs ~]# 


[root@nfs ~]# setfacl -m u:nobody:rwx /nfs
[root@nfs ~]# getfacl /nfs
getfacl: Removing leading '/' from absolute path names
# file: nfs
# owner: root
# group: root
user::rwx
user:nobody:rwx
group::r-x
mask::rwx
other::r-x

[root@nfs ~]# 

然后我们再用docker这台主机上的容器去写入

//到容器中继续写入
/data # echo "xixi haha" > abc   
/data # cat abc 
xixi haha
/data # 

//到docker本机去查看共享的的目录中是否有数据
[root@docker ~]# ls /storage/
abc
[root@docker ~]# cat /storage/abc 
xixi haha
[root@docker ~]# 


//再到nfs主机上去查看nfs目录中是否有数据，有就说明数据已经放入共享存储里面了
[root@nfs ~]# ls /nfs/
abc
[root@nfs ~]# cat /nfs/abc 
xixi haha
[root@nfs ~]# 

3.2 数据卷容器

• 如果用户需要在容器之间共享一些持续更新的数据，最简单的方式是使用数据卷容器。数据卷容器其实就
• 是一个普通的容器，专门用它提供数据卷供其他容器挂载使用，方法如下：

首先，创建一个数据卷容器db0，并在其中创建一个数据卷挂载到/test：

[root@docker ~]# docker run -it  --name db0 --rm -v /test centos 
[root@e41b24f06aea /]# 

然后可以在其他容器中使用–volumes-from来挂载dbdata容器中的数据卷，例如创建db1和db2两个容器，并从dbdata容器挂载数据卷：

[root@docker ~]# docker run -d --name db1 --volumes-from db0 centos
d9693a8fca444019d8e58f84dd1ddf4333f1bccf09abbd25d4220406b55ea6bb
[root@docker ~]# docker run -d --name db2 --volumes-from db0 centos
4a7e1004fc7304e65d52174987de60ea0966c171fc400383541ba92f6519094e
[root@docker ~]# 

此时，容器db1和db2都挂载同一个数据卷到相同的/test目录。三个容器任何一方在该目录下的写入，其他容器都可以看到。
例如，在db1容器中创建一个test文件：

[root@d771751a6128 /]# ls 
bin  etc   lib	  lost+found  mnt  proc  run   srv  test  usr
dev  home  lib64  media       opt  root  sbin  sys  tmp   var
[root@d771751a6128 /]# cd /test/
[root@d771751a6128 test]# touch  abc
[root@d771751a6128 test]# ls 
abc
[root@d771751a6128 test]# 

在db2容器中查看：

[root@8b4487d48cf9 /]# ls /test/ 
abc
[root@8b4487d48cf9 /]# 

可以多次使用–volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已挂载了容器卷的容器来挂载数据卷：

[root@docker ~]# docker run -d --name db3 --volumes-from db1 centos

使用–volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。

如果删除了挂载的容器（包括dbdata、db1和db2），数据卷并不会被自动删除。如果要删除一个数据卷，必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。