生产服务器使用的是CentOS 7系统,安装Docker也一直都是使用yum命令直接从CentOS自己的源安装。自从Docker项目改名为moby,进而诞生CE和EE两个不同版本后。不知是因为版权还是其他的什么原因,CentOS源中的Docker版本不再更新了,default维持在1.12.6,latest为1.13.1。
为了使用新版本的Docker,只能添加官方repo,然后安装docker-ce。安装完成后,在默认配置上与CentOS自带版相比,发现了两个不同之处:
- 存储驱动默认换成了overlay
- SELinux默认没有开启(指Docker服务配置)
分析
关于存储驱动的问题,这里暂时不做讨论,只是来看一下SELinux的问题。这里说的SELinux没有开启不是指在操作系统层面上将其disable掉了,而是说Docker服务的配置中没有将其enable。毕竟在Docker中开启SELinux是要在操作系统也就是Linux内核开启了SELinux的前提下进行的。首先,Docker没有开启SELinux,在现象上会有什么不同?
我们有两台服务器,第一台上Docker开启了SELinux,而第二台没有。两台上面都有运行nginx容器,执行如下命令对比一下:
[admin@server1 ~]$ ps -AZ | grep nginx
system_u:system_r:svirt_lxc_net_t:s0:c375,c378 2285 ? 00:00:22 nginx
system_u:system_r:svirt_lxc_net_t:s0:c245,c772 2407 ? 00:00:00 nginx
system_u:system_r:svirt_lxc_net_t:s0:c245,c772 2453 ? 00:00:02 nginx
system_u:system_r:svirt_lxc_net_t:s0:c375,c378 24771 ? 00:00:00 nginx
[admin@server2 ~]$ ps -AZ | grep nginx
system_u:system_r:spc_t:s0 4375 ? 00:00:00 nginx
system_u:system_r:spc_t:s0 4419 ? 00:00:00 nginx
system_u:system_r:spc_t:s0 4739 ? 00:00:01 nginx
system_u:system_r:spc_t:s0 4752 ? 00:00:01 nginx
system_u:system_r:spc_t:s0 9536 ? 00:00:00 nginx
system_u:system_r:spc_t:s0 9564 ? 00:00:00 nginx
system_u:system_r:spc_t:s0 19178 ? 00:00:00 nginx
system_u:system_r:spc_t:s0 19255 ? 00:00:00 nginx
通过对比,我们发现开启SELinux后的Docker服务:
- 容器内的进程运行在
svirt_lxc_net_t
domain下 - 不同容器内的进程,安全上下文sensitivity段是不相同的(SELinux的MCS隔离)
对于没有开启SELinux的Docker服务:
- 容器进程domain为
spc_t
- 所有容器进程的安全上下文sensitivity完全相同
根据以上对比,显而易见的是,在SElinux没有开启时容器进程拥有相同的sensitivity,所以就无法依赖SELinux实现容器间的安全隔离了。也就是说如果某个容器内的服务进程因为漏洞等原因被入侵,进而被黑客控制,SELinux不会阻止此进程去访问其他容器的资源。
对于svirt_lxc_net_t
和spc_t
,可能第一眼看来不会有那么多的想法,我们先来看看svirt_lxc_net_t
的进程是个什么体验:
[admin@server2 ~]$ runcon -u system_u -r system_r -t svirt_lxc_net_t -l s0:c125,c512 /bin/bash
bash: /home/admin/.bashrc: Permission denied
bash-4.2$ ls
ls: cannot open directory .: Permission denied
bash-4.2$ ps -Z
system_u:system_r:svirt_lxc_net_t:s0:c125,c512 23686 pts/0 00:00:00 bash
system_u:system_r:svirt_lxc_net_t:s0:c125,c512 23722 pts/0 00:00:00 ps
bash-4.2$
因为当前目录的安全上下文类型是user_home_t
,按照SELinux策略,svirt_lxc_net_t
是没有权限访问的。虽然能够感受到进程确实受到了限制,但是还不是很直观。接下来用sepolicy
命令分析一下安全策略:
[admin@server2 ~]$ sepolicy communicate -s svirt_lxc_net_t -t svirt_lxc_net_t
sysctl_net_unix_t
cifs_t
svirt_lxc_net_t
fusefs_t
cgroup_t
svirt_sandbox_file_t
usermodehelper_t
svirt_home_t
hugetlbfs_t
nfs_t
根据man page中的说明,这个命令用来分析source和target两个domain可以通过哪些type来通信,也就是哪些type对于source来说可写,对于target来说可读。我们把source和target指定为同一domain,来看看该domain能够读写哪些type。
我们看到了,一个很熟悉的svirt_sandbox_file_t
,正是给Docker容器挂载volume时经常看到、用到的。据了解svirt_lxc_net_t相关策略就是为容器、虚拟化技术而设计的,除了可以访问svirt_sandbox_file_t类型的文件还拥有网络能力,并且可以执行/usr下大多数的命令。
再用以上命令看一下spc_t
,因为行数太多,所以做一下统计:
[admin@server2 ~]$ sepolicy communicate -s spc_t -t spc_t | wc -l
3816
[admin@server2 ~]$ sepolicy communicate -s unconfined_t -t unconfined_t | wc -l
3816
根据当前的安全策略,3816个type,比起svirt_lxc_net_t
的10个,不可同日而语。而且我们发现,不受限domain unconfined_t
也是3816。那么spc_t
就等于unconfined_t
了吗?其实也不是。
根据Dan Walsh的Blog所讲,unconfined_t
是为管理员而设置的一个user domain,SELinux安全策略会阻止绝大多数的受限domain和unconfined_t
通信。spc_t
全称为Super Privileged Container,也就是特权容器。根据SELinux策略,Docker daemon container_runtime_t
可以通过transition转变为spc_t
,而且大多数重要的受限domain可以通过unix domain socket和spc_t
进行通信。
配置
上面的分析只是为了对SELinux对Docker的影响有更深入地了解,同时感受SELinux的重要性。其实在Docker服务配置中开启SELinux很简单:
- 一种方法是在dockerd启动时加上
--selinux-enabled
参数,在CentOS上可以修改systemd Unit文件docker.service - 另一种方法实在
/etc/docker/daemon.json
配置文件中加上:
然后重启docker服务{ "selinux-enabled": true }
需要注意的是,在SELinux开启之前创建的容器不会受到影响。如果要为这些容器应用SELinux,可以重建,或者尝试自己修改容器的配置文件和文件系统。
参考
- 官方文档 https://docs.docker.com/edge/engine/reference/commandline/dockerd/
- Dan Walsh的Blog https://danwalsh.livejournal.com/74754.html
- https://help.replicated.com/docs/kb/supporting-your-customers/selinux/