Docker复习笔记之概念篇

Docker记忆

首先,分享一个docker资料《Docker从零基础到专家实战教程 》,下载地址:http://pan.baidu.com/s/1o8iKKFC 密码:of0z

Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,一个容器可就是一个虚拟机,即一个进程就是一个虚拟机,轻量化实现虚拟化,且关键是容器性能开销极低,属轻量化虚拟化的分布式应用解决方案。Dockers可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署,包括VMs(虚拟机)、bare metal、OpenStack 集群和其他的基础应用平台,应用于项目软件快速敏捷交付,更加效率便捷。

容器是完全使用沙箱机制,相互之间不会有任何接口;Docker通常用于如下场景:

1)web应用的自动化打包和发布;
2)自动化测试和持续集成、发布(CI/CD);
3)在服务型环境中部署和调整数据库或其他的后台应用;
4)从头编译或者扩展现有的OpenShift或Cloud Foundry平台来搭建自己的PaaS环境。

Docker 从 17.03 版本之后分为 CE(Community Edition: 社区版) 和 EE(Enterprise Edition: 企业版).

Docker 的优点:
1)Docker部署交付简单快捷:Docker 让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,Docker容器,只需要数秒就能部署完成,完成一键发布一键部署。方便快捷已经是 Docker的最大优势。
2)部署应用简单:Docker 可以简化部署多种应用实例工作。比如 Web 应用、后台应用、数据库应用、大数据应用比如 Hadoop 集群、消息队列等等都可以打包成一个镜像部署。
3)节约且开支小:Docker改变了虚拟化的方式。改变了高性能必然高价格的常规。Docker与云的结合,可让云空间得到更充分的利用,切一台主机部署10000台虚拟机,实际往往实际部署800台左右,而docker作为进程,可完全实现10000台虚拟机,降低成本。

Docker架构

Docker 两个主要部件:

Docker: 开源的容器虚拟化平台
Docker Hub: 用于分享、管理 Docker 容器的 Docker SaaS 平台 – Docker Hub

Docker 使用客户端-服务器 (C/S) 架构模式。Docker 客户端会与 Docker 守护进程进行通信。Docker 守护进程会处理复杂繁重的任务,例如建立、运行、发布你的 Docker 容器。Docker 客户端和守护进程可以运行在同一个系统上,当然你也可以使用 Docker 客户端去连接一个远程的 Docker 守护进程。Docker 客户端和守护进程之间通过 socket 或者 RESTful API 进行通信。

Docker复习笔记之概念篇_第1张图片
1.docker daemon

docker daemon是docker server常驻的后台程序,处理数据请求。docker server就是后台程序docker接受数据请求,然后交给route,路由给指定的容器,然后handler处理请求信息数据的(区分数据就是区分头部信息的类型,我请求的是什么类型的数据就去不同的服务器。)。然后交给docker engine,形成要给job任务。

2.Graph驱动模块(docker engine):

需要对任务处理,处理docker engine需要从网上下载镜像,或者从本地拉取镜像,保存在本地的叫graph,graph分成两个部分,graphDB用来存储镜像之间的存储关系,graph images 用来存储镜像的。

Repostitory(仓库):下载的镜像保存,

GraphDB :容器与镜像关系的记录。

镜像是不同层的文件组合,如果镜像相同的层有很多,只会合并成一份,如果有百度云盘,所有保存的电影其实在百度云上就一部。

3.Driver模块:

定制容器的环境,如:cpu多少,内存多少,硬盘多少,
容器的生命后期根据程序的生命周期决定,运行什么驱动什么,从而提高容器运行的效率。驱动分为三个部分进行驱动,第一个驱动是物理机启动时需要哪些目录结构,镜像所需要的目录结构,他直接启动的是rootfs,然后启动的是网路结构,networkdriver,让容器和物理机能连接起来,

bridge:启动容器后会出现docker0,关闭后就会消失,真正通讯是容器桥接到docker0,相当于一个路由,然后在将docker0 桥接到物理网卡上。

驱动对容器里边的东西进行驱动,IP network interface port

execdriver 执行驱动:主要驱动不容系统里的namespaces和cgroup,最总把这个六个选项启动,开启了一个容器,然后在rootfs里打开一个容器。

driver模块的好处是需要什么驱动什么,提高容器运行的效率;

(1)graphdriver主要用于完成镜像的管理,存储,读取,下载下来的镜像的存储也是他,驱动存储镜像

驱动不同的操作系统有不同的文件系统管理,

driver存储结构:

btrfs-deban

vfs-centos

aufs-ubuntu

devmapper-gm

(2)networkdriver

bridge 桥接到docker0上,直接进到物理机上。把容器和桥接到docker0,然后通过docker 0 转给容器,只要放到物理机上就好。

networkif 防火墙,路由等

ip 地址

port 端口

属于容器内部操作,放到container上就行。

(3)execdriver

execdriver 容器的执行驱动,负责容器在创建空间是的命名规则和容器资源限制,native一共有两个分支,LXC (1.2版本以前) native(1.2以后)跨平台用,依赖于native ,可以控制任何一个操作系统上都可以分割namespace空间和cgroup结构,

  1. libcontainer模块

正是由于libcontainer的存在,Docker可以直接调用libcontainer,而最终操纵容器的namespace、cgroups、apparmor、网络设备以及防火墙规则等

  1. container模块

Docker container(Docker容器)是Docker架构中服务交付的最终体现形式

6.rootfs模块
docker的目录结构

Docker概念

1、Docker 客户端:实际上是 docker 的二进制程序,是主要的用户与 Docker 交互方式。它接收用户指令并且与背后的 Docker 守护进程通信,如此来回往复。
2、Docker 守护进程:Docker 守护进程运行在一台主机上。用户并不直接和守护进程进行交互,而是通过 Docker 客户端间接和其通信。
3、Docker 内部构建:Docker 镜像 (Docker images)、Docker 仓库 (Docker registeries)、Docker 容器 (Docker containers)

Docker 镜像

Docker 镜像是 Docker 容器运行时的只读模板,每一个镜像由一系列的层 (layers) 组成。Docker 使用 UnionFS 来将这些层联合到单独的镜像中。UnionFS 允许独立文件系统中的文件和文件夹(称之为分支)被透明覆盖,形成一个单独连贯的文件系统。正因为有了这些层的存在,Docker 是如此的轻量。当你改变了一个 Docker 镜像,比如升级到某个程序到新的版本,一个新的层会被创建。因此,不用替换整个原先的镜像或者重新建立(在使用虚拟机的时候你可能会这么做),只是一个新 的层被添加或升级了。现在你不用重新发布整个镜像,只需要升级,层使得分发 Docker 镜像变得简单和快速。

Docker 仓库

Docker 仓库用来保存镜像,可以理解为代码控制中的代码仓库。同样的,Docker 仓库也有公有和私有的概念。公有的 Docker 仓库名字是 Docker Hub。Docker Hub 提供了庞大的镜像集合供使用。这些镜像可以是自己创建,或者在别人的镜像基础上创建。Docker 仓库是 Docker 的分发部分。

Docker 容器

Docker 容器和文件夹很类似,一个Docker容器包含了所有的某个应用运行所需要的环境。每一个 Docker 容器都是从 Docker 镜像创建的。Docker 容器可以运行、开始、停止、移动和删除。每一个 Docker 容器都是独立和安全的应用平台,Docker 容器是 Docker 的运行部分。

4、libcontainer:Docker 从 0.9 版本开始使用 libcontainer 替代 lxc,libcontainer 和 Linux 系统的交互图如下:

Docker复习笔记之概念篇_第2张图片
5、命名空间(Namespaces):
Docker充分利用了一项称为namespaces的技术来提供隔离的工作空间,我们称之为 container(容器)。当你运行一个容器的时候,Docker为该容器创建了一个命名空间集合。每一个应用在它们自己的命名空间中运行而且不会访问到命名空间之外。不同用户的进程就是通过 pid namespace 隔离开的,且不同 namespace 中可以有相同 PID。具有以下特征:

1)每个 namespace 中的 pid 是有自己的 pid=1 的进程(类似 /sbin/init 进程)
2)每个 namespace 中的进程只能影响自己的同一个 namespace 或子 namespace 中的进程
3)因为 /proc 包含正在运行的进程,因此在 container 中的 pseudo-filesystem 的 /proc 目录只能看到自己 namespace 中的进程
4)因为 namespace 允许嵌套,父 namespace 可以影响子 namespace 的进程,所以子 namespace 的进程可以在父 namespace 中看到,但是具有不同的 pid。

Docker使用到的命名空间有:

pid命名空间: 使用在进程隔离(PID: Process ID)。
net命名空间: 使用在管理网络接口(NET: Networking)。
ipc命名空间: 使用在管理进程间通信资源 (IPC: InterProcess Communication)。
mnt命名空间: 使用在管理挂载点 (MNT: Mount)。
uts命名空间: 使用在隔离内核和版本标识 (UTS: Unix Timesharing System)。

mnt namespace

类似 chroot,将一个进程放到一个特定的目录执行。mnt namespace 允许不同 namespace 的进程看到的文件结构不同,这样每个 namespace 中的进程所看到的文件目录就被隔离开了。同 chroot 不同,每个 namespace 中的 container 在 /proc/mounts 的信息只包含所在 namespace 的 mount point。

net namespace

网络隔离是通过 net namespace 实现的, 每个 net namespace 有独立的 network devices, IP addresses, IP routing tables, /proc/net 目录。这样每个 container 的网络就能隔离开来。 docker 默认采用 veth 的方式将 container 中的虚拟网卡同 host 上的一个 docker bridge 连接在一起。
Docker复习笔记之概念篇_第3张图片

uts namespace

UTS (“UNIX Time-sharing System”) namespace 允许每个 container 拥有独立的 hostname 和 domain name, 使其在网络上可以被视作一个独立的节点而非 Host 上的一个进程。

ipc namespace

container 中进程交互还是采用 Linux 常见的进程间交互方法 (interprocess communication - IPC), 包括常见的信号量、消息队列和共享内存。然而同 VM 不同,container 的进程间交互实际上还是 host 上具有相同 pid namespace 中的进程间交互,因此需要在IPC资源申请时加入 namespace 信息 - 每个 IPC 资源有一个唯一的 32bit ID。

user namespace

每个 container 可以有不同的 user 和 group id, 也就是说可以以 container 内部的用户在 container 内部执行程序而非 Host 上的用户。

有了以上 6 种 namespace 从进程、网络、IPC、文件系统、UTS 和用户角度的隔离,一个 container 就可以对外展现出一个独立计算机的能力,并且不同 container 从 OS 层面实现了隔离。 然而不同 namespace 之间资源还是相互竞争的,仍然需要类似 ulimit 来管理每个 container 所能使用的资源 - cgroup。

参考地址:https://ruby-china.org/topics/22004

6、资源配额「cgroups」
cgroups 实现了对资源的配额和度量。 cgroups 的使用非常简单,提供类似文件的接口,在 /cgroup 目录下新建一个文件夹即可新建一个 group,在此文件夹中新建 task 文件,并将 pid 写入该文件,即可实现对该进程的资源控制。具体的资源配置选项可以在该文件夹中新建子 subsystem ,{子系统前缀}.{资源项} 是典型的配置方法, 如 memory.usageinbytes 就定义了该 group 在 subsystem memory 中的一个内存限制选项。 另外,cgroups 中的 subsystem 可以随意组合,一个 subsystem 可以在不同的 group 中,也可以一个 group 包含多个 subsystem - 也就是说一个 subsystem。

memory:内存相关的限制
cpu:在 cgroup 中,并不能像硬件虚拟化方案一样能够定义 CPU 能力,但是能够定义 CPU 轮转的优先级,因此具有较高 CPU 优先级的进程会更可能得到 CPU 运算。 通过将参数写入 cpu.shares ,即可定义改 cgroup 的 CPU 优先级 - 这里是一个相对权重,而非绝对值
blkio:block IO 相关的统计和限制,byte/operation 统计和限制 (IOPS 等),读写速度限制等,但是这里主要统计的都是同步 IO
devices:设备权限限制

…………未完待整理

你可能感兴趣的:(虚拟化和云实践纪实)