【Docker系列】虚拟化+Docker概念
文章目录
- 引言：
- 一、为什么会容器技术的出现
- 二、虚拟化概述
-
- 2.1什么是虚拟化
- 2.2虚拟化的作用
- 2.3cpu的时间分片（cpu虚拟化）
- 2.4cpu虚拟化性能出现的问题
- 2.5虚拟化工作原理
-
- 2.5.1虚拟化类型
- 2.5.2虚拟化功能
- 三、Docker容器概述
-
- 3.1为什么出现了Docker
- 3.2 Docker是什么
- 3.3 使用docker有什么意义
- 3.4docker的使用场景
- 3.5docker引擎（Docker Engine）
- 3.6docker三要素
- 3.7六大名称空间（namespace）
- 3.9容器特性
- 3.10容器小的架构体系
- 四、Docker和虚拟化的区别
-
- 4.1Docker和虚拟化的区别
- 4.2为什么 docker 比 vm 快
- 4.3HostOS 和 GuestOS 的区别
- 五、Docker有哪些优势？和虚拟化比有什么优势？
- 六、总结
-
- 6.1什么是docker？docker原理？
- 6.2简述Docker主要使用的技术？
- 6.3简述Docker体系架构
- 6.4如何把多个目录挂载到同一个目录下？
引言：
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是一个用于开发，交付和运行的开放平台。Docker使您能够将应用程序与架构分开，从而可以快速交付软件。Docker是一个开源的应用引擎，让开发者可以打包大门的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或者Windows机器上，也可以实现虚拟化。
一、为什么会容器技术的出现
-
以linux而言，linux操作系统会有一个主进程pid=1派生出其他进程来控制不同服务。
-
例如: pid=2 ——> python ，pid=3——>java ，pid4——>php，三个服务可能会相互影响。
-
使用者期望将这三个不同的服务，跑在不同的运行时环境中实现相互不影响，同时不会增加服务器成本
——> 延伸出——>能否将这三种服务分别封装起来——>KVM虚拟化技术，实现了一个操作系统模拟多个操作系统/不同的运行时环境。 -
随着技术发展——>虚拟化技术开销较大(例如:只 要运行一个py脚本，想要使用虚拟化方式实现，还需要安装一个操作系统，并不方便/合理)单单想要做个测试就要安装一个操作系统。
——>延伸出容器技术。
虚拟化层的抽象层(用户层)剥离，使用docker engine来替代(来宾操作系统去除)，只要通过引擎就可以直接连接到宿主机操作系统中，极大减小了开销。
docker引擎对内核版本是有要求的(至少是3.8+)。
docker 需要cgroups(Linux内核态中资源管理的模块） 的资源管理功能。
二、虚拟化概述
上文提到为了能够将三种服务分别封装起来出现KVM虚拟化技术，实现了一个操作系统模拟多个操作系统/不同的运行时环境。那么什么是虚拟化呢？
2.1什么是虚拟化
通过虚拟化技术将一台计算机虚拟为多台逻辑计算机，在一台计算机上同时运行多个逻辑计算机，同时每个逻辑计算机可运行不同的操作系统，应用程序都可以在相互独立的空间运行而互相不影响，从而提高计算机的工作效率
-
在一个操作系统中(win10)模拟多个操作系统(centos、win10、suse)，同时每个操作系统可以跑不同的服务(ngint tomcat)，从而实现一台宿主机搭建一个集群(从整体)
-
通过软件/应用程序的方式,来实现物理硬件的功能（ensp）
以软件形式实现物理设备的功能(二层交换机、路由器、三层交换机等)
2.2虚拟化的作用
将应用程序和系统内核资源进行解耦，以操作系统级别进行隔离，目的是提高资源利用率
2.3cpu的时间分片（cpu虚拟化）
正常每个任务以轮询的方式去处理，这个时候一个CPU一个整体。
以下是针对的CPU单位时间内的一个资源。按时间划分，1秒划分成10个0.1秒，每个0.1秒可以全力处理10单位的任务。在1秒内，都在全力工作。
cpu 1s全力运转的性能——>逻辑分割成分成了10份，可以理解为在单位时间内可以处理10个任务，每一个0.1s cpu是满的。原先分片前100M以下的任务一次只可以处理1个，现在100M的任务一次可以处理10个。这就是时间分片的一个概念。
虚拟化作用——>缓解/解决了资源利用率的问题
2.4cpu虚拟化性能出现的问题
cpu分片后每个任务处理性能会打对折特别又虚拟化实际处理能力会变弱。
首先，虚拟化的用处是当任务是50以及小于50m时，本来1s可使用50m处理1个请求，如今可以将1s划分成10个0.1s每一个0.1s都拥有50m的处理能力。虚拟化后的，1s模拟10个cpu，可以处理10个。虚拟化后的性能更高。对于1s来说是并行，对于0.1s来说串行。
但是一旦请求的资源是大于50m时，物理硬件的性能就会比虚拟化的性能高了。虚拟化的cpu会卡顿。主要原因是资源不够。所以在极度吃资源的情况下，例如mysql高并发这种，就不适合用虚拟化。这时可以使用物理硬件。
2.5虚拟化工作原理
将应用程序和系统资源进行解耦提高资源利用率
隔离性上:操作系统级别的隔离性如果某台虚拟机出现问题，可以迁移vm性能损耗50%
vmware workstation硬件辅助加速虚拟化将虚拟化的性能优化趋近于物理资源的性能
虚拟化三种模式:
1.全虚拟化(50%)
2.半虚拟化(软硬件结合)
3.直通(以全硬件的方式，实现虚拟化功能)
虚拟机管理器功能：调用资源
两大核心组件：QEMU、KVM
QEMU：
①可以理解为队列，核心目的是调用资源内核中的资源，需要把KVM逻辑分割出来的资源运输给QEMU，再给虚拟机。
②QEMU它并不是直接调用，而是用I/O方式调用，QEMU把资源调用来的过程借用ioctl，QEMU借助libvirt这个工具调用ioctl，再通过接口，给虚拟机应用程序。
KVM：
①用来逻辑分割物理资源，抽象化为虚拟化资源，根据VMM里的配置，会逻辑分割出多少G，给应用程序，去进行虚拟化。
②只接受来自QEMU的请求指令。对于应用程序直接过来的敏感指令会拦截，然后通过接口发给QEMU，让QEMU判断是否需要执行，可以的话，再下来，不可以的话，打回去，不执行该敏感指令。
对于workstation而言——>硬件辅助虚拟化，表现形式在处理器里面有一个虚拟化引擎，可以勾取硬件辅助虚拟化，看到虚拟接口/dev/kvm，可以加强辅助调用，在应用程序需要频繁调用的时候，需要开启。比如openstack。
2.5.1虚拟化类型
虚拟化类型
全虚拟化：将物理硬件资源全部通过软件的方式抽象化，最后进行调用
半虚拟化：需要修改操作系统
直通：直接使用物理硬件资源
全虚拟化：基于硬件为基础以软件的形式模拟硬件设备(在一定程度上解决了性能利用率的问题）
半虚拟化：趋近于物理设备的性能 （在提高利用率的同时，尽可能的提高性能）
全虚拟化：KVM——产品 vmware（资源损耗大）
半虚拟化：EXSI——产品 workstation vsphere
2.5.2虚拟化功能
①在一个操作系统内，模拟多个操作系统
② 以软件的方式模拟物理设备的功能
三、Docker容器概述
3.1为什么出现了Docker
环境配置的烦恼
软件开发最大的麻烦事之一，就是环境配置
相信每位编程初学者都会在环境配置上倒腾很久，而作为老师也会因为不同机器出现五花八门的环境配置问题而烦恼
想要软件正常运行，那么系统的设置和各种库、组件正确的安装才能如期运行
举例来说，安装一个 Python 应用，计算机必须有 Python 引擎，还必须有各种依赖，可能还要配置环境变量
当你需要换机器的时候，你之前所配置的环境又要重头来一遍，非常麻烦
Docker 简介
Docker 是一个开源的应用容器引擎，基于 Go 语言
可以打包应用以及依赖包到一 个轻量级、可移植的容器中
Docker 打包好了的容器，可以发布到任何流行的 Linux 机器上，也可以实现虚拟化
容器是完全使用沙箱机制，相互之间不会有任何接口（独立）
容器性能开销极低
Docker 使用客户端-服务器 (C/S) 架构模式，使用远程 API 来管理和创建 Docker 容器
Docker 是实现容器技术的一种工具
Docker 容器还可以进行版本管理、复制、分享、修改，就像管理普通的代码一样
3.2 Docker是什么
是一种轻量级的“虚拟机”，Docker是一个用于开发，交付和运行应用程序的开放平台。
在Linux容器里运行应用的开源工具——>容器引擎，让开发者可以打包大门的应用及依赖包到一个可移植的镜像中，然后发布到任何流行的linux或者window机器中。
Docker的Logo设计为蓝色鲸鱼，拖着许多集装箱。
鲸鱼可看作为宿主机，集装箱可理解为相互隔离的容器，每个集装箱中都包含自己的应用程序。
Docker的设计宗旨：Build,Ship and Run Any App,Anywhere
即通过对应用组件的封装、发布、部署、运行等生命周期的管理，达到应用组件级别的“一次封装，到处运行”的目的。这里的组件，既可以是一个应用，也可以是一套服务，甚至是一个完整的操作系统。
3.3 使用docker有什么意义
把容器化技术做成了标准化平台
docker引擎
docker引擎统一了基础设施环境——docker环境
docker引擎统一了程序打包（装箱)方式——docker镜像（把引擎放在镜像中，带着镜像到处跑）
docker引擎统一了程序部署（运行）方式——docke容器（利用引擎把这个镜像再去运行为之前的相同的一模一样的容器了）
镜像——》封装的一个时刻的服务/应用状态
容器——》应用跑起来的状态（正常提供服务的状态 - 运行时）
3.4docker的使用场景
-
打包应用程序部署简单
-
可脱离底层硬件任意迁移（实现了应用的隔离，将应用拆分并进行解耦）例如：需要把服务器从腾讯云迁移到阿里云，如果采用的是 Docker 容器技术，整个迁移的过程只需要在新的服务器上启动我们需要的容器就可以了。
-
适合做微服务的部署
-
适合持续集成和持续交付（CI/CD）:开发到测试发布
-
提供PASS产品（平台即服务）
CI/CD流程：war jar —>github gitlab 私有仓库（代码仓库)—>
jenkins（测试(应用程序封装/构建镜像）—>运维下载，使用容器技术进行运行/发布
3.5docker引擎（Docker Engine）
Docker Engine是具有以下主要组件的客户端-服务器（C/S架构）应用程序:
==server端：==服务器是一种长期运行的程序，称为守护程序进程( dockerd命令）。
==client端：==REST API，它指定程序可以用来与守护程序进行通信并指示其操作的接口。
命令行界面(cLI）客户端（(docker命令）
docker run
docker start
docker rm
3.6docker三要素
Docker images:镜像：统一的封装方式——>模板
Docker container:容器：==统一的运行时环境 ==——>基于镜像，运行状态/运行时状态
Docker registry:镜像仓库：放置镜像的仓库——>存放镜像模板
存储镜像的地方，默认在公共的 Docker Hub上查找，可以搞个人仓库。
仓库大类：①公共仓库—>docker hub ②私有仓库registry harbor
docker三要素
镜像——>模板
容器——>基于镜像,运行状态/运行时状态
仓库——>存放镜像模板
客户端发起各种各样的命令，给与主机
主机会调用镜像，如果有镜像直接用，运行为容器
如果镜像里没有会到registry公共仓库去拉去镜像，拉到本地后再运行为容器
3.7六大名称空间（namespace）
namespace资源隔离——用容器技术封装
| mount | 文件系统，挂载点——>一个文件系统内，不能重复挂载一个指定目录 |
|---|---|
| user | 操作进程的用户和用户组 |
| pid | 进程编号 |
| uts | 主机名和主机域 （同一个环境里不能又叫node1又叫node2） |
| ipc | 信号量、消息队列、共享内存(不同的应用调用内存资源的时候应该使用不同的内存空间) |
| net（网络资源） | 网络设备、网络协议栈（在同一个网络名称空间中的网络规则）、端口等 |
-
MNT Namespace
提供磁盘挂载点和文件系统的隔离能力
比如一个宿主机是 ubuntu 的服务器， 可以在里面启动一个 centos 运行环境的容器并且在容器里面启动一个 Nginx 服务， 此 Nginx 运行时使用的运行环境就是 centos 系统目录的运行环境， 但是在容器里面是不能访问宿主机的资源， 宿主机是使用了 chroot 技术把容器锁定到一个指定的运行目录里面 -
IPC Namespace
提供进程间通信的隔离能力
同一个容器内的进程间通信相互可见，不同容器则不可见（不能跨容器访问） -
UTS Namespace
提供主机名隔离能力
UTS提供主机名与域名的隔离，让每个docker拥有的主机名和域名，并独立于宿主机系统和其上的其他容器
docker中，每个镜像基本都以自身所提供的服务名称来命名镜像的hostname，且不会对宿主机产生任何影响 -
PID Namespace
提供进程隔离能力
pid 进程运行时系统随机分配的代号，程序终止后被回收，可能分配给其他程序,在linux系统中，多个容器的进程通过 PID namespace 进程隔离
对进程PID重新标号，即两个不同namespace下的进程可以有相同的PID。每个PID namespace都有自己的计数程序 -
Net Namespace
提供网络隔离能力
提供了关于网络资源的隔离，包括网络设备、IPv4和IPv6协议栈、IP路由表、防火墙，创建的时候添加CLONE_NEWNET标识符位,Docker 使用 network namespace 启动一个 vethX 接口， 这样你的容器将拥有它自己的桥接 ip 地址， 通常是 docker0， 而 docker0 实质就是 Linux 的虚拟网桥,网桥是在 OSI 七层模型的数据链路层的网络设备， 通过 mac 地址对网络进行划分， 并且在不同网络直接传递数据 -
User Namespace
提供用户隔离能力
主要隔离了安全相关的标识符和属性
允许在各个宿主机的各个容器空间内创建相同的用户名以及相同的用户 UID 和 GID，把用户的作用范围限制在每个容器内，包括用户ID、用户组ID、root目录、key以及特殊权限
3.9容器特性
特性——>性能损耗10-20%
灵活：即使是最复杂的应用也可以集装箱化。
轻量级：容器利用并共享主机内核。
可互换：可以即时部署更新和升级。
便携式：可以在本地构建，部署到云，并在任何地方运行。
可扩展：可以增加并自动分发容器副本。
可堆叠：可以垂直和即时堆叠服务。
3.10容器小的架构体系
容器和虚拟机都具有相似的资源隔离和分配特点，但是功能不同，因为容器虚拟化了操作系统，而不是硬件，所以更加便携和高效
四、Docker和虚拟化的区别
4.1Docker和虚拟化的区别
| 比较点 | 容器 | VM |
|---|---|---|
| 特性 | Docker容器（一个进程控制） | 虚拟机虚拟化（完整的操作系统） |
| 操作系统 | 主要支持Linux | 几乎所有 |
| 运行性能 | 接近原生（直接在内核中运行）10%-20%左右的损失 | 50%左右损失（全虚拟化类型） |
| 抽象层 | 应用程序层的抽象，将代码和依赖项打包在一起【容器是应用层面的隔离】 | 将一台服务器转变为多台服务器的物理硬件层的抽象【虚拟化是物理资源层面的隔离】 |
| OS内核 | 多个容器可以在同一台计算机上运行，并与其他容器共享OS内核 | 也允许多个VM在单台计算机上运行，但需要启动单独的虚拟机 OS |
| OS数量 | 仅有一个物理机的OS，多个容器共享物理机的资源 | 多个OS（物理机一个OS，每个 VM 一个 OS），均独享资源 |
| 运行数 | 一台物理机可以运行数百个容器 | 一台物理机最多可以运行十来个虚拟机 |
| 大小 | 容器镜像的大小通常为几十 MB | 包含操作系统、二进制文件、库，至少也要几个 GB |
| 启动速度 | 可以在数秒内完成启动（秒级） | 和物理机启动时间一样慢，可能要几分钟（分钟级） |
| 资源利用率 | 可以处理更多的应用程序，消耗的资源比 VM 少 | |
| 隔离性 | 每个容器在用户空间中作为隔离的进程运行 |
容器是依赖于内核来隔离，彼此的关系像共享一样，所以安全性较之虚拟机差一些，毕竟不是完全隔离。所以若一个容器被黑客攻破，宿主机基本也就没了。
这里也不是完全没有办法，那就是 cgroup 资源分配，其能提供一定的安全机制
4.2为什么 docker 比 vm 快
docker 有着比虚拟机更少的抽象层
docker 不需要 Hypervisor 实现硬件资源虚拟化
运行在 docker 容器上的程序直接使用的都是实际物理机的硬件资源
4.3HostOS 和 GuestOS 的区别
GuestOS：VM（虚拟机）里的系统
HostOS：物理机里的系统
五、Docker有哪些优势？和虚拟化比有什么优势？
docker把容器化技术做成了标准化平台，只要安装了docker引擎，就能使用docker。
使用docker有什么意义(实现了3个统一)
docker引擎统一了基础设施环境-docker环境——>image——>封装一一个简易的操作系统(3.0+G)
docker引擎统一了 程序打包(装箱/封装-类比于集装箱)方式-docker镜像——>images
docker引擎统—了程序部署(运行)方式-docker容器——>基于镜像——>运行为容器(可运行的环境)
实现了一次构建，多次、多处使用。
六、总结
6.1什么是docker？docker原理？
docker是一种封装和运行的开源平台，他统一了封装方式，统一了运行方式，开源平台指的是docker引擎，统一的封装方式指的是镜像，统一的运行方式指的是容器。
cgroup资源控制与namespaces两者构成了docker底层原理
docker是一种容器技术，把linux中的==cgroups（资源管理）和namespace（名称空间）==等容器底层技术进行完美封装，并抽象为用户创建和管理容器的便捷界面（命令行cli、api等），这种C/S架构
6.2简述Docker主要使用的技术？
Cgroups:资源控制，管理一些系统资源
Namespace：资源隔离（名称空间）
rootfs：文件系统隔离（使用内核提供的rootfs）
容器引擎（用户态工具） :生命周期控制
docker本质就是宿主机的一个进程, docker是通过namespace(命名空间)实现资源隔离，通过cgroup,实现资源限制，通过写时复制技术(copy-on-write)实现了高效的文件操作（类似虚拟机的磁盘比如分配500g并不是实际占用物理磁盘50og)
Namespace：资源隔离（名称空间）
| mount | 文件系统，挂载点——>一个文件系统内，不能重复挂载一个指定目录 |
|---|---|
| user | 操作进程的用户和用户组 |
| pid | 进程编号 |
| uts | 主机名和主机域 （同一个环境里不能又叫node1又叫node2） |
| ipc | 信号量、消息队列、共享内存(不同的应用调用内存资源的时候应该使用不同的内存空间) |
| net | （网络资源） 网络设备、网络协议栈（在同一个网络名称空间中的网络规则）、端口等 |
6.3简述Docker体系架构
Docker客户端 - Docker
docker客户端则扮演着docker服务端的远程控制器，可以用来控制docker的服务端进程。
Docker服务端-Docker Daemon资源限制
docker服务端是一个服务进程，管理着所有的容器。
Docker镜像一Imagefont>
Docker的镜像是创建容器的基础，类似虚拟机的快照，可以理解为一个面向Docker容器引擎的只读模板。通过镜像启动一个容器，一个镜像是一个可执行的包,其中包括运行应用程序所需要的所有内容包含代码。运行时间，库，环境变量，和配置文件
Docker容器-Docker Container
Docker的容器是从镜像创建的运行实例，它可以被启动、停止和删除。所创建的每一个容器都是相互隔离、互不可见，以保证平台的安全性。
Docker镜像仓库-- Registryfont>
Docker仓库是用来集中保存镜像的地方,当创建了自己的镜像之后，可以使用push命令将它上传到公有仓库(Public)或者私有仓库(Private、常用）。当下次要在另外一台机器上使用这个镜像时，只需从仓库获取。
Docker的镜像、容器、日志等内容全部都默认存储在 /var/lib/docker 目录下。
6.4如何把多个目录挂载到同一个目录下？
（存储引擎)overlay2（现在使用） 和 （存储引擎) aufs（早期使用）叠加式文件系统
