LXD 虚拟化平台（1）：简介

一、虚拟化技术的简介

LXD 是目前市面上众多虚拟化的解决方案之一，在开始介绍 LXD 之前，需要对虚拟化技术进行简单的介绍。目前业界的虚拟化一般分为两种解决方案：内核虚拟化与硬件虚拟化。

1.1 内核虚拟化

硬件虚拟化字面义理解就是需要硬件设备来支持，需要在服务器上安装虚拟化管理软件（HyperVisor），然后通过 HyperVisor 提供的交互管理界面来创建虚拟机。市面上比较常见的硬件虚拟化如：VMware、SmartX等。

虚拟机在操作系统层面上和宿主机隔离，拥有自己独立的内核，使用上和普通的主机没有任何区别，拥有较高的安全性，但是因其独占式的资源使用方式，消耗的资源比较多，容易产生浪费。一般情况下分配的虚拟机资源不能超过宿主机的资源总量（例如CPU或者内存、磁盘容量），否则会引发宿主机崩溃。

硬件虚拟化需要在主板BOIS系统开启VE虚拟化支持（Intel主板为 Intel VT，AMD 主板为 AMD-V），可以通过执行以下的命令来检查是否已开启硬件虚拟化：

egrep -c '(vmx|svm)' /proc/cpuinfo

如果命令执行有输出，即代表支持硬件虚拟化。

注意，硬件的虚拟化技术分为 Type-1 和 Type-2：

• Type-1 HyperVisor：直接运行在裸金属设备上，在内核空间完成硬件的虚拟化，例如可以直接把 vCPU 绑定到物理 CPU 上进行分配，vCPU 的指令无需经过 CPU 虚拟化的代码进行模拟转换，例如 VMware ESXi、Citrix XenServer 等；

• Type-2 HyperVisor：运行在操作系统之上，在用户空间完成硬件的虚拟化，常见的如 QEMU、VirtualBox、VMwareWorkStation。在性能上相比 Type-1 较差，但是使用简单、方便。

1.2 内核虚拟化

内核虚拟化，顾名思义就是通过内核特性来完成虚拟化的操作，内核虚拟化的关键技术是 Cgroup 和 Namespace。Cgroup 负责对虚拟机使用资源的限制（虚拟机能用多少CPU、内存和磁盘容量、磁盘IO速率等），Namespace 负责对虚拟机的视图进行隔离（虚拟机能看到什么不能看到什么），例如 LXC Container、Docker 等就是常见的内核虚拟化解决方案。

• Cgroup 和 Namespace 技术细节较多，可以参考 Segmentfault 上的相关资料，例如：https://segmentfault.com/a/1190000040980305

• Container 和 Docker 不是同一个概念，Container 代表的是容器本身，而 Docker 则是一种实现容器的技术，业界有非常多实现容器的技术，例如 Kata Container、Containerd 等等，切不可把两者混为一谈。

内核虚拟化和硬件虚拟化相比：

• 轻量：容器的本质上是一个使用了 Cgroup 和 Namespace 限制的操作系统进程，进程的创建、销毁等效率非常高。
• 高效：内核虚拟化对资源的使用是共享式，可以对宿主机的资源（CPU、内存、磁盘容量、磁盘读写带宽等）进行充分的利用，特别是磁盘的 IO 性能，例如：硬件虚拟化对磁盘的性能损失是非常严重的，没有经过优化的 KVM 磁盘 IOPS 相比宿主机会下降几十倍到几百倍。
• 便携：容器镜像的大小一般就是操作系统内核+Shell相关程序的大小，几十MB到一百多MB左右，而虚拟机镜像大小动辄数十GB，难以在生产环境快速部署。
• 风险：内核虚拟化的隔离性相比虚拟机差，没有经过安全配置的容器进程，容易被入侵从而导致宿主机的操作系统被攻击引发安全事故。

可以看出，硬件虚拟化和内核虚拟化适用于不同的场景，在许多生产环境上，硬件虚拟化 + 内核虚拟化是搭配使用的，硬件虚拟化用于硬性隔离宿主机的资源，分配多个独立的环境用于多套业务系统使用；然后在虚拟机上，使用内核虚拟化技术的特性，快速部署、分发业务程序。

二、LXD 的简介

与市面上的 VMware、SmartX 等虚拟化解决方案一样，LXD 是一个开源的系统容器与虚拟机的 Linux 虚拟化管理平台。

LXD 可以同时支持对内核虚拟化和硬件虚拟化，内核虚拟化由 LXC Container 提供，硬件虚拟化目前只支持 KVM 虚拟化。

LXD 的主要功能如下：

• 镜像管理
• 实例管理
• 存储管理
• 网络管理

在开始使用 LXD 之前，需要对 LXD 进行安装与初始化。

2.1 初始化LXD

LXD 作为虚拟化管理服务，在宿主机上启动 LXD Daemon 和 LXCFS Daemon 2个核心进程：

• LXC Daemon：负责维护 LXD 平台下的所有虚拟化服务，包括实例管理、镜像管理、存储管理、网络管理等等；

• LXCFS Daemon：负责维护 LXC Container 的文件系统；

• lxc 命令行：负责与 LXD Daemon 进行通信，执行虚拟化平台的各项的管理操作。

本文基于 Ubuntu 22.04 系统，提供一个 LXD 安装的案例。

2.1.1 优化内核参数

编辑 /etc/sysctl.d/99-sysctl.conf 文件，添加以下的内容：

net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_reuse = 1

## The following changes have been made for LXD ##
# fs.inotify.max_queued_events specifies an upper limit on the number of events that can be queued to the corresponding inotify instance - (default is 16384)
fs.inotify.max_queued_events = 1048576

# fs.inotify.max_user_instances This specifies an upper limit on the number of inotify instances that can be created per real user ID - (default value is 128)
fs.inotify.max_user_instances = 1048576

# fs.inotify.max_user_watches specifies an upper limit on the number of watches that can be created per real user ID - (default is 8192)
fs.inotify.max_user_watches = 1048576

# vm.max_map_count contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries - (default is 65530)
vm.max_map_count = 262144

# kernel.dmesg_restrict denies container access to the messages in the kernel ring buffer. Please note that this also will deny access to non-root users on the host system - (default is 0)
kernel.dmesg_restrict = 1

# This is the maximum number of entries in ARP table (IPv4). You should increase this if you create over 1024 containers.
net.ipv4.neigh.default.gc_thresh3 = 8192

# This is the maximum number of entries in ARP table (IPv6). You should increase this if you plan to create over 1024 containers.Not needed if not using IPv6, but...
net.ipv6.neigh.default.gc_thresh3 = 8192

# This is a limit on the size of eBPF JIT allocations which is usually set to PAGE_SIZE * 40000.
#net.core.bpf_jit_limit = 3000000000

# This is the maximum number of keys a non-root user can use, should be higher than the number of containers
kernel.keys.maxkeys = 2000

# This is the maximum size of the keyring non-root users can use
kernel.keys.maxbytes = 2000000

# This is the maximum number of concurrent async I/O operations. You might need to increase it further if you have a lot of workloads that use the AIO subsystem (e.g. MySQL)
fs.aio-max-nr = 524288

vm.swappiness = 0
vm.oom_kill_allocating_task = 1
vm.overcommit_memory = 0
vm.panic_on_oom = 0

执行以下的指令生效：
sysctl -p

2.1.2 优化 LXD 系统资源使用上限

编辑 /etc/security/limits.conf 文件，添加以下内容：

* soft nofile 655360
* hard nofile 655360
root soft nofile unlimited
root hard nofile unlimited

2.1.3 更新操作系统软件版本
执行以下的指令，更新操作系统：

apt-get update
apt-get upgrade

# 可选，如果使用ZFS作为存储池，需要执行
apt install zfsutils-linux

2.1.4 修改 Cgroup 版本为 v1

目前许多较新版本的 Linux 发行版已经内置并且默认启用 CgroupV2 的版本，笔主在编写本文时 LXD 目前依然只能运行 CgroupV1 的 LXC Container，因此需要设置内核使用 v1 版本。

编辑 /etc/default/grub 文件，添加以下的参数：

GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=0"

编辑完毕后，需要执行 update-grub 指令更新内核和 grub 引导器。

最后执行 reboot 重启操作系统，让所有配置生效。

2.1.5 （可选）关闭 swap 文件系统

执行命令 swapoff -a 关闭系统上的交换内存，尽可能引导操作系统使用物理内存，然后编辑 /etc/fstab 文件，把 swap 相关的文件系统注释掉，避免开机启动：

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
......
#/swap.img      none    swap    sw      0       0

2.1.6 安装 LXD 服务

LXD 的服务已经被打包为 snap 软件包，可以很方便地通过 snap 进行软件安装和服务进程管理。

执行指令 snap install lxd 即可完成安装，安装完毕后执行指令 lxd init 进行 LXD 服务的初始化，该过程是交换式的，下面简要讲解一下：

# 启用 LXD 的集群模式，开发体验可选择 no，生产环境建议配置为 yes
Would you like to use LXD clustering? (yes/no) [default=no]: no

# Ubuntu 提供的裸金属服务，不使用时配置为 no
Would you like to connect to a MAAS server? (yes/no) [default=no]: no

# 创建一个新的网桥，作为宿主机和虚拟机的桥接通信网卡，开发体验配置为 yes
# 如果生产使用，一般使用已配置好的宿主机网桥，尽量不要自动创建
Would you like to create a new local network bridge? (yes/no) [default=yes]: yes

# 配置一个新的存储池给虚拟机使用，如果选择 yes，默认情况下会使用 zfs 初始化一个存储池，选择 no 的话可以初始化后，自行添加存储池（生产使用一般为no）
Do you want to configure a new storage pool? (yes/no) [default=yes]: yes
Name of the new storage pool [default=default]: default
Name of the storage backend to use (btrfs, dir, lvm, zfs) [default=zfs]: zfs
Create a new ZFS pool? (yes/no) [default=yes]: yes
Would you like to use an existing block device? (yes/no) [default=no]: yes
Path to the existing block device: /dev/disk/by-id/scsi-0DO_Volume_volume-fra1-01

# LXD Daemon 默认只提供 unix socket 的通信方式，如果希望通过 API 等进行管理，需要配置为 yes
Would you like LXD to be available over the network? (yes/no) [default=no]: no

# 自动更新本地镜像缓存，默认配置文件 yes
Would you like stale cached images to be updated automatically? (yes/no) [default=yes] yes

# 打印自动生成的 LXD 服务配置信息，可以选择 yes 进行查看
Would you like a YAML "lxd init" preseed to be printed? (yes/no) [default=no]: no

初始化完毕后，执行以下指令创建一个 LXC 虚拟机来验证安装过程：

# 启动一个 LXC Container，名称叫 myServer
# CPU 配置为 1 核，256MiB 内存
lxc launch ubuntu:20.04 myServer -c limits.cpu=1 -c limits.memory=256MiB

# 查看虚拟机列表
lxc list

# 进入并使用 myServer 虚拟机
lxc exec myServer -- bash

2.2 对比 LXC Container 与 Docker

正如之前所提及的，容器实现的技术有很多种，LXC Container 和 Docker 都是容器的实现技术，而 LXD 支持则是 LXC Container。

相对于 Docker，LXC Container 的容器技术对大众来说并不常见，也较少在生产环境使用，其实两者师出同源：Docker 在 v0.9 版本开始，使用 libcontainer 来实现容器，而在此版本之前的所有版本，一直都是使用 LXC 容器技术来实现。

Docker 和 LXC 分道扬镳的根本原因在于应用场景的不一致：

• Docker 的目标是安全、快速、可靠的分发和部署应用程序，通过实现 Docker Engine，加强了应用程序在日志、存储、网络方面的使用能力；通过实现容器镜像、仓库机制以及联合文件系统，加强了自身的分发和部署能力。在设计上，Docker 容器默认情况下只允许允许主进程，如果主进程被杀死，那么容器本身也会被终止。

• LXC 的目标依然是对比虚拟机，在内核虚拟化上尽可能地完成对一个虚拟机的完整模拟，因此他本身利用了内核的非常多的特性来实现这个目标。例如使用 Process Namespace 隔离进程视图，使用 Mount Namespace 隔离文件系统视图等。

• 从安全性的角度看，LXC 的安全性要更高，LXC 的虚拟机默认启用 LXCFS 特性，并且 LXC Profile 有非常丰富的安全策略配置可供配置。由于 Docker 需要为容器管理网络、存储等关键的资源，所以 Docker Engine 在宿主机的权限特别高，容易被恶意软件识别和攻击；另外，在设计上目标是运行微服务，Docker 并没有像 LXC Container 那样，使用 LXCFS 文件系统来进行安全性方面的视图隔离，容器如果分配了较高的权限，容易引发生产安全事故。

所以，并不能直接把 Docker 看作是一种虚拟化能力，而是应用程序的生产编排解决方案。配合 Kubernetes 的编排技术，云原生应用已达到一个新的高度。

尽管比较小众，LXC 的使用场景依然集中虚拟化的解决方案上，LXD 对 Container 和 VM 的并行管理也是尽可能为生产使用提供更多的选择。

三、结语

本文从虚拟化技术的概念出发，引申出 LXD 平台基本能力介绍，以及 LXD 管理的内核虚拟化技术 LXC Container 和 Docker 的区别。

后续章节会针对 LXD 的各项功能，例如镜像管理、实例管理、网络和存储管理等进行详细的介绍。