ZFS
zfs 是号称最后的文件系统，有很多有用的特性，我最喜欢的就是它的快照功能了。
由于许可的不兼容，kenrel至今没有包含ZFS。
https://github.com/zfsonlinux/zfs/wiki
Gentoo
Gentoo是一个基于源代码发行元发行版，并且是滚动更新。
https://gentoo.org/
Start
准备工作
首先从下面找到一个基于Gentoo的system rescue CD，它包含了很多有用的程序，其中就包含ZFS。
http://list.zfsonlinux.org/zfs-iso/
写入U盘或者刻录CD，并且从U盘或者CD启动。
输入 startx 以启动图形桌面。
分区，建立pool和数据集
分区
我的分区是
1分区，512M，挂载/boot/efi，因为我是EFI启动。想以legacy方式启动的，这个分区可以不要。
2分区，剩下所有。
我准备使用6块硬盘组成2个raidz1（数据证明这样比一个raidz2的IO要快一点），每一块硬盘都要按照这样的分区来进行分区。但是挂载的时候，只需要挂载一个硬盘到/boot/efi就可以了。
#如果硬盘已有分区，zap掉。
sgdisk -Z /dev/sdX
sgdisk -n1:0:+512M /dev/sdX
sgdisk -n2:0:0 /dev/sdX
#efi分区使用fat格式
mkfs.vfat /dev/sdX1
组成pool
zpool create -f -o ashift=12 -o cachefile=/tmp/zpool.cache -O normalization=formD -O \
atime=off -O compression=lz4 -O xattr=sa -m none -R /mnt/gentoo rpool \
raidz1 \
/dev/disk/by-id/wwn-XXX-part2 /dev/disk/by-id/wwn-XXX-part2 /dev/disk/by-id/wwn-XXX-part2 \
raidz1 \
/dev/disk/by-id/wwn-XXX-part2 /dev/disk/by-id/wwn-XXX-part2 /dev/disk/by-id/wwn-XXX-part2
请尽量使用/dev/disk/by-id中的硬盘名称，它们是唯一的，这样在以后硬盘的顺序更改后，不会出现问题。
看下status
JohnJWorkstation ~ # zpool status
pool: rpool
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
wwn-XXX-part2 ONLINE 0 0 0
wwn-XXX-part2 ONLINE 0 0 0
wwn-XXX-part2 ONLINE 0 0 0
raidz1-1 ONLINE 0 0 0
wwn-XXX-part2 ONLINE 0 0 0
wwn-XXX-part2 ONLINE 0 0 0
wwn-XXX-part2 ONLINE 0 0 0
cache
nvme0n1p1 ONLINE 0 0 0
errors: No known data errors
#如有需要可以自己加上cache和ZIL
建立数据集
数据集的建立，基本思想是分开系统和用户数据。
zfs create -o mountpoint=none -o canmount=off rpool/ROOT
zfs create -o mountpoint=none -o canmount=off -o setuid=off rpool/GENTOO
zfs create -o mountpoint=none -o canmount=off -o setuid=off rpool/HOME
zfs create -o mountpoint=/ rpool/ROOT/gentoo
zfs create -o mountpoint=/boot rpool/ROOT/boot
zfs create -o setuid=off -o mountpoint=/home rpool/HOME/home
zfs create -o mountpoint=/root rpool/HOME/root
zfs create -o canmount=off -o setuid=off -o exec=off -o mountpoint=/var rpool/ROOT/var
zfs create -o com.sun:auto-snapshot=false -o mountpoint=/var/cache rpool/ROOT/var/cache
zfs create -o acltype=posixacl -o xattr=sa -o mountpoint=/var/log rpool/ROOT/var/log
zfs create -o com.sun:auto-snapshot=false -o exec=on -o mountpoint=/var/tmp rpool/ROOT/var/tmp
zfs create -o mountpoint=/srv rpool/ROOT/srv
zfs create -o com.sun:auto-snapshot=false -o mountpoint=/var/lib/nfs rpool/ROOT/var/nfs
zfs create -o mountpoint=/usr/portage -o atime=off rpool/GENTOO/portage
zfs create -o mountpoint=/usr/portage/distfiles rpool/GENTOO/distfiles
zfs create -o mountpoint=/var/tmp/portage -o compression=lz4 -o exec=on -o sync=disabled rpool/GENTOO/build-dir
zfs create -o mountpoint=/usr/portage/packages rpool/GENTOO/packages
zfs create -o mountpoint=/var/tmp/ccache -o compression=lz4 -o exec=on rpool/GENTOO/ccache
zfs create -o mountpoint=/home/johnj rpool/HOME/johnj
#建立swap分区，这一步可以省略，如果你打算用其他设备。
zfs create -V 4G -b $(getconf PAGESIZE) -o logbias=throughput -o sync=always -o primarycache=metadata rpool/SWAP
看下结果
NAME USED AVAIL REFER MOUNTPOINT
rpool 1.10T 19.9T 128K none
rpool/GENTOO 7.34G 19.9T 128K none
rpool/GENTOO/build-dir 18.9M 19.9T 18.3M /var/tmp/portage
rpool/GENTOO/ccache 128K 19.9T 128K /var/tmp/ccache
rpool/GENTOO/distfiles 6.21G 19.9T 6.21G /usr/portage/distfiles
rpool/GENTOO/packages 128K 19.9T 128K /usr/portage/packages
rpool/GENTOO/portage 1.11G 19.9T 999M /usr/portage
rpool/HOME 1.03G 19.9T 128K none
rpool/HOME/home 139K 19.9T 139K /home
rpool/HOME/johnj 1.03G 19.9T 862M /home/johnj
rpool/HOME/root 432K 19.9T 256K /root
rpool/ROOT 13.9G 19.9T 128K none
rpool/ROOT/boot 96.9M 19.9T 79.3M /boot
rpool/ROOT/gentoo 13.3G 19.9T 11.3G /
rpool/ROOT/srv 128K 19.9T 128K /srv
rpool/ROOT/var 589M 19.9T 128K /var
rpool/ROOT/var/cache 19.4M 19.9T 12.8M /var/cache
rpool/ROOT/var/log 538M 19.9T 31.8M /var/log
rpool/ROOT/var/nfs 128K 19.9T 128K /var/lib/nfs
rpool/ROOT/var/tmp 31.4M 19.9T 20.8M /var/tmp
rpool/SWAP 68.1G 19.9T 111M -
不要忘记设置bootfs
#因为我们有单独的boot
zpool set bootfs=rpool/ROOT/boot
安装Gentoo
下载stage3
一般情况下，我们使用muiltilib版本，并且使用openrc的版本。
国内速度慢，我们使用163的源。
http://mirrors.163.com/gentoo/releases/amd64/autobuilds
自行寻找最新的build。
cd /mnt/gentoo
wget ${stage3-url}
tar xpf ${stage3-file}
一些配置
# 首先，我们zpool.cache cp进去
mkdir -p /mnt/gentoo/etc/zfs
cp /tmp/zpool.cache /mnt/gentoo/etc/zfs/zpool.cache
# 然后就是Gentoo的官方的安装指南了
# 更新/etc/portage/make.conf
nano -w /mnt/gentoo/etc/portage/make.conf
# 加入以下，请按照自己的实际情况修改
CFLAGS="-march=native -O2 -pipe"
CXXFLAGS="${CFLAGS}"
MAKEOPTS="-j33"
PORTAGE_NICENESS="19"
ACCEPT_LICENSE="*"
FEATURES="parallel-fetch -collision-protect -protect-owned -xattr"
CPU_FLAGS_X86="aes avx avx2 fma3 mmx mmxext pclmul popcnt sse sse2 sse3 sse4_1 sse4_2 ssse3"
VIDEO_CARDS="nvidia"
GRUB_PLATFORMS="efi-64"
GENTOO_MIRRORS="http://mirrors.163.com/gentoo/"
# CPU_FLAGS_X86 是使用cpuid2cpuflags 得到的。
# GENTOO_MIRRORS 也可以使用 mirrorselect -i -o >> /mnt/gentoo/etc/portage/make.conf 得到
# 把DNS信息拷贝进去，把repo信息拷贝进去。
cp --dereference /etc/resolv.conf /mnt/gentoo/etc/
mkdir --parents /mnt/gentoo/etc/portage/repos.conf
cp /mnt/gentoo/usr/share/portage/config/repos.conf /mnt/gentoo/etc/portage/repos.conf/gentoo.conf
chroot进去
cd /mnt/gentoo
mount -t proc none proc
mount --rbind /sys sys
mount --rbind /dev dev
chroot /mnt/gentoo /bin/bash
source /etc/profile
#把efi分区挂上
mkdir -p /boot/efi
mount /dev/sdX1 /boot/efi
安装基本系统
emerge-webrsync
#选择你的profile
eselect profile list
eselect profile set 19
# 更新世界
emerge --ask --update --deep --newuse @world
# 更新时区
echo "Asia/Hong_Kong" > /etc/timezone
emerge --config sys-libs/timezone-data
# 更新locale
nano -w /etc/locale.gen
# 反注释掉以下
en_US ISO-8859-1
en_US.UTF-8 UTF-8
# 执行以下
locale-gen
# 更新系统locale
eselect locale list
eselect locale set 4
# reload
env-update && source /etc/profile
配置和编译内核
我们需要把ZFS功能以内核模块的方式挂进kernel，需要配置内核，十分烦人。我们使用Gentoo提供的内核配置工具来自动生成配置。
# 安装genkernel
# 还需要将>=sys-apps/util-linux-2.30.2 static-libs 加入到use文件
emerge sys-kernel/genkernel
# 安装kernel source
emerge sys-kernel/gentoo-source
# 先运行以下genkernel以得到一个.config文件，这个文件在安装ZFS的时候会检查
genkernel kernel --no-mountboot
安装ZFS，我们需要将ZFS加入到accept_keywords文件。
nano -w /etc/portage/package.accept_keywords/gentoo
# 加入以下
sys-kernel/spl **
sys-fs/zfs-kmod **
sys-fs/zfs **
# 然后
emerge sys-fs/zfs
# 这里将从github直接clone代码，网速较慢，请自行更新hosts文件
安装完成后，我们将ZFS服务启用
rc-update add zfs-import boot
rc-update add zfs-mount boot
rc-update add zfs-share default
rc-update add zfs-zed default
安装grub2，我们需要更新USE变量，使grub2能够引导ZFS分区。
# 在文件/etc/portage/package.use/gentoo 加入以下
sys-boot/grub:2 libzfs
# 在文件/etc/portage/package.accept_keywords/gentoo 加入以下
sys-boot/grub:2 ~amd64
# 然后
emerge sys-boot/grub:2
# 完成后，查看是否一些正常
JohnJWorkstation ~ # grub-probe /
zfs
# 安装引导程序， 我们使用的EFI，所以使用下面的命令安装。
grub-install --target=x86_64-efi --efi-directory=/boot/efi
# 如果有只读的错误报出，执行以下
mount -o remount,rw /sys/firmware/efi/efivars
# 然后重新执行安装。
# 给一个空的grub.cfg,后续的grub-mkconfig会检查
touch /boot/grub/grub.cfg
至此，一些准备就绪,开始编译内核。
genkernel all --no-mountboot --zfs --bootloader=grub2 --callback="emerge @module-rebuild"
# --zfs，告诉genkernel我们的内核需要ZFS的支持
# 一般情况下，我们需要重新编译kernel的module，所以有了--callback
收尾工作
# swap分区的启用略。
# 增加一个日常使用的账户
useradd -m -G users,wheel,audio -s /bin/bash johnj
# home/johnj目录我们之前已经建好。
# 退出chroot环境
exit
# umount 目录
umount -lR {proc,dev,sys}
cd /
zpool export rpool
reboot
End
惯例
# johnj @ JohnJWorkstation in ~ [21:27:23]
$ neofetch
-/oyddmdhs+:. johnj@JohnJWorkstation
-odNMMMMMMMMNNmhy+-` ----------------------
-yNMMMMMMMMMMMNNNmmdhy+- OS: Gentoo/Linux x86_64
`omMMMMMMMMMMMMNmdmmmmddhhy/` Host: Z10PE-D8 WS
omMMMMMMMMMMMNhhyyyohmdddhhhdo` Kernel: 4.17.4-gentoo
.ydMMMMMMMMMMdhs++so/smdddhhhhdm+` Uptime: 10 hours, 33 mins
oyhdmNMMMMMMMNdyooydmddddhhhhyhNd. Packages: 1253
:oyhhdNNMMMMMMMNNNmmdddhhhhhyymMh Shell: zsh 5.5.1
.:+sydNMMMMMNNNmmmdddhhhhhhmMmy Resolution: 3840x2160
/mMMMMMMNNNmmmdddhhhhhmMNhs: DE: KDE
`oNMMMMMMMNNNmmmddddhhdmMNhs+` WM: KWin
`sNMMMMMMMMNNNmmmdddddmNMmhs/. WM Theme: Breeze
/NMMMMMMMMNNNNmmmdddmNMNdso:` Theme: Breeze Dark [KDE], Breeze [GTK2/3]
+MMMMMMMNNNNNmmmmdmNMNdso/- Icons: Breeze-dark [KDE], Breeze [GTK2/3]
yMMNNNNNNNmmmmmNNMmhs+/-` Terminal: konsole
/hMMNNNNNNNNMNdhs++/-` CPU: Intel Xeon E5-2620 v4 (32) @ 3.000GHz
`/ohdmmddhys+++/:.` GPU: NVIDIA GeForce GTX 1080 Ti
`-//////:--. Memory: 5437MiB / 64211MiB
至此就安装完成了。至于DM, WM， DE环境，请自行查看Gentoo的文档。