步步为营——局域网调试NAS软路由“PVE+爱快+lede+黑群晖硬盘直通”并移植到宽带网（超详细，上篇）
步步为营——局域网调试NAS软路由“PVE+爱快+lede+黑群晖硬盘直通”并移植到宽带网【超详细，上篇】
- 一、软硬件准备
- 硬件
- 软件
- 二、PVE、爱快、lede(opwrt)、黑群晖等的IP、网关和DNS规划
- 三、安装配置PVE+爱快+lede+黑群晖
- 1、安装配置PVE
- 去除“没有有效订阅”提示
- 解决更新出错问题
- 新建桥接端口
- 设置硬件直通支持
- 2、安装配置“爱快”（ikuai）
- 3、安装配置lede-openwrt
- 4、安装配置黑群晖
- 5、正确关机
- 四、命令行操作虚拟机
- 五、移植到宽带网
最近小白我迷上了软路由NAS，“度娘”随便查了下相关资料，竟然惊人一致的要求CPU内存都很高，而且CPU要求多核并支持虚拟化，功耗还要低，主板2个以上千兆网口。公说公有理，婆说婆有理，关键问题是价钱（或者性价比），多核（4核以上25W）低功耗CPU如至强E3系列都在千元以上了，最新的8、9代CPU带T的也是千元以上，难道就没有性价比适中的么？答案是肯定的。功夫不负有心人，在千挑万选之后在某宝发现这款“真4核软路由NAS家用服务器PVE爱快LEDE黑群晖内存8G送一键安装U盘”，价格也不贵，一个如今多核低功耗CPU的价钱就搞定全套还绰绰有余！
“旧时王谢堂前燕”终于飞入寻常百姓家，下单后第二天就到货了，迫不及待开箱验证，然后是一通折腾，有枣没枣打三杆，PVE+爱快+lede+黑群晖硬盘直通，踩各种"坑"，发扬不怕折腾的精神，反正还有最后的救命稻草——商家抢送的一键安装U盘，可以一键恢复出厂，虽然要闲着等几分钟。
最后终于从“坑”里跳出来了，记下踩“坑”过程以共享，方便象我这样的小白少走弯路，欢迎大佬前辈老斯基们批评指正！
看看最后的成果，这不就是传说中的“all in one”么？真不敢相信这是我小白折腾出来的哈
好！（自己鼓掌得瑟一下），装B完了，推倒重来，小白我准备折腾第二次，下面进入正题——我的思路就是先在局域网中一个一个调试安装成功，然后再将主路由的外网口设置改为宽带拨号，就能立即移植到宽带网中了，调试过程中不耽误家人上网
一、软硬件准备
工欲善其事，必先利其器 （文中用到的相关软件见文末传送门）
硬件
- 家用路由器局域网环境（可上因特网）
- 前面某宝购买的“真4核软路由NAS家用服务器PVE爱快LEDE黑群晖内存8G送一键安装U盘”——
品牌主板含4核intel低功耗14纳米工艺CPU——TDP功耗仅10W；
笔记本低压内存8G；
双千兆网口；
HDMI、VGA、USB3.0等接口一个都不少；
双盘位新颖时尚小机箱（2.5寸盘与3.5寸盘通吃）；
专用直流电源供电，效率更高更安全 - 8G以上U盘一个（用于制作安装盘）
- 普通PC（windows环境）一套
- 显示器、键盘一套（用于本机安装PVE）
- 128G SSD固态硬盘一个（sata接口，用于安装系统）
软件
-
PVE软件镜像文件
下载PVE次新稳定版
这里下载proxmox-ve_5.4-1.iso -
ikuai(爱快)软路由系统镜像文件
下载ikuai(爱快)
这里下载iKuai8_x64_3.3.4_Build202003231122.iso -
lede-openwrt软路由系统镜像文件
下载最新版lede-openwrt
这里下载openwrt-koolshare-mod-v2.34-r13929-b0a6daaa6b-x86-64-generic-squashfs-combined.img.gz
然后用解压缩软件7-zip或RAR解压缩，得到img文件，因文件名太长，可以自己改下文件名如：lede234.img并拷贝到U盘根目录备用（U盘采用fat32文件系统） -
黑群晖启动镜像文件
-
UltraISO软碟通
二、PVE、爱快、lede(opwrt)、黑群晖等的IP、网关和DNS规划
自己的管理端电脑现在处于局域网二级路由下——
IP：192.168.1.* （由二级路由DHCP分配）
网关：192.168.1.1
DNS：192.168.2.1 （一级路由IP）
备用DNS：192.168.1.1 （二级路由IP）
初始局域网内调试各虚拟机IP、网关和DNS规划
| 系统 | IP | 网关 | DNS | 备注 |
|---|---|---|---|---|
| PVE | 192.168.11.1 | 不用设置，初始安装时默认为192.168.1.1 | 不用设置，初始安装时默认为192.168.2.1 | 想哪个网口成为lan口，在安装时就在该网口插上内网的网线，第一次外网wan口暂时空着（用局域网内另一台电脑登录管理后台进行简要设置后关机），第一次安装完成关机将lan口的网线转插到wan口，lan口用网线直连管理端电脑（或交换机-管理端电脑） |
| 爱快（主路由） | 192.168.11.2 | 暂设为自己的内网网关192.168.1.1 | 暂设为自己的内网DNS：192.168.2.1 | 先不要设置开机自动启动，要手动启动，调试时停止其它虚拟机 |
| Lede-openwrt（旁路由） | 192.168.11.3 | 暂设为爱快主路由192.168.11.2 | 暂设为自己的内网DNS：192.168.2.1 | 先不要设置开机自动启动，要手动启动，只需要一个lan网口。调试时要开启爱快主路由 |
| 黑群晖NAS | 启动爱快主路由后从爱快自动分配 | 从爱快主路由自动分配 | 从爱快主路由自动分配 | 先不要设置开机自动启动，要手动启动，调试时要开启爱快主路由和lede-openwrt |
| 其它 |
分步调试完成后准备更改的各虚拟机IP、网关和DNS规划
| 系统 | IP | 网关 | DNS | 备注 |
|---|---|---|---|---|
| PVE | 192.168.11.1 | 192.168.11.3 （原二级内网默认为192.168.1.1，现在指向lede） | 192.168.11.2 （原二级内网默认为192.168.2.1，现在指向爱快） | 网关和DNS在内网安装PVE更新升级后要做相应改动 |
| 爱快（主路由） | 192.168.11.2 | 192.168.11.3 | 暂设为自己的内网DNS：192.168.2.1 （网络变更后这里需要重新设置） | 网关和DNS根据不同外网线路做不同更改，虚拟wan网卡桥接物理外网网卡，虚拟lan网卡桥接物理机lan网卡 |
| Lede-（旁路由） | 192.168.11.3 | 192.168.11.2 | 爱快主路由的DNS（网络变更后这里需要重新设置） | 静态地址协议，只保留虚拟内网卡桥接物理机lan网卡，这是关键 |
| 黑群晖NAS | 从爱快的DHCP（192.168.11.*） | 爱快主路由自动分配 | 爱快主路由自动分配 | 虚拟网卡桥接物理机内网lan网卡 |
| 其它 | 从爱快的DHCP（192.168.11.*） | 爱快主路由自动分配 | 爱快主路由自动分配 | 虚拟网卡桥接物理机内网lan网卡 |
三、安装配置PVE+爱快+lede+黑群晖
1、安装配置PVE
安装UltraISO软碟通将前面下载的proxmox-ve_5.4-1.iso光盘镜像写入到U盘
软路由NAS机接好显示器、鼠标键盘等，插入上面制作的PVE安装U盘，开机启动默认回车键开始安装
同意"用户许可协议"，点“I gree”继续
默认安装位置，点击“next”
时区设置，Country编辑框中输入“C”，选择如下，然后“next”
设置登录密码，确认密码（第二遍），随便设置一个E-Mail邮箱地址，然后“next”
主机名要填个类似域名一样的东东，这里填的“DataCenter.cn”(其实是没有这个的哈)，在这里可以更改web管理端IP，这里默认192.168.1.108没做更改更方便后面局域网调试，然后"next"
最后的总结信息，然后开始安装
这里显示虚拟机相对实体机只有1~3%的性能损失，真是如此的话，PVE虚拟机性能还是很高的
安装过半了
显示安装成功！ 点“Restart”系统将重启
安装完成，重启时就可以拔掉U盘了。
重启进入菜单选择状态，默认第一项自动启动
如果前面没有更改wed端管理网址，那么启动完成后就是如下显示（这里显示的是https://192.168.1.108:8006），否则显示的是更改过的IP地址
此时可以用root用户和前面设置的密码直接登录进入shell命令状态
局域网另一台电脑web登录（浏览器地址栏输入上面显示的地址及端口号，这里直接用的IE浏览器，只要是windows系统应该都有的，注意是https协议，不是http哦）
https://192.168.1.108:8006
初次登录时会提示“安全证书存在问题”，不用管它，点继续浏览此网站
如果界面显示不全，可以调整IE的显示百分比为75%
登录时会出现“没有有效订阅”的烦人提示
去除“没有有效订阅”提示
如上图，登录时总是提示“没有有效订阅”，可通过下面方法去除。
PVE后台登录后点shell进命令窗口，输入如下命令：
nano /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
用ctrl+w组合键，输入data.status并回车，找到位置处
将原来的
if (data.status !== ‘Active’) {
改成
if (false) {
然后ctrl+x组合键，会提示是否保存，按Y然后回车保存
重启后删除浏览器缓存再登录，就没有讨厌的“没有有效订阅”提示了
解决更新出错问题
默认的官方的更新源太慢，需要换成国内的源，最好使用shell命令更新，否则看不到进度提示
a. 更换源地址
echo “deb https://mirrors.ustc.edu.cn/debian/ stretch main contrib non-free
deb-src https://mirrors.ustc.edu.cn/debian/ stretch main contrib non-free
deb https://mirrors.ustc.edu.cn/debian/ stretch-updates main contrib non-free
deb-src https://mirrors.ustc.edu.cn/debian/ stretch-updates main contrib non-free
deb https://mirrors.ustc.edu.cn/debian/ stretch-backports main contrib non-free
deb-src https://mirrors.ustc.edu.cn/debian/ stretch-backports main contrib non-free
deb https://mirrors.ustc.edu.cn/debian-security/ stretch/updates main contrib non-free
deb-src https://mirrors.ustc.edu.cn/debian-security/ stretch/updates main contrib non-free” > /etc/apt/sources.list
b. 修改pve 5.x 更新源地址为 no subscription，不使用企业更新源
echo “deb http://mirrors.ustc.edu.cn/proxmox/debian/pve/ stretch pve-no-subscription” > /etc/apt/sources.list.d/pve-no-sub.list
c. 关闭pve 5.x企业更新源
sed -i.bak ‘s|deb https://enterprise.proxmox.com/debian stretch pve-enterprise|# deb https://enterprise.proxmox.com/debian stretch pve-enterprise|’ /etc/apt/sources.list.d/pve-enterprise.list
d. 修改 ceph镜像更新源
echo “deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-luminous stretch main” >> /etc/apt/sources.list.d/ceph.list
e. 重启后执行更新
apt update && apt dist-upgrade
f. 更新完成再次执行上述去“没有有效订阅”提示操作
新建桥接端口
创建余下的桥接端口，并做好备注，wan计划用于外网入口，lan用于内网出口，按规划的web端管理IP先不做改动，待创建ikuai(爱快)主路由后再改也不迟
设置硬件直通支持
修改 /etc/default/grub
shell里输入 nano /etc/default/grub 或 vi /etc/default/grub
找到：GRUB_CMDLINE_LINUX_DEFAULT="quiet"
修改为：GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
如果是amd cpu改为：GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
(ctrl+x组合键，会提示是否保存，按Y然后回车保存)
保存退出后输入 update-grub 更新grub
2、安装配置“爱快”（ikuai）
上传前面下载的ikuai(爱快)光盘镜像文件
web后台登录——> local ——> 内容 ——> 上传
创建ikuai(爱快)虚拟机软路由，命名ikuai334，虚拟机ID序号为100
操作系统选择光驱文件（这里注意，因误上传了32位的ISO，请自行更正上传64位的ISO）
系统默认，下一步
虚拟硬盘大小设置为2G足够了，下一步
CPU分配2个核，下一步
内存分配4096，即4个G，下一步
网络默认，下一步
确认总结信息，点“完成”。这里请注意，因为疏忽将x32文件ISO误上传了，导致后面安装时shell中ikuai菜单异常，请自己更正为x64的ISO文件（即：iKuai8_x64_3.3.4_Build202003231122.iso）
稍等几秒出现ID号为100的爱快虚拟机，然后添加网络设备（用于外网通讯）
选择桥接vmbr1，模型选择“VirtIO半虚拟化”，然后点“添加”
“添加”完成如下图
设置ikuai（爱快）虚拟机引导顺序从CD ROM驱动器启动
启动ikuai（爱快）虚拟机
可能管理端电脑的IE版本太低或什么其它缘故，启动后按shell不能正常显示，改为360浏览器的极速模式后出现如下界面：（选择输入1——将系统安装到硬盘）
确认是否安装到硬盘，输入"y"。 “q”键返回到上一级菜单
安装完成自动重启后还是会出现前面的安装界面，所以此时要鼠标右键菜单停止ikuai（爱快）虚拟机，调整启动顺序从硬盘启动同时删除CD ROM光驱（因为已经安装到硬盘，不需要它了）
设置新的引导顺序从硬盘启动
删除多余的CD ROM驱动器
删除完CD-ROM后重新启动
上面显示的默认web管理地址与现在的二级路由地址有冲突，需要改为规划中的IP地址。
一般有两种方式可以改动web管理地址，一种是上面的shell状态下选择输入1（绑定内外网卡选择输入2），第二种是后台web登录更改，这里选择第一种方式，顺便将外网网卡也一并绑定。
先选择输入1 （设置网卡绑定）回车确认，然后输入set wan1 eth1回车确认
q键回到上级菜单
再选择输入2 （设置LAN/WAN地址）回车确认，然后输入0 （设置LAN1地址）回车确认，然后输入前面规划的ikuai（爱快）IP地址：192.168.11.2/255.255.255.0
q键回到上级菜单，发现web管理地址已经变成192.168.11.2了
现在可以更改PVE网卡IP为设定值192.168.11.1（和主路由同网段），网关和DNS均指向主路由192.168.11.2
也可在PVE的shell窗口中通过nano更改以下2个文件：
/etc/network/interfaces
/etc/hosts
其中，/etc/hosts是必须更改的，否则PVE启动界面web管理IP显示的还是前面自动获取的IP
PVE本机shell界面输入：
nano /etc/network/interfaces，更改PVE的web管理地址为192.168.11.1，更改网关为ikuai（爱快）的IP：192.168.11.2
（ctrl+x组合键退出时会提示是否保存，按Y然后回车保存）
PVE本机shell界面输入：
nano /etc/hosts，更改PVE的原主机IP 192.168.1.1为192.168.11.1
（ctrl+x组合键退出时会提示是否保存，按Y然后回车保存）
设置完成关机（关闭PVE的DataCenter节点）
局域网网线转插软路由NAS机的wan口，web管理端电脑用网线和lan口直连，web管理端电脑网卡属性的IP设置在主路由同网段，譬如192.168.11.9，然后就可以登录PVE和爱快后台再次进行其它设置
web端管理电脑网卡IPv4属性设置如下
PVE后台web登录启动ikuai（爱快）
初次web后台登录ikuai（爱快），初始账户密码都是admin
第一次登录要求更改密码
第一次登录系统概况
wan网口设置已经自动填充好了
DHCP服务端默认是关闭的
添加DHCP服务
添加完后重启DHCP服务
再次设置web端管理电脑网卡属性，开启DHCP自动获取IP
小有成就感，现在连接lan网口的web管理端电脑可以上因特网了！
3、安装配置lede-openwrt
如果配置过程中导致web不能登录PVE后台，譬如前面PVE节点关机了，但是因为没有设置ikuai（爱快）随PVE开机启动，而web管理电脑又设置了DHCP开启不能获得有效网址IP，开机后又要重新设置IP才能连PVE后台。如果不想重新设置管理电脑IP（保持前面DHCP开开启），此时可通过本机shell端登录用命令启动虚拟机（参考 四、命令行操作虚拟机）
命令：qm start 100
（面前已经知道ikuai-爱快虚拟机ID序号为100）
管理端电脑web后台登录新建虚拟机，命名lede234，虚拟机ID序号为101
设置操作系统不使用任何介质
系统界面默认设置，下一步
虚拟硬盘大小先填个2G大小，反正后面还要删除的，下一步
虚拟机CPU分配2个核，下一步
虚拟机内存填写2048（即2G大小），下一步
网络默认设置，下一步
最后的确认信息，无误点完成就完成了lede-openwrt虚拟机101初步创建
将前面含有lede234.img备用的U盘插入本机将显示如下，回车确认一下
fdisk -l 命令查看磁盘情况，当前目录下新建tmpsdb1目录，将新插入U盘挂载在tmpsdb1下
fdisk -l
mkdir tmpsdb1
mount /dev/sdb1 tmpsdb1
shell本机用如下命令载入lede映像文件（这样做的好处是不用重复拷贝，直接使用LVM空间）
qm importdisk 101 ./tmpsdb1/lede234.img local-lvm
显示成功导入lede映像文件
再次回到前面虚拟机界面进行“编辑”，发现硬件多了一个“未使用的磁盘0”
分离前面新建的2G空盘
刚分离出的2G空盘变成了“未使用的磁盘1“，点”删除“确认删除这个多余的空盘
现在只剩lede系统盘-“未使用的磁盘0”了，双击它或点编辑确认添加
同时删除多余的CD ROM驱动器
查看引导顺序系统盘是否为第1项
启动lede虚拟机101，即启动lede-openwrt
启动lede虚拟机后点控制台并回车确认一下，可进入shell命令窗口（这里注意一下，IE浏览器或360浏览器可能不方便shell命令操作，这里换用UC浏览器了）
如果内窗显示太小，点这里的“控制台”将在独立的大窗口显示shell命令
shell窗口中输入 vi /etc/config/network，准备修改网络配置文件
修改管理IP为规划中的 192.168.11.3， 输入 ：wq! 保存退出
shell窗口中输入 service network restart，重启网卡服务
设置lede-openwrt虚拟机和ikuai（主路由）虚拟机随PVE开机启动，重新启动PVE节点，同时也关闭管理电脑然后手动启动（这里有个“坑”：因为管理端电脑DHCP是开启的，导致分配的IP会与lede指定的管理IP有冲突，所以要先关闭，待PVE节点启动完成后再开机重启管理端电脑）
设置lede-openwrt随PVE开机启动
同时也设置ikuai（爱快）主路由随PVE开机启动
重启PVE节点同时也重启管理端电脑，预防DHCP分配的IP与现有IP冲突
登录lede后台——需要密码（默认初始密码为 koolshare）
登录lede后台——初次登录后状况
系统->管理权->主机密码，更改密码（输入2遍）
确保只留lan网口且是静态协议，并点“编辑”准备相关设置
这里有个“坑”（必须设置接口-lan的网关和DNS并保存，否则库软中心无法更新且插件无法安装，提示 “下载文件校验不一致”）
如果没有设置接口-lan的网关和DNS，酷软中心安装插件时会提示如下错误
设置接口-lan的网关和DNS后保存并应用
酷软中心显示已是最新版本，下面手动安装所有插件
鼠标指向该插件会出现“安装”字样，点击安装即可
所有插件安装完成，目前都处于未开启状态，自己根据需要手动开启，插件开启一般会使网络有一定延迟哦
现在，按规划可以将主路由ikuai的网关由原来自己的IP设置为lede-openwrt的IP了： 192.168.11.3
当然，也可以两个软路由二者只用其一（需要进一步设置）
设置完成再次重启PVE节点
再次重启PVE节点后查看PVE概要
再次重启PVE节点后查看ikuai （爱快）系统概况
再次重启PVE节点后查看lede-openwrt系统状况
再次重启PVE节点后查看管理端电脑DHCP本地连接属性IPv4概况
再次重启PVE节点后管理端windows一般会提示设置网络位置，要选工作网络或家庭网络，否则不受信任的网络防火墙会有诸多限制影响下面的调试
用专业路由软件跟踪一下看看，发现首先是经过了lede-openwrt网关的，行百里者半九十，离最终的胜利又前进了一步！
下面，将进行重头戏——PVE安装配置黑群晖，“革命”尚未成功，同志仍需努力！
4、安装配置黑群晖
5、正确关机
四、命令行操作虚拟机
五、移植到宽带网
文中用到的软件传送门