前一段时间摸索了以下在x86平台上安装arm架构(包括aarch64和armhf)的虚拟机,中间遇到了不少问题。把经验总结下来希望能帮到大家。
如果在宿主机上只安装了qemu-kvm的话,宿主机上只能运行X86构架的虚拟机,并能够利用kvm加速,并不能将arm指令翻译成X86指令运行。所有还需要安装qemu-system-aarch64,它提供了aarch64架构虚拟机在x86架构上的运行支持。
可以通过下载源代码并编译安装:
wget https://download.qemu.org/qemu-2.11.0.tar.xz
tar xvJf qemu-2.11.0.tar.xz
cd qemu-2.11.0
./configure –-target-list=aarch64-softmmu
make
sudo make install
在安装的过程中可能会报缺少一些依赖包,我在安装过程中安装了以下依赖包后成功安装。
sudo yum install zlib-devel
sudo yum install glib2-devel
sudo yum install pixman-devel
安装成功后qemu-system-aarch64会安装到/usr/local/bin/目录下。
以前系统的启动过程可以简化为 BIOS固件—->引导程序—->操作系统,但是由于传统的BIOS启动方式存在许多问题,如bios运行在16位模式,寻址空间小,运行慢等,所以现在X86、ARM架构等架构都改采用了改进的 UEFI 启动方式(当然会有兼容传统BIOS启动方式的考虑),这种情况下系统启动过程如下图所示。
上图启动过程详细我也不太清楚,大家可以看看wiki上的进一步介绍,这里需要说明的是,UEFI启动中最开始执行的也是专门的UEFI固件。因此,我们要想引导到安装光盘(支持UEFI模式)进一步安装aarch64架构的系统,先要下载对应架构(这里是aarch64)的UEFI固件。
QEMU_EFI.fd(下载地址:http://releases.linaro.org/components/kernel/uefi-linaro/16.02/release/qemu64/)
我这里采用的是arm64架构的ubuntu 16.04 server版:ubuntu-16.04.3-server-arm64.iso
利用qemu-img指令可以创建1个空的虚拟硬盘,便于后面安装的时候将系统安装到虚拟硬盘上。
qemu-img create ubuntu16.04-arm64.img 16G
如果没有上述命令,大家联网安装即可。
执行如下命令:
qemu-system-aarch64 -m 2048 -cpu cortex-a57 -smp 2 -M virt -bios QEMU_EFI.fd -nographic -drive if=none,file=ubuntu-16.04.3-server-arm64.iso,id=cdrom,media=cdrom -device virtio-scsi-device -device scsi-cd,drive=cdrom -drive if=none,file=ubuntu16.04-arm64.img,id=hd0 -device virtio-blk-device,drive=hd0
执行上述命令时确保QEMU_EFI.fd、ubuntu-16.04.3-server-arm64.iso、ubuntu16.04-arm64.img文件在当前目前下,否则需要修改成对应的文件路径。在上述参数中,指定安装光盘这里-drive if=none,file=ubuntu-16.04.3-server-arm64.iso,id=cdrom,media=cdrom -device virtio-scsi-device -device scsi-cd,drive=cdrom
我在有些网站上找到了不同的方式并尝试,但进入到光盘的安装界面后会报如下图所示错误,最后发现上述指定能正确的完成安装。
安装完成之后,下面就是启动虚拟机。正常情况下,安装完成后会自动重新启动,然后发现进入到下面的界面。顿时慌了,又出问题了。安装过程中出现问题大家不要轻易放弃,一定要理性的分析问题和解决问题。
上面是进入到了UEFI的交互shell里面,为什么没有执行grub并引导进入ubuntu系统咧?说明UEFI固件没有找到ESP分区(EFI system partition,安装过程中就会看见创建了一个ESP分区)或者没有找到ESP分区中的EFI文件,因为系统需要该EFI文件来引导。在该shell下执行exit
进入到UEFI的管理界面,并手动选择EFI文件启动系统,如下图所示。
qemu-system-aarch64 -m 2048 -cpu cortex-a57 -smp 2 -M virt -bios QEMU_EFI.fd -nographic -drive if=none,file=ubuntu16.04-arm64.img,id=hd0 -device virtio-blk-device,drive=hd0
前面能够利用命令成功启动虚拟机啦,但是对于我这种入门级的选手来说更想用带界面的virt-manager工具去直观地管理虚拟机(开关虚拟机、添加删除网络接口也很方便),于是进行了一番尝试,找到了一个可行的方法。
首先是安装virt-manager工具。
sudo yum install virt-manager
安装完成后启动virt-manager,如下图。在选择Architecture为aarch64后,出现了图中所示的warning,表示找不到aarch64架构的UEFI固件,并且在安装方式上自动选择了Import existing disk image。一想也是,系统最开始执行的就是UEFI固件,而我们并没有指定UEFI固件的路径。
这种情况下需要提供系统镜像外,还要提供vmlinuz内核文件和initrd文件。
这里给出了安装UEFI固件的步骤,网页打开较慢,我这里给出步骤的截图。
安装完成后,从下面的图中可以看到,warning消失了,并且只需要导入硬盘镜像文件,说明UEFI固件已经起作用了。只要UEFI固件能够执行到硬盘ESP分区上的EFI文件,那就能够成功启动系统了。
通过查阅资料,发现这是由于libvirt库的版本导致的,将libvirt版本升级到3.10.0。在libvirt官网上最新稳定版本是3.10.0,但通过yum直接安装还没有这个最新版本。我直接找到了一个可用源。在/etc/yum.repos.d目录下建一个virt.repo文件,将下面代码复制到文件中。
[virt]
name=CentOS-$releasever - virt
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
baseurl=http://mirrors.nwsuaf.edu.cn/centos/$releasever/virt/$basearch/libvirt-latest/
ailovermethod=priority
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
运行sudo yum update libvirt
完成更新!
更新完成后再次启动虚拟机,本以为会没有问题了额,结果卡在了下面的界面中
个人觉得是新安装的UEFI固件的问题,在网上也没有找到可用的解决方法。如果有读者能够找到上面问题的解决方法,也可以留言告知我。
最终不得不采用内核启动的方式。将前面的系统镜像/boot目录挂载到本地,然后提取其中的vmlinuz和initrd文件。
首先用fdisk查看系统镜像的分区和偏移,下图是我的系统镜像的信息。
可以看到,我的/boot在/所在的第二个分区中,执行下面命令将/所在分区挂载到本地的/mnt目录下(注意偏移量的修改),并将两个文件拷贝出来。命令如下
sudo mount -o loop,ro,offset=$((1050624*512)) xxx.img /mnt
sudo cp /mnt/boot/vmlinuz .
sudo cp /mnt/boot/initrd .
然后再导入过程中指定虚拟机镜像和vmlinuz、initrd文件、内核参数指定为root=/dev/sda2
,或者在自定义阶段配置,如下图所示。
再次启动系统,成功进入到系统中……
如果发现采用内核启动方式仍然无法启动,并停留在下图所示的界面,说明是还是该UEFI固件的问题,我就遇到了这个问题。大家可以将最前面用到的QEMU_EFI.fd文件,采用如下命令对安装的UEFI固件进行替换即可
dd if=QEMU_EFI.fd of=/usr/share/edk2.git/aarch64/QEMU_EFI-pflash.raw conv=notrunc
https://wiki.linaro.org/LEG/UEFIforQEMU
https://kennedy-han.github.io/2015/06/16/QEMU-debian-ARMv8.html
https://en.opensuse.org/openSUSE:AArch64
https://gmplib.org/~tege/qemu.html
https://marcin.juszkiewicz.com.pl/2015/04/17/running-vms-on-fedoraaarch64/
https://bugzilla.redhat.com/show_bug.cgi?id=1449837
https://marcin.juszkiewicz.com.pl/2015/04/17/running-vms-on-fedoraaarch64/