深入理解系统调用 -- 课程实验2

一、 搭建Linux内核调试环境

　　本次实验的目录架构，一个主目录LinuxK，其包含3个文件夹：linux-5.4.34内核文件夹，busybox文件夹和rootfs文件夹。

　　安装开发工具

sudo apt install build-essential
sudo apt install qemu # install QEMU 
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev

　　下载内核源码

# 在linuxK目录下
sudo apt install axel
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/ linux-5.4.34.tar.xz 
xz -d linux-5.4.34.tar.xz 
tar -xvf linux-5.4.34.tar 
cd linux-5.4.34

　　配置内核选项

# 在linux-5.4.34目录下
make defconfig # Default configuration is based on 'x86_64_defconfig'
make menuconfig  
# 打开debug相关选项
Kernel hacking  ---> 
    Compile-time checks and compiler options  ---> 
       [*] Compile the kernel with debug info 
       [*]   Provide GDB scripts for kernel debugging
[*] Kernel debugging 
# 关闭KASLR，否则会导致打断点失败
Processor type and features ----> 
   [] Randomize the address of the kernel image (KASLR)

　　

　　编译运行内核

#在linux-5.4.34目录下
make -j$(nproc) # nproc gives the number of CPU cores/threads available
# 测试⼀下内核能不能正常加载运⾏，因为没有⽂件系统终会kernel panic 
qemu-system-x86_64 -kernel arch/x86/boot/bzImage  #  此时应该不能正常运行

　　

　　制作根文件系统

　　电脑加电启动⾸先由bootloader加载内核，内核紧接着需要挂载内存根⽂件系统，其中包含必要的设备驱动和⼯具，bootloader加载根⽂件系统到内存中，内核会将其挂载到根⽬录/下，然后运⾏根⽂件系统中init脚本执⾏⼀些启动任务，最后才挂载真正的磁盘根⽂件系统。我们这⾥为了简化实验环境，仅制作内存根⽂件系统。这⾥借助BusyBox 构建极简内存根⽂件系统，提供基本的⽤户态可执⾏程序。

# 在busybox目录下
axel -n 20 https://busybox.net/downloads/busybox-1.31.1.tar.bz2
tar -jxvf busybox-1.31.1.tar.bz2
cd busybox-1.31.1

　　注意：由于与gcc兼容性问题，不要去官网下载busybox，可用在https://github.com/mirror/busybox 下载 busybox。

make menuconfig
#记得要编译成静态链接，不⽤动态链接库。
Settings --->
     [*] Build static binary (no shared libs)
#然后编译安装，默认会安装到源码⽬录下的 _install ⽬录中
make -j$(nproc) 
make install

#制作内存根文件系统镜像
# 在linuxK目录下
mkdir rootfs
cd rootfs
cp ../busybox-1.31.1/_install/* ./ -rf
mkdir dev proc sys home
sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/

　　准备init脚本⽂件，放在根⽂件系统跟⽬录下（rootfs/init），添加如下内容到init⽂件中

 #!/bin/sh
 mount -t proc none /proc 
 mount -t sysfs none /sys
 echo "Wellcome MyOS!"
 echo "--------------------" 
 cd home
 /bin/sh 

#在 rootfs 目录下 给init脚本添加可执⾏权限
chome +x init

# 在 rootfs目录下，打包成内存根⽂件系统镜像
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../rootfs.cpio.gz
# 测试挂载根⽂件系统，看内核启动完成后是否执⾏init脚本
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz　　

　　

　　此时，完成内核调试环境的搭建。

二、跟踪调试Linux内核的基本方法

　　本实验中启动虚拟机的方法

qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s
# 纯命令行下启动虚拟机
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s -nographic -append "console=ttyS0"

　　⽤以上命令先启动，然后可以看到虚拟机⼀启动就暂停了。加-nographic -append "console=ttyS0"参数启动不会弹出QEMU虚拟机窗⼝，可以在纯命令⾏下启动虚拟机，此时可以通过“killall qemu-systemx86_64”命令强⾏关闭虚拟机。此时不可关闭QEMU及终端。再打开另一个终端（建议在linux5.4.34目录下打开），输入如下命令：

gdb vmlinux
(gdb) target remote:1234
(gdb) b start_kernel
c、 bt、 list、 next、 step....

　　系统调用概述

　　现代cpu通常有多种特权级别，一般来说特权级总共有4个，编号从Ring 0（最高特权）到Ring 3（最低特权），在Linux上之用到Ring 0和RIng 3，用户态对应Ring 3，内核态对应Ring 0。普通应用程序运行在用户态下，其诸多操作都受到限制，而系统调用是运行在内核态的，操作系统一般是通过中断来从用户态切换到内核态的。
　　中断一般有两个属性，一个是中断号，一个是中断处理程序。不同的中断有不同的中断号，每个中断号都对应了一个中断处理程序。在内核中有一个叫中断向量表的数组来映射这个关系。当中断到来时，cpu会暂停正在执行的代码，根据中断号去中断向量表找出对应的中断处理程序并调用。中断处理程序执行完成后，会继续执行之前的代码。中断分为硬件中断和软件中断，我们这里说的是软件中断，软件中断通常是一条指令，使用这条指令用户可以手动触发某个中断。例如在i386下，对应的指令是int，在int指令后指定对应的中断号，如int 0x80代表你调用第0x80号的中断处理程序。
　　对于每个系统调用都有一个系统调用号，在触发中断之前，会将系统调用号放入到一个固定的寄存器，0x80对应的中断处理程序会读取该寄存器的值，然后决定执行哪个系统调用的代码。
操作系统通过系统调用为运行于其上的进程提供服务。当用户态进程发起一个系统调用， CPU 将切换到 内核态 并开始执行一个 内核函数 。 内核函数负责响应应用程序的要求，例如操作文件、进行网络通讯或者申请内存资源等。

　调用流程

　　在应用程序内，调用一个系统调用的流程是怎样的呢？我们以一个假设的系统调用 xyz 为例，介绍一次系统调用的所有环节。

　　

　　如上图，系统调用执行的流程如下：
　　  1.应用程序 代码调用系统调用( xyz )，该函数是一个包装系统调用的 库函数 ；
　　  2.库函数 ( xyz )负责准备向内核传递的参数，并触发 软中断 以切换到内核；
　　  3.CPU被 软中断 打断后，执行 中断处理函数 ，即 系统调用处理函数 ( system_call)；
　　  4.系统调用处理函数 调用 系统调用服务例程 ( sys_xyz )，真正开始处理该系统调用；

　　执行态切换

　   应用程序 ( application program )与 库函数 ( libc )之间， 系统调用处理函数 ( system call handler )与 系统调用服务例程 ( system call service routine )之间， 均是普通函数调用。 而 库函数 与 系统调用处理函数 之间，由于涉及用户态与内核态的切换，要复杂一些。Linux 通过 软中断 实现从 用户态 到 内核态 的切换。 用户态 与 内核态 是独立的执行流，因此在切换时，需要准备 执行栈 并保存 寄存器 。内核实现了很多不同的系统调用(提供不同功能)，而 系统调用处理函数 只有一个。 因此，用户进程必须传递一个参数用于区分，这便是 系统调用号 ( system call number )。 在 Linux 中， 系统调用号 一般通过 eax 寄存器 来传递。

　　总结起来， 执行态切换 过程如下：

　　  1.应用程序 在 用户态 准备好调用参数，执行 int 指令触发 软中断 ，中断号为 0x80 ；
　　  2.CPU 被软中断打断后，执行对应的 中断处理函数 ，这时便已进入 内核态 ；
　　  3.系统调用处理函数 准备 内核执行栈 ，并保存所有 寄存器 (一般用汇编语言实现)；
　　  4.系统调用处理函数 根据 系统调用号 调用对应的 C 函数—— 系统调用服务例程 ；
　　  5.系统调用处理函数 准备 返回值 并从 内核栈 中恢复 寄存器 ；
　　  6.系统调用处理函数 执行 ret 指令切换回 用户态 ；

　　查看系统调用表

　　打开内核源码目录linux-5.4.34/arch/x86/entry/syscalls/syscall_64.tbl，可以看到12号系统调用是__x64_sys_brk。

　　

 　　汇编调用程序：

　　

　　汇编结果：

　　

　　重新生成文件系统：

    　结果：

　　

(gdb) b __x64_sys_brk
Breakpoint 1 at 0xffffffff81199a40: file mm/mmap.c, line 187.
(gdb) c
Continuing.

Breakpoint 1, __x64_sys_brk (regs=0xffffc900001b7f58) at mm/mmap.c:187
187     SYSCALL_DEFINE1(brk, unsigned long, brk)
(gdb) n
do_syscall_64 (nr=18446612682188181624, regs=0xffffc900001b7f58) at arch/x86/entry/common.c:300
300             syscall_return_slowpath(regs);
(gdb) n
301     }
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:184
184             movq    RCX(%rsp), %rcx
(gdb) n
185             movq    RIP(%rsp), %r11
(gdb) n
187             cmpq    %rcx, %r11      /* SYSRET requires RCX == RIP */
(gdb) n
188             jne     swapgs_restore_regs_and_return_to_usermode
(gdb) n
205             shl     $(64 - (__VIRTUAL_MASK_SHIFT+1)), %rcx
(gdb) n
206             sar     $(64 - (__VIRTUAL_MASK_SHIFT+1)), %rcx
(gdb) n
210             cmpq    %rcx, %r11
(gdb) n
211             jne     swapgs_restore_regs_and_return_to_usermode
(gdb) n
213             cmpq    $__USER_CS, CS(%rsp)            /* CS must match SYSRET */
(gdb) n
214             jne     swapgs_restore_regs_and_return_to_usermode
(gdb) n
216             movq    R11(%rsp), %r11
(gdb) n
217             cmpq    %r11, EFLAGS(%rsp)              /* R11 == RFLAGS */
(gdb) n
218             jne     swapgs_restore_regs_and_return_to_usermode
(gdb) n
238             testq   $(X86_EFLAGS_RF|X86_EFLAGS_TF), %r11
(gdb) n
239             jnz     swapgs_restore_regs_and_return_to_usermode
(gdb) n
243             cmpq    $__USER_DS, SS(%rsp)            /* SS must match SYSRET */
(gdb) n
244             jne     swapgs_restore_regs_and_return_to_usermode
(gdb) n
253             POP_REGS pop_rdi=0 skip_r11rcx=1
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:259
259             movq    %rsp, %rdi
(gdb) n
260             movq    PER_CPU_VAR(cpu_tss_rw + TSS_sp0), %rsp
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:262
262             pushq   RSP-RDI(%rdi)   /* RSP */
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:263
263             pushq   (%rdi)          /* RDI */
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:271
271             SWITCH_TO_USER_CR3_STACK scratch_reg=%rdi
(gdb) n
273             popq    %rdi
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:274
274             popq    %rsp
(gdb) n
entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:275
275             USERGS_SYSRET64
(gdb) n
0x0000000000475349 in ?? ()