Linux系统编程（一）：基本概念

参考引用

• Unix和Linux操作系统有什么区别？
• 一文带你彻底搞懂posix

Linux系统编程（文章链接汇总）

1. Unix 和 Linux

1.1 Unix

• Unix 操作系统诞生于 1969 年，贝尔实验室发布了一个用 C 语言编写的名为「Unix」的操作系统，该系统可以更快地修改、调整与移植适配
  • Unix 操作系统主要在 CLI（命令行界面）上工作
  • Unix 的个人用户不多，主要使用集中在商业领域

1.2 Linux

• 1991 年，芬兰大学生 Linus Torvalds 开发了一个自由的内核（Linux 这个名字来自于其使用的内核名称）
  • 1992 年，把 Linux 和 GNU 系统结合起来，就构成一个完整的操作系统：基于 Linux 的 GNU 系统（GNU/linux）
  • Linux 并没有使用 Unix 的源码，而是按照公开的 POSIX 标准重新编写

1.3 二者对比

• Linux 思想源于 Unix，以 Unix 为原型开发的
• Linux 完全开源，Unix 是版权专有
• Linux 狭义上是指 GNU/Linux 操作系统使用的内核，广义上讲，是一种「类Unix」操作系统；Unix 狭义上是指贝尔实验室最初开发的一整套操作系统，广义上讲是属于符合「Unix」标准的一类操作系统
• Linux 的默认 shell 是 BASH；而 Unix 用的是 Bourne shell

1.4 其他

• Linux（不包含 GNU 组件） 是 Android（2007.11） 的内核
• 苹果使用 UNIX 作为 iOS（2007.1） 和 macOS 的内核

2. Ubuntu 和 Linux

• Linux 是一个开源的操作系统内核（一个 640KB文件，在 /Boot 目录下），而 Ubuntu 是基于 Linux 内核开发的一个完整的操作系统，具体而言，Ubuntu 是基于 Debian 发行版的 Linux 操作系统

3. POSIX 标准

3.1 定义

• POSIX（Portable Operating System Interface，可移植操作系统接口）
• POSIX 是 IEEE 为了在各种 UNIX 操作系统上运行的软件而定义的一系列 API 标准的总称
• POSIX.1 已被国际标准化组织（International Standards Organization，ISO）接受，命名：ISO/IEC 9945-1:1990

3.2 历史

• 为了提高兼容性和应用程序的可移植性，IEEE 开始标准化 Unix 的开发，由 Richard Stallman 命名为 POSIX，这套标准涵盖了很多方面，比如 Unix 系统调用的 C 语言接口、shell 程序和工具、线程及网络编程
• Unix 和 Linux 均遵循 POSIX 标准
• 有了这个规范，就可以调用通用的 API，Linux 提供的 POSIX 系统调用在 Unix 上也能执行

4. 系统调用和库函数

• Linux 下对文件操作有两种方式：系统调用（system call）和库函数（Library functions）

4.1 系统调用

• 系统调用是 Linux 内核提供给应用层的应用编程接口（API），是 Linux 应用层进入内核的入口，内核提供了一系列服务、资源、支持等，应用程序通过系统调用 API 函数来使用内核提供的服务、资源以及各种各样的功能
• 通过系统调用 API 函数，应用层可以实现与内核的交互，其关系可通过下图简单描述
  

Linux 应用编程（系统编程）与裸机编程、驱动编程有什么区别？

• 1. 裸机编程：一般把没有操作系统支持的编程环境称为裸机编程环境，如：单片机上的编程开发，编写直接在硬件上运行的程序，没有操作系统支持
• 2. 驱动编程：狭义上 Linux 驱动编程指的是基于内核驱动框架开发驱动程序，驱动开发工程师通过调用 Linux 内核提供的接口完成设备驱动的注册，驱动程序负责底层硬件操作相关逻辑
• 3. 应用编程：基于 Linux 操作系统的应用编程，在应用程序中通过调用系统调用 API 完成应用程序的功能和逻辑，应用程序运行于操作系统之上。通常在操作系统下有两种不同的状态：内核态和用户态，应用程序运行在用户态，而内核则运行在内核态

4.2 库函数

• 库函数（Library function）是把函数放到库里，供别人使用的一种方式，库函数调用面向应用开发，可分为两类
  • 一类是 C 语言标准规定的库函数
  • 一类是编译器特定的库函数
• C 语言库是应用层使用的一套函数库，在 Linux 下通常以动态库文件（.so）形式提供，存放在根文件系统 /lib/x86_64-linux-gnu 目录，命名方式通常是 libc.so.6，不过这是一个软链接文件，它会链接到真正的库文件，C 语言库函数构建于系统调用之上，也就是说大部分库函数其实是由系统调用封装而来
  • 有些库函数并不调用任何系统调用，如：字符串处理函数 strlen()、strcat()、memcpy()、memset()、strchr()等
  • 有些库函数会使用系统调用来完成实际操作，如：库函数 fopen 内部调用了系统调用 open() 来帮它打开文件、库函数 fread() 就利用了系统调用 read() 来完成读文件操作、fwrite()就利用了系统调用 write()来完成写文件操作

为什么需要库函数？

• 有些系统调用使用起来并不是很方便，于是就出现了 C 语言库，这些 C 语言库函数的设计是为了提供比底层系统调用更为方便、更为好用、且更具有可移植性的调用接口

4.3 标准 C 语言函数库

• 在 Linux 系统下，使用的 C 语言库为 GNU C 语言函数库（也叫 glibc），作为 Linux 下的标准 C 语言函数库。glibc 为程序员提供丰富的 API，这些 API 的函数名、返回值和参数类型等都必须按照 POSIX 标准来定义
• 确定 Linux 系统的 glibc 版本

  $ cd /lib/x86_64-linux-gnu
  $ ls -l libc.so.6    # libc.so.6 软链接到 libc-2.27.so 库文件，2.27 便是 Linux 系统的 glibc 版本
  lrwxrwxrwx 1 root root 12 5月   3  2022 libc.so.6 -> libc-2.27.so
  

4.4 二者对比

• 库函数属于应用层，而系统调用是内核提供给应用层的编程接口，属于系统内核的一部分
• 库函数运行在用户空间，调用系统调用会由用户空间（用户态）陷入到内核空间（内核态）
• 库函数通常是有缓存的，而系统调用是无缓存的，所以在性能、效率上，库函数通常要优于系统调用
  • 库函数调用属于过程调用，运行时间为用户时间，开销较小
  • 系统调用需要在用户态和内核态之间切换，运行时间为系统时间，开销较大
• 可移植性：库函数相比于系统调用具有更好的可移植性，通常对于不同的操作系统，其内核向应用层提供的系统调用往往都是不同的，而对于 C 语言库函数来说，由于很多操作系统都实现了 C 语言库，C 语言库在不同的操作系统之间其接口定义几乎是一样的，所以库函数在不同操作系统之间相比于系统调用具有更好的可移植性

4.5 系统调用流程

• 当应用程序调用 printf() 函数时，printf() 函数会调用 C 库中的 printf()，继而调用 C 库中的 write()，C 库最后调用内核的 write()
  • printf() 函数执行过程中，程序运行状态切换如下

  用户态–>系统调用–>内核态–>返回用户态
  

• printf() 函数、glibc 库和系统调用在系统中关系图如下
  

• 实例

  // test.c
  #include 
  
  int main(int argc, char **argv) {
      printf("Hello world!");   
      return 0;
  }   
  

  $ gcc test.c -o test
  $ strace test  # 运行程序前加上 strace，可以追踪库函数调用过程
  execve("./test3", ["./test3"], 0x7fffb2493520 /* 82 vars */) = 0
  brk(NULL)                               = 0x560a8c38b000
  access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
  access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/tls/x86_64/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/tls/x86_64/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/tls/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/tls/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/tls/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/tls/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/tls/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/tls", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/x86_64/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/x86_64/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/opt/ros/melodic/lib/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/opt/ros/melodic/lib", {st_mode=S_IFDIR|0755, st_size=16384, ...}) = 0
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/x86_64/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/x86_64/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/tls", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/x86_64/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/x86_64/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/x86_64", 0x7ffff162afb0) = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)
  stat("/home/yue/PX4-Autopilot/build/px4_sitl_default/build_gazebo", {st_mode=S_IFDIR|0775, st_size=4096, ...}) = 0
  openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
  fstat(3, {st_mode=S_IFREG|0644, st_size=274620, ...}) = 0
  mmap(NULL, 274620, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f2f5e388000
  close(3)                                = 0
  access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
  openat(AT_FDCWD, "/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
  read(3, "\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\240\35\2\0\0\0\0\0"..., 832) = 832
  fstat(3, {st_mode=S_IFREG|0755, st_size=2030928, ...}) = 0
  mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f2f5e386000
  mmap(NULL, 4131552, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7f2f5ddb2000
  mprotect(0x7f2f5df99000, 2097152, PROT_NONE) = 0
  mmap(0x7f2f5e199000, 24576, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x1e7000) = 0x7f2f5e199000
  mmap(0x7f2f5e19f000, 15072, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x7f2f5e19f000
  close(3)                                = 0
  arch_prctl(ARCH_SET_FS, 0x7f2f5e3874c0) = 0
  mprotect(0x7f2f5e199000, 16384, PROT_READ) = 0
  mprotect(0x560a8c066000, 4096, PROT_READ) = 0
  mprotect(0x7f2f5e3cc000, 4096, PROT_READ) = 0
  munmap(0x7f2f5e388000, 274620)          = 0
  fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
  brk(NULL)                               = 0x560a8c38b000
  brk(0x560a8c3ac000)                     = 0x560a8c3ac000
  write(1, "Hello world!", 12Hello world!)            = 12
  exit_group(0)                           = ?
  +++ exited with 0 +++
  

• 程序虽然只有一个printf函数，但在执行过程中前后调用了 execve、access、open、fstat、mmap、brk、write 等系统调用。其中 write 系统调用会把字符串 Hello world! 通过设备文件 1 发送到驱动，该设备节点对应终端 stdout

  $ ls /dev/std* -l
  lrwxrwxrwx 1 root root 15 12月 11 21:10 /dev/stderr -> /proc/self/fd/2
  lrwxrwxrwx 1 root root 15 12月 11 21:10 /dev/stdin -> /proc/self/fd/0
  lrwxrwxrwx 1 root root 15 12月 11 21:10 /dev/stdout -> /proc/self/fd/1