信息安全系统设计基础第八周学习总结

第十章 系统级I/O

学习目标:
1.掌握系统编程和系统调用的概念
2.掌握系统编程错误处理的方式
3.掌握Unix/Linux系统级I/O:open close read write seek stat
4.掌握RIO
5.掌握I/O重定向的方法

一、知识点梳理

(一)系统级I/O概述

1.输入输出I/O

输入输出I/O是在主存和外部设备(如磁盘,网络和终端)之间拷贝数据的过程。
- 输入就是从I/O设备拷贝数据到贮存
- 输出就是从主存拷贝数据到I/O设备

2.使用原因

  • 帮助理解其它系统概念。I/O视操作系统中不可或缺的一部分,我们会经常遇到I/O和其它系统概念之间的循环依赖。
  • 别无选择。例如:标准I/O库没有提供读取文件元数据的方式,如文件大小和文件创建时间。

(二)Unix I/O

一个Unix文件就是一个m个字节的序列:B0,B1,...,Bk,...,B(m-1)
  • 所有的I/O设备,如网络、磁盘、和终端,都被模型化为文件,而所有的输入和输出都被当做想对应的文件的读写来执行。这种将设备优雅的映射为文件的方式,允许Unix内核引出一个简单、低级的应用接口,称为UnixI/O,这使得所有的输入和输出都能以一种统一且一致的方式来执行。

1.打开文件

  • 一个应用程序通过要求内核来打开文件,内核返回一个小的非负整数(描述符),内核记录有关这个文件的所有的信息,应用程序只需要记住这个描述符。

    Unix外壳创建的每个进程开始时都有三个打开的文件:
    - 标准输入(描述符为0)
    - 标准输出(描述符为1)
    - 标准错误(描述符为2)
  • 头文件

    定义常量STDIN_FILENO、STDOUT_FILENO、STDERR_FILENO
    可以用来代替显式的描述符

2.改变当前的文件位置。

  • 对于每个打开的文件,内核保持着一个文件位置k,初始为0。这个位置是从文件开头起始的字节偏移量。
  • 应用程序可以通过seek操作显式的设置文件的当前位置为k。

3.读写文件

  • 读操作就是从文件拷贝n>0个字节到存储器,从当前文件位置k开始,然后将k增加到k+n。

    给定一个大小为m字节的文件,k >= m 时执行读操作会触发一个称为end-of-file(EOF)的条件,应用程序能检测到这个条件,但是文件结尾处并没有明确的“EOF符号”。
  • 写操作就是从存储器拷贝n>0个字节到一个文件,从当前文件位置k开始,然后更新k。

4.关闭文件

  • 应用通知内核关闭这个文件。作为响应,内核释放文件打开时创建的数据结构,并将这个描述符恢复到可用的描述符池当中。
  • 无论进程因为何种原因终止时,内核都会关闭所有打开的文件并释放他们的存储器资源。

(三)打开和关闭文件

1.打开文件:

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

int open(char *filename,int fliags,mod_it mode);
- 若成功,返回值为新文件描述符
- 若出错,返回值为-1
  • open函数将filename转换成一个文件描述符,并且返回描述符数字。返回的描述符总是在进程中当前没有打开的最小描述符。

    fd = Open("文件名",flag参数,mode参数)
  • fd是返回的文件描述符(数字),总是返回在进程中当前没有打开的最小描述符。
  • flag参数

    表示访问方式额外提示
    - O_RDONLY:只读。
    - O_WRONLY:只写。
    - O_RDWR:可读可写。
    
    一位或者多位掩码的或
    - O_CREAT,表示如果文件不存在,就创建它的一个截断的文件。
    - O_TRUNC:如果文件已经存在,就截断它。
    - O_APPEND:在每次写操作前,设置文件位置到文件的结尾处。
  • mode参数:指定新文件的访问权限位。作为上下文的一部分,每个进程都有一个umask,通过调用umask函数设置。当进程通过带某个带mode参数的open函数用来创建一个新文件的时候,文件的访问权限位被设置为mode & ~umask。

    给定mode和umask的默认值:
    #define DEF_MODE   S_IRUSR|S_IWUSR|S_IRGRP|S_IWGRP|S_IROTH|S_IWOTH
    #define DEF_UMASK  S_IWGRP|S_IWOTH
  • 出错的时候返回-1。

2.关闭文件:

#include<unistd.h>
int close(int fd);
  • 若成功则返回0,不成功则为-1。
  • 关闭一个已经关闭的描述符程序会出错。

3.访问权限位在sys/stat.h中定义

信息安全系统设计基础第八周学习总结_第1张图片

(四)读和写文件

1.读函数

#include<unistd.h>
ssize_t read(int fd,void *buf,size_t n);

- 若成功,返回读字节数,即实际传送的字节数量
- 若EOF,返回0
- 若出错,返回-1
  • read函数从描述符为fd的当前文件位置拷贝最多n个字节到存储器位置buf。

注:何为EOF

即给定了m字节大小的文件,在从k字节位置开始读或者写的时候,发现k>=m。

2.写函数

#include<unistd.h>
ssize_t write(int fd,const void *buf,size_t n);

- 若成功,返回写的字节数
- 若出错,返回-1
  • write函数从存储器位置buf拷贝至多n个字节到描述符fd的当前文件位置。

注:ssziet,sizet的区别

- ssziet被定义为int,有符号
- sizet被定义成unsigned int,无符号
  • 通过调用lseek函数,应用程序能够显示地修改当前文件的位置。

3.不足值

  • 在某些情况下,read和write传送的字节比应用程序要求的要少,这些不表示有错误。

    - 读时遇到EOF。假设准备读一个文件,该文件从当前文件位置开始只含有20个字节,若以50个字节的片进行读取,下一个read返回的不足值为20,此后的read将通过返回不足值0来发出EOF信号。
    - 从终端读文本行。若打开文件与终端相关联(如键盘和显示器),那么每个read函数将以此传送一个文本行,返回的不足值等于文本行大小。
    - 读和写网络套接字。若打开的文件对应于网络套接字,内部缓冲约束和较长的网络延迟会引起read和write返回不足值。(进程间的通信机制:对Unix管道调用read和write时,也有可能出现不足值)
  • 实际上除了EOF,在读写磁盘文件时,不会遇到不足值。
  • 如果想创建健壮的诸如web服务器这样的网络应用,就必须通过反复调用read和write处理不足值,直到所有需要的字节都传送完毕。

(五)用RIO包健壮地读写

RIO包会自动处理不足值。RIO提供了两类不同的函数:
- 无缓冲的输入输出函数。这些函数直接在存储器和文件之间传送数据,没有应用级缓冲,对将二进制数据读写到网络和从网络读写二进制数据尤其有用。
- 带缓冲的输入函数。这些函数允许高效地从文件中读取文本行和二进制数据(函数从内部缓冲区中拷贝一个文本行,当缓冲区变空的时候,会自动地调用read重新填满缓冲区),这些文件的内容缓存在应用级缓冲区内,类似于像printf这样的标准I/O函数提供的缓冲区。带缓冲的RIO输入函数是线程安全的,它在同一个描述符上可以被交错地调用。

1.RIO的无缓冲的输入输出函数

  • 通过调用rio_readn和rio_writen函数,应用程序可以在存储器和文件之间直接传送数据。

    #include "csapp.h"
    //返回值:若成功为传送的字节数,若EOF则为0,出错为-1
    ssize_t rio_readn(int fd,void *usrbuf,size_t n);
    ssize_t rio_writen(int fd,void *usrbuf,size_t n);
  • rio_readn函数从描述符fd的当前文件位置最多传送n和字节到存储器位置usrbuf,遇到EOF时只能返回一个不足值。
  • rio_writen函数从位置usrbuf传送n个字节到描述符fd,绝不会返回不足值。
  • 对于同一个描述符,可以任意交错地调用rio_readn和rio_writen。

2.RIO的带缓冲的输入函数

  • 一个文本行就是一个由换行符结尾的ASCII码字符序列。在Unix系统中,换行符(‘\n')与ASCII码换行符(LF)相同,数字值为0x0a。

  • 实现计算文本文件中文本行的数量
    • *方法一:用一个程序来计算文本文件中文本行的数量:用read函数来一次一个字节地从文件传送到用户存储器,检查每个字节来查找换行符。这个方法的缺点是效率低,每读取文件中的一个字节都要求陷入内核。
    • *方法二:是调用一个包装函数(rio_readlineb),它从一个内部读缓冲区拷贝一个文本行,当缓冲区变空时,会自动地调用read重新填满缓冲区。

    • 对于既包含文本行也包含二进制数据的文件,书上提供了一个rio_readn带缓冲区的版本:rio_readnb,它从和rio_readlineb一样的读缓冲区中传送原始字节。

rioreadinitb(riot *rp,int fd);
- 每打开一个描述符都会调用一次该函数,它将描述符fd和地址rp处的类型为rio_t的缓冲区联系起来。

rioreadnb(riot *rp,void *usrbuf,size_t n) ;
- 从文件rp中最多读n个字节到存储器位置usrbuf。对同一描述符,rioreadnb和rioreadlineb的调用可以交叉进行。

ssizet readlineb(riot *rp,void *usrbuf,size_t maxlen);
- 从文件rp中读取一个文本行(包括结尾的换行符),将它拷贝到存储器位置usrbuf,并用空字符来结束这个文本行。

3.RIO读程序的核心——rio_read函数

static ssize_t rio_read(rio_t *rp,char *usrbuf,size_t n)
{
    int cnt;
    while(rp->rio_cnt<=0)//如果缓冲区为空,先调用函数填满缓冲区再读数据
    {
        rp->rio_cnt=read(rp->rio_fd,rp->rio_buf,sizeof(rp->rio_buf));//调用read函数填满缓冲区
        if(rp->rio_cnt<0)//排除文件读不出数据的情况
        {
            if(error != EINTR)
            {
                return -1;
            }
        }
        else if(rp->rio_cnt=0)
            return 0;
        else 
            rp->rio_bufptr = rp->rio_buf;//更新现在读到的位置
    }
    cnt=n;
    if(rp->rio_cnt<n)
        cnt=rp->rio_cnt;//以上三步,将n与rp->rio_cnt中较小的值赋给cnt
    memcpy(usrbuf,rp->rio_bufptr,cnt);把读缓冲区的内容拷贝到用户缓冲区
    rp->rio_bufptr+=cnt;
    rp->rio_cnt-=cnt;
    return cnt;
}

(六)读取文件元数据

1.元数据

  • 应用程序能够通过调用stat和fstat函数,检索到关于文件的信息(元数据)。

    #include <unistd.h>
    #include <sys/stat.h>
    int stat(cost char *filename,struc sta *buf);
    int fstat(int fd,struct stat *buf);
    
    - stat函数以文件名作为输入
    - fstat函数以文件描述符作为输入

2.stat数据结构

- st_size成员包含了文件的字节数大小
- st_mode成员编码了文件访问许可位和文件类型
  • Unix提供的宏指令根据st_mode成员来确定文件的类型

    宏指令:S_ISREG()   普通文件?二进制或文本数据
    宏指令:S_ISDIR()   目录文件?包含其他文件的信息
    宏指令:S_ISSOCK()  网络套接字?通过网络和其他进程通信的文件

(七)共享文件

1.内核表示打开文件的三个相关的数据结构

- 描述符表:每个打开的描述符表项指向文件表中的一个表项
- 文件表:所有进程共享这张表,每个表项包括文件位置,引用计数,以及一个指向v-node表对应表项的指针
- v-node表:所有进程共享这张表,包含stat结构中的大多数信息

(1)典型的打开文件的内核数据结构

  • 描述符各自引用不同的文件,没有共享文件。

信息安全系统设计基础第八周学习总结_第2张图片

- 描述符1~4通过不同的打开文件表表项来引用两个不同的文件。

(2)文件共享

  • 多个描述符通过不同的文件表表项引用同一个文件。

信息安全系统设计基础第八周学习总结_第3张图片

- 两个描述符通过打开两个打开文件表表项共享同一个磁盘文件。
- 关键思想:每个描述符都有自己的文件位置,对不同描述符的读操作可以从文件的不同位置获取数据

(3)父子进程共享文件

  • 子进程继承父进程打开文件。

信息安全系统设计基础第八周学习总结_第4张图片

- 调用fork后,子进程有一个父进程描述符表的副本。
- 父子进程共享相同的打开文件表集合,因此共享相同的文件位置。
- 在内核删除相应文件表表项之前,父子进程必须都关闭了他们的描述符

(八)I/0重定向

  1. Unix外壳提供了I/O重定向操作符,允许用户将磁盘文件和标准输入输出联系起来
  2. 重定向工作方式:使用dup2函数

    #include<unistd.h>
    int dup2(int oldfd,int newfd);
  • dup2函数拷贝描述符表表项oldfd到描述符表表项newfd,覆盖描述表表项newfd以前的内容。
  • 若newfd已经打开,dup2会在拷贝oldfd之前关闭newfd。

(九)标准I/O和I/O函数

  1. ANSI C定义了一组高级输入输出函数,称为标准I/O库。提供了打开和关闭文件的函数(fopen和fclose),读和写字节的函数(fread和fwrite),读和写字符串的函数(fgets和fputs),格式化I/O函数(scanf和printf)

  2. 标准I/O库将一个打开的文件模型化为一个流。一个流就是一个指向FILE类型的结构的指针。每个ANSI C程序开始时都有三个打开的流:

    #include<stdio.h>
    extern FILE *stdin;     //标准输入,描述符0
    extern FILE *stdout;    //标准输出,描述符1
    extern FILE *stderr;    //标准错误,描述符2
  • 类型为FILE的流是对文件描述符和流缓存区的抽象。流缓冲区的目的和RIO读缓冲区的一样,就是使开销较高的UnixI/O系统调用的数量尽可能的少。
  1. 各类I/O关系

信息安全系统设计基础第八周学习总结_第5张图片

  • Unix I/O是在操作系统内核中实现的。
  • 较高级别的RIO和标准I/O函数都是基于Unix函数来实现的。
    • RIO函数是专为本书开发的read和write的健壮的包装函数。他们自动处理不足值,并且为读文本行提供一种高效的带缓冲的方法
    • 标准I/O函数提供了Unix函数的一个更加完整的带缓冲的替代品,包括格式化的I/O例程。
  • 标准I/O流,从某种意义上是全双工的,但对流的限制和对套接字的限制有时会相互冲突。
    • 限制一:跟在输出函数之后的输入函数
    • 限制二:分在输入函数的输出函数
    • 由此,建议在网络套接字上不要使用标准 I/O函数来进行输入和输出,而要使用健壮的RIO函数。

二、实践作业(这一部分还需要多研究...只有who命令我自己尝试编写了,感觉自己写一遍和直接研究老师的代码区别还是挺大的,思路会更清晰)

1.who

正版who应该是:

  • 我们可以看到,who命令是查询当前登录的每个用户,输出包括用户名、终端类型、登录日期及远程主机。
  • man一下who,可以看到,who命令是读取/var/run/utmp文件来得到以上信息的。
  • man一下utmp,知道utmp这个文件,是二进制文件,里面保存的是结构体数组,这些数组是struct utmp结构体的。

自己尝试编写

伪代码

- 打开记录所在文件:utmp
- 将文件中的记录逐条读取
- 每一条读取的记录都要在屏幕上打印
- 关闭文件

问题1:

  • 刚开始的时候觉得是警告就没有在意,因为之前运行代码的时候也有警告,但是最后可以运行出来。
  • 但是:

问题1解决:

  • 在record.ut_time输出时我使用的类型是字符数组%s,但是实际上:

  • 它在utmp中定义的是ut_tv.tv_sec,而ut_sec是int32_t型的。所以我换用了%ld输出。

成功版1

信息安全系统设计基础第八周学习总结_第6张图片

问题2:

  • 这个与正版的who运行看起来差别还是挺大的
  • 第一,没有对齐
  • 第二,时间显示看不懂
  • 第三,记录比正版who多

问题2解决

解决对齐问题:
  • 对齐的问题很好解决。我使用的是\t制表符来排的,但是由于user的长度不一,导致错位,可以换成固定长度,不足补0的方法显示。

信息安全系统设计基础第八周学习总结_第7张图片

信息安全系统设计基础第八周学习总结_第8张图片

解决时间显示问题:
  • 使用man查找与time格式化相关(这一部分改了好久,最后还是去网上搜索的编写who的相关内容、time的相关内容才得以解决)

信息安全系统设计基础第八周学习总结_第9张图片

  • 判断应该是strftime,进入查看用法,继续修改try_who代码

  • 这个警告应该是64位机的问题,运行之后和第一次的问题一样显示核心已转储,但是我到现在都不知道怎么在原句上解决。
  • 百度了一下想仔细看一下这个localtime的问题,找到一篇特别详细的文章:c++ 时间类型详解(time_t和tm),我决定分开每一步的变量试一试,直接在定义的时候就限制住每一个变量,至少能知道到底是哪一个错了,结果没有警告,编译运行成功:

信息安全系统设计基础第八周学习总结_第10张图片

信息安全系统设计基础第八周学习总结_第11张图片

解决显示记录多的问题:
  • 问题原因:utmp中保存的用户,不仅仅是已经登陆的用户,还有系统的其他服务所需要的,所以在显出所有登陆用户的时候,应该过滤掉其他用户,只保留登陆用户。在utmp结构中的ut_type可以区别,登陆用户的ut_type是USER_PROCESS,加一个判断就可以了:

  • 终于和正版who至少看起来一样了!!!

改进

  • 在打开和关闭文件的时候加上失败情况处理。
我的代码
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h> //read
#include <sys/types.h>  //open
#include <sys/stat.h>
#include <fcntl.h>
#include <utmp.h>   //utmp
#include <time.h>   //strftime

int main()
{
    struct utmp record;
    int fd;
    int len = sizeof(record);
    struct tm *p;
    time_t t;
    char fortime[40];
    if ( (fd = open(UTMP_FILE, O_RDONLY)) == -1 )
    {
        perror( UTMP_FILE );    
        exit(1);
    }
    while(read(fd,&record,len))
    {
        if(record.ut_type == USER_PROCESS)
        {
            printf("%-10.10s",record.ut_user);
            printf("%-10.10s",record.ut_line);
            t = record.ut_time;     
            p = localtime(&t);
            strftime(fortime,40,"%F %R",p);
            printf("%12s",fortime);
            if(record.ut_host[0]!='\0');
                printf("\t(%s)",record.ut_host);
            printf("\n");
        }
    }
    
    if (close(fd) == -1)
    {
        perror( UTMP_FILE );    
        exit(1);
    }
    return 0;
}

2.ls

信息安全系统设计基础第八周学习总结_第12张图片

3.filesize

  • 用st_size计算文件的字节数大小。

4.fileinfo

  • 这个功能用来实现显示文件信息

信息安全系统设计基础第八周学习总结_第13张图片

mode:st_mode        文件的类型和存取的权限         
links:st_nlink      连到该文件的硬链接数目,刚建立的文件值为1
user:st_uid         用户ID
group:st_gid        组ID          
size:st_size        文件字节数
modtime:st_mtime    最后一次修改时间
name:               输入的文件名

5.setecho与echostate

  • setecho用来改变输入指令是否可见。

    输入y(或是以y开头的一串字符),命令可见
    否则(即输入不以y开头的字符),命令不可见
  • echostate显示输入命令是否可见。

    echo is on:命令可见
    echo is off:命令不可见

6.spwd

  • 列出当前目录

7.testioctl

  • 获得终端设备的窗口大小
  • 下图一个是我的终端全屏的,一个是还原之后的。

三、遇到的问题

运行书上代码的也遇到问题,解决过程如下:

1.老师在开学的时候上传的code中有“csapp.h”、“csapp.c”,刚开始的时候我把文件放与书上10.1代码相同的文件夹中,但是生成.o文件后出现问题:

信息安全系统设计基础第八周学习总结_第14张图片

2.我觉得出现这种情况的原因,应该之前书上说的是C编译为.o文件的时候并不需要函数的具体实现,只要有函数的原型即可,但是在链接为可执行文件的时候就必须要具体的实现。
查看.h和.c文件,发现.c文件中才是定义的那些函数的具体实现,结合第一次静态库的实践,这个.c文件就相当于那些add.c、sub.c...10-1的代码相当于那个main函数,所以可以将其做成一个静态库来使用,但是又出现新的问题:

信息安全系统设计基础第八周学习总结_第15张图片

3.结合深入理解计算机中的csapp.h和csapp.c的分析,因为csapp.c中有关于线程的头文件,所以需要加上-lpthread,之后就可以运行教材上的代码了。

这个问题貌似很多人都在问,有的直接把教材上的Open、Close改成了open、close,我觉得这样改就失去了书上给这些Unix I/O函数改进的意义了。

四、其它

  1. 这次实践中只有一个who命令是完全自己编写的,虽然花费了不少时间,但是一直纠结的几个问题能通过自己的研究解决非常有成就感,收获也很大。对man的使用更加熟练,对who命令的执行过程也相当了解。
  2. 老师给的who1和who2没有差别?像那个ls2就比ls1多了几个文件的详细信息。不知道who2是不是给错了?
  3. 对老师给的其它代码的研究只是运行了一下,知道每一步干的什么,但是显然不像who一样理解的这么深刻,需要继续研究。

五、参考资料

参考资料1:深入理解计算机系统(第二版)

参考资料2:博客园:深入理解计算机中的csapp.h和csapp.c

参考资料3:编写who命令--从Linux中学习Linux

参考资料4:c++ 时间类型详解(time_t和tm)

你可能感兴趣的:(信息安全系统设计基础第八周学习总结)