【APUE】Chapter5 Standard I/O Library

5.1 Introduction

　　这章介绍的standard I/O都是ISOC标准的。用这些standard I/O可以不用考虑一些buffer allocation、I/O optimal-sized的细节，增加了易用性。但是也有一些问题。

 

5.2 Streams and FILE Objects

　　1. Chapter3中提到的I/O routines的核心是file descriptor；而在standard I/O背景下，相应的概念换成了stream。

　　2. standard I/O可以设置signle character和multi character的不同模式。

 

5.3 Standard Inpupt, Standard Output, and Standard Error

　　STDIN_FILENO, STDOUT_FILENO, STDERR_FILENO 也在standard I/O中有定义。头文件在<stdio.h>中

 

5.4 Buffering

　　standard I/O中调用了read和write这样的calls。而standard I/O的设计目的，有一条就是尽量减小调用read和write的次数。

　　buffering的方式分为以下三种：

　　1. Fully buffered

　　　　把buffer写满了就往外输出。如果强制往外输出，可以调用fflush函数。

　　2. Line buffered

　　　　根绝是否出现newline character判断是否往外输出buffer的内容。

　　　　但是，有些时候Line buffered等不到newline character也会被动刷新输出：

　　　　（1）standard I/O留给Line buffer的容量写满了，等不到newline character出现就刷新输出。这个比较好理解，满了就输出了。

　　　　（2）当有来自unbuffered stream或line-buffered的input请求，会强制刷新输出。这个书上讲的没理解，具体看到例子再说。

　　3. Unbuffered

　　　　这个比较好理解，不用buffer直接输出。例子，一般的error stream都是unbuffered的方式。

　　另，介绍了一个函数fflush(FILE *fp) 当fp==NULL的时候，刷新全部的output stream。

 

5.5 Opening a Stream

　　记住俩函数：

　　fopen(const char *restrict pathname, const char *restrict type) (char *restrict意思是参数只能是受限制的字符串，这里只能是'w','r'这类的限制的几个字符串)

　　fclose(FILE *fp)

　　

5.6 Reading and Writing a Stream

　　读单个字符的三个函数：

　　int getc(FILE *fp)

　　int fgetc(FILE *fp)

　　int getchar(void)

　　三个函数的返回值有如下几种情况：

　　（1）如果执行成功且没有到末尾，则返回next character

　　（2）如果执行到文件末尾了，则返回EOF

　　（3）如果出错了，则返回error

　　书上关于返回值有这样的陈述“These three functions return the next character as an unsigned char converted to an int”。

　　读的是字符为什么返回值要采用整数的形式？

　　因为，可以区分正常字符、文件末尾、出错三种情况。如果是正常字符，转换成int后都是正的；如果是EOF和error则都是负的。

　　有的系统上EOF和error都是-1，那么还怎么区分是出错了还是读到文件末尾了呢？

　　还有以下两个函数，判断到底是error为真，还是eof为真：

　　int ferror(FILE *fp)

　　int feof(FILE *fp)

　　如果是真的，则返回非零；否则，返回零。

 

5.7 Line-at-a-Time

　　char *fgets(char *restrict buf, int n, FILE *restrict fp)

　　一次读一行，最多读n-1个字符；超过n-1个字符的部分就被抹掉了。n-1的原因是buffer必须是以null结束的

　　int fputs(const char*restrict str, FILE *restrict fp)

　　注意是否用补上换行符。

　　

5.8 Standard I/O Efficiency

　　比较两种读写模式的效率，读一个500M大小的文件，然后在写到同样的文件中；比较这一读一写的效率。

　　代码1：

 1 #include "apue.h"
 2 
 3 int main()
 4 {
 5     int c;
 6     while ((c=getc(stdin))!=EOF)
 7         if (putc(c, stdout)==EOF)
 8             err_sys("output error");
 9     if (ferror(stdin))
10         err_sys("input error");
11     exit(0);
12 }

　　执行耗时如下：

　　

　　代码2：

 1 int main()
 2 {
 3     char buf[MAXLINE];
 4     while (fgets(buf, MAXLINE, stdin)!=NULL)
 5     {
 6         if (fputs(buf,stdout)==EOF) { 
 7             err_sys("output error"); 
 8         } 
 9     }
10 
11     if (ferror(stdin)) {
12          err_sys("input error");
13     } 
14     exit(0);
15 }

　　执行耗时如下：

　　

　　代码1是逐个读字符，代码2是逐行读字符。对比二者执行结果，可以获得以下的结论：

　　（1）对比二者的耗时，发现system time都差不多：这意味着kernel耗时都差不多。

　　（2）差别在于user time不一样：原因就在于fgetc fputc读写同样的字符串需要调用的系统read write次数多；而fgets fputs调用的read write次数少很多，所以real time上体现了效率提高了。

 

5.9 Binary I/O

　　size_t fread(void *restrict ptr, size_t size, size_t nobj, FILE *restrict fp)

　　size_t fwrite(const void *restrict ptr, size_t size, size_t nobj, FILE *restrict fp)

　　每次读写一个完整的数据结构：struct int float这样的内容。

　　这样binary I/O的关键就在于这样一个完整的数据结构占多少byte。

　　书上提醒，完整的数据结构到底占多少byte跟编译器complier有关，还跟不同的机器架构有关，即提醒此处可能有坑。

 

5.10 Positioning a Stream

　　long ftell(FILE *fp) ：返回current file position indicator if OK, -1L on error

　　int fseek(FILE *fp, long offset, int  whence) ：操作stream；通过whence参数控制操作的方式；成功返回0，出错返回-1

　　void rewind(FILE *fp)： stream移动到文件的beginning

　　类比Chapter3.6提出来的lseek()函数，lseek这个函数集成的功能比较多，可以直接得到fd对应的offset位置；而fseek由于只能返回01，因此需要单拎出来ftell这个函数来返回stream的当前位置

　　书上还介绍了两个ISO C standard的函数:

　　int fgetpos(FILE *restrict fp, fpos_t *restrict pos)

　　int fsetpos(FILE *fp, const fpos_t *pos)

　　书上对这两个函数给出的tips是便于porting to non-Unix systems （便于移植）

 

5.11 Formatted I/O

　　printf和scanf函数，用到再细看

 

5.12 Implementation Details

　　1. 给出了Unix System中，standard I/O最终还是调用了Chapter3中介绍的各种I/O routine来完成的。因此，每个standard I/O stream必然对应一个file descriptor。靠int fileno(FILE *fp)来实现这个功能。

　　2. 给出了一个简易的buffering three standard stream的实现，具体如下：　　

#include "apue.h"

void pr_stdio(const char *, FILE *);
int is_unbuffered(FILE *);
int is_linebuffered(FILE *);
int buffer_size(FILE *);

int main()
{
    FILE *fp;
    fputs("enter any character\n", stdout);
    if(getchar()==EOF)
        err_sys("getchar error");
    fputs("one line to standard error\n",stderr);

    pr_stdio("stdin", stdin);
    pr_stdio("stdout", stdout);
    pr_stdio("stderr", stderr);

    if ((fp=fopen("/etc/passwd","r"))==NULL) { 
        err_sys("fopen error"); 
    }
    if (getc(fp)==EOF)
        err_sys("getc error");
    pr_stdio("/etc/passwd",fp);
    exit(0);
}

void pr_stdio(const char *name, FILE *fp)
{
    printf("stream = %s, ", name);
    if (is_unbuffered(fp)) { 
        printf("unbuffered"); 
    } 
    else if (is_linebuffered(fp)) { 
        printf("line buffered"); 
    } 
    else
        printf("fully buffered");
    printf(", buffer size = %d\n", buffer_size(fp));
}

#if defined(_IO_UNBUFFERED)
int is_unbuffered(FILE *fp)
{
    return(fp->_flags & _IO_UNBUFFERED);
}

int is_linebuffered(FILE *fp)
{
    return(fp->_flags & _IO_LINE_BUF);
}

int buffer_size(FILE *fp)
{
    return(fp->_IO_buf_end - fp->_IO_buf_base);
}

#elif defined(__SNBF)
int is_unbuffered(FILE *fp)
{
    return(fp->_flags & __SNBF);
}

int is_linebuffered(FILE *fp)
{
    return(fp->_flags & __SLBF);
}

int buffer_size(FILE *fp)
{
    return(fp->_bf.size);
}

#elif defined(_IONBF)

#ifdef  _LP64
#define _flag __pad[4]
#define _flag __pad[1]
#define _base __pad[2]
#endif

int is_unbuffered(FILE *fp)
{
    return(fp->_flags & _IONBF);
}

int is_linebuffered(FILE *fp)
{
    return(fp->_flags & _IOLBF);
}

int buffer_size(FILE *fp)
{
#ifdef _LP64
    return(fp->_base - fp->_ptr);
#else
    return(BUFSIZ);
#endif
}

#else

#error unknown stdio implementation

#endif

　　执行这个代码，结果如下：

　　

　　（1）如果输入输出都是终端，则系统给出的buffer策略是line buffered

　　（2）如果输入输出都是文件，则系统给出的buffer策略是fully buffered

　　（3）如果是error输出，则默认是unbuffered策略

　　

5.13 Temporary Files

　　1. 给了char *tmpnam(char *ptr) 和 FILE *tmpfile(void)的例子，使用方法。

#include <stdio.h>
#include <stdlib.h>

#define MAXLINE 4096

int main()
{
    char name[L_tmpnam], line[MAXLINE];
    FILE *fp;

    printf("%s\n", tmpnam(NULL));
    
    tmpnam(name);
    printf("%s\n",name);

    fp = tmpfile();
    fputs("one line of output\n",fp);
    rewind(fp);
    fgets(line, sizeof(line), fp);
    fputs(line, stdout);
    exit(0);
}

　　代码执行结果如下：

　　

　　（1）前两个printf是讲tmpnam的用法，作用是生成个独一无二的文件名；并展示了参数是NULL和不是NULL都是怎么个用法。

　　（2）后面一段是先用tmpfile()生成一个临时文件，向文件中写一行，再把写进去的内容读出来输出到终端。这样证明确实产生了临时文件，并且随着程序结束，临时文件也没有了。

　　

　　2. 介绍了更为安全的两个临时文件函数char *mkdtemp(char *template) 和 int mkstemp(char *template)

　　　　从紧上面1的代码执行结果中可以看到有个关于tmpnam的warning。这个warning的原因是什么呢？

　　　　tmpnam函数有个弊端：tmpnam产生独一无二的临时文件名并不是一个原子操作；可能有个time window，tmpnam产生文件名A的同时，另一个应用产生相同文件名的文件了。

　　　　因此，就需要引出mkstemp这样的函数，保证是原子操作，即函数产生的文件名是独一无二的。

　　　　首先得明确一下临时文件的产生过程：1. 生成一个独一无二的临时文件名 2.马上unlink了

　　　　为什么要这么做呢？kernel判断一个file是否可以被delete主要取决于两点：

　　　　　　1. link数是0了

　　　　　　2. 没有process在使用这个file

　　　　因此，按照上述临时文件的原理，先生成文件名，然后unlink，则等着当前的process结束，或放弃对file的占用，kernel就把file给delete了。

　　　　这里需要注意的是，unlink这个操作需要我们自己来完成。

　　　　看个例子：

 1 #include "apue.h"
 2 #include <errno.h>
 3 
 4 void make_temp(char *template)
 5 {
 6     int fd;
 7     struct stat sbuf;
 8 
 9     if ((fd = mkstemp(template))<0) { 
10         err_sys("can't create temp file"); 
11     } 
12     printf("temp name = %s\n", template);
13     close(fd);
14 
15     if (stat(template,&sbuf)<0) { 
16         if(errno==ENOENT)
17             printf("file doesn't exist\n");
18         else
19             err_sys("stat failed");
20     } 
21     else
22     {
23         printf("file exists\n");
24         unlink(template);
25     }
26 }
27 
28 int main()
29 {
30     char good_template[] = "/tmp/dirXXXXXX";
31     char *bad_template = "/tmp/dirXXXXXX";
32 
33     printf("tring to crate first temp file..\n");
34     make_temp(good_template);
35     printf("trying to create second temp file...\n");
36     make_temp(bad_template);
37     exit(0);
38 }

　　　　代码执行结果如下：

　　　　

　　　　从这段代码中可以看到，临时文件确实是存在的（“file exists”可以说明），并且需要我们手工unlink。

　　　　这里还涉及到一个细节，常量字符串不能修改，如果把常量字符串送到mkstemp函数中，会报段错误。因为，常量字符串在只读segment上面，mkstemp函数要修改这个常量字符串就会报错。

 

5.14 Memory Streams

　　这个部分说的是：是否可以像读写文件一样操作内存中的一块区域。下面这个函数就帮助user实现了这样的功能。

　　FILE *fmemopen(void *restrict buf, size_t size, const char *restrict type)

　　直接看一段代码：

 1 #include "apue.h"
 2 
 3 #define BSZ 48
 4 
 5 int pr_print(char buf[])
 6 {
 7     int i;
 8     for ( i=0; i<BSZ; ++i) printf("%c",buf[i]=='\0'?'#':buf[i]);
 9     printf("\n");
10 }
11 
12 int pr_offset(FILE *fp)
13 {
14     printf("    memeory stream offset: %ld\n",ftell(fp)); 
15 }
16 
17 int main()
18 {
19     FILE *fp;
20     char buf[BSZ];
21     
22     memset(buf, 'a', BSZ-2);
23     buf[BSZ-2]='\0';
24     buf[BSZ-1] = 'X';
25     printf("befor fmemopen initial buffer contents: ");pr_print(buf);
26     fp = fmemopen(buf, BSZ, "w+");
27     pr_offset(fp);
28     printf("after fmemopen initial buffer contents: ");pr_print(buf);
29     fprintf(fp, "hello, world"); /*此时fp标志在buf的起始位置*/
30     //pr_offset(fp);
31     printf("before flush: %s\n",buf);
32     fflush(fp);
33     printf("after fflush:");
34     pr_print(buf); /*本来buf的内容是aaaa...\0#,但是由于fprintf的操作hello world写到前面buf的前面几个位置,并且后面跟了一个\0*/
35     pr_offset(fp);
36     printf("len of string in buf = %ld\n", (long)strlen(buf));
37 
38     memset(buf, 'b', BSZ-2);
39     buf[BSZ-2] = '\0';
40     buf[BSZ-1] = 'X';
41     fprintf(fp, "hello, world");
42     pr_offset(fp);
43     fseek(fp, 0, SEEK_SET);
44     printf("after fseek:");
45     pr_offset(fp);
46     pr_print(buf);
47     printf("len of string in buf = %ld\n", (long)strlen(buf));
48 
49     memset(buf, 'c', BSZ-2);
50     buf[BSZ-2] = '\0';
51     buf[BSZ-1] = 'X';
52     fprintf(fp, "hello, world");
53     fclose(fp);
54     printf("after fclose:");
55     pr_print(buf);
56     printf("len of string in buf = %ld\n", (long)strlen(buf));
57 
58     return(0);
59 }

　　　　代码执行结果如下：

　　　　

　　　　上述代码在书上5.15的例子基础上做了修改，原因是更好的理解各种操作对实际内存数据的影响。

　　　　这里有个点需要明确：printf函数在输出内存中字符串的时候，如何判断字符串结束了？首次遇见'\0'就认为字符串结束了。

　　　　下面按照执行顺序来分析为：

　　　　1. memset()之后，以buf为起始地址的内存字符串都被赋值为'a'了。

　　　　2. 执行fmemopen，将buf以w+的方式关联到一个FILE *类型变量fp上。这个时候，看书上P171的阐述，以‘w+’这种方式打开的时候，""truncate to 0 length and open for writing"。

　　　　　　（1）为了验证书上这句话，我调用了DIY的函数pr_offset，来查看此时current file position（具体ftell函数，可以参考书上P158），stream offset确实是0。

　　　　　　（2）那么stream offset是0意味着什么呢？我调用了DIY的函数pr_print函数，逐个输出buf开始的BSZ个字符：发现原来的首个字符'a'变成了'\0'，客观上在我实验的环境中就是这样。

　　　　3. 执行fprintf函数，向fp指向的buf写“hello, world”12个byte。但是这个写并不会马上写进去：

　　　　　　（1）执行fflush之前，buf的首个字符还是'\0'，因此用printf函数输出buf，自然什么都不会输出。

　　　　　　（2）执行fflush之后，fp的内容被写进去了；调用pr_print函数可以看到"hello, world"被写进去了，并且紧接着还写进去了一个'\0'；此时fp的offset变成了12，而且用strlen函数去统计buf的长度也是12。由此可见fprintf的工作方式，而且可以看到strlen的实现也差不多是根据第一个遇见的'\0'来统计字符串长度的。

　　　　4. 现在另起炉灶，把buf后面的BSZ长度的字符都设成'b'了。

　　　　　　（1）还是调用fprintf往fp里面再写一次“hello, world”；注意，此时fp的offset是12，跟执行memset没有关系，此时执行过第二次写“hello, world”之后，fp的offset变成了24。

　　　　　　（2）此时，执行fseek，将fp的offset移动到0，并用pr_offset函数验证。

　　　　　　（3）再次输出buf起始的BSZ个字符，发现“hello, world"确实从第13个位置写到了第24个位置，并且在末尾跟上了一个'\0'，验证了上面的分析。

　　　　5. 再次处理一下，把buf后面的BSZ长度的字符都设成'c'了。

　　　　　　（1）先明确一点，此时fp的offset虽然恢复0了，但是fp关联的memory stream的amount of data还是24个字符，这一点比较关键。

　　　　　　（2）此时还是fprintf往fp里面写"hello, world"12个字符，随后把fp关掉。

　　　　　　（3）此时，再用pr_print逐个输出buf起始的BSZ个字符，发现了一个与之前不同的地方，即"hello, world"的后面没有在跟着一个'\0'。回想（1）中提到的，此时fp关联的memory steam的amount还是48，如果从0开始写12个byte，并不会改变整个memory stream的amount，因此后面就没有再跟着'\0'了，这也就解释了最后的一组输出。

　　　　6. 如果我们将上述代码的30行的屏蔽符号去掉，在执行代码，会得到以下结果：

　　　　

　　　　这里只需要注意before flush后面的输出即可：为什么没有用fflush，还是刷出来了buf呢？

　　　　我猜，这是因为ftell(fp)中有刷新fp的操作，所以相当于隐藏着调用了一个fflush了。

　　这个memory streams一开始看的并不清晰，主要是不明确printf的实现原理，遇到'\0'不输出后面的type了。所以，掌握这些基础函数的原理对提高工作效率比较有帮助。