UNIX高级环境编程（6）标准IO函数库 - 流的概念和操作
标准IO函数库隐藏了buffer大小和分配的细节，使得我们可以不用关心预分配的内存大小是否正确的问题。
虽然这使得这个函数库很容易用，但是如果我们对函数的原理不熟悉的话，也容易遇到很多问题。
1 流和FILE实体（Streams and FILE Objects）
前面的章节中，IO集中在文件描述符，每一个打开的文件都对应一个文件描述符，通过文件描述符对文件进行操作。
现在使用了标准IO库，讨论的重点集中在流（streams）。
简要了解一下流：
- 当我们打开或创建了一个文件，我们说我们有一个流和该文件关联。
- stream支持单字节字符集和多字节字符集。stream的属性orientation决定使用单字符集还是多字符集。
- 当一个stream被创建时，没有指定orientation，这时，当使用宽字符集IO函数时，流的orientation设置为支持宽字符集；当使用单字符集IO函数时，流的orientation设置为支持单字符集。
只有两个函数可以修改流的orientation：
- freopen会清除流的orientation；
- fwide用来设置流的orientation。
fwide函数声明：
#include <stdio.h>
#include <wchar.h>
int fwide(FILE* fp, int mode);
函数返回值：
- 返回整数表示支持多字节字符集；
- 返回负数表示支持单字节字符集；
- 返回0表示没有设置stream的orientation。
mode取值的不同决定函数fwide的不同的行为：
- 如果mode为负数，fwide试着设置指定流支持单字节字符集；
- 如果mode为整数，fwide试着设置指定流支持多字节字符集；
- 如果mode为0，fwide不会试着设置流的orientation，但是会返回一个值代表当前流的orientation。
当我们打开一个流，函数fopen返回一个指向FILE对象的指针。FILE对象通常是一个结构体，包含所有控制流所需要的信息，包括：
- 实际IO所用的文件描述符；
- 一个指向流所使用的buffer的指针；
- buffer的大小；
- 当前在buffer中的字符数；
- error flag；
- 等。
2 缓存（Buffering）
缓存（buffering）的作用是为了尽可能少地调用read和write系统调用。
标准IO库提供三种类型的buffering：
完全缓存（Fully buffered）：在这种缓存机制中，实际的IO操作发生在缓存被写满时。正在写入硬盘的文件被完全缓存在buffer中。缓存空间往往在第一次IO操作时通过调用malloc函数获取；
行缓存（Line buffered）：在这种缓存机制中，实际的IO操作发生在新的一行字符被读入或者输出时，所以允许每一次只输出一个字符。行缓存有两点需要注意：buffer的大小是固定的，所以即使当前行没有读入或输出结束，依然可能发生实际的IO，当buffer被写满时；一旦有输入（从无缓存流或者行缓存流中输入）发生，所以已在buffer中缓存的输出流都会被立刻输出（flush）。
flush：标准IO缓存中内容立刻写入硬盘或者输出。在终端设备中，flush的作用也可能是丢弃缓存中得数据。
无缓存（Unbuffered）：不缓存输入或输出内容。例如，如果我们使用fputs函数输出15个字符，那么我们希望这15个字符尽可能快地被打印出来。如标准错误输出就要求是无缓存输出。
ISO C标准要求下面的缓存特性：
- 标准输入输出在不关联交互设备的请款下，使用完全缓存（fully buffered）；
- 标准错误输出不使用完全缓存。
上面的标准显然没有具体说明各种情况，一般来说：
- 标准错误输出不适用缓存；
- 其他流，如果关联终端，则使用行缓存，否则使用完全缓存。
我们可以使用函数setbuf和setvbuf函数更改流的缓存机制。
函数声明：
#include <stdio.h>
void setbuf(FILE* restrict fp, char* restrict buf);
int servbuf(FILE *restrict fp, char* restrict buf, int mode, size_t size);
函数返回值：
- OK：0；
- Error：非0
这些函数必须在流打开之后，其他流操作执行之前被调用。
函数作用：
setbuf可以打开或关闭缓存，打开缓存时，buf指向一个大小为BUFSIZ（stdio.h中定义的宏）的buffer，通常打开的时完全缓存，如果当前流关联的是终端设备，有的系统也会使用行缓存；
servbuf可以指定打开哪种类型的缓存。mode的参数可以取如下的值，如果指定为无缓存，则参数buf和size都会被忽略。
函数行为总结如下表所示：
通常来说，我们应该让系统自己选择buffer大小并自动分配，这样标准IO库会在关闭流时自动释放该内存。
flush函数。
函数声明：
#include <stdio.h>
int fflush(FILE *fp);
函数作用：
使得该流的所有缓存中未写入硬盘的数据传入内核中。
一种特殊情况是，如果fp为NULL，fflush会使得所有缓存的数据都被flush。
3 打开流（opening a stream）
函数fopen、freopen和fdopen函数用来打开一个标准输入输出流。
函数声明：
#include <stdio.h>
FILE *fopen(const char *restrict pathname, const char* restrict type);
FILE *freopen(const char *restrict pathname, const char *restrict type, FILE *restrict fp);
FILE *fdopen(int fd, const char *type);
函数细节：
- 函数fopen打开指定的文件；
- 函数freopen函数打开指定的文件到指定的流上，如果该流已经被打开，则先关闭该流；如果之前已经被打开的流设置了orientation，则清理。函数freopen通常用来打开文件到预定义的流上，如标准输入，标准输出或标准错误输出；
- fdopen输入一个文件描述符，将描述符关联到一个标准IO流上。函数fdopen的作用主要是为了将管道和网络连接关联到一个流上，而这些特殊类型的文件不能使用fopen函数打开，我们必须先用特定的函数获取文件描述符，然后用fdopen函数关联到一个流上。
参数type取值如下表所示，一共有15种取值，有得取值作用相同：
表格说明：
- 参数中的b字符为了让标准IO系统区分文本文件（text file）和二进制文件（binary file），因为内核并不区分文件文件和二进制文件，所以b字符并不影响内核的行为。
- 函数fdopen的参数type和其他的稍有不同。因为文件描述符已经被打开，所以打开文件流并不截断文件至长度为0。
- 标准IO库函数的append模式不可以用来创建新文件，因为要得到一个文件描述符，必须先打开一个存在的文件。
- 同样支持多进程同时以append模式写同一个文件。
当打开一个流对文件进行读写时，有两个限制：
- 输入后，如果不调用函数fflush, fseek, fsetpos或rewind的话，不可以紧接着进行输出。
- 输出后，如果不调用该函数fseek, fsetpos或rewind的话，不可以紧接着进行输入。
六种方式打开一个流总结如下表所示：
需要注意的一点是，当以w和a模式创建一个新文件时，并不能像open或create函数一样指定文件的权限标志位。
一种解决方法是通过调整我们的umask。
打开的流默认的是完全缓存，如果该流关联的是终端设备，则是行缓存。
像之前提到的那样，我们打开了一个流，并在其他操作之前，可以调用setbuf或setvbuf函数修改缓存方式。
关闭流
函数声明：
#include <stdio.h>
int fclose(FILE* fp);
函数细节，关闭流之前：
- 所有缓存待输出的数据都会被输出；
- 所有缓存带输入的数据都会被丢弃；
- 如果流使用的缓存是由标准IO库分配，则缓存会被释放；
- 如果进程正常终止，则所有缓存数据都会被flush（输出或者写入硬盘），并且所有打开的流都会被关闭。
4 读写一个流（Reading and Writing a Stream）
当我们打开一个流，我们有三种读写方式可供选择：
- 一次一个字符读写
- 一次一行读写：使用函数fgets和fputs
- 直接读写：每次读写固定长度的数据，使用函数fread和fwrite。
输入函数
函数声明：
#include <stdio.h>
int getc(FILE* fp);
int fgetc(FILE* fp);
int getchar(void);
函数返回值：
- ok：下一个字符
- EOF：文件结尾，一般为-1
- error：负数
函数细节：
- getchar和getc不同的地方在于：前者一定实现为函数，而后者可以被实现为一个宏；
- 函数返回值将unsigned char转型为int，这里，unsigned是为了转型为int时不会是负数。返回整数的目的是为了让所有可能的值都可以返回，包括错误码和文件结尾；
- 文件结尾符EOF往往定义为负数，而错误码也是负数，因此我们无法从返回值上判断是到达了文件结尾还是报错。
- 为了区分上面的两种情况，我们需要调用函数ferror或者feof。
函数声明：
#include <stdio.h>
int ferror(FILE* fp);
int feof(FILE* fp); // Both return: nonzero(true) if condition is true, 0(false) otherwise
void clearerr(FILE* fp);
在大多的实现中，FILE对象中会维护两个flag：
- 一个error flag
- 一个文件结尾符flag
这两个flag都可以通过调用clearerr清空。
读取一个流后，我们可以调用函数ungetc压回读出来的字符。
函数声明：
#include <stdio.h>
int ungetc(int c, FILE* fp);
函数返回值：c if OK, EOF on error
函数细节：只支持单个个字符的压回。
使用场景：
压回操作常使用在下面的场景：对于一个输入流，我们需要根据下一个字符来判断该如何处理当前的字符。
输出函数
输出函数和我们讨论过的输入函数一一对应，不再赘述。
函数声明：
#include <stdio.h>
int putc(int c, FILE* fp);
int fputc(int c, FILE* fp);
int putchar(int c);
5 逐行输入输出操作（Line-at-a-Time IO）
函数fgets和gets提供了逐行输入功能。
函数声明：
#include <stdio.h>
char *fgets(char* restrict buf, int n, FILE* restrict fp);
char *gets(char* buf);
函数细节：
- 两个函数都是读取一行数据至buffer中。
- 函数gets从标准输入流中读取，fgets从指定的输入流中读取。
- fgets需要我们指定缓冲区大小，读入的一行数据不得多于n-1个字符，以NULL结尾。如果fgets读取该行数据长度大于n，则该次只读取n-1个字符，并以null结尾，剩余的字符在下次调用fgets时读入。
- gets函数不推荐使用，因为它不做越界检查。
函数fputs和puts提供了逐行输出的功能。
函数声明：
#include <stdio.h>
int fputs(const char* restrict str, FILE* restrict fp);
int puts(const char* str);
函数细节：
- fputs函数将一个以null结尾的字符串输出到指定流中，最后的null byte并不输出；
- puts函数同样会输出一个以null结尾的字符串到标准输出，最后的null byte并不输出，输出结束后会输出一个换行符；
- 所以我们也不推荐使用puts函数，防止自动输出一个换行符，但是我们在使用fputs时要记得在必要的时候自己处理换行符。
6 标准输入输出效率分析
比较标准：
将一定量的数据从标准输入拷贝到标准输出，计算这一过程所需要的
- 用户CPU时间（User CPU）
- 系统CPU时间（System CPU）
- Clock time
- 程序文本大小
Code：
使用getc和putc的版本：
#include "apue.h"
int
main(void)
{
int c;
while ((c = getc(stdin)) != EOF)
if (putc(c, stdout) == EOF)
err_sys("output error");
if (ferror(stdin))
err_sys("input error");
exit(0);
}
使用fgets和fputs的版本：
#include "apue.h"
int
main(void)
{
char buf[MAXLINE];
while (fgets(buf, MAXLINE, stdin) != NULL)
if (fputs(buf, stdout) == EOF)
err_sys("output error");
if (ferror(stdin))
err_sys("input error");
exit(0);
}
测试数据：95.8M 3百万行
测试结果（和第三章中的数据进行了对比，之前跳过了该章节，可以自行查看一下）：
结果说明：
- 可以发现标准IO库函数User CPU时间都比read版本的最好时间要大，因为逐字符读写需要执行100million次循环，逐行读写需要执行3百万次循环，而第一行使用的read的最有版本执行了25224次循环；
- clock time的差异原因在于用户态时间的差异和等待IO完成的时间上的差异；
- System CPU时间基本和之前版本的相同，因为内核请求数基本相同。因此，在不关心buffer大小和分配，或者只需要关心一行buffer大小的使用下，获取了几乎最优的buffer选择。
- 最后一列显示了编译器编译后生成的汇编文件的大小。
- 逐行读写比逐字符读写快得多，因为fgets和fputs是用memccpy实现，memccpy函数用汇编来实现，效率更高。
- fgetc版本比read版本的最差时间（BUFFSIZE=1）要快得多，原因在于read版本会执行200million次函数调用，由于无缓存机制，所以相应的也会执行200million次系统调用，而fgetc版本也会执行200million次函数调用，但是由于缓存机制，只需要执行25224次系统调用。我们知道，系统调用的开销要比函数调用大得多。
7 小结
标准IO函数库分为两篇来介绍，本篇是第一篇，主要介绍了
- 流的基本概念
- 流的基本操作，包括打开、关闭、读写
- 对比了使用标准IO库的读写效率
参考资料：
《Advanced Programming in the UNIX Envinronment 3rd》