Unix 基础IO

内核通过文件描述符引用打开的文件，通常通过open函数或者create函数返回文件描述符。

 

基本函数：

unix中基础的文件操作函数只有5个，分别是open,close,lseek,read,write,这几个函数都是无缓冲的，意味着这些函数的执行都是在内核中完成的。

open函数：

#include <fcntl.h>
int open(const char *path, int oflag, ... /* mode_t mode */ );
int openat(int fd, const char *path, int oflag, ... /* mode_t mode */ );

只有创建文件时，才需要指定最后一个参数，通过最后一个参数指定创建的文件的访问权限。oflag参数有很多选项，下面五个是必须指定且只能指定其中一个：O_RDONLY,O_WRONLY,

O_RDWR,O_SERCH,O_EXEC,其他的如：O_CREAT,O_APPEND,O_CLOEXEC,O_EXCL,O_DIRECTORY,O_NOFOLLOW,O_NOBLOCK,O_SYNC,O_TRUNC是可选的，可以通过OR操作与上面五个组合。

openat函数是为了在多线程环境下，同一个进程内不同线程可以通过相对路径打开非当前进程工作目录的文件。第二个目的就是为了避免 TOCTTOU错误。

O_CLOEXEC关闭了fd标志，在通过exec执行新程序的时候，在新的进程中，当前fd是被关闭的，否则是仍可以访问的，而且通过这种方式关闭新的文件描述符的close-exec是原子操作，因为在多线程环境下通过fcntl的F_SEDFD关闭描述符的close-exec会有竞争条件。当一个线程通过fcntl函数指定F_SETFD，而另为的线程fork再exec就出现了竞争。

同时制定了O_CREAT和O_EXCL可以原子性的测试文件是否存在，如果文件已经存在open调用将会失败。

同时指定O_CREAT|O_WRONLY|O_TRUNC相当于调用creat函数，而且是原子操作。

close函数：

#include <unistd.h>

       int close(int fd);

关闭文件描述符的时候同时会释放施加在该描述符对应的文件上的记录锁。当进程结束是，内核会自动关闭该进程打开的文件。

lseek函数：

#include <sys/types.h>
#include <unistd.h>

off_t lseek(int fd, off_t offset, int whence);

成功返回：offset,失败返回-1。

where的取值为：SEEK_SET,SEEK_CUR,SEEK_END分别代表文件头，当前位置，文件尾部。lseek的返回值根据where的值和offset而不同，当where的值为SEEK_CUR,SEEK_END时候，返回值可正可负，所以判断函数是否失败不可用仅仅测试返回值是否小于0.

通过lseek(int fd,0,SEEK_CUR)可以获取当前文件偏移量。

lseek本身不会引起任何IO读写。

lseek可以设置偏移量off_t超过文件尾，但是不会增加文件大小，如果这时候在这个位置写数据，在文件尾和新的数据之间，读取出来的是空洞’\0’，直到空洞被填满。

#include <stdio.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/types.h>

#define PATH "hole"
#define BUFFER "12345" 
int main()
{
    ssize_t size;
    off_t offt;
    int fd = creat(PATH,S_IRWXU);
    if( fd < 0 )
    {
        printf("creat %s faild\n",PATH);
        return -1;
    }

    size = write(fd,BUFFER,sizeof(BUFFER));
    if( size != sizeof(BUFFER))
    {
        printf("write faild\n");
        return -1;
    }
    offt = lseek(fd,1,SEEK_CUR);
    if( -1 == offt )
    {
        printf("seek failed\n");
        return -1;
    }


    size = write(fd,BUFFER,sizeof(BUFFER));
    if( size != sizeof(BUFFER))
    {
        printf("write faild\n");
        return -1;
    }
    return 0;
}

在32位系统如果想使用64位的off_t需要指定_FILE_OFFSET_BITS=64，在64位上使用32位的off_t需要指定_FILE_OFFSET_BITS=32，可以在CFLAG中使用-D指定这个_FILE_OFFSET_BITS=64或者32，例如：CFLAG=-D_FILE_OFFSET_BITS=64

read函数：

#include <unistd.h>

 ssize_t read(int fd, void *buf, size_t count);

返回-1表示失败，返回值可能小于count，因为可能达到了文件尾，或者文件是FIFO，终端设备，或者读操作被信号中断。

write函数：

#include <unistd.h>

       ssize_t write(int fd, const void *buf, size_t count);

返回-1表示失败，返回值可能小于count，因为设备可能没有空间了，可能达到了RLIMIT_FSIZE限制，或者写操作被信号中断。对于可以seek的文件，如果打开文件的时候没有指定O_APPEND标志，每次成功的写都会增加offset。如果打开时候指定了O_APPEND，那么每次写的时候当前offset都会设置为文件尾，也就是当前文件大小。注意seek和write在这种情况下是原子操作。

关于读写的buffer大小，一般选择4096是效率比较好的。

Single UNIX Specification 中提供了两个函数允许seek和read，write为一个原子操作的函数：

#include <unistd.h>
ssize_t pread(int fd, void *buf, size_t nbytes, off_t offset);
                     Returns: number of bytes read, 0 if end of file, −1 on error
ssize_t pwrite(int fd, const void *buf, size_t nbytes, off_t offset);
                     Returns: number of bytes written if OK, −1 on error

文件共享

每个进程在进程表中占一个进程表项，进程表项中包含FD表，与FD关联的是fd标志和指向文件表的指针

每个打开的文件在文件表中占一个表项，与之关联的是文件状态，文件当前偏移量以及指向V节点的指针

每个打开的文件都有一个V节点结构，V节点中包含I节点，文件大小，文件在磁盘上存储等。

下图是两个进程打开同一个文件：

之所以同一个文件有两个文件表项，是因为这样每个打开它的进程都有自己的当前文件偏移量。

dup函数：

#include <unistd.h>
int dup(int fd);
int dup2(int fd, int fd2);

失败返回-1，成功返回新的fd

dup执行成功一定返回最小可用fd。执行dup后进程和文件表之间的示意关系。

 

dup2可以通过fd2指定新的fd,如果哦d2已经打开，先关闭它，如果fd和fd2相同，则不关闭它。dup2会清除新的fd的FD_CLOEXEC标记，所以进程执行exec后，这个fd仍然可以使用。

数据刷新函数：

#include <unistd.h>
int fsync(int fd);
int fdatasync(int fd);
    Returns: 0 if OK, −1 on error
void sync(void);

sync函数仅仅刷新缓存队列，并不等待IO操作完成，Linux下没有此函数。

fsync冲洗fd对应的文件队列数据，包括文件属性，等待IO操作完成，适合在需要实时保存数据的情景下使用。

fdatasyn同fsync但是只刷新数据。

fcntl函数：

#include <fcntl.h>
int fcntl(int fd, int cmd, ... /* int arg */ );
    Returns: depends on cmd if OK (see following), −1 on error

随着cmd的取值不同，fcntl的功能也不一样：

F_DUPFD:复制fd到大于等于arg的最小可用描述符并返回这个描述符；

F_DUPFD_CLOEXEC：同上但是新描述符的FD_CLOEXEC标志被关闭；

F_GETFD：获取fd标记，目前只有一个标志FD_CLOEXEC

F_SETFD：设置fd标记

F_GETFL：获取文件状态字和访问模式

F_SETFL：设置文件状态字和访问模式

fcntl 函数指定F_GETFD和F_SETFD时，不可以仅仅设置值，因该先取得原先值然后打开对应的bit位再设置新的值。下面的函数打开相应的位：

#include "apue.h"
#include <fcntl.h>
void
set_fl(int fd, int flags) /* flags are file status flags to turn on */
{
int  val;
if ((val = fcntl(fd, F_GETFL, 0)) < 0)
err_sys("fcntl F_GETFL error");
val |= flags; /* turn on flags */
if (fcntl(fd, F_SETFL, val) < 0)
err_sys("fcntl F_SETFL error");
}

 

下面的函数关闭相应的位：

#include "apue.h"
#include <fcntl.h>
void
set_fl(int fd, int flags) /* flags are file status flags to turn off */
{
int  val;
if ((val = fcntl(fd, F_GETFL, 0)) < 0)
err_sys("fcntl F_GETFL error");
val &= ~flags; /* turn off flags */
if (fcntl(fd, F_SETFL, val) < 0)
err_sys("fcntl F_SETFL error");
}

O_RDONLY, O_WRONLY,O_RDWR, O_EXEC, and O_SEARCH这几个访问模式不是单独可测试的位，应该用O_ACCMODE获取相应的位然后再做比较：

int val = fcntl(fd,F_GETFL,0);
switch( val & O_ACCMODE)
{
     case O_RDONLY:
          printf("read only\n");
                break;
     case O_WRONLY:
          printf("write only\n");
                break;
     case O_RWONLY:
          printf("read write only\n");
                break;
     default:
          printf("unkonwn \n");
     
}

 

/dev/fd 文件：

使用下面代码相当于dup描述符n，假定描述符n是打开的且忽略mode参数。

open("/dev/fd/n",mode)