此文为鄙人转载,原文参考http://blog.chinaunix.net/uid-21783276-id-2689043.html
UNIX环境下的C 对二进制流文件的读写有两套班子:1) fopen,fread,fwrite ; 2) open, read, write
这里简单的介绍一下他们的区别。
1. fopen 系列是标准的C库函数;open系列是 POSIX 定义的,是UNIX系统里的system call。
也就是说,fopen系列更具有可移植性;而open系列只能用在 POSIX 的操作系统上。
2. 使用fopen 系列函数时要定义一个指代文件的对象,被称为“文件句柄”(file handler),是一个结构体;而open系列使用的是一个被称为“文件描述符” (file descriptor)的int型整数。
3. fopen 系列是级别较高的I/O,读写时使用缓冲;而open系列相对低层,更接近操作系统,读写时没有缓冲。由于能更多地与操作系统打交道,open系列可以访问更改一些fopen系列无法访问的信息,如查看文件的读写权限。这些额外的功能通常因系统而异。
4. 使用fopen系列函数需要"#include
小结:
总的来说,为了使程序获得更好的可移植性,未到非得使用一些fopen系列无法实现的功能的情况下,fopen系列是首选。
read/write和fread/fwrite区别
1,fread是带缓冲的,read不带缓冲.
2,fopen是标准c里定义的,open是POSIX中定义的.
3,fread可以读一个结构.read在linux/unix中读二进制与普通文件没有区别.
4,fopen不能指定要创建文件的权限.open可以指定权限.
5,fopen返回指针,open返回文件描述符(整数).
6,linux/unix中任何设备都是文件,都可以用open,read.
如果文件的大小是8k。
你如果用read/write,且只分配了2k的缓存,则要将此文件读出需要做4次系统调用来实际从磁盘上读出。
如果你用fread/fwrite,则系统自动分配缓存,则读出此文件只要一次系统调用从磁盘上读出。
也就是用read/write要读4次磁盘,而用fread/fwrite则只要读1次磁盘。效率比read/write要高4倍。
如果程序对内存有限制,则用read/write比较好。
都用fread 和fwrite,它自动分配缓存,速度会很快,比自己来做要简单。如果要处理一些特殊的描述符,用read 和write,如套接口,管道之类的
系统调用write的效率取决于你buf的大小和你要写入的总数量,如果buf太小,你进入内核空间的次数大增,效率就低下。而fwrite会替你做缓存,减少了实际出现的系统调用,所以效率比较高。
如果只调用一次(可能吗?),这俩差不多,严格来说write要快一点点(因为实际上fwrite最后还是用了write做真正的写入文件系统工作),但是这其中的差别无所谓。
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
本文出自:http://kshaojun.cool.blog.163.com/blog/static/12993731220099201193045/
当某个程序打开文件时,操作系统返回相应的文件描述符,程序为了处理该文件必须引用此描述符。所谓的文件描述符是一个低级的正整数。最前面的三个文件描述符(0,1,2)分别与标准输入(stdin),标准输出(stdout)和标准错误(stderr)对应。因此,函数 scanf() 使用 stdin,而函数 printf() 使用 stdout。你可以用不同的文件描述符改写默认的设置并重定向进程的 I/O 到不同的文件。
因此若我们要访问文件,而且我们用的调用的函数又是write,read,open和close时,我们就必须用到文件描述符(一般文件从3开始)。当然若调用的函数是fwrite,fread,fopen和fclose时就可以绕开文件描述符,与他们对应的则是文件流。
注意:若用open打开或者是创建一个文件时,open函数此时会返回一个文件描述符,此时该文件描述符只能用于write或者是read,不能在某个函数里面同时用同一个文件描述符来供write和read调用,除非调用了close关闭了该文件描述符。
1、首先说什么是文件描述符,它有什么作用?
文件描述符是一个简单的整数,用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0,第二个是1,依此类推。Unix 操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是,unix 通常有一个系统级的限制。
因为squid 的工作方式,文件描述符的限制可能会极大的影响性能。当squid 用完所有的文件描述符后,它不能接收用户新的连接。也就是说,用完文件描述符导致拒绝服务。直到一部分当前请求完成,相应的文件和socket 被关闭,squid 不能接收新请求。当squid发现文件描述符短缺时,它会发布警告。
在运行./configure 之前,检查你的系统的文件描述符限制是否合适,能给你避免一些麻烦。大多数情况下,1024 个文件描述符足够了。非常忙的cache可能需要4096或更多。在配置文件描述符限制时,我推荐设置系统级限制的数量为每个进程限制的2 倍。
2、怎么突破,具体方法?
先查看LINUX默认的文件描述符:
# ulimit -n
1024
我们用命令
ulimit -HSn 65536
来增大文件描述符,然后编译安装squid,
把ulimit -HSn 65536放到/etc/rc.d/rc.local让启动时加载。
以下为转载:
Linux
在Linux 上配置文件描述符有点复杂。在编译squid 之前,你必须编辑系统include 文件中的一个,然后执行一些shell 命令。请首先编辑/usr/include/bits/types.h 文件,改变__FD_SETSIZE 的值:
#define _ _FD_SETSIZE 8192
下一步,使用这个命令增加内核文件描述符的限制:
# echo 8192 >; /proc/sys/fs/file-max
最后,增加进程文件描述符的限制,在你即将编译squid 的同一个shell 里执行:
sh# ulimit -Hn 8192
该命令必须以root 运行,仅仅运行在bash shell。不必重启机器。
使用这个技术,你必须在每一次系统启动后执行上述echo 和ulimit 命令,或者至少在squid 启动之前。假如你使用某个rc.d 脚本来启动squid,那是一个放置这些命令的好地方。
补充:
[url=javascript:;]文件描述符[/url]
是个很小的正整数,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。
文件描述符的优点:兼容POSIX标准,许多
[url=javascript:;]Linux[/url]
和
[url=javascript:;]UNIX[/url]
系统调用都依赖于它。
文件描述符的缺点:不能移植到UNIX以外的系统上去,也不直观。
基于文件描述符的输入输出函数:
open:打开一个文件,并指定访问该文件的方式,调用成功后返回一个文件描述符。
creat:打开一个文件,如果该文件不存在,则创建它,调用成功后返回一个文件描述符。
close:关闭文件,进程对文件所加的锁全都被释放。
read:从文件描述符对应的文件中读取数据,调用成功后返回读出的字节数。
write:向文件描述符对应的文件中写入数据,调用成功后返回写入的字节数。
ftruncate:把文件描述符对应的文件缩短到指定的长度,调用成功后返回0。
lseek:在文件描述符对应的文件里把文件指针设定到指定的位置,调用成功后返回新指针的位置。
fsync:将所有已写入文件中的数据真正写到磁盘或其他下层设备上,调用成功后返回0。
fstat:返回文件描述符对应的文件的相关信息,把结果保存在struct stat中,调用成功后返回0。
fchown:改变与打开文件相关联的所有者和所有组,调用成功后返回0。
fchmod:把文件描述符对应的文件的权限位改为指定的八进制模式,调用成功后返回0。
flock:用于向文件描述符对应的文件施加建议性锁,调用成功后返回0。
fcntl:既能施加建议性锁也能施加强制性锁,能建立记录锁、读取锁和写入锁,调用成功后返回0。
dup:复制文件描述符,返回没使用的文件描述符中最小的编号。
dup2:由用户指定返回的文件描述符的值,用来重新打开或重定向一个文件描述符。
select:同时从多个文件描述符读取数据或向多个文件描述符写入数据。
3.底层函数简单说明
1)write
#include
size_t write(int fildes,const void *buf,size_t nbytes);
参数说明:
fildes:与文件相对应的文件描述符,可通过调用open函数获取
buf:存放将写入文件的数据,可以是字符串,也可是其他数据。其中buf是指向字符串的指针
nbytes:需写进文件的字节数
返回值:
-1:写入失败
0:写入0个字节
x:已写入x个字节
1)read
#include
size_t read(int fildes,char *buf,size_t nbytes);
参数说明:
fildes:文件描述符
buf:存放从文件中读取的数据
nbytes:希望读取的直接数
返回值:
-1:读取失败
0:读取0个字节
x:已读取x个字节
3)open
#include
#include
#include
int open(const char *path,int oflags);
int open(const char *path,int oflags,mode_t mode);
参数说明:
path:文件存放路径,比如文件ksj.c位于/home/ksj,则path="/home/ksj/ksj.c";
oflags:打开方式。取值如下:
O_RDONLY:以只读方式打开,O_WRONLY:以只写方式打开,O_RDWR:以读写方式打开
oflages参数中还包括下列可选模式的组合(用按位或操作)
O_APPEND:把写入数据追加在文件的末尾
O_TRUNC:把文件长度设为0,丢弃已有的内容
O_CREAT:如果需要,就按参数mode中给出的访问模式创建文件
O_EXCL:已O_CREAT一起使用,确保调用者创建出文件
mode:当用open创建文件时,可包含该参数,像系统说明该文件的归属及权限。该部分内容太多了,不想写了,详细资料大家自己上网查把,或者查看《Linux程序设计》第84页。呵呵
4)close
#include
int close(int fildes);
参数:
fildes:文件描述符
返回:
success:0
fail:-1
4.几个函数之间的简单区别
1)write和fwrite
A:write用的是文件描述符,fwrite用的是文件流
B:write是将数据写入文件,而fwrite是将数据写进文件流
2)read和fread
A:read用的是文件描述符,fread用的是文件流
B:read是从文件中读取数据,而fread是从文件流中读取数据
3)fgetc和getchar
#include
int fgetc(FILE *stream);
int getc(FILE *stream);
int getchar();
int fputc(int c FILE *stream);
int putc(int c,FILE *stream);
int putchar(int c);
区别:fgetc是从文件流中读取下一个字符
getchar则是从标准输入中读取下一个字符,标准输入可以是我们的终端
fputc与putchar的区别与上面类似;
本文中的1和2部分从其他地方转载,在此谢谢了,
本文只是在本人工作和学习中留下的脚印,呵呵!