Linux最大文件数限制的那些事
要知道,在linux的世界里,一切皆文件.因此要实现大的并发量的第一步,修改linux系统的文件标识符限制数,也就是文件打开数量的限制
首先,内核级的总限制 fs.file-max
man proc 里有这么一段话 /proc/sys/fs/file-max This file defines a system-wide limit on the number of open files for all processes. (See also setrlimit(2), which can be used by a process to set the per-process limit, RLIMIT_NOFILE, on the number of files it may open.) If you get lots of error messages about running out of file handles, try increasing this value: echo 100000 > /proc/sys/fs/file-max
#查看限制数 fs.file-max [root@web01]# sysctl fs.file-max fs.file-max = 65535 #修改限制数 [root@web01]# sysctl -w fs.file-max=6553500 fs.file-max = 6553500 需要永久生效则 echo "fs.file-max=6553500" >>/etc/sysctl.conf
/proc/sys/fs/file-nr 记录了系统中fd的使用情况，已分配文件句柄的数目
[root@web01]# sysctl fs.file-nr fs.file-nr = 960 0 6553500
其中第一个数表示当前系统已分配使用的打开文件描述符数，第二个数为分配后已释放的（目前已不再使用），第三个数等于file-max。
其次是用户级进程的打开文件数限制。执行：
#查看资源硬限制数 [root@web01]# ulimit -Hn 4096 #查看资源软限制数 [root@web01]# ulimit -Sn #或 ulimit -n 1024 #修改限制数 [root@web01]# ulimit -n 204800
通过ulimit -Sn设置最大打开文件描述符数的soft limit，注意soft limit不能大于hard limit（ulimit -Hn可查看hard limit），另外ulimit -n默认查看的是soft limit，但是 ulimit -n 204800 则会同时设置soft limit和hard limit。对于非root用户只能设置比原来小的hard limit
若要使修改永久有效，则需要在/etc/security/limits.conf中进行设置，可添加如下两行。
* soft nofile 65535
* hard nofile 65535
以上设置需要注销之后重新登录才能生效：
设置nofile的hard limit还有一点要注意的就是hard limit不能大于/proc/sys/fs/nr_open，假如hard limit大于nr_open，注销后无法正常登录。可以修改nr_open的值： echo 2000000 > /proc/sys/fs/nr_open
相关介绍：
ulimit -a 用来显示当前的各种用户进程限制。
Linux对于每个用户，系统限制其最大进程数。为提高性能，可以根据设备资源情况，设置各linux 用户的最大进程数，下面我把某linux用户的最大进程数设为10000个：
ulimit -u 10000
对于需要做许多 socket 连接并使它们处于打开状态的Java 应用程序而言，最好通过使用 ulimit -n xx 修改每个进程可打开的文件数，缺省值是 1024。
ulimit -n 4096 将每个进程可以打开的文件数目加大到4096，缺省为1024
其他建议设置成无限制（unlimited）的一些重要设置是：
数据段长度：ulimit -d unlimited
最大内存大小：ulimit -m unlimited
堆栈大小：ulimit -s unlimited
CPU 时间：ulimit -t unlimited
虚拟内存：ulimit -v unlimited
公 司服务器需要调整 ulimit的stack size 参数调整为unlimited 无限，使用ulimit -s unlimited时只能在当时的shell见效，重开一个shell就失效了。。于是得在/etc/profile 的最后面添加ulimit -s unlimited 就可以了，source /etc/profile使修改文件生效。
如果你碰到类似的错误提示ulimit: max user processes: cannot modify limit: 不允许的操作 ulimit: open files: cannot modify limit: 不允许的操作
为啥root用户是可以的？普通用户又会遇到这样的问题？
看一下/etc/security/limits.conf大概就会明白。
linux对用户有默认的ulimit限制，而这个文件可以配置用户的硬配置和软配置，硬配置是个上限。
超出上限的修改就会出“不允许的操作”这样的错误。
在limits.conf加上
* soft noproc 10240
* hard noproc 10240
* soft nofile 10240
* hard nofile 10240
就是限制了任意用户的最大线程数和文件数为10240。
还有就是应用自身设定的限制
例如MySQL层的几个参数：open-files-limit、innodb-open-files、table-open-cache、table-definition-cache
1、open-files-limit
它限制了mysqld进程可持有的最大打开文件数，相当于是一个小区的总电闸，一旦超限，小区里所有住户都得停电。
5.6.7（含）以前，默认值0，最大和OS内核限制有关；
5.6.8（含）以后，默认值会自动计算，最大和OS内核限制有关。在5.6.8及以后，其自动计算的几个限制规则见下，哪个计算结果最大就以哪个为上限：
1) 10 + max_connections + (table_open_cache * 2) 2) max_connections * 5 3) open_files_limit value specified at startup, 5000 if none
2、innodb-open-files
限制InnoDB引擎中表空间文件最大打开的数量，相当于自己家中电箱里的某个电路保险，该电路短路的话，会自动跳闸，而不会影响其他电路，去掉短路源后重新按上去就可以使用。
其值最低20，默认400，只计算了包含ibdata*、ib_logfile*、*.ibd 等三类文件，redo log不计算在内，5.6以后可独立undo log，我还未进行测试，应该也不会被计算在内，有兴趣的朋友可验证下。
3、table-definition-cache
该cache用于缓存 .frm 文件，该选项也预示着 .frm 文件同时可打开最大数量。
5.6.7 以前默认值400；
5.6.7 之后是自动计算的，且最低为400，自动计算公式：400 + (table-open-cache / 2)。对InnoDB而言，该选项只是软性限制，如果超过限制了，则会根据LRU原则，把旧的条目删除，加入新的条目。
此外，innodb-open-files 也控制着最大可打开的表数量，和 table-definition-cache 都起到限制作用，以其中较大的为准。如果没配置限制，则通常选择 table-definition-cache 作为上限，因为它的默认值是 200，比较大。
4、table-open-cache
该cache用于缓存各种所有数据表文件描述符。
5.6.7 以前，默认值400，范围：1 �C 524288；
5.6.8 �C 5.6.11，默认值2000，范围：1 �C 524288；
5.6.12以后，默认值2000（且能自动计算），范围：1 �C 524288。
补充说明1：关于如何计算表文件描述符的建议：
table-open-cache 通常和 max-connections 有关系，建议设置为 max_connections * N，N的值为平均每个查询中可能总共会用到的表数量，同时也要兼顾可能会产生临时表。
补充说明2：MySQL会在下列几种情况把表从table cache中删掉：
1、table cache已满，并且正要打开一个新表时； 2、table cache中的条目数超过 table_open_cache 设定值，并且有某些表已经长时间未访问了； 3、执行刷新表操作时，例如执行 FLUSH TABLES，或者 mysqladmin flush-tables 或 mysqladmin refresh
补充说明3：MySQL采用下述方法来分配table cache：
1、当前没在用的表会被释放掉，从最近最少使用的表开始； 2、当要打开一个新表，当前的cache也满了且无法释放任何一个表时，table cache会临时加大， 临时加大的table cache中的表不用了之后，会被立刻释放掉。
转载整理自 http://imysql.com/2015/07/30/mysql-faq-howto-calculate-open-files.shtml