samba性能调优

http://steve.chinavfx.net/?p=42

 

不知道有多少公司的内部打印及文件服务器是用的Linux，我想肯定不会太多，因为Windows实现起来更方便，更快速，当然，Windows也 是更Danger。 因为Windows有太多不确定性的东西，Virus，木马，等等。

但Linux也不见得太安全，不过因为我对Linux非常熟了，而且在Windows下面不了解，所以公司的文件服务器和打印服务器都是在一台机器 上面实现的， 同时这台服务器还管理公司网络的DHCP和DNS服务。

年初的时候，因为binutils的新版本的一些Optimize，所以把服务器的Linux重新做了，也换成了selinux，不过Gentoo 下的selinux真是想让人死。。 x86下面没什么问题，amd64下面，如果你是用multilib的，那我不清楚，我只用amd64的ABI，没有multilib， 在这种情况下，Gentoo的selinux会有不少问题。根本不可能用enforce模式。

就这样用了近半年，网络性能一直很差，从服务器上Copy文件或者反过来，性能都很差， 看看Windows的Task Manager里面的Networking，LAN的使用率最多也只能在40%左右，这个也太低了点吧？想办法解决一下。

先google了一下，发现IPv4可以有一些调整. 主要是下面几个参数:

• /proc/sys/net/core/rmem_default 定义默认的接收窗口大小；对于更大的 BDP 来说，这个大小也应该更大。
• /proc/sys/net/core/rmem_max 定义接收窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。
• /proc/sys/net/core/wmem_default 定义默认的发送窗口大小；对于更大的 BDP 来说，这个大小也应该更大。
• /proc/sys/net/core/wmem_max 定义发送窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。
• /proc/sys/net/ipv4/tcp_window_scaling  启用 RFC 1323 定义的 window scaling；要支持超过 64KB 的窗口，必须启用该值。
• /proc/sys/net/ipv4/tcp_sack 启用有选择的应答（Selective Acknowledgment），这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）；（对于广域网通信来说）这 个选项应该启用，但是这会增加对 CPU 的占用。
• /proc/sys/net/ipv4/tcp_fack 启用转发应答（Forward Acknowledgment），这可以进行有选择应答（SACK）从而减少拥塞情况的发生；这个选项也应该启用。
• /proc/sys/net/ipv4/tcp_timestamps 以一种比重发超时更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。
• /proc/sys/net/ipv4/tcp_mem 确定 TCP 栈应该如何反映内存使用；每个值的单位都是内存页（通常是 4KB）。第一个值是内存使用的下限。第二个值是内存压力模式开始对缓冲区使用应用压力的上限。第三个值是内存上限。在这个层次上可以将报文丢弃，从而减 少对内存的使用。对于较大的 BDP 可以增大这些值（但是要记住，其单位是内存页，而不是字节）。
• /proc/sys/net/ipv4/tcp_wmem 为自动调优定义每个 socket 使用的内存。第一个值是为 socket 的发送缓冲区分配的最少字节数。第二个值是默认值（该值会被 wmem_default 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值。第三个值是发送缓冲区空间的最大字节数（该值会被 wmem_max 覆盖）。
• /proc/sys/net/ipv4/tcp_rmem 与 tcp_wmem 类似，不过它表示的是为自动调优所使用的接收缓冲区的值。
• /proc/sys/net/ipv4/tcp_low_latency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况；这个选项应该禁用。
• /proc/sys/net/ipv4/tcp_westwood 启用发送者端的拥塞控制算法，它可以维护对吞吐量的评估，并试图对带宽的整体利用情况进行优化；对于 WAN 通信来说应该启用这个选项。
• /proc/sys/net/ipv4/tcp_bic 为快速长距离网络启用 Binary Increase Congestion；这样可以更好地利用以 GB 速度进行操作的链接；对于 WAN 通信应该启用这个选项。

（以上内容引自http://www.ibm.com/developerworks/cn/linux/l-hisock.html ）

看了上面的内容，我对自己的服务器调整了一下，加了下面几个参数到sysctl.conf里面

net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
net.ipv4.tcp_rmem = 8192 4194304 8388608
net.ipv4.tcp_wmem = 4096 2097152 8388608

再去试了一下Copy文件，速度果然有5%－8%的提高，那么，下面的问题，就是samba的性能了。去samba的网站看看它的howto， 里面提高几个问题，一个是samba如何log，这个会对性能有一定的影响，但不大，最多也就是百分之几的差别。仔细看了howto以后，我设了如下几个 参数：

# Some other performace tuning options
# disable links and symbol links
    follow symlinks = no
    wide links = no
# enable some read/write tuning
    use sendfile = yes
    read raw = yes
    write raw = yes
    aio read size = 16384
    aio write size = 16384
    write cache size = 262144
    max xmit = 65536
    large readwrite = yes
    getwd cache = yes
# disable locking, because only 2 share can be written.
    strict locking = no
    fake oplocks = yes
    oplocks = no

来说明一下，

• follow symlinks ，对我来说不需要，Windows好象不支持这种符号连接，我也不需要在共享里有这个东西，所以关闭
• wide links，同上，不需要
• aio read/write size，是和异步读写有关的，设大一点比较好
• oplocks和locking这两个决定samba是否对文件进行lock测试，如果一个用户以write方式打开了这个文件，那么其它用户就 不能再以write打开，这两个东西很费内存，也同样会降低samba的性能。 另外，我有很多个share，其中只有两个是所有人都可以写的，其它的都只有一个用户能写，对于后者，不需要打开这个，因为共享设计就是别人无法写。 那么就在global里面把这几个和lock有关的参数关掉，在那两个所有人可以写的share再打开。
• 所有基它的参数，都是samba里面提到的performance tunning的参数我就不一个一个的说了，要了解它的可以去 http://us1.samba.org/samba/docs/man/Samba-HOWTO-Collection/  看 看

好了，samba也调整了，再试一下copy文件。WOW～～ 网络占用率达到了80%，提高了一倍！！ 当然，所有的有数值的参数，都是需要对应实际应用来调整的，我在这里只是简单的设了一下，性能就提高一倍多，相信仔细调整后网络占用率应该能达到与 Windows相当的水平，也就是80%～90%