NFS、PVFS和Lustre文件系统的安装和性能评测

如今，面向网络的计算环境需要一种高性能、网络化的文件系统，这种文件系统既可满足个人的存储需求又可满足集群系统的文件共享需求。在实际应用中，NFS、PVFS文件系统越来越不能满足大规模计算需求。Lustre是一种高性能并行文件系统，它克服了传统分布式文件系统中性能低、可靠性差、规模小等问题。现通过在同一环境下分别安装NFS、PVFS和Lustre文件系统，然后评测它们的性能。其中在不同系统下的安装方法是不同的，在redhat下可通过rpm来安装，比较简单；在ubuntu下则有点复杂。

    一：NFS PVFS Lustre安装和配置

 

        1. NFS

l        安装

服务器端：

apt-get install portmap

apt-get install nfs-user-server

apt-get install nfs-kernel-server

客户端：

apt-get install nfs-common

启动 nfs 服务

/etc/init.d/portmap start

/etc/init.d/nfs-user-server start

/etc/init.d/nfs-kernel-server start

l        配置

服务器端：

#vi /etc/exports 输入允许被访问的 IP 地址及有关权限

客户端：

#vi /etc/fstab 输入要访问的 IP 地址

 

2.PVFS

l        安装

下载 Berkeley DB(version 3 or 4)

aio support(provided by glibc and librt)

gcc 2.96 or newer

从 PVFS 官网下载 PVFS-2.7.1.tar.gz 软件包，然后解压，进入 PVFS-2.7.1 目录中，用命令 ./configure ， make ， make install 完成安装。

注意：在安装 PVFS 软件包时首先可查看以下系统中是否已经安装过数据库和 glibc ， gcc 编译器的版本是否大于或等于 2.96 。如果已经安装好再去安装 PVFS ，在实际的安装过程中，有可能会出现无法找到 DB library ，这说明你虽然安装 db-xx.tar.gz ，但是没安装 db-devel-xx.rpm 。 PVFS 安装手册要求安装 GNU ，但可以不安装。

l        配置

服务器端：# /usr/bin/pvfs2-genconfig /etc/pvfs2-fs.conf

       启动服务器： #/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf �Cf

                             #/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf

                             #/etc/rc.d/init.d/pvfs2-server start

       客户端： #mkdir /mnt/pvfs2

                      #touch /etc/pvfs2tab

                      #chmod a+r /etc/pvfs2tab

       测试： ./pvfs2-ping �Cm /mnt/pvfs2

注意：在实际的安装中， PVFS 被安装在 /usr/local 目录下。其中 pvfs2- genconfig 在 /usr/local/bin 中， pvfs2-server 在 /usr/local/sbin 中。所以上面的目录对于有些机器是不一样的，在使用中可以去除目录直接使用命令即可。 pvfs2-genconfig 命令可产生配置文件，其中有 host name ， local name 两项，要输入服务器和客户端的别名而不是 IP 地址。

 

3.Lustre

     
      (1)   
      下载给内核打补丁的工具
      quilt-0.46,用命令#apt-get install quilt-0.46
     

     
       (2)  给 Linux 内核打上 Lustre 补丁, 用命令 #apt-get install linux-patch-lustre 
     

     
       (3)下载Linux源代码,用命令#apt-get install linux-source-2.6.18 
     

     
       (4)对linux-source- 2.6.18 .tar.gz解压，进入linux-source-2.6.18的目录中进行编译：用make clean，make mrproper，make menuconfig。 
     

     
       (5)#make-kpkg clean；#make-kpkg--added-patches=lustre--initrd--append-to-version"-quota-enabled-lustre- 1.6.4 .1" --revision credativ.1 kernel_image 
     

     
       (6)#dpkg �Ci *.deb 
     

     
       (7) 重新选内核，reboot 
     

     
       (8)#apt-get install dpatch 
     

     
       (9)#m-a auto-install lustre 
     

     
       (10)#apt-get install luster-utils 
     

     
       (11)#modprobe lnet 'network="tcp0(eth0)"'；  
     

#modprobe lustre；     

#modprobe ldiskfs。

     
      二：用iozone测试性能
     

     
      1：I/O性能：
     

     
      在写性能上：NFS、PVFS差别不是很大；Lustre比它们平均性能提高了20%～30%。 
在读性能上：PVFS比NFS平均性能提高了15%左右；Lustre比PVFS平均性能提高了10%左右；Lustre比NFS提高了20%～30%。 
     

2：扩展性：

PVFS：静态配置，不能动态扩展

NFS 、Lustre：在线扩展

3：安全性：

NFS：  “信任网络”

PVFS：数据无容错机制

Lustre：MDS、OST、Client构成高级安全框架