centos lustre 简单 安装教程

     Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。

     该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。

因为业务需要，需要做一个分布式的lustre，提高I/O性能。

测试环境：centos5.6 32位，内核：2.6.18-238.el5

mds  192.168.229.155

ost1  192.168.229.156

ost2  192.168.229.157

client  192.168.229.158

1.下载安装包，去官网下就可以：

http://downloads.lustre.org/public/lustre/v1.8/lustre_1.8.7/rhel5-i686/

需要下载7个包：我的是1.87版本

e2fsprogs-1.41.12.2.ora1-0redhat.rhel5.i386.rpm

kernel-2.6.18-194.17.1.el5_lustre.1.8.7.i686.rpm

lustre-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.i686.rpm

lustre-client-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.i686.rpm

lustre-client-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.i686.rpm

lustre-ldiskfs-3.1.6-2.6.18_194.17.1.el5_lustre.1.8.7.i686.rpm

lustre-modules-1.8.7-2.6.18_194.17.1.el5_lustre.1.8.7.i686.rpm

 2.安装

将下载的软件包拷贝到四台机器上，执行命令：

rpm -ivh -aid --force *.rpm

安装完成后，grub被自动修改为已经修改过内核的启动项，直接重启机器即可。

3.配置

1）在mds服务器执行以下操作
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'
mkfs.lustre --fsname=test --reformat --mdt --mgs /dev/sdb
注：如果硬盘没有被格式化或者里面有数据的话需要加 --reformat参数格式化！
mkdir /mnt/lustre
mount.lustre /dev/sdb /mnt/lustre

2）在两台 ost 上执行以下操作
modprobe lustre
modprobe ldiskfs
modprobe lnet 'network="tcp0(eth0)"'
mkfs.lustre --fsname=test --ost --reformat --mgsnode=192.168.229.155 @tcp0 /dev/sdb1
# 同样如果 sdb1 没有被格式化或者有数据必须加 --reformat参数
mkdir /mnt/lustre

mount.lustre /dev/sdb1 /mnt/lustre

另一台机器上，也执行同样的操作，这样就把lustre的分布文件系统建立起来了。
 

3）在 client服务器上执行
mount.lustre 192.168.229.155 @tcp0:/test /mnt

4.测试：

client：

[root@localhost ~]# dd if=/dev/zero of=/mnt/test.img bs=1M count=4500
4500+0 records in
4500+0 records out
4718592000 bytes (4.7 GB) copied, 83.8186 seconds, 56.3 MB/s

 

mds上

[root@localhost ~]# dd if=/dev/zero of=/tmp/test.img bs=1M count=4500
4500+0 records in
4500+0 records out
4718592000 bytes (4.7 GB) copied, 19.5914 seconds, 241 MB/s

 

其中一台ost上

[root@localhost ~]# dd if=/dev/zero of=/tmp/test.img bs=1M count=3000
3000+0 records in
3000+0 records out
3145728000 bytes (3.1 GB) copied, 38.8462 seconds, 81.0 MB/s

 

一台真实的IBM服务器：

[root@bogon ~]# dd if=/dev/zero of=/tmp/test.img bs=1M count=4500
4500+0 records in
4500+0 records out
4718592000 bytes (4.7 GB) copied, 5.7876 seconds, 815 MB/s

 

 

=====================================================================

可能是用虚拟机做的，效果还没有单台机器快，可能是vm的网络受限。

 

5.停止lustre文件系统

umount -f /opt
              按照lustre的启动顺序完全相反的的顺序停止。先停止客户机，再停止ost，再停止mds。

 

mds  大概就是 存放元数据的地方  也就是 文件列表一样的东西，他知道存储的文件在 哪台ost服务器上
ost 就是存储文件的服务器

 

附件：

如果想开启防火墙

四台都要开启防火墙：988,1021,1022,1023端口

 

 

原文：http://weiruoyu.blog.51cto.com/951650/787530

 ==================================================================

参考资料：

http://rainbird.blog.51cto.com/211214/198619

http://www.cnblogs.com/sickboy/archive/2012/01/10/2318175.html

http://deidara.blog.51cto.com/400447/125071

http://www.gaojinbo.com/lustre%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AEv1-0.html

http://hi.baidu.com/china_zyl163/blog/item/c47d9e487af3f4d1d0c86ae1.html

http://blog.csdn.net/liuben/article/details/6455736