Lustre是开放源代码的集群文件系统

Lustre

http://wiki.huihoo.com/wiki/Lustre

您可以在Wikipedia上了解到此条目的英文信息 Lustre Thanks, Wikipedia.

Lustre是开放源代码的集群文件系统, 采取 GPL 许可协议 集群计算机里，计算机与磁盘间数据交换速度的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能。

一种新兴的集群文件系统软件提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式。

集群文件系统已经在大学、实验室和超级计算研究中心里使用，而且即将进入通用商业计算市场。

集群文件系统所拥有的快速I/O速度，可能将会改变企业处理存储的方式。

新的集群文件系统采用了开源的Lustre技术，由美国能源部（Department Of Energy）开发，惠普公司（HP）提供商业支持。它显著提高了输入输出（I/O）速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定的影 响，未来几年中，它还有可能进入普通商业计算领域。

惠普公司发布了可扩展文件系统（Scalable File Share）的第2版，这个产品是去年年底推出的，包含一台服务器和一个软件包，使用Lustre技术来分布集群内的存储服务，这种做法与过去几年一些 IT厂商为提高服务器性能所采取的分布式计算方式非常相似。SFS系统允许集群里的Linux节点能以高达每秒35GB的速度读取数据，而且允许高达 512TB的总存储容量，这是以前旧有系统容量的两倍。

Sun称Lustre是“目前全球具有最佳可扩展性的并行文件系统”，现在全球十大超级计算机中的六个以及40%的TOP100超级计算机都采用了这个系统。

Sun Lustre部门总监Peter Bojanic表示：“Lustre文件系统能扩展至在一个命名空间内支持PB级的数据量，为超过25000名用户提供超过100GB/s的累积性能，用户中包括劳伦斯利弗莫尔国家实验室、橡树岭国家实验室以及圣地亚国家实验室的高性能应用，这些用户对大型文件I/O和持续高带宽有很高的要求。”

另外这款系统在石油和天然气、富媒体以及内容分布网络等领域的应用也在不断扩大，这些领域都要求有针对大型或者小型文件的混合型工作负载。Lustre与其他系统的一个不同之处就是，它可以被作为一款基于Linux的开源软件。这就是为什么你会发现，它能够与来自其他高性能计算厂商的产品进行集成，例如SGI、戴尔、惠普、Cray以及Terascala。

Lustre是一款基于目标的集群文件系统，但是它并不支持T10 OSD，而且底层存储分配管理也是基于块的。它的配置包括Lustre MetaData Server和Lustre Object Storage Servers。文件操作绕过MetaData Server，利用集群中的并行数据路径访问Object Server。服务器是以备援目的而配合成对的。Lustre可以在不同类型的网络下运行，其中包括IP网络和InfiniBand网络。

简介

虚拟机有很多好处，不仅仅节省硬件资源，而且还可以快速切换系统环境，显然会在软件开发中起到极大作用。

在《持续交付》第十一章（11.7.1）中就提到了虚拟机环境的管理。如下图 

它描述的是在你的持续集成的Jenkins CI服务器（以下简称jenkins）中，需要各种服务器来测试一个应用。我们可以快速的从虚拟机的VMM模板库中，启动需要的各种类型虚拟机，而不是每个都重新安装（省时），完成测试，产生报告后，也快速消失（省钱）。

让我们一起来看看一种漂亮的实现方案vagrant+jenkins实现技巧。

基本知识

vagrant

不同的虚拟机技术（virtualbox，vmware，xen/kvm等等)可能用不同的方法管理，vagrant是virtualbox的前端，它简化了virtualbox虚拟机的操作，而且增加了对自动化（provisioning)的puppet/chef的支持，这里就不详细介绍。vagrant的入门介绍已经很详细了，有一篇博客也可以借鉴一下。

你要知道的就是下面的几个命令

$ cd ubuntu1104-vm # 进入已有的 ubuntu 11.04 虚拟机目录
$ vagrant up # 启动 ubuntu 虚拟机
$ vagrant ssh -c "pwd"
/home/vagrant
$ vagrant halt # 停止虚拟机

jenkins CI

jenkins 是一个最常用的持续集成服务器，可单独运行或者放在Web服务器中运行。

直接启动一个任务（jenkins job)去调用vagrant操作虚拟机不是一个很好的方式，因为启动jenkins的用户（如tomcat）的权限都比较小，以防止任务误操作。

幸好jenkins有个超级棒的主从模式（master/slave)来解决。

方案搭建