解决大型文件存储和传输问题的实践

 现在的企业数据中心存储容量和WAN（广域网）连接正面临着日益增加的大型非结构化数据文件。对于那些使用越来越多的视频、图片和图像的公司来说，文件大小一般预计都是在不断增加。在最近的Network Computing State of Storage（网络计算存储状况）调查中发现，大部分回答者表示每年的存储增长率为10%到24%。之所以造成这种现象的原因是我们在这种膨胀数据上的通常做法。我们在内部存储目录和通信带宽上的做法是迎合的是日常交易处理的小型文件，而不是针对大型数据有效载荷。

　　对于企业来说有两个难题：提高带宽以便优化大型文件传输，使其符合业务需求；重新设计存储机制以容纳日益增加的大型文件。

　　Fiber Utilities Group是一家私有网络外包管理公司，管理着超过8000英里的光纤网络。该公司客户服务经理Dave Lunemann表示：“几年前，私有网络的声势还没有今天这么大。这是因为现在有这么多公司都依赖于互联网来满足它们的广域网需求。

　　不过，风向在改变。大型企业和公司关注的是它们所打交道的大型数据文件。Lunemann表示：“大型企业对服务质量（QoS）、安全性、延迟性和冗余性的要求很高。这也就是为什么它们转而寻找私有网络的原因。因为私网不像标准互联网那样有那么多的带宽限制。”

　　私网的效果是可观的。光纤私网的响应时间可以让犹他州的客户像看本地银行那样看爱荷华州的银行，对业务来说这是很好的。西海岸的基因研究部门可以将一个非常大型的文件安全快速地传送给东海岸的合作者，不浪费科学家的时间。跨州经营的医疗公司可以快速地传输MRI（磁共振成像）和X射线图像，优化病人的护理。

　　The Mill是一家位于伦敦的虚拟效果制作公司。该公司在伦敦、纽约和洛杉矶都有开发人员。它的客户包括耐克、Turner Classic Movies和BBC。计算机系统管理员Jonathan Brazier表示：“我们实际上利用一个私有的MPLS（多协议标签交换）网络来连接我们所有的办公室。

　　当然，大型文件管理并不仅仅是在网络带宽限制下的文件传输。对于公司来说，下一步就是制定一个数据中心设计战略来存储数据，以便能够以经济有效的方式快速访问数据。

　　Ilion是一家西班牙视频制作社，专门为全球客户创作电影动画。Ilion首席技术官兼技术总监Gonzalo Rueda表示：“在高峰时间，我们要用350多个人手。”Ilion开始的时候只有20到40人，因此人员扩张加上每天产生的大型动画文件给它的视频渲染系统带来了极大的压力。

　　Rueda表示：“我们聘用了咨询人员并审视了几个不同的方案来解决我们的大型文件存储问题。我们并不仅仅感兴趣于存储系统可以处理多少IOPS（每秒输入输出）或吞吐速度。我们希望得到一个与我们目前业务相兼容的解决方案。对我来说，这意味着我们必须重新思考我们的存储架构以便更好地满足未来的业务需求。”

　　Ilion最终决定采用BluArc的Titan 2200存储集群来升级存储。Rueda表示：“我们的活跃网络工作站有90TB的数据，另外还有10TB的不太经常访问的数据必须放到归档中去。我们同时还必须重新制定数据冗余性和热备用的最佳实践。”

　　结果就是Ilion同时采用FC（光纤通道）和SATA驱动器。将那些经常被访问的数据放到更快更昂贵的FC驱动器上，将不经常访问的数据放到更慢更便宜的SATA驱动器上。

　　Rueda表示：“自从我们采用这个解决方案以后，我们的速度提高3-4倍，而且我们看到我们对FC和SATA数据分配的策略是正确的。它让我们在有70名动画人员同时工作的时候还可以支持繁重的生产负荷和实时文件，同时还不会带来性能上的下降。我们还得到了可扩展性。这样的能力可以支持我们日益扩张的业务。”

　　像Ilion这样的视频制作社和一般的中小企业不一样，它们有着自己的独特的要求，就好像说跨国银行的带宽需求和一般大型企业也不一样。不过，它们反映出大型数据文件的管理将成为每个人需要面对的挑战。这主要是因为我们将面对越来越多带富媒体内容的文件，而且我们越来越多地利用互联网以及互联网论坛在兴起（比如社交网络）。所有这些都会产生大型文件，而这些文件都需要足够的带宽。

　　对于大企业和中小企业的公司IT部门来说这意味着什么？如果他们还没开始做的话，现在是时候审视和重新思考存储和网络战略了。数据中心那帮对财务比较保守的人可能还不愿意做出改变，因此可能比较少的单位会放弃它们现有的东西而购买新的东西。不过，2011年预算规划中可以重新审视路线图，审视软硬件资产退休周期并用新的观点来审视数据中心存储和带宽该如何跟上业务需求。