分布式文件系统学习1-搜集点资料

先列举几个比较常用的:
FastDFS  --国人开发的一个开源系统
参考: http://blog.csdn.net/phphot/archive/2008/07/26/2714592.aspx

TFS (Taobao File System)-淘宝自主研发的文件系统,今年9月份会开源
参考: http://www.enet.com.cn/article/2010/0709/A20100709684307.shtml


hadoop
Yahoo!在06年雇佣Doug Cotting,希望通过支持Hadoop来提高其计算能力,以对抗Google的GFS。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS放宽了POSIX的要求,允许以流的形式访问文件系统中的数据, HDFS提供了很强的failover,互为备份和高可靠性的分布式文件系统。
HadOOP的使用者有Yahoo, Facebook和Amazon EC2, Amazon S3。我们看到hadoop的logo是个小象,可见项目组对这个项目将来的预期。

Hadoop的另一目标是map-reduce计算。随着双核,多核甚至Stanford在做的1024核的出现,未来的编程重点会逐渐从OOP转向COP(concurrency-oriented programming)。而如何让程序员更简单地编写并行化程序,充分利用多核甚至分布式系统的计算能力,成为了很多研究的热点。Map Reduce就是在这种情况下出现的。

Mogile FS
MogileFS由memcahed的开发公司danga一款perl开发的产品,目前国内使用mogielFS的有图片托管网站yupoo等。MogileFS提供了自动的文件同步和备份,分布式存取,做到了底层文件系统透明,简单访问的目的。同时mogileFS有php扩展模块,方便php对文件系统的操作。

Hadoop和MogileFS都只适合一次写入,多次读的文件.并是大文件. 其中MogileFS相对对于小文件比较合适,适合用于图片服务器
参考:mogileFS分布式文件存储解决方案 http://shake863.iteye.com/blog/240160
几个DFS分布式文件系统: http://www.jefflei.com/post/1052.html

你可能感兴趣的:(编程,hadoop,PHP,Yahoo,Facebook)