hdfs-raid

[zZ]HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

From:http://yanbohappy.sinaapp.com/?p=106Thxalot:)目前的HDFS中数据是靠三备份triplication来保证冗余的。显然这只是一个简单有效的方法而不是一个非常elegant的方法。三备份浪费了大量存储空间，在集群规模较小的时候可能还不是那么明显，但是对于大规模集群就比较明显了。如果按照1GB存储空间的成本是1$来算，如果数据规模是5TB，那么两备
weixin_30480583·2020-08-14 20:22

HDFS-RAID模块源码解析

当然了特别复杂的编码就涉及到很深的数学知识了，我们此处不聊数学~~HDFS-Raid作为Facebook在Hadoop内部实现的一个子模块，提供了DRFS(DistributedRaidFileSystem
fancy宸·2020-02-20 08:21

HDFS-RAID

备忘第一个重要工作，将自己关于HDFS-RAID的工作记录下来。
lipeng08·2016-01-28 14:00

HDFS-RAID原理和实现

HDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案，对HDFS的修改极少，主要包括为NameNode增加了根据block信息找到block
·2015-10-31 09:36

RAID的掘墓人和HADOOP/GFS 三备份的替代方案：Erasure code（从Reed Solomon code到LRC/XOR)

com/a2010/0604/1004/000001004383_all.shtml//什么是Erasurecodehttp://en.wikipedia.org/wiki/Erasure_code//HDFS-RAID
dellme99·2013-12-03 21:00

HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

From: http://yanbohappy.sinaapp.com/?p=106 Thxalot:)目前的HDFS中数据是靠三备份triplication来保证冗余的。显然这只是一个简单有效的方法而不是一个非常elegant的方法。三备份浪费了大量存储空间，在集群规模较小的时候可能还不是那么明显，但是对于大规模集群就比较明显了。如果按照1GB存储空间的成本是1$来算，如果数据规模是5TB，那么
peter_cloud·2013-07-04 10:00

HDFS RAID

引自个人blog：http://jiangbo.me/blog/2012/12/21/hdfs-raid/  一、背景HDFS是构建在普通机器上的分布式文件系统，而这类系统需要解决的一个首要问题就是容错
bojiang·2012-12-21 17:00

HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

目前的HDFS中数据是靠三备份triplication来保证冗余的。显然这只是一个简单有效的方法而不是一个非常elegant的方法。三备份浪费了大量存储空间，在集群规模较小的时候可能还不是那么明显，但是对于大规模集群就比较明显了。如果按照1GB存储空间的成本是1$来算，如果数据规模是5TB，那么两备份（10TB）和三备份（15TB）的成本差距只有5000$；而如果数据规模到了5PB的话，两备份和三
macyang·2012-09-16 14:00

HDFS and Erasure Codes (HDFS-RAID)

TheHadoopDistributedFileSystemhasbeengreatinprovidingacloud-typefilesystem.Itisrobust(whenadministeredcorrectly:-))andhighlyscalable.However,oneofthemaindrawbacksofHDFSisthateachpieceofdataisreplicate
macyang·2012-09-15 21:00

[zZ]HDFS-RAID使用Erasure Code来实现HDFS的数据冗余

From:http://yanbohappy.sinaapp.com/?p=106Thxalot:)目前的HDFS中数据是靠三备份triplication来保证冗余的。显然这只是一个简单有效的方法而不是一个非常elegant的方法。三备份浪费了大量存储空间，在集群规模较小的时候可能还不是那么明显，但是对于大规模集群就比较明显了。如果按照1GB存储空间的成本是1$来算，如果数据规模是5TB，那么两备
·2012-07-10 23:00

Hdfs-Raid tools文档翻译

     国庆放假7天，花了二天时间搬家，花了二天时间去绍兴，接下来这三天用来学习，这几周比较忙，加班比较多，手头上有几个task，因此没有及时更新blog，但是不管再忙，都一定要花时间来学习，上周javaone大会结束了，看了毕玄等同学的分享，java的性能方面很多公司还在研究当中，特别GC管理这块，hadoop书出了第二版，网上已经有下载了，这个月hadoopworld也要举办，基本上是跟ha
lance_123·2010-10-05 21:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他