_HDFS初探

不抄袭 ，直接点击http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html

场景简析：

1.hdfs在 适量文件&非实时场景 下表现最好

2.典型hdfs为单Master模式，能承载的文件数约=内存/150B(新版有改进)

3.Map-Reduce任务过小时，带来的边际消耗也很可观(针对小文件场景可调整块大小)

细节：

1.流水线复制：

* 当客户端向HDFS文件写入数据的时候，一开始是写到本地临时文件中。

* 假设该文件的副本系数设置为3，当本地临时文件累积到一个数据块的大小时，客户端会从Namenode获取一个Datanode列表用于存放副本。

* 然后客户端开始向第一个Datanode传输数据，第一个Datanode一小部分一小部分(4 KB)地接收数据，将每一部分写入本地仓库，并同时传输该部分到列表中第二个Datanode节点。

* 第二个Datanode也是这样，一小部分一小部分地接收数据，写入本地仓库，并同时传给第三个Datanode。

* 最后，第三个Datanode接收数据并存储在本地。

因此，Datanode能流水线式地从前一个节点接收数据，并在同时转发给下一个节点，数据以流水线的方式从前一个Datanode复制到下一个。

 

维护工作：

1.一段时间之后，最好用hdfs的命令，重新均衡一下磁盘空间