2020-03-05

HDFS简介                

HDFS是Hadoop分布式文件系统,是Apache Hadoop Core项目的一部分。设计用于在廉价的硬件上远行,具有高度容错,高吞吐量适用于大数据集的应用程序。HDFS放宽了一些POSIX的要求,以实现对文件系统的流式访问。

HDFS的核心架构的目标 

     硬件故障是无法避免的。HDFS实例可能由数百或前台服务器组成。每台服务器存储文件系统数据的一部分,有大量的组件,而且每个组件都有一定的故障率。因此,故障检测和快速,自动恢复是HDFS的核心架构的目标 。

简单一致性                      

HDFS是一次写多次读的访问模型。对文件的操作有创建,写入和关闭。不能在任意点更新文件但支持将内容追加到文件的末尾。可以追加和截断文件。这简化了数据一致性问题并且支持高吞吐量的数据访问。MapReduce应用程序或Web爬虫非常适合这个模式 。

移动计算                            

你可能感兴趣的:(2020-03-05)