HDFS和MapReduce

1，hdfs 和 mapreduce都是主从关系，分布式架构。

2，hdfs有一个主节点NameNode和多个从节点DataNode。

3，NameNode含有存储文件信息的元数据信息。在运行过程中把数据加载到内存。

4，当NameNode里的全部元数据无法加载到内存时，集群就要扩展。

5，小文件(1M,2M)的存储，造成NameNode的存储所占内存压力增大。

6，hdfs两个NameNode共存，组成类似主备架构，实现HA(需要Zookeeper集群)。

 

 

7，mapreduce有一个主节点JobTracker和多个从节点TaskTracker。

8，JobTracker管理用户提交的任务和分配资源。

9，mapreduce支持批量数据的离线计算，实时性不如storm，spark计算。