HDFS相关

HDFS以块为单位，每写完一个block，HDFS就将其自动复制到另两台机器上（有三个副本），类似RAID1

对文件进行处理计算时，通过MapReduce并发计算框架，可以启动多个计算子任务，同事读文件的多个block，相当于实现RAID0的并发访问功能

HDFS  NameNode（名字服务节点）和DataNode（数据存储节点）

NameNode在HDFS中只部署一个实例，提供元数据服务，相当于操作系统中文件分配表（FAT），管理文件名block的分配，维护整个文件系统的目录树结构，DataNode则部署在HDFS集群中其他服务器上，提供真正的数据存储服务

HDFS默认块大小为64MB

应用程序写文件时，首先访问NameNode，将DataNode磁盘空间，按照一定的负载均衡策略，分配若干数据提供client使用

当client写完一个数据块时，再复制两份存储在其他DataNode上，HDFS默认同一份数据，有三份副本

HDFS配合MapReduce等并行计算框架进行大数据处理时，在整个集群上并发读写访问所有的磁盘，无需RAID支持。

HBase 分布式数据库

Hive 数据仓库

HDFS MapReduce 分布式计算框架

作用 处理海量日志