大数据hadoop相关知识

Hadoop HDFS 海量数据的存储 MapReduce 海量数据的处理

1. HDFS模块

HDFS 负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS 是个相对独立的模块，可以为 YARN 提供服务，也可以为 HBase 等其他模块提供服务。

2. YARN 模块

YARN 是一个通用的资源协同和任务调度框架，是为了解决 Hadoop1.x 中MapReduce 里 NameNode 负载太大和其他问题而创建的一个框架。

YARN 是个通用框架，不止可以运行 MapReduce，还可以运行Spark、Storm等其他计算框架。

3. MapReduce 模块

MapReduce 是一个计算框架，它给出了一种数据处理的方式，即通过 Map 阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。

4.名称节点就是管家 数据节点进行存储和处理数据（数据保存到本地的linux文件） （FsImage 文件树 EditLog各项操作 两个合并最新的元数据） 把更新的东西直接放到EditLog中

5.第二名称节点：名称节点的冷备份，对EditLog的处理
6.HDFS命名空间：目录 文件 块

在sbin下(单个启动hadoop-daemon.sh start namenode)
start-yarn.sh
全启动 start-dfs.sh

Web服务端口是9870
在hadoop目录下 创建虚拟目录 hadoop fs -mkdir /inpt
显示所有目录 hadoop fs -ls /
本地文件上传虚拟文件
hadoop fs -put wcinput /user
对应的etc里面的hosts里面对应的ip地址需要有对应的主机名称