hadoop简介与安装

简介

Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.
Hadoop框架中最核心设计就是：HDFS和MapReduce.
HDFS提供了海量数据的存储，大文件被分成默认64M一块的数据块分布存储在集群机器中。
MapReduce提供了对数据的计算.
Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成

Paste_Image.png

Hadoop三种安装模式：单机模式，伪分布式，真正分布式

1. 单机模式
   standalone单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

安装

hadoop安装

参考

hadoop安装配置
hadoop环境搭建