hadoop集群部署

1、 Hadoop的介绍
狭义上来说,hadoop就是单独指代hadoop这个软件,
HDFS :分布式文件系统
MapReduce : 分布式计算系统
Yarn:分布式集群资源管理
广义上来说,hadoop指代大数据的一个生态圈,包括很多其他的软件

2、hadoop的历史版本和发行版公司
**###########################################################################
2.1 Hadoop历史版本
1.x版本系列:hadoop版本当中的第二代开源版本,主要修复0.x版本的一些bug等
2.x版本系列:架构产生重大变化,引入了yarn平台等许多新特性
3.x版本系列: 加入多namenoode新特性

2.2 Hadoop三大发行版公司
免费开源版本apache:
http://hadoop.apache.org/
优点:拥有全世界的开源贡献者,代码更新迭代版本比较快,
缺点:版本的升级,版本的维护,版本的兼容性,版本的补丁都可能考虑不太周到, apache所有软件的下载地址(包括各种历史版本):
http://archive.apache.org/dist/
免费开源版本hortonWorks:
https://hortonworks.com/
hortonworks主要是雅虎主导Hadoop开发的副总裁,带领二十几个核心成员成立
Hortonworks,核心产品软件HDP(ambari),HDF免费开源,并且提供一整套的web管理界 面,供我们可以通过web界面管理我们的集群状态,web管理界面软件HDF网址(http://amba ri.apache.org/)
软件收费版本ClouderaManager:
https://www.cloudera.com/
cloudera主要是美国一家大数据公司在apache开源hadoop的版本上,通过自己公司内部的各 种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本, 解决了版本的升级困难,版本兼容性等各种问题
##################################################################################
3、hadoop的架构模
1.x架构 (NameNode | SecondaryNameNode | DataNode | JobTracker | TaskTracker)
文件系统核心模块:
NameNode:集群当中的主节点,管理元数据(文件的大小,文件的位置,文件的权限),主要 用于管理集群当中的各种数据
secondaryNameNode:主要能用于hadoop当中元数据信息的辅助管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
数据计算核心模块:
JobTracker:接收用户的计算请求任务,并分配任务给从节点
TaskTracker:负责执行主节点JobTracker分配的任务

2.x架构
第一种架构:
NameNode单节点、ResourceManager单节点 (NameNode | DataNode | SecondaryNameNode | ResourceManager | NodeManager)
文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据
secondaryNameNode:主要能用于hadoop当中元数据信息的辅助管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
数据计算核心模块:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配
NodeManager:负责执行主节点APPmaster分配的任务

第二种架构:
NameNode单节点、ResourceManager高可用 (NameNode | DataNode | SecondaryNameNode | ResourceManager | NodeManager)
文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据
secondaryNameNode:主要能用于hadoop当中元数据信息的辅助管理
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
数据计算核心模块:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配,以及计算任务的划 分
NodeManager:负责执行主节点ResourceManager分配的任务

第三种架构:
NameNode高可用、ResourceManager单节点 (NameNode | DataNode | JournalNode | ResourceManager | NodeManager)
文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据,其中nameNode可以有 两个,形成高可用状态
DataNode:集群当中的从节点,主要用于存储集群当中的各种数据
JournalNode:文件系统元数据信息管理
数据计算核心模块:
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配,以及计算任务的划分
NodeManager:负责执行主节点ResourceManager分配的任务

第四种架构:
NameNode高可用、ResourceManager高可用 (NameNode | DataNode | JournalNode | ResourceManager | NodeManager)

文件系统核心模块:
NameNode:集群当中的主节点,主要用于管理集群当中的各种数据,一般都是使用两个,实 现HA高可用
JournalNode:元数据信息管理进程,一般都是奇数个
DataNode:从节点,用于数据的存储
数据计算核心模块:
ResourceManager:Yarn平台的主节点,主要用于接收各种任务,通过两个,构建成高可用
NodeManager:Yarn平台的从节点,主要用于处理ResourceManager分配的任务

4 hadoop的编译

###########################################################################
5 hadoop的安装
1 上传hadoop(这里采用的是2.7.5的版本)

2 修改核心配置文件
可参考:https://blog.csdn.net/weixin_43995212/article/details/100937933
core-site.xml
hdfs-site.xml
hadoop-env.sh
mapred-site.xml
yarn-site.xml
mapred-env.sh
slaves
3 创建配置中的文件夹
4 配置hadoop的环境变量
5 讲hadoop包发送给其他主机,并且给每台配置上hadoop的环境变量
6 启动集群
cd /export/servers/hadoop-2.7.5/
#第一次启动集群需要执行 namenode -format 进行格式化
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver
7
三个端口查看界面
http://node01:50070/explorer.html#/ 查看hdfs
http://node01:8088/cluster 查看yarn集群
http://node01:19888/jobhistory 查看历史完成的任务

你可能感兴趣的:(hadoop集群部署)