Hadoop的三种运行模式和三个版本

学大数据入门的首先是Hadoop,程序员首先学会搭建Hadoop框架。

这里简单介绍Hadoop的三种运行模式

-单机模式

-伪分布式模式

-完全分布式模式

单机模式

-默认模式。

-不对配置文件进行修改。

-使用本地文件系统,而不是分布式文件系统。

-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。

-用于对MapReduce程序的逻辑进行调试,确保程序的正确。

伪分布式模式

-在一台主机模拟多主机。

-Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程。

-在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。

-修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)

-格式化文件系统

完全分布式模式

-Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。

-在所有的主机上安装JDK和Hadoop,组成相互连通的网络。

-在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。

-修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和JobTraker的位置和端口,设置文件的副本等参数

-格式化文件系统

具体的搭建参照Apache的官网Hadoop2.5.2官网,搭建Hadoop最主要的是修改几个配置文件。博主最开始学习时在个人PC虚拟机上搭建的时Hadoop-2.5.2伪分布模式,这个学习完全足够,有条件的话可以尝试先搭建三个节点的完全分布式模式。如果只有一台pc,就不必完全分布式了,毕竟占内存比较多,而且个人pc经常开关机。如果是新人学习Hadoop,建议搭建伪分布式结构。

Hadoop现在有三个版本,Hadoop-1.x Hadoop-2.x和Hadoop-3.x。1.0的版本最老,Hadoop框架里面只有HDFS(分布式文件系统)和Mapeduce(离线计算框架),并不包含Yarn资源管理调度架构。这也是普遍定义Hadoop的核心是HDFS和Mapeduce,核心也就是最基础 必须要有的。2.0的版本增加了Yarn作为资源管理调度,而后的其他计算框架例如Spark就可以通过Yarn资源调度 运行在Hadoop,2.0版本也是目前企业普及的版本。3.0版本的产生还没有多久,据说是为了提高优化MapReduce的计算性能。

下篇主讲HDFS和YARN。。。。

你可能感兴趣的:(大数据,Hadoop,大数据,Hadoop)