Hadoop2.x的集群搭建与配置(一)——概述

我配置hadoop的时候用的时Linux系统(推荐)的CentOS7,由于本机是window10,所以需要借助虚拟机,这里我选用的是VMware

 

这一章不说太多细节操作,说一些理论概述什么的东西,看操作的朋友可以跳过了。

 

整个Hadoop的部署:

    安装方式大概有两种:传统解压包方式和Linux的标准方式,各有优劣

                                 传统解压包方式操作繁琐易错,但是有助于理解Hadoop,而Linux方式简单易用,却隐藏了许多细节

   而部署环境大致也有三种:单机模式、伪分布模式和分布式模式

                                单机模式顾名思义,就是不需要与其他节点交互,不需要使用HDFS(不知道这个是什么鬼的朋友可以暂时把他当成Hadoop的数据库一样的鬼),直接读取本地文件系统

                               伪分布模式就是在一台单机上运行,用不同的进程模仿分布式运行中的各类节点

                               而分布式模式就是真正的,在不同机器上部署系统

                               一般我们学习用的就是为分布系统

整个部署的步骤大体有三步:部署前,部署和部署后

                         部署前我们要做的:线制定一个部署的规划,再准备机器,准备所需版本软件环境(什么jdk-Linux,什么Hadoop2.x,什么eclipse-linux之类的一群)

                         部署中:配置并理解Hadoop,再启动它

                         部署后:部署完毕后应该做的一件事莫过于测试一下,如果不行再反思一下哪里有问题

 

准备环境:虚拟机或者说Hadoop,大数据什么之类的东西对于计算机的硬件配置是有一定要求的,比如谷歌,百度之类的企业,光是服务器就是几栋楼(当然我们不用,要不跳楼算了)

                 但是再实际完全部署Hadoop时,最低要求也要两台机器(一个主节点Master,一个从节点Slave1;也可以说一个NameNode,一个DataNode),而对于机器硬件方面,每台机器最低也要有个1G(1024Mb)内存,20G的磁盘空间(这个要求对于笔记本中的虚拟机来说是个不小的开销)

                软件准备环境:Linux系统——CentOS,个人认为这个版本相对于Linux的其他版本会好些(Ubantu可能不太稳定),但是这里有一点需要注意:新庄的CentOS不能够直接部署Hadoop,还需要修改机器名,添加域名映射,关闭防火墙,安装jdk等一系列操作,这些细节以后在说

              

你可能感兴趣的:(感悟,随笔,Hadoop)