Hadoop2.7.3伪分布式搭建过程详解

Hadoop2.8伪分布式安装过程分享：

一．实验环境

Vmwareworkstation12

Centos7

网络我选择的是host模式

主机名hadoop  ip地址192.168.40.66

二.

1.首先看一下主机的ip地址

2.然后去这个目录下修改固定ip地址（非必要，只是为了方便）

3.重启网络服务修改ip成功

Ping 一下 网关地址 也能ping通说明配置成功

修改主机名

4.关闭防火墙

systemctl stop firewalld

system disable firewalld

关闭禁用防火墙（centos7下命令稍微有点修改）

修改etc/hosts文件绑定本机ip与主机名，只是为了方便非必要

5.重启机器

重启之后，主机名修改完毕

使用systemctl status firewalld 命令查看防火墙已经关闭

6.制作ssh免密登录

一路回车看到下图说明秘钥生成完毕

来到root用户的家目录下 cd  ~

Ls –a 命令查看隐藏文件 打开.ssh 文件夹

复制公钥到本地改名为authorized_keys

实验一下ssh hadoop 第一次登录要输入yes 但并没有输入密码说明配置成功咯

7.接下来要使用xshell往虚拟机里传入hadoop2.8的安装包

安装xshell时选择免费为学校就可以

使用xftp将hadoop和jdk安装包放在usr/local下面（这里的jdk我用的1.8）

使用tar –zxvf 命令解压安装包

将文件夹改名为hadoop  mv  hadoop…. Hadoop

8.查找本机已安装的jdk 使用RPM –e卸载没用的

安装好我们的jdk1.8 rpm –ivh jdk…默认安装在usr/java下

我比较习惯在/usr/local/下安装软件所以我把它移动了。。

编辑etc下的profile文件修改环境变量

测试一下java-version命令和hadoop命令

 

9.然后配置hadoop的相关参数

需要配置的文件在/usr/local/hadoop/etc/hadoop目录下

第一coresite.xml

 

 fs.defaultFS定义master的URI和端口

 hdfs://master:9000//

 

 

 io.file.buffer.size//用作序列化文件处理时读写buffer的大小

 131072

 

 

 hadoop.tmp.dir

//临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。

 file:/usr/local/hadoop/tmp

 Abase for other temporarydirectories.

 

 

 hadoop.proxyuser.root.hosts

 *

 

 

 hadoop.proxyuser.root.groups

 *

 

改好自己的主机名第一个配置项

Hadoop-env.sh

修改javahome值

Hdfs-site.xml

 

 dfs.namenode.name.dir

 file:/usr/local/hadoop/hdfs/name

 

 

 dfs.datanode.data.dir

 file:/usr/local/hadoop/hdfs/data

 

 

 dfs.replication

 1

 

 

 dfs.namenode.secondary.http-address

 master:9001

 

修改mapred-site.xml.template并改名mapred-site.xmlhadoop2.0此项已没用改用yarn了

 mapreduce.framework.name

 yarn

 

Yarn-site.xml

           yarn.nodemanager.aux-services

           mapreduce_shuffle

 

 

           yarn.nodemanager.aux-services.mapreduce.shuffle.class

           org.apache.hadoop.mapred.ShuffleHandler

 

 

            yarn.resourcemanager.address

            hadoop:8032

 

 

            yarn.resourcemanager.scheduler.address

            hadoop:8030

 

 

            yarn.resourcemanager.resource-tracker.address

            hadoop:8035

 

 

            yarn.resourcemanager.admin.address

            hadoop:8033

 

 

            yarn.resourcemanager.webapp.address

            hadoop:8088

 

 

 

注意修改成自己的主机名

10.执行完毕后格式化hadoop文件系统

Hadoop namenode  –format

执行命令start-all.sh （虽然这个命令有点过时了，但还是好用）

执行jps看到有五个如下五个进程在运行说明hadoop伪分布式架构搭建完毕

接下来是开发环境的搭建：