hadoop伪分布式搭建

因为hadoop伪分布式我已在本地搭建并且运行成功。为了加快学习不足同时分享搭建。直接将不足贴出来，如有不同意见还忘评价共同提升。

Hadoop 伪分布模式 HDFS+YARN

另外补充下: hadoop2.0之后不包含MapReduce;

环境搭建准备: 

1,VMware  安装

如果你使用的事VirtualBox 必须将电脑虚拟化。通过开机的时候进入BIOS 找到Virtualization.

将Virtualization 设置为Enabled;

2.下载 Centos6.6 镜像

官网地址：http://vault.centos.org/6.6/isos/x86_64/CentOS-6.6-x86_64-bin-DVD1.iso

链接：http://pan.baidu.com/s/1bpqOQhL 密码：z02w

3. 新建虚拟电脑

注意：

1，hadoop分布式是采用桥接模式通信。建议不要使用NAT模式。其他准备工作就不需要讲了很简单。在liunx环境中搭建框架的基本都知道。

2， liunx命令注意将hadoop用户命令赋权

sudo 是 liunx 下常用的允许普通用户使用超级用户权限的工具

在虚拟机上，执行命令 sudo vim /etc/hosts

会提示 hadoop不在 sudoers 文件中。此事将被报告。为 hadoop用户配置 sudo 权限切换到 root 用户执行命令 su root

查看/etc/sudoers 文件权限，如果只读权限，修改为可写权限查看文件权限，执行命令 ll /etc/sudoers 修改权限，执行命令 chmod 777 /etc/sudoers

将 hadoop ALL=(ALL)  NOPASSWD:ALL  /etc/sudoers 追加到文件中。

内容含义是：用户名 chinahadoop 网络中主机=(全部用户) 不需要密码:全部范围’执行命令 echo 'hadoop ALL=(ALL)NOPASSWD:ALL' >> /etc/sudoers

恢复/etc/sudoers 的访问权限为 440 执行命令 chmod 440 /etc/sudoers

切换到 hadoop 用户，执行命令 sudo vim /etc/hosts

4.配置hosts文件

计算机系统在处理 DNS 请求以前，会先检查自己的hosts 文件中是否有这个地址映射关系，如果有则调用这个 IP 地址映射，如果没有再向已知的DNS 服务器提出域名解析。

我们在访问 自己网站或者www.baidu.com 时，DNS 服务器把网络域名（www.baidu.com）

解析成对应的服务器 IP 地址后，我们才能访问小象学院的网站。

 自定义的名字没有注册过域名，就可以通过配置 hosts 文件建立 IP 映射，这样以后访问虚拟机上的服务时我们输入名字就行了。

4.1 在windows/liunx hosts文件中配置虚拟机Ip

liunx ： sudo vim /etc/hosts  在文件中追加windows ip 并加上windows 自定义名称

例如 192.168.1.89 win8

windows:

win8 的 C:\Windows\System32\drivers\etc 目录下的 hosts 文件。加入内容 192.168.1.119chinahadoop0

注意：自测试相互能调通。

5.SSH 客户端

SSH 客户端有很多，比如：Xshell、putty、SecureCRT 和 WinSCP

Xme4 软件下载链接：http://pan.baidu.com/s/1pKFmC0j 密码：n2j4

putty 软件下载链接：http://pan.baidu.com/s/1c2gDyQO 密码：im6e

SecureCRT 软件下载链接：http://pan.baidu.com/s/1c2G5nVi 密码：dgz5

WinSCP 软件下载链接：http://pan.baidu.com/s/1nvKqDG9 密码：vf48

6. 下载hadoop包 本文采用2.5.2版本

注意下载需要查看自己下载文件位置。使用命令pwd查看当前目录位置。

我的目录 下载目录为/home/chinahadoop/software

7.修改主机名称

命令hostname 查看当前主机名称

通过在network 中修改主机名称: 

查看 修改主机名称 cat /etc/sysconfig/network

7.1 回顾window/liunx hosts文件中相互配置对方的ip和映射名称。

8. 将software下载hadoop包解压到hadoop（自己新建）

命令: tar zxvf hadoop-2.5.2.tar.gz 是解压到当前目录

我是解压到： tar zxvf software/hadoop-2.5.2.tar.gz -C hadoop/ha

注意：加上 -C是 解压到 hadoop/ha 目录

9. 修改hadoop配置文件

9.1 修改 hadoop-env.sh 文件

在hadoop-env.sh文件中配置jdk环境变量

9.2 修改 mapred-site.xml 文件

 
 
  mapreduce.framework.name 
  yarn 
 

其中，名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

启动了HDFS之后，就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群

9.3 修改 core-site.xml 文件

fs.defaultFS
hdfs://chinahadoop1:8020

9.4 修改 hdfs-site.xml 文件

dfs.replication

1 

        hdfs文件副本数，默认为3个副本.注意副本设置为奇数descript>

 

dfs.namenode.name.dir

/home/chinahadoop/dfs/name 

dfs.datanode.data.dir

/home/chinahadoop/dfs/data

注意： 防止每次重启需要格式化namnode 将配置红色部分。同时红色部分也可以配置到core-site.xml文件中。

这是为了防止在非tmp目录下生产文件。

9.5 修改 yarn-site.xml 文件

输入命令vim etc/hadoop/yarn-site.xml

加入下面内容

yarn.nodemanager.aux-services

mapreduce_shuffle 

  

10 格式化namenode

首次: bin/hadoop namenode -format

10.1 启动namenode

 sbin/hadoop-daemon.sh start namenode

同时 jps 查看下

10.2 启动datanode

执行命令 sbin/hadoop-daemon.sh startdatanode

11 访问

http://chinahadoop0:50070