hadoop2.6.1 完全分布/伪分布部署

先写完全分布式，在写伪分布 ：

hadoop2.6.1 完全分布模式

三台虚拟机进行完全分布式部署：

master：ip 192.168.0.162  hostname  lin162

slaves：  ip 192.168.0.163  hostname  lin163

slaves：  ip 192.168.0.164  hostname  lin164

---

---

安装步骤：

1、安装jdk 配置环境变量

安装过程如下：  http://blog.csdn.net/linlinv3/article/details/45060705   

2、配置ssh

若系统没有装配ssh 则使用下面语句安装ssh：

$ sudo apt-get install openssh-server   
$ ps -e|grep ssh

出现以下语句证明成功安装 2228 ? 00:00:00 ssh-agent 5027 ? 00:00:00 sshd

创建秘钥：

$ ssh-keygen -t rsa    

$ cd .ssh
$ cp id_rsa.pub  authorized_keys

三台机器分别执行此命名 ，然后 把每个节点的authorized_keys组合成一个大文件，然后分别覆盖到每个节点的authorized_keys

3、配置hosts和hostname

$ sudo vim /etc/hostname

  三个电脑分别修改为lin162，lin163 ，lin164 （根据自己情况进行修改）

  配置host    把IP地址对应到hostname

$ sudo vim /etc/hosts

三个电脑分别修改：

127.0.0.1       localhost
192.168.0.162   lin162
192.168.0.163   lin163
192.168.0.164   lin164

   

4、配置hadoop 相关文件

hadoop版本下载地址： http://hadoop.apache.org/releases.html

选择自己需要的版本进行下载：

需要修改的文件有：

(1) 、hadoop-env.sh 修改以下配置项 (java环境)                             

  export JAVA_HOME=/usr/soft/jdk1.7.0_79

(2) 、core-site.xml

		fs.defaultFS

		hdfs://lin162:8020  

		hadoop.tmp.dir

		file:///home/lin/hadoop/hadoop-2.6.1/data/tmp

 (3)、hdfs-site.xml

	  dfs.namenode.name.dir

	  file:///home/lin/hadoop/hadoop-2.6.1/data/nn

	  dfs.datanode.data.dir

	  file:///home/lin/hadoop/hadoop-2.6.1/data/dn

		dfs.replication

		2

 (4) 、mapred-site.xml

		mapreduce.framework.name

		yarn

	  mapreduce.jobhistory.address

	  lin162:10020

	  MapReduce JobHistory Server IPC host:port

	  mapreduce.jobhistory.webapp.address

	  lin162:19888

	  MapReduce JobHistory Server Web UI host:port

   

 (5)、 yarn-site.xml

 

    yarn.nodemanager.aux-services

    mapreduce_shuffle

 

 

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

 

 

    The hostname of the RM.

    yarn.resourcemanager.hostname

    lin162

     

  

 

    yarn.resourcemanager.address

    ${yarn.resourcemanager.hostname}:8032

 

 

    yarn.resourcemanager.scheduler.address

    ${yarn.resourcemanager.hostname}:8030

 

 

    yarn.resourcemanager.webapp.address

    ${yarn.resourcemanager.hostname}:8088

 

 

    yarn.resourcemanager.webapp.https.address

    ${yarn.resourcemanager.hostname}:8090

 

 

    yarn.resourcemanager.resource-tracker.address

    ${yarn.resourcemanager.hostname}:8031

 

 

    yarn.resourcemanager.admin.address

    ${yarn.resourcemanager.hostname}:8033

 

(6) 、slaves文件                   

    lin163

    lin164

  

  5、配置hadoop环境变量    

$ sudo  vim /etc/profile

　　加入如下内容

export HADOOP_HOME=/home/lin/hadoop/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin

$ source /etc/profile

  6、复制 hadoop2.6.1 到 lin163 和 lin164 

$ scp -r /home/lin/hadoop/hadoop-2.6.1 [email protected]:/home/lin/hadoop/hadoop-2.6.1
  scp -r /home/lin/hadoop/hadoop-2.6.1 [email protected]:/home/lin/hadoop/hadoop-2.6.1

  6、在162格式化namenode

$ hdfs namenode -format 

若出现

15/10/22 09:35:01 INFO common.Storage: Storage directory /home/lin/hadoop/hadoop-2.6.1/data/nn has been successfully formatted.

证明格式化成功

 7、在162启动hadoop

$ hdfs dfs start-all.sh

每台机器 jps 后 

lin162 出现 

lin163 出现

lin164 出现

证明启动成功；

Web Interfaces

Daemon	Web Interface	Notes
NameNode	http://nn_host:port/	Default HTTP port is 50070.
ResourceManager	http://rm_host:port/	Default HTTP port is 8088.
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 19888.

通过web 查看系统

hadoop 2.x伪分布安装  2.x伪分布安装

 启动 history  与 WebAppProxyServer

./mr-jobhistory-daemon.sh start historyserver
./yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver