Hadoop安装，伪分布式，完全分布式搭建

在搭建集群式要先安装jdk和hadoop，本文用的时Centos6.8，jdk8，hadoop2.7.3

JDK安装参考：https://blog.csdn.net/woainiqazwsx123/article/details/83016453

Hadoop安装

在用户目录下新建一个soft目录将hadoop压缩包解压到当前目录下

创建软链接 

$ ln -s hadoop-2.7.3 hadoop

配置环境变量

JAVA_HOME=/home/hyxy/soft/jdk

HADOOP_HOME=/home/hyxy/soft/hadoop

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_HOME HADOOP_HOME

export PATH

$ source .barches

配置完后输入hadoop version 命令查看是否配置成功

---

伪分布式

修改/hadoop-2.7.3/etc/hadoop/下的两个配置文件

修改core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

localhost的位置写的是自己的主机名

修改hdfs-site.xml

    
        dfs.replication
        1
    

1的位置是节点数，因为是伪分布，只有一台机器，所以是1

ssh免密登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

格式化文件系统

$ hdfs namenode -format

如果出现错误: JAVA_HOME is not set and could not be found.
            修改hadoop-env.sh
            大约25行左右指定JAVA_HOME路径：export JAVA_HOME=/home/hyxy/soft/jdk

启动NameNode和DataNode

$ sbin / start-dfs.sh

注意：如果格式化了两次可能会出现错误，可以将/tmp/hsperfdata_hyxy删除，之后再格式化，启动服务

---

完全分布式

首先最少需要有三台虚拟机在配置好jdk和hadoop后进行克隆，克隆后可能会出现网络问题可参考：VM虚拟机克隆无法设置静态IP

配置ssh免密登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

在三台虚拟机上都要生成密钥，生成后将生成后的密钥发送到其中一个虚拟机上执行第二条命令，将密钥添加进去，依次继续，使得三台虚拟机上都有彼此的密钥

配置hadoop配置文件

修改/hadoop-2.7.3/etc/hadoop/下的配置文件

core-site.xml

	
	
		fs.defaultFS
		hdfs://master:9000
	
	
		
		hadoop.tmp.dir
        
		/home/hyxy/soft/tmp
	

hdfs-site.xml

    
	    
		dfs.replication
		3
	

yarn-site.xml

    
    
		
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
	
		
		yarn.resourcemanager.hostname
		master
	

mapred-site.xml

    
	
		mapreduce.framework.name
		yarn
			  
	

slaves

master
slave1
slave2

将配置好的hadoopp配置文件使用scp命令发送到其他两台机器上

格式化namenode，最好在master上进行

$ hdfs namenode -format

启动集群

 start-all.sh    或     start-dfs.sh和start-yarn.sh  推荐使用第二种方法开启服务