hadoop和zookeeper的安装与配置

hadoop和zookeeper的安装与配置

附：配置文件的链接

一. 安装好linux虚拟机、Xshell、Xftp

二. 解压安装jdk、hadoop、zookeeper的压缩包

~
在VMware上登录 Linux系统并查看IP地址

~
~
选择并登录Xftp应用把Windows上的压缩包拖到 Linux系统上

~
~
使用命令解压压缩包：

tar -zxvf  压缩包名字

~
~

三. 配置linux主机设置与环境

1.修改主机名称

vi /etc/hostname

#名字按照集群顺序来
hadoop1

2.在文档内添加主机映射（IP地址根据自己的配置来）

vi /etc/hosts

#不要删除文档内的东西
#我这里准备三台机器作为集群规划
192.168.52.101 hadoop1
192.168.52.102 hadoop2
192.168.52.103 hadoop3

3.关闭防火墙

#关闭
systemctl stop firewalld
#永久关闭
systemctl disable firewalld

4.在 /opt 目录下创建soft文件夹和tmp文件夹
（一个放安装包，一个放临时文件）

mkdir soft

#zookeeper下的conf/zoo_sample.cfg的数据文件位置需要自己创建
mkdir -p temp/zookeeper/data
#并且在data这个目录里面添加**myid文档**
vi myid
#里面填写1就可以了
1

5. 修改IP地址参数

 vi /etc/sysconfig/network-scripts/ifcfg-ens33

~
~

四. 编写并添加hadoop的配置

来到这个目录下开始配置

cd /opt/soft/hadoop-2.7.3/etc/hadoop

#配置core文档
vi core-site.xml

在中间 插入下面代码

	fs.defaultFS</name>
	hdfs://hadoop1</value>
</property>

	hadoop.tmp.dir</name>
	/opt/tmp/hadoop/data</value>
</property>

	ha.zookeeper.quorum</name>
	hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

	hadoop.proxyuser.bigdata.hosts</name>
	*</value>
</property>

	hadoop.proxyuser.bigdata.groups</name>
	*</value>
</property>

#配置jdk路径
vi hadoop-env.sh

找到这行并修改jdk路径
export JAVA_HOME=/opt/soft/jdk1.8.0_112

#配置hdfs
vi hdfs-site.xml

在中间 插入下面代码

	fs.replication</name>
	2</value>
</property>

	dfs.nameservices</name>
	hadoop1</value>
</property>

	dfs.ha.namenodes.hadoop1</name>
	nn1,nn2</value>
</property>

	dfs.namenode.rpc-address.hadoop1.nn1</name>
	hadoop1:9000</value>
</property>

	dfs.namenode.http-address.hadoop1.nn1</name>
	hadoop1:50070</value>
</property>

	dfs.namenode.rpc-address.hadoop1.nn2</name>
	hadoop2:9000</value>
</property>

	dfs.namenode.http-address.hadoop1.nn2</name>
	hadoop2:50070</value>
</property>

	dfs.namenode.chared.edits.dir</name>
	qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/hadoop1</value>
</property>

	dfs.journalnode.edits.dir</name>
	/opt/tmp/hadoop/journaldata</value>
</property>

	dfs.ha.automatic-failover.enabled</name>
	true</value>
</property>

	dfs.client.failover.proxy.provider.hadoop1</name>
	org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

	dfs.ha.fencing.methods</name>
	
		sshfence
		shell(/bin/true)
	</value>
</property>

	dfs.ha.fencing.ssh.private-key-files</name>
	/root/.ssh/id_rsa</value>
</property>

	dfs.ha.fencing.ssh.connect-timeout</name>
	30000</value>
</property>

	dfs.webhdfs.enabled</name>
	true</value>
</property>

#拷贝并修改文件名字
cp mapred-site.xml.template  mapred-site.xml
#然后编辑
vi mapred-site.xml

在中间 插入下面代码

	mapreduce.framework.name</name>
	yarn</value>
</property>

	mapreduce.jobhistory.address</name>
	hadoop1:10020</value>
</property>

	mapreduce.jobhistory.webapp.address</name>
	hadoop1:19888</value>
</property>

#配置jdk路径
vi yarn-env.sh

找到这行并修改jdk路径,删除前面的'#'号
export JAVA_HOME=/opt/soft/jdk1.8.0_112

#配置yarn
vi yarn-site.xml

	yarn.resourcemanager.ha.enabled</name>
	true</value>
</property>


	yarn.resourcemanager.cluster-id</name>
	yrc</value>
</property>


	yarn.resourcemanager.ha.rm-ids</name>
	rm1,rm2</value>
</property>


	yarn.resourcemanager.hostname.rm1</name>
	hadoop1</value>
</property>


	yarn.resourcemanager.hostname.rm2</name>
	hadoop2</value>
</property>

	yarn.resourcemanager.zk-address</name>
	hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

	yarn.nodemanager.aux-services</name>
	mapreduce_shuffle</value>
</property>


	yarn.log-aggregation.retain-seconds</name>
	86400</value>
</property>

	yarn.resourcemanager.recovery.enabled</name>
	true</value>
</property>

	yarn.resourcemanager.store.class</name>
	org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

注意：一共要修改6个文件

五. 编写zookeeper的配置

找到zookeeper的目录，然后去到cd /opt/soft/zookeeper-3.4.6/conf/下面

拷贝并且重命名 
cp zoo_sample.cfg  zoo.cfg

修改文档
vi zoo.cfg

六. 克隆机器（奇数）

打开VMware

最后打开三台机器，准备启动集群

七. 启动集群

启动三台机器修改
按顺序修改，例如：
主机名称：

		hadoop1
		hadoop2
		hadoop3

IP地址

192.168.52.128
192.168.52.128
192.168.52.128

myid

1
2
3

1.主机名称

vi /etc/hostname

2.IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

这个是我的 hosts 文件

3.myid

找到自己的myid文档，按顺序改为1、2、3...（有多少台机器就按顺序写下去）（不能有空格或空行）

4.重启

确认无误后
然后就可以打开 Xshell 新建三台会话

**

配置ssh免密登录

**



如下

	ssh-copy-id root@hadoop1
	ssh-copy-id root@hadoop2
	ssh-copy-id root@hadoop3

重点！
重点！
重点！（在下面这里）（一定要按顺序来）

1、分别每个机器上启动zookeeper集群（jps看到QuorumPeerMain进程）
    bin/zkServer.sh start
	
2、每个机器上启动 journalnode(最好是奇数台机器)
   (hadoop-daemon.sh start journalnode)启动完毕后jps能看到JournalNode进程
   
3、在一个namenode节点上进行格式化
	hadoop namenode -format
	
	注释：路径在core-site.xml中配置过
   （格式化成功后在配置的data目录下，有个dfs，里面有name和data，因为没有启动集群，data是空的因为
   格式化后暂时没有内容）
   （name中存储元数据，data存真数据）
   （name下有current，下面有4个文件，就是元数据信息.....,seen_txid,VERSION>）


4、注意，在格式化后namenode的机器上找到存放数据的data目录，然后拷贝到另外一个备份的data目录下，
    保持初始元数据一致。下面是例子，具体目录自己决定。
     scp -r data hadoop02:/opt/tmp/hadoop
     scp -r data hadoop03:/opt/tmp/hadoop
	 
5、在第任何一个namenode上(#格式化zookeeper)，命令如下：
   hdfs zkfc -formatZK
   
6、启动hdfs：start-dfs.sh
7、启动yarn：start-yarn.sh

8、测试
   1）分别在每个机器上jps查看状态
   2）分别访问两个namenode机器上的50070界面，查看状态是否一个是Active，另外一个是Standby
   3）也可以测试访问一下yarn集群
   4）高可用测试，测试主备切换
   （将active状态的namenode进程干掉，kill -9 xxxxid）
   （可以再使用单节点启动方式启动namenode：hadoop-daemon.sh start namenode）

配图

第一步：

 bin/zkServer.sh start

第二步：

hadoop-daemon.sh start journalnode

第三步：格式化namenode

hadoop namenode -format

第四步：把格式化后产生的data拷贝到其他机器

#具体的data路径看core-site.xml 配置文件
scp -r data hadoop02:/opt/tmp/hadoop
scp -r data hadoop03:/opt/tmp/hadoop

data的路径在core-site.xml

第五步：格式化zookeeper

hdfs zkfc -formatZK

第6、7步：

start-dfs.sh
start-yarn.sh

第八步：测试

自己可以测试一下

8、测试
   1）分别在每个机器上jps查看状态
   2）分别访问两个namenode机器上的50070界面，查看状态是否一个是Active，另外一个是Standby
   3）也可以测试访问一下yarn集群
   4）高可用测试，测试主备切换
   （将active状态的namenode进程干掉，kill -9 xxxxid）
   （可以再使用单节点启动方式启动namenode：hadoop-daemon.sh start namenode）