hadoop笔记之部署hadoop集群(完全分布式)

部署hadoop集群(完全分布式)

前提条件

部署四台服务器：node1，nide2，node3，node4有以下条件

• 配置网络
• 设置USEDNS为no
• 关闭防火墙
• 关闭SELinux
• 配置免秘钥登录
• 安装JDK

服务器	nameNode	dateNode
node1	✔
node1		✔
node3		✔
node4		✔

安装hadoop

1.上传hadoop安装包

2.在所有机器上解压

tar -zxf hadoop-2.6.5.tar.gz -C /opt

3.配置全局环境变量

vi /etc/profile

​ 添加两行记录：

export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

​ 复制到其他机器上

for node in node2 node3 node4;do scp /etc/profile $node:/etc/;done

在所有机器上执行执行. /etc/profile让配置生效

source /etc/profile

修改配置文件

1.配置hadoop使用的JDK

修改/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

vi /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

添加

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

2.NameNode的slaves

vi /opt/hadoop-2.6.5/etc/hadoop/slaves

添加

node2
node3
node4

3.core-site.xml

vim cd /opt/hadoop-2.6.5/etc/hadoop/core-site.xml

添加

<configuration>
  
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://node1:9000value>
  property>
  
  <property>
    <name>hadoop.tmp.dirname>
    <value>/var/hadoop/fullvalue>
  property>
configuration>

4.hdfs-site.xml

vim cd /opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml

添加

<configuration>
	  
	  <property>
		<name>dfs.replicationname>
		<value>2value>
	  property>
  
  <property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>node2:50090value>
  property>
configuration>

5.拷贝到其他机器

将/opt/hadoop-2.6.5/etc/hadoop/* 网络拷贝到node2node3node4上

cd /opt/hadoop-2.6.5/etc/hadoop/
scp -r * node2:`pwd`
scp -r * node3:`pwd`
scp -r * node4:`pwd`

初始化HDFS

在node1上执行格式化操作：
​ hdfs namenode -format

hdfs namenode -format

​

启动集群

启动集群：
​ 在node1到node4上的任意一台服务器都可以执行：

start-dfs.sh
jps

​

测试

上传文件

hadoop fs -put /root/jdk* hdfs://node1:9000/root

停止集群

停止集群：
​ 在node1到node4上的任意一台服务器都可以执行：
​ stop-dfs.sh

stop-dfs.sh

如果发生异常，看日志：/opt/hadoop-2.6.5/logs