hadoop笔记之部署hadoop集群(伪分布式)

部署hadoop集群(伪分布式)

前提条件

需要一台机器node1配置有以下条件

• 配置网络
• 设置USEDNS为no
• 关闭防火墙
• 关闭SELinux
• 配置免秘钥登录
• 安装JDK

安装hadoop

1.上传hadoop安装包

2.解压hadoop安装包

#hadoop-2.6.5.tar.gz到/opt目录
tar -zxf hadoop-2.6.5.tar.gz -C /opt

3.配置全局环境变量

vi /etc/profile

​ 添加两行记录：

export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

执行. /etc/profile让配置生效

.  /etc/profile

修改配置文件

1.配置hadoop使用的JDK

修改/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

vi /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

####
#添加
####
export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

2.NameNode的slaves

vi /opt/hadoop-2.6.5/etc/hadoop/slaves

####
#添加
####
node1

3.配置core-site.xml

<property>
	<name>fs.defaultFSname>
	<value>hdfs://node1:9000value>
property>


<property>
	<name>hadoop.tmp.dirname>
	<value>/var/hadoopvalue>
property>

4.配置hdfs-site.xml

<property>
	<name>dfs.replicationname>
	<value>1value>
property>

<property>
	<name>dfs.namenode.secondary.http-addressname>
	<value>node1:50090value>
property>

初始化HDFS

hdfs namenode -format

启动HDFS

start-dfs.sh

测试

在windows访问namenode节点信息的地址
http://node1:50070

hadoop fs -mkdir hdfs://node1:9000/zzz

停止HDFS

stop-dfs.sh