hadoop集群搭建

@大数据学习总结

大数据学习总结之Hadoop集群搭建

一.创建一个新的虚拟机用户(全分布式3台主机)
二.解压和配置JAVA环境变量
2.1 mkdir 一个文件夹 /bigdata用于存放大数据相关软件
2.2 将JDK和hadoop 的jar包上传到/bigdata下 本次搭建版本如下

①hadoop-2.6.5.tar.gz ② jdk-7u80-linux-x64.tar.gz

2.3解压JDK tar -zxvf jdk-7u80-linux-x64.tar.gz 并将jdk配置到系统环境变量中:

先 vi /etc/profile
在末尾添加如下内容：
export JAVA_HOME=/bigdata/jdk1.7.0_80
export PATH=$PATH:JAVA_HOME/bin
：wq保存
一定要生效：source /etc/profile

2.4

然后将jdk传入其他两台主机
scp -r jdk1.7.0_80 root@slave01:/bigdata
scp -r jdk1.7.0_80 root@slave02:/bigdata
这里slave01 02需要在etc/hosts中配置 如果没有配置 改成主机ip地址也可以
同时传profile文件的环境配置过去
scp /etc/profile root@slave01:/etc/profile
scp /etc/profile root@slave02:/etc/profile

在此也可以进行免密设置
注意一定要在~目录下操作：
[2.41]免密设置

先生成.ssh文件：
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
以上为主目录操作
两个副本目录同时要生成.ssh文件
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
再在master主机上操作
ssh-copy-id -i 加需要免密的主机名*

三.解压Hadoop

tar -zxvf /bigdata/hadoop-2.6.5.tar.gz

3.1关联JDK和Hadoop

进入hadoop中 找到 hadoop-env.sh文件
进入vi hadoop-env.sh
找到以下目录
export JAVA_HOME=${JAVA_HOME}
找到后修改成你自己的javahome路径
export JAVA_HOME=/bigdata/jdk1.7.0_80

3.2设置一下统一入口core-site.xml文件

先进入官网：https://hadoop.apache.org/old/菜单栏 点击Old site===>
菜单Documentation里面有指定版本Release 2.6.5==》Overview里面的===
点击Single Node Setup里面配置
etc/hadoop/core-site.xml:
在config里面添加两个property

fs.defaultFS
hdfs://master:9000


hadoop.tmp.dir
/bigdata/hadoop_dir

3.3SNN配置

进入hdfs.xml
将SNN放入slave01在configuration中添加如下property

dfs.namenode.secondary.http-address
slave01:50090

3.4添加集群主机

进入vi slaves
添加主机名
在etc/hosts中同时也可以配置这三台主机的ip和名字

3.5hadoop环境变量配置

vi etc/profile
添加hadoop环境配置：
export HADOOP_HOME=/bigdata/hadoop-2.6.5
export PATH=美元符PATH:HADOOP_HOME/bin:美元符HADOOP_HOME/sbin
美元符号这里打不出来 记得自己修改过去

3.6将修改好的hadoop文件夹 以及 /etc/profile文件一同发送给其他主机

scp -r 你的hadoop文件名 root@slave01:/bigdata
scp -r 你的hadoop文件名 root@slave02:/bigdata

3.7格式化namenode

修改保存后需在格式化一次
hdfs namenode -format

3.8启动hdfs

先关闭防火墙
systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 禁用防火墙
在Linux master主机上输入 start-dfs.sh
jps查看启动成功否 nn snn dn
上传文件测试：
hdfs dfs -put a.txt /
默认端口50070
master:50070可以访问 注意有些浏览器不兼容