centos7下hadoop2.6.5全分布式安装教程

1、准备虚拟机三台
192.168.25.101 node01
192.168.25.102 node02
192.168.25.103 node03
2、配置免密登录
生成秘钥
ssh-keygen -t rsa
通过scp将内容写到其他主机文件中
scp -p ~/.ssh/id_rsa.pub [email protected]:/root/.ssh/authorized_keys
略
3、jdk安装
下载jdk1.8
解压jdk资源包到/usr/local/java下
并设置jdk的环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行source /etc/profile使文件生效
执行java -version查看jdk安装是否成功

4、关闭linux防火墙
service firewald stop（centos6为service iptables stop）
setenforce 0
chkconfig firewald off

5、通过scp命令将/etc/profile、jdk、hadoop文件等拷贝到其他两台机器上
scp -r [email protected]:/opt
6、同步时间
每天主机都要执行时间同步
ntpdate时间同步
yum install -y ntp
ntpdate 120.25.108.11
120.25.108.11为阿里云提供的时间服务器地址

                              开始搭建集群

1、配置hadoop环境变量
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、etc/hadoop下配置hadoop-env.sh文件

export JAVA_HOME=/usr/java/jdk1.8.0_181

4、etc/hadoop下配置core.site.xml文件
fs.defaultFS为指定namenode主节点
hadoop.tmp.dir指定hadoop的元数据存放文件夹

        
                fs.defaultFS
                hdfs://mynode01:9000
        
        
                hadoop.tmp.dir
                /opt/haData
        

5、etc/hadoop下配置hdfs.site.xml文件
dfs.replication指定文件拷贝的副本数，由于是3台主机，所以配2个副本。

        
                dfs.replication
                2
        

6、etc/hadoop下配置yarn.site.xml文件
yarn.resourcemanager.hostname配置资源管理器节点

		
                yarn.resourcemanager.hostname
                mynode01
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

7、etc/hadoop下配置mapred.site.xml文件
mapreduce.framework.name配置资源管理器为yarn

		
                mapreduce.framework.name
                yarn
        

8、etc/hadoop下配置slaves文件
这个文件指定了datanode节点的主机

mynode01
mynode02
mynode03

9、通过scp将/etc/profile，和hadoop的安装文件分发到其他机器上去
scp -r /opt/hadoop [email protected]:/opt
10、格式化hdfs文件系统
hdfs namenode -format
10、启动hadoop
执行start-dfs.sh打开namenode,datanode节点，浏览器打开：192.168.25.101:50070登录namenode界面

执行start-yarn.sh启动resourceManager，浏览器192.168.25.101:8088查看

11、测试wordcount程序
现在linux下创建一个文件test.txt
vim test.txt并插入一些字符串
然后将test.txt上传至hdfs
hadoop fs -put test.txt /hello/test.txt
然后进行wordcount测试
进入hadoop安装目录
执行一下命令
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /hello/test.txt /hello/count
控制台查看

从控制台可看到运行成功

从resourcemanager也可以看到运行成功。

进入hdfs界面在/hello/count下会生成如下文件，part-r-00000文件为运行的结果文件