大数据学习九：hadoop伪分布式部署（单机)

官方单机配置地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html

1、设置主机名称

#hostname       #查看主机名,显示localhost

#hostnamectl set-hostname bigdata  #设置主机名为bigdata

#hostname     #关闭当前sessin重新进入，查看主机名是否设置成功

2、解压并启动hdfs

#cd /opt/software/hadoop-2.8.1-src/hadoop-dist/target

#mv hadoop-2.8.1.tar.gz /opt/software/

#tar -xvzf hadoop-2.8.1.tar.gz

#vi /etc/profile

export HADOOP_HOME=/opt/software/hadoop-2.8.1

export PATH=$HADOOP_HOME/bin:$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MVN_HOME/bin:$JAVA_HOME/bin:/opt/mysql/mysql-5.7.22-el7-x86_64/bin:$PATH

# source /etc/profile

#cd ~     #配置免密登陆开始

#rm -rf .ssh

#ssh-keygen  #回车3次不用输入任何字符

# cat id_rsa.pub >> authorized_keys    #免密配置结束

#cd /opt/software/hadoop-2.8.1/etc/hadoop

#echo $JAVA_HOME

#vi hadoop-env.sh

修改export JAVA_HOME=/usr/local/java/jdk1.8.0_171

#cd /opt/software/hadoop-2.8.1/sbin

#hdfs namenode -format    #格式化hdfs,否则namenode无法启动

#./start-dfs.sh    #启动hdfs,初次使用ssh免密登陆需要输入yes

说明：namenode、datanode的默认启动地址都是localhost，secondarynamenode的默认启动地址是0.0.0.0(表示任意IP地址都可以访问)，为方便集群管理和用户访问，需要将启动地址改为IP地址。

3、修改配置文件

# cd /opt/software/hadoop-2.8.1/sbin

# ./stop-dfs.sh       #停止dfs

# cd /opt/software/hadoop-2.8.1/etc/hadoop

# vi core-site.xml

   

            fs.defaultFS

            hdfs://192.168.1.26:9000

   

# vi hdfs-site.xml

   

            dfs.replication

            1

   

   

   

            dfs.namenode.secondary.http-address

            192.168.1.26:50090

   

   

   

            dfs.namenode.secondary.https-address

            192.168.1.26:50091

   

# vi slaves

192.168.1.26  

# ../../sbin/start-dfs.sh

#jps    

4、配置YARN

# cp mapred-site.xml.template mapred-site.xml

# vi mapred-site.xml

   

            mapreduce.framework.name

            yarn

   

# vi yarn-site.xml

   

            yarn.nodemanager.aux-services

            mapreduce_shuffle

    

# sh start-yarn.sh        #启动yarn 

5、打开yarn和hdfs UI界面

#sevicectl status firewalld.service        #查看防火墙状态

#servicectl stop firewalld.service        #关闭防火墙

关闭虚拟机防火墙： 

关闭命令： service iptables stop 

永久关闭防火墙：chkconfig iptables off 

两个命令同时运行，运行完成后查看防火墙关闭状态 

service iptables status 

1 关闭防火墙—–service iptables stop 

2 启动防火墙—–service iptables start 

3 重启防火墙—–service iptables restart 

4 查看防火墙状态–service iptables status 

5 永久关闭防火墙–chkconfig iptables off 

6 永久关闭后启用–chkconfig iptables on

在浏览器输入IP：50070打开hdfs UI，192.168.1.26：50070

在浏览器输入IP：8088，打开yarn UI

6、运行mapreduce-example代码，验证mapreduce可运行

# cd /opt/software/hadoop-2.8.1

# find ./ -name "*example*"

# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 2 5

job_1526747733662_0001：job_unix时间戳_job号(第几个job)