Hapdoop安装配置(伪分布运行模式)

步骤:

1,vim hadoop-2.8.5/etc/hadoop/hadoop-env.sh:

export JAVA_HOME=/usr/local/java/jdk1.8.0_171

2,vim hadoop-2.8.5/etc/hadoop/core-site.xml:


       
                fs.defaultFS
                hdfs://coffee01:9000/
       


       
                hadoop.tmp.dir
                /home/hadoop/app/
       

3,vim hadoop-2.8.5/etc/hadoop/hdfs-site.xml :


       
                dfs.replication
                1
       

4,mv hadoop-2.8.5/etc/hadoop/mapred-site.xml.template hadoop-2.8.5/etc/hadoop/mapred-site.xml

5,vim hadoop-2.8.5/etc/hadoop/mapred-site.xml:


       
                mapreduce.framework.name
                yarn
       


6,vim hadoop-2.8.5/etc/hadoop/yarn-site.xml



       
                yarn.resourcemanager.hostname
                coffee01
       

       
                yarn.nodemanager.aux-services
                mapreduce_shuffle
       


7,关闭防火墙:

查看防火墙状态:sudo ufw status、关闭防火墙:sudo ufw disable

8,配置环境变量:

vim /etc/profile:

export HADOOP_HOME=/home/coffee/hadoop-2.8.5
export JAVA_HOME=/usr/local/java/jdk1.8.0_171 

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完之后,source /etc/profile,使配置文件生效

9,格式化:hadoop name -format

Hapdoop安装配置(伪分布运行模式)_第1张图片

格式化成功。

10,修改ip映射

vim /etc/hosts:

10.10.10.212 coffee01

11,使用公钥和私钥免密登陆

ssh-keygen

touch ./ssh/authorized_keys

chmod 600 ./ssh/authorized_keys

cat .ssh/id_rsa.pub >> .ssh/authorized_keys 

12,开启:start-dfs.sh、start-yarn.sh

13,可以在其他主机通过修改hosts后,登陆 coffee01:50070/进行访问

你可能感兴趣的:(big,data)