Hadoop的搭建流程

文章目录

  • 一、配置IP
  • 二、配置主机名
  • 三、配置主机映射
  • 四、关闭防火墙
  • 五、配置免密
  • 六、安装jdk
    • 1、第一步:
    • 2、第二步:
    • 3、第三步:
    • 4、第四步:
    • 5、第五步:
  • 七、安装hadoop
    • 1、上传
    • 2、解压
    • 3、重命名
    • 4、开始配置环境变量
    • 5、刷新配置文件
    • 6、验证hadoop命令是否可以识别
  • 八、全分布搭建
    • 7、修改配置文件core-site.xml
    • 8、修改配置文件hdfs-site.xml
    • 9、修改配置文件hadoop-env.sh
    • 10、修改配置文件workers
    • 11、修改完了第一台的配置文件,开始分发到其他两台上去。
    • 12、拷贝环境变量:
    • 13、在主节点 格式化namenode
  • 九、启动后的jps进程:


一、配置IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=“dbcp” 修改为 BOOTPROTO=“static”

IPADDR="192.168.187.128"
NETMASK="255.255.255.0"
GATEWAY="192.168.187.2"
DNS1="114.114.114.114"
DNS2="8.8.8.8"
systemctl restart network  #重启网卡

二、配置主机名

vi /etc/hostname

三、配置主机映射

vi /etc/hosts

修改完重启一下:reboot

四、关闭防火墙

systemctl stop firewalld

五、配置免密

ssh-keygen -t rsa   #生成公钥和私钥
ssh-copy-id node01    #将公钥传递给你想免密登录的电脑,比如node01,也可以传给自己

六、安装jdk

1、第一步:

mkdir -p /opt/modules     --以后存放安装包
mkdir -p /opt/installs    --以后存放解压后的软件

2、第二步:

tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/installs  //解压
进入文件夹 cd /opt/installs
进行重命名 mv jdk1.8.0_171 jdk

3、第三步:

vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export PATH=$PATH:$JAVA_HOME/bin

在文件的最后追加,不要删除别人的任何配置。

4、第四步:

source /etc/profile

5、第五步:

java -version

七、安装hadoop

1、上传

2、解压

   tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/

3、重命名

   cd /opt/installs/
   mv hadoop-3.3.1 hadoop

4、开始配置环境变量

   vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export HADOOP_HOME=/opt/installs/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、刷新配置文件

   source /etc/profile

6、验证hadoop命令是否可以识别

   hadoop version

八、全分布搭建

环境准备⼯作:
1、安装了jdk
2、设置host映射
3、免密登录
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled

7、修改配置文件core-site.xml

路径:/opt/installs/hadoop/etc/hadoop/core-site.xml

<configuration>

    <!--hdfs的配置-->
    <!-- 设置namenode节点 -->
    <!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>
    </property>
    <!-- hdfs的基础路径,被其他属性所依赖的⼀个基础路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/installs/hadoop/tmp</value>
    </property>
    
</configuration>

8、修改配置文件hdfs-site.xml

路径:/opt/installs/hadoop/etc/hadoop/hdfs-site.xml

<configuration>


    <!--hdfs的配置-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--secondarynamenode守护进程的http地址:主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:9868</value>
    </property>
    <!-- namenode守护进程的http地址:主机名和端⼝号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:9870</value>
    </property>
    
    
</configuration>

9、修改配置文件hadoop-env.sh

路径:/opt/installs/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/installs/jdk
<-- Hadoop3中,需要添加如下配置,设置启动集群⻆⾊的⽤户是谁-->
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

10、修改配置文件workers

路径:/opt/installs/hadoop/etc/hadoop/workers

node01
node02
node03

11、修改完了第一台的配置文件,开始分发到其他两台上去。

xsync.sh /opt/installs/hadoop

12、拷贝环境变量:

xsync.sh /etc/profile

刷新环境变量

source /etc/profile

13、在主节点 格式化namenode

hdfs namenode -format

14、只在第一台启动hdfs
start-dfs.sh

九、启动后的jps进程:

节点进程:
node01
NameNode,DataNode
node02
SecondaryNameNode,DataNode
node03
DataNode

你可能感兴趣的:(hadoop,大数据,分布式)