Hadoop 完全分布式运行实战

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

Hadoop官方网站:Apache Hadoop

流程步骤:

  1. 准备3台客户机(关闭防火墙、静态ip、主机名称)
  2. 安装JDK
  3. 配置环境变量
  4. 安装Hadoop
  5. 配置环境变量
  6. 配置集群
  7. 单点启动
  8. 配置ssh
  9. 群起并测试集群

 一、Hadoop运行环境搭建

1、虚拟机环境准备

  1. 克隆虚拟机;
  2. 修改克隆虚拟机的静态IP;
  3. 修改主机名;
  4. 关闭防火墙;
  5. 创建yyds用户;
  6. 配置yyds用户具有root权限;
  7. 在/opt目录下创建文件夹;

在/opt目录下创建module、software文件夹:

[yyds@hadoop101 opt]$ sudo mkdir module
[yyds@hadoop101 opt]$ sudo mkdir software

修改module、software文件夹的所有者cd:

[yyds@hadoop101 opt]$ sudo chown yyds:yyds module/ software/
[yyds@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 yyds

你可能感兴趣的:(Hadoop,Hive,Spark,大数据安全,hadoop,分布式,大数据)