Hadoop运行环境搭建(含Linux网络配置和系统管理操作)

虚拟机环境准备

1. 克隆虚拟机
2. 修改克隆虚拟机的静态ip
  • 修改IP地址,如图
[root@hadoop100 桌面]#vim /etc/sysconfig/network-scripts/ifcfg-eth0
Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第1张图片
下图红框选中的项必须修改,有值的按照下面的值修改,没有该项的要增加。
DEVICE=eth0                #接口名(设备,网卡)
HWADDR=00:0C:2x:6x:0x:xx   #MAC地址 
TYPE=Ethernet               #网络类型(通常是Ethemet)
UUID=926a57ba-92c6-4231-bacb-f27e5e6a9f44  #随机id
#系统启动的时候网络接口是否有效(yes/no)
ONBOOT=yes                
# IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
BOOTPROTO=static      
#IP地址
IPADDR=192.168.1.101   
#网关  
GATEWAY=192.168.1.2      
#域名解析器
DNS1=192.168.1.2
修改后

Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第2张图片

:wq 保存退出

  • 执行service network restart
    重启网络
  • 如果报错,reboot,重启虚拟机
3. 修改主机名
①hostname 显示和设置系统的主机名称

(1)基本语法

hostname        (功能描述:查看当前服务器的主机名称)

(2)举个栗子
  查看当前服务器主机名称

[root@hadoop100 桌面]# hostname
②修改主机名称

(1)修改linux的主机映射文件(hosts文件)
 Ⅰ.进入Linux系统查看本机的主机名。通过hostname命令查看

[root@hadoop100 桌面]# hostname
hadoop100

 Ⅱ.如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件

[root@hadoop100 桌面]# vi /etc/sysconfig/network
#文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop100
#注意:主机名称不要有“_”下划线

 Ⅲ.打开此文件后,可以看到主机名。修改此主机名为我们想要修改的主机名hadoop100。
 Ⅳ.保存退出。
 Ⅴ.打开/etc/hosts

[root@hadoop100 桌面]# vim /etc/hosts
#添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

 Ⅵ.并重启设备,重启后,查看主机名,已经修改成功
(2)修改windows7的主机映射文件(hosts文件)
 Ⅰ.进入C:\Windows\System32\drivers\etc路径
 Ⅱ.打开hosts文件并添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

(3)修改windows10的主机映射文件(hosts文件)
 Ⅰ.进入C:\Windows\System32\drivers\etc路径
 Ⅱ.拷贝hosts文件到桌面
 Ⅲ.打开桌面hosts文件并添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

 Ⅳ.将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

4. 关闭防火墙
①service 后台服务管理

(1)基本语法

service 服务名 start (功能描述:开启服务)
service 服务名 stop (功能描述:关闭服务)
service 服务名 restart (功能描述:重新启动服务)
service 服务名 status (功能描述:查看服务状态)

(2)老司机带路
  查看服务的方法:/etc/init.d/服务名

[root@hadoop100 init.d]# pwd
/etc/init.d
[root@hadoop100 init.d]# ls -al

(3)举个栗子
 Ⅰ.查看网络服务的状态

[root@hadoop100 桌面]#service network status

 Ⅱ .停止网络服务

[root@hadoop100 桌面]#service network stop

 Ⅲ. 启动网络服务

[root@hadoop100 桌面]#service network start

 Ⅳ. 重启网络服务

[root@hadoop100 桌面]#service network restart

 Ⅴ.查看系统中所有的后台服务

[root@hadoop100 桌面]#service --status-all
②chkconfig 设置后台服务的自启配置

(1)基本语法
chkconfig      (功能描述:查看所有服务器自启配置)
chkconfig 服务名 off (功能描述:关掉指定服务的自动启动)
chkconfig 服务名 on (功能描述:开启指定服务的自动启动)
chkconfig 服务名 –list (功能描述:查看服务开机启动状态)

(2)举个栗子
 Ⅰ.关闭iptables服务的自动启动

[root@hadoop100 桌面]#chkconfig iptables off

 Ⅱ.开启iptables服务的自动启动

[root@hadoop100 桌面]#chkconfig iptables on
③关闭防火墙

(1)临时关闭防火墙
 Ⅰ.查看防火墙状态

[root@hadoop100桌面]# service iptables status

 Ⅱ.临时关闭防火墙

[root@hadoop100桌面]# service iptables stop

(2)开机启动时关闭防火墙
 Ⅰ.查看防火墙开机启动状态

[root@hadoop100桌面]#chkconfig iptables --list    

 Ⅱ.设置开机时关闭防火墙

[root@hadoop100桌面]#chkconfig iptables off
5. 创建用户,如(admin)
①useradd 添加新用户

(1)基本语法

    useradd 用户名         (功能描述:添加新用户)
    useradd -g 组名 用户名   (功能描述:添加新用户到某个组)

(2)举个栗子
 添加一个用户

[root@hadoop101 ~]# useradd tangseng
[root@hadoop101 ~]#ll /home/
②passwd 设置用户密码

(1)基本语法

    passwd 用户名  (功能描述:设置用户密码)

(2)举个栗子
 设置用户的密码

[root@hadoop101 ~]# passwd tangseng
③id 查看用户是否存在

(1)基本语法

id 用户名

(2)举个栗子
 查看用户是否存在

    [root@hadoop101 ~]#id tangseng
6. 配置admin(普通用户)用户具有root权限
①添加admin用户,并对其设置密码。
[root@hadoop101 ~]#useradd admin
[root@hadoop101 ~]#passwd admin
②修改配置文件
[root@hadoop101 ~]#vi /etc/sudoers

 修改 /etc/sudoers 文件,找到下面一行(91行),在root下面添加一行,如下:

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
admin   ALL=(ALL)     ALL

 或者配置成采用sudo命令时,不需要输入密码

## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL
admin   ALL=(ALL)     NOPASSWD:ALL

 修改完毕,现在可以用admin帐号登录,然后用命令 sudo ,即可获得root权限进行操作。

③举个栗子

 用普通用户在/opt目录下创建一个文件夹

[admin@hadoop101 opt]$ sudo mkdir module
[root@hadoop101 opt]# chown admin:admin module/
7.在/opt目录下创建文件夹
①在/opt目录下创建module、software文件夹
[admin@hadoop101 opt]$ sudo mkdir module
[admin@hadoop101 opt]$ sudo mkdir software
②修改module、software文件夹的所有者
[admin@hadoop101 opt]$ sudo chown admin:admin module/ software/
[admin@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 admin admin 4096 117 14:37 module
drwxr-xr-x. 2 admin admin 4096 117 14:38 software

安装jdk

①卸载现有jdk

(1)查询是否安装java软件:

[admin@hadoop101 opt]$ rpm -qa | grep java

(2)如果安装的版本低于1.7,卸载该jdk:

[admin@hadoop101 opt]$ sudo rpm -e 软件包
②用SecureCRT工具(或FileZilla Client)将jdk导入到opt目录下面的software文件夹下面,如图

Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第3张图片
alt+p”进入sftp模式,如图
Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第4张图片
选择jdk1.8拖入,如图
Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第5张图片
Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第6张图片

③在linux系统下的opt目录中查看软件包是否导入成功
[admin@hadoop101 opt]$ cd software/
[admin@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz
④解压jdk到/opt/module目录下
[admin@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
⑤配置jdk环境变量
(1)先获取jdk路径:
[atgui@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

(2)打开/etc/profile文件:

[admin@hadoop101 software]$ sudo vi /etc/profile
在profile文件末尾添加jdk路径:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

(3)保存后退出:

:wq

(4)让修改后的文件生效:

[admin@hadoop101 jdk1.8.0_144]$ source /etc/profile
⑥测试jdk是否安装成功
[admin@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"
注意:重启(如果java -version可以用就不用重启)
[admin@hadoop101 jdk1.8.0_144]$ sync
[admin@hadoop101 jdk1.8.0_144]$ sudo reboot

安装Hadoop

Hadoop下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

①用SecureCRT工具(或FileZilla Client)将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
切换到sftp连接页面,选择Linux下编译的hadoop jar包拖入,如图

Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第7张图片
Hadoop运行环境搭建(含Linux网络配置和系统管理操作)_第8张图片

②进入到Hadoop安装包路径下
[admin@hadoop101 ~]$ cd /opt/software/
③解压安装文件到/opt/module下面
[admin@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
④查看是否解压成功
[admin@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2
⑤将hadoop添加到环境变量
(1)获取hadoop安装路径:
[admin@ hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

(2)打开/etc/profile文件:

[admin@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile
    在profie文件末尾添加jdk路径:(shitf+g)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(3)保存后退出:

:wq

(4)让修改后的文件生效:

[admin@ hadoop101 hadoop-2.7.2]$ source /etc/profile
⑥ 测试是否安装成功
[admin@hadoop102 ~]$ hadoop version
Hadoop 2.7.2
⑦重启(如果hadoop命令不能用再重启)
[admin@ hadoop101 hadoop-2.7.2]$ sync
[admin@ hadoop101 hadoop-2.7.2]$ sudo reboot

你可能感兴趣的:(Hadoop)