大数据环境部署(一)-虚拟机安装

原料

• CentOS 6.8
• jdk-8u181-linux-x64.rpm

安装VMware

安装linux虚拟机(单节点)

配置网络

1. 查看IP

   打开VMware,查看IP信息:编辑→虚拟网络编辑器→选择Vment8→NAT设置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nahwNeGX-1571036096883)(874CAAC62426486DBF6958A102364F7F)]]

2. 修改配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

• 删除UUID和MAC地址

• 修改ONBOOT=yes和BOOTPROTO=static

• 添加IPADDR,NETMASK,GATEWAY,DNS1,DNS2

PS. DNS1与网关一致,DNS2写114即可,当然自由发挥也没问题
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NMh8XbKT-1571036096885)(43BEE39413AE4C4E832B537BD0930A3F)]
3. 重启服务器

init 6

4. 测试

测试是否能ping通本地和外网,如果ping不通请关闭防火墙再试一下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TTYkZlAI-1571036096887)(37350B6DB0D7476A844B1F2F785D3FB2)]

5.配置Xshell

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rPM4B5FP-1571036096888)(C853CAD66D3444969CD12B63092E95FF)]

输入用户名密码登录Xshell进行下面的操作:

给我看

设置UseDNS为no

UseDNS --指定sshd是否应该对远程主机名进行方向解析，以检查此主机名是否与其IP地址真实对应。默认值为"yes"。个人建议改成no，否则可能会导致ssh连接很慢

 #安装vim
 yum -y install vim
 #使用root账户登录
 vim /etc/ssh/sshd_config 

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dGBiylvt-1571036096890)(8DFF802233F141C081BB507DBB209162)]

关闭防火墙

#查看防火墙状态
service iptables status
#关闭防护墙
service iptables stop
#检查iptables进程是否关闭
chkconfig|grep iptables
#设置开机自动启动关闭
chkconfig iptables off

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RTcN1W5q-1571036096890)(471B68EE2BF8466AA5A26915FC5C538F)]

说明:chkconfig 这个工具的应用是在 CentOS6 及以前的版本，在CentOS7版本里面没有使用了，但是为了跟之前的版本兼容，依然可以使用 chkconfig

关闭SELinux

• 检查seLinux的状态

  #检查seLinux的状态
  getenforce 
  #临时关闭SELinux
  setenforce 0
  #查看SELinux状态
  getenforce
  

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5JxFCkrq-1571036096892)(F02EEBEDBC474E399DA3552D462F856B)]

• 设置SELinux 开机自动启动关闭

  修改/etc/selinux/config文件，将SELINUX的值设置为disabled。下次开机SELinux就不会启动了。

  #设置SELinux开机自启动关闭
  vim /etc/selinux/config
  

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QNNgq8VY-1571036096894)(F1715F635DF94103BB92245EB883EC23)]

• 重启linux

init 6

同步系统时间

#查看系统时间
data
#安装npt
yum install ntp -y
#查看状态
chkconfig|grep ntp*
#设置开机自动启动
chkconfig ntpd on
#启动ntpd
service ntpd start

linux下ntpdate与ntpd的区别

删除网卡信息

清除mac地址

rm -rf /etc/udev/rules.d/70-persistent-net.rules

配置本地yum源[选配]

如果用的minimal得镜像安装,需要重新配置yum源

1. 挂载iso

#挂载到/mnt
mount /dev/cdrom /mnt/ 

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T2Z2AwRj-1571036096897)(C170EAB29FF04C6E9F42A56C340B7DC7)]

2. 自定义CentOS-Local.repo

#将CentOS-Base.repo文件移入备份文件夹之中,自定义CentOS-Local.repo
mkdir /etc/yum.repos.d/backup/
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/backup/
vim /etc/yum.repos.d/CentOS-Local.repo 

以下内容copy到CentOS-Local.repo

[local]
name=CentOS-Local
baseurl=file:///mnt 
enabled=1
gpgcheck=0

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z3m5OR1n-1571036096898)(86ED0C6179754E52A7D556F10D4274E9)]
3. 更新yum源

#清空yum已存在的源信息（缓存）
yum clean all
#建立缓存
yum makecache 
#显示可用的仓库
yum repolist enabled

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bL7pkZF2-1571036096898)(3BACCBC837394B3FB70D2333784E7901)]

vi编辑器显示行号(全局)[选配]

• vi编辑器显示行号(全局)

vim /etc/virc
# 全局显示行号
set nu!   

• vim编辑器显示行号(全局)

vim /etc/vimrc
# 全局显示行号
set nu!                                    

关机拍照

#关机
init 0

重启后对安装好的虚拟机拍照,方便回滚.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QvpodofC-1571036096899)(BB7E100274B647C194A28B898436FFC1)]

安装linux虚拟机(多节点)

1.克隆机器

利用之前搭建好的虚拟机node1拍摄的快照克隆三台机器node2,node3,node4

2.修改IP和主机名

在VMware中启动node2,node3,node4,配置新搭建的node2,node3,node4IP和主机名

#分别在三台机器node2,node3,node4上修改IPADDR
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#分别添加
IPADDR=192.168.244.202
IPADDR=192.168.244.203
IPADDR=192.168.244.204

#分别在三台机器node2,node3,node4上修改主机名
vim /etc/sysconfig/network
#分别添加
HOSTNAME=node2
HOSTNAME=node3
HOSTNAME=node4

3.修改hosts

1. 在所有节点上安装ssh

yum -y install openssh-clients

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9dUrI4Ut-1571036096900)(01DAD4E711234DFF972196C9123526A4)]

2. 在每台服务器上把所有机器的[ip地址][主机名]映射加到/etc/hosts中

  #修改hosts
  vim /etc/hosts
  
  #在最后添加
  192.168.244.201 node1
  192.168.244.202 node2
  192.168.244.203 node3
  192.168.244.204 node4
  
  #因为都是新机器所以直接覆盖到node2,node3,node4
  scp /etc/hosts node2:/etc/
  scp /etc/hosts node3:/etc/
  scp /etc/hosts node4:/etc/

4.配置XShell

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KRmJRHiR-1571036096901)(596F5EC65A234821A4EC0BF8DFEF8092)]

5.配置免密钥登陆

1. 生成秘钥

 # ssh-keygen 生成、管理和转换认证密钥
 # ssh-keygen -t type [-P old_passphrase] [-f keyfile]
  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 # 查看当前目录
  ls -a

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qf9UC4To-1571036096901)(864A204F774941969D8F9CE0A1BE666C)]

2. 拷贝公钥

把所有需要配置免密登录得服务器的公钥都配到一个秘钥文件中

#复制node1公钥到authorized_keys中
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#发送authorized_keys到node2
scp ~/.ssh/authorized_keys node2:~/.ssh/

ssh node 2
#输入密码
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys node3:~/.ssh/
ssh node 3
#输入密码
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys node4:~/.ssh/

ssh node 3
#输入密码
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#将保存有所有机器的公钥文件authorized_keys发送给node1,node2,node3(覆盖之前的authorized_keys)
scp ~/.ssh/authorized_keys node1:~/.ssh/
scp ~/.ssh/authorized_keys node2:~/.ssh/
scp ~/.ssh/authorized_keys node3:~/.ssh/

#退出
exit
exit
exit

3. 测试

#登录node1
#远程连接node2,验证否还需要输入密码
ssh node2
exit
#远程连接node3,验证否还需要输入密码
ssh node3
exit
#远程连接node4,验证否还需要输入密码
ssh node4
exit

说明:会询问是否确认连接,输入yes即可

同理继续测试node2,node3,node4是否可以免密登录

6.安装JDK

全部节点都进行以下操作

1. 上传JDK安装包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lyPEC2V8-1571036096902)(389AD530184C453C816AA3BD0DAA5B9F)]
2. 安装JDK

cd root
rpm -ivh jdk-8u181-linux-x64.rpm

查找jdk安装路径:
一直查到没有引用路径为止

which java
ls -lrt /usr/bin/java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VdQHievh-1571036096902)(6EF36AEEE58B4FA5977E548A90CAE34E)]

3. 配置全局变量
   配置全局还是用户变量根据情况决定

vi /etc/profile

添加两行记录：

export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

执行. /etc/profile让配置生效

source /etc/profile

4. 配置用户变量

vim ~/.bash_profile 

后面的步骤同③
5. 测试

jps

7.关机拍照

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LRG5skgV-1571036096903)(FC324AD79436415EA49EDCFFE92F833D)]