大数据集群搭建之环境准备（虚拟机）

环境准备好了，可直接看大数据集群搭建之hadoop-完全分布式

以虚拟机环境测试的 物理机不一定适用 系统是Centos7的

 

1、配置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.66.11

NETMASK=255.255.255.0

GATEWAY=192.168.66.2

DNS1=114.114.114.114

DNS2=8.8.8.8

 

service network restart

 

修改hostname

 

vim /etc/hostname

 

2、关闭防火墙

CentOS 7.0默认使用的是firewall作为防火墙

#停止firewall

systemctl stop firewalld.service

 

#禁止firewall开机启动

systemctl disable firewalld.service

 

 #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）  

firewall-cmd --state

 

3、时间同步

yum install ntp -y

 

 ntpdate + 时间服务器  202.120.2.101

ntpdate ntp1.aliyun.com

 

 阿里云提供了7个NTP时间服务器也就是Internet时间同步服务器地址

ntp1.aliyun.com

ntp2.aliyun.com

ntp3.aliyun.com

ntp4.aliyun.com

ntp5.aliyun.com

ntp6.aliyun.com

ntp7.aliyun.com

 

4、ssh免密

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

ssh-copy-id + 主机名

例如

ssh-copy-id master

5、安装jdk

先看看系统本身有没有安装jdk

rpm -qa | grep Java

到官网下载https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html相应版本的jdk

上传到服务器

rpm -vi jdk-8u162-linux-x64.rpm

rpm安装jdk 一般默认安装到/usr/java

配置JAVA_HOME

vi /etc/profile

在文末加入

export JAVA_HOME=/usr/java/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6、一次安装开发工具包

Centos7中一次性安装开发者工具

这里使用组安装包，一次性安装所有开发者工具。

 

1、查看有那些组安装包可用。

 

yum grouplist | more

 

2、搜索一下有哪些和development有关。

 

yum grouplist | grep development

 

查到以下内容：

yum grouplist | grep Development

 

There is no installed groups file.

Maybe run: yum groups mark convert (see man yum)

   Development and Creative Workstation

   Desktop Platform Development

   Development Tools

   Server Platform Development

3、我们需要的就是Development Tools这个包。

yum groupinstall "Development Tools"