大数据环境搭建------基础环境配置

准备材料：

操作系统：Centos7（最好有网络）

软件：JDK：jdk-8u171-linux-x64.tar.gz（最好使用JDK1.8以上）

---

 在虚拟机中搭建三个linux系统，分别代表三个节点 {主节点：master 从节点：slave1、slave2}

此次操作均在root用户下进行

1.修改主机名称（三台机器均修改）

　　（1）临时修改

　　　　命令：hostnamectl set-hostname master  (以主节点master为例)

　　（2）永久修改

　　　　命令：vi /etc/sysconfig/network

　　　　更改：NETWORKING=yes

　　　　　　　HOSTNAME=master （以主节点master为例）

　　　　保存文件并重新启动

2.配置hosts文件（三台机器均修改）

　　（1）查看IP地址

　　　　命令：ifconfig

　　（2）修改hosts文件

　　　　命令：vi /etc/hosts

　　　　（以主节点master为例,master的IP地址是192.168.109.125）

　　　　在文件下写入：192.168.109.125 　　master　　

　　　　　　　　　　　192.168.109.126　　 slave1　　（slave1的IP地址是192.168.109.125）

　　　　　　　　　　　192.168.109.127　　 slave2　　（slave2的IP地址是192.168.109.127）

　　　　保存退出

3.关闭防火墙（三台机器均修改）

　　　命令：systemctl stop firewalld 　　(Centos7)

　　　命令：service iptables stop　　　 (Centos6)

4.时间同步（三台均安装）

　　（1）没有网络的条件下

　　　　命令：date -s 00:00　　　　(三台机器的date一致无需更改) 　

　　（1）有网络的条件下

　　　　命令：date　　　　　　　　（查看当前机器的时间）

　　　　命令：tzselect　　　　　　　(选择时区)

　　　　{  5)Asia 　　9)Chian　　1)Beijing Time　　1)Yes}

　　（2）下载ntp（三台机器）

　　　　命令：yum -y install ntp

　　（3）修改ntp配置文件（master上执行）

　　　　（为局域网用户提供服务）

　　　　命令：vi /etc/ntp.conf　　

　　　　添加内容：server 　　127.127.1.0

　　　　　　　　　 fudge　　 127.127.1.0　　stratum 10 　　（设置为其他的值也是可以的）

　　（4）重新启动ntp服务

　　　　 命令：systemctl restart ntpd.service　　（Centos7）

　　　　 命令：ntpd start　　　　　　　　　　　（Centos6）

　　　　 等待5-10分钟，在到其他机器（slave1、slave2）上同步机器时间

　　（5）测试

　　　　命令：ntpdate master

5.配置ssh免密登录

　　（1）产生公私秘钥（三台机器）

　　　　 命令：ssh-keygen (四次回车）

　　（2）将三台机器的公钥写在authorized_keys文件

　　　　命令：cat id_dsa.pub >> authorized_keys　　（master机器）

　　　　命令：scp authorized_keys slave1:~/.ssh/　　（将文件拷贝到slave1机器上）

　　　　命令：cat id_dsa.pub >> authorized_keys　　（slave1机器）

　　　　命令：scp authorized_keys slave2:~/.ssh/　　（将文件拷贝到slave2机器上）

　　　　命令：cat id_dsa.pub >> authorized_keys　　（slave2机器）

　　　　命令：scp authorized_keys master:~/.ssh/　　（slave2机器，覆盖掉master机器上的authorized_keys）

　　　　命令：scp authorized_keys slave1:~/.ssh/　　（slave2机器，覆盖掉slave1机器上的authorized_keys）

　　（3）测试

　　　　命令：ssh slave1　　（master机器上）

　　　　命令：ssh slave2　　（master机器上）

　　　　命令：ssh master　　（master机器上）

6.安装JDK （三台均安装）

　　　（1）在/usr下创建java文件夹　　（master机器上）

　　　　命令：mkdir -p /usr/java

　　　（2）将JDK压缩包解压到 /usr/java/ 下　　（master机器上）

　　　　命令：tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java

　　　（3）修改环境变量　　（master机器上）

　　　　命令：vi /etc/profile

　　　　添加：

export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

　　　（4）生效环境变量

　　　　 命令：source /etc/profile

　　　（5）测试

　　　　 命令：java -version　　（master机器上）

　　　（6）成功后将profile文件和java压缩后的文件拷贝到slave1和slave2机器上的相应的路径上

　　　　 命令：scp /etc/profile slave1:/etc/　　（以slave1为例）

　　　　 命令：scp /usr/java/jdk1.8.0_171 slave1:/usr/java/　　（以slave1为例，在slave1相应的位置创建java文件夹）

　　　　命令：source /etc/profile　　　　　　（以slave1为例）

　　　　命令：java -version　　　　　　　　（测试）

---

此篇文章是大数据的前期搭建过程

后续有zookeeper、hadoop、hbase、hive搭建过程

 

转载于:https://www.cnblogs.com/zhangKaiXi/p/9885301.html