大数据基础-全流程大数据实验环境搭建,帮你迈出第一步

Linux版本Centos6.9
版本不一致,会导致一部分linux命令不一样
用户:root
密码:123456
mysql密码:123456

搭建的前准备工作

1.windows系统确定所有的关于VmWare的服务都已经启动

2.确认好VmWare生成的网关地址

3.确认VmNet8网卡已经配置好了IP地址和DNS

集群规划

192.168.83.180 node01
192.168.83.190 node02
192.168.83.200 node03

三个节点设置网络和mac地址

1.修改mac地址使用场景

当我创建一台虚拟机后.我通过复制粘贴产生了3个节点的虚拟机,这个时候每个虚拟机mac地址是一样的所以需要修改

2.修改方式

vim /etc/udev/rules.d/70-persistent-net.rules

我们通过Vm自动生成一个mac地址

把这个地址输入上述的位置,就完成了mac地址的配置

3.三个节点分别完成网络ip地址配置

步骤1.

vim /etc/sysconfig/network-scripts/ifcfg-ens0 #配置ip地址

步骤2.

reboot # 重启虚拟机

三个节点需要关闭防火墙和SELinux

1.防火墙设置

service iptables stop    # 关闭防火墙
chkconfig iptables off   # 禁止开机启动

2.SELinux

SELinux是一种安全子系统,我们这里关闭一下,因为这个东西配置比较复杂,需要专业的linux管理人员,为了节省
学习效率,我们这边直接把他关闭
依次关闭三个节点的SELinux

vim /etc/sysconfig/selinux

依次设置主机名称

vi /etc/hosts

设置免秘钥登录

步骤1.

ssh-keygen -t rsa

步骤2.
拷贝公钥到第一台机器

ssh-copy-id node01

步骤3.
将第一台机器的公钥拷贝到其他机器上,在第一台机器上面指定以下命令

 scp /root/.ssh/authorized_keys node02:/root/.ssh/
 scp /root/.ssh/authorized_keys node03:/root/.ssh/

三台机器的时钟同步设置

1.为什么要进行时间同步

因为分布式系统存储一个数据,A节点记录的时间是1,B节点记录的时间是2,就会出问题

2.实现三台机器的时钟同步

通过网络,所有主机和时钟同步服务器保持同步

yum install -y ntp
# 启动定时任务
crontab -e

在弹出框内输入

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

五个*代表分时日月周,前面加个/1表示每分钟都会去执行后面的命令/usr/sbin/ntpdate使ntpdate与
后面的阿里云时钟服务器ntp4.aliyun.com进行同步.
也就是说这个命令每一分钟就会执行一次,每一次都会与阿里云进行一次时钟同步

三台机器安装jdk

步骤1.
查看自带的openjdk(jdk的精简版)并卸载

rpm -qa|grep java

步骤2.
卸载自带java环境

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64

步骤3.
创建安装目录

mkdir -p /export/softwares # 安装包存放目录
mkdir -p /export/servers # 安装目录

步骤4.
上传并解压

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

验证一下看是否安装成功
步骤5.
配置环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH

第一句话是指定我们的JAVA_HOME的位置
步骤6.
不要忘记要让文件生效

source /etc/profile

注意事项:

这里可以直接把jdk这个目录发送给其他节点,省的依次安装麻烦

scp -r jdk1.8.0_141/ node02:$PWD
scp -r jdk1.8.0_141/ node03:$PWD

-r是发送目录,$PWD获取的就是node01的当前目录路径(/export/softwares/)

mysql安装:在node02节点安装

步骤1.
在线下载mysql相关的软件包

yum install mysql mysql-server mysql-devel

步骤2.
启动mysql的服务

/etc/init.d/mysqld start

步骤3.
通过mysql安装自带脚本进行设置

/usr/bin/mysql_secure_installation

不允许root远程访问,这里一定要选择n*
步骤4.
进入mysql的客户端后进行授权

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

第一个代表所有的数据库第二个代表这个数据库所有的表,@分隔符,%所有的ip
任何一台机器都可以,以root用户方式来登录这台机器任何数据库中,并且可以访问任何一张表,
等同于所有权限都开放了.