部署大数据集群要先进行哪些操作？
部署大数据集群要先进行哪些操作？
- Linux集群部署
- 配置多节点无密码登录
- 定时任务
- 时钟同步
- 跟内网某台机器同步时间
- JDK安装步骤
- tomcat安装部署
- mysql的安装部署
- 修改mysql 乱码问题
- mysql远程连接配置
Linux集群部署
-
在虚拟机中实例三个虚拟机主机，三个虚拟主机需要配置IP，且两两之间可以ping通
-
关闭防火墙（需要在所有的主机中进行设置）
/etc/init.d/iptables stop
chkconfig iptables off -
关闭selinux （需要在所有的主机中进行设置）
编辑文件 vi /etc/selinux/config
将SELINUX=enforcing改成 SELINUX=disabled -
设置所有主机的名称
vi /etc/sysconfig/network
HOSTNAME=node01 -
配置主机名与IP的对应关系
vi /etc/hosts
添加如下内容node01IP地址 node01 node02IP地址 node02 node03IP地址 node03
配置多节点无密码登录
目标：在node01节点 无密码登录到node01,node02和node03上
-
在node01节点生成node02的公钥个私钥
ssh-keygen + 三个回车 -
免密登录node01 ssh-copy-id node01 (需要输入node01的密码)
免密登录node02 ssh-copy-id node02 (需要输入node02的密码)
免密登录node03 ssh-copy-id node03 (需要输入node03的密码)
authorized_keys ： 表示哪些节点可以使用相应的密钥免密登录到本机（实际上是公钥的集合）
id_rsa ： 当前节点的私钥
id_rsa.pub : 当前节点的公钥
定时任务
命令： crontab -e/编辑 -l /查看
* * * * * 操作命令
*一小时内的第一分钟（0-59）
* 一天内的第一个小时（0-23）
* 一个月内的第几天（1-31）
* 一年内第几个月（1-12）
* 星期几（0-7）
可用于自动同步内网的各个机器时间
时钟同步
与阿里云提供的时钟服务器同步： ntpdate ntp4.aliyun.com
跟内网某台机器同步时间
先确定时间同步服务器： node01 (node02 node03 都去node01同步时间)
服务器设置
1、确保时间服务器的ntpd服务是开启的
2、修改第一个配置文件
vi /etc/ntp.conf
添加如下内容
restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0 # localclock
fudge 127.127.1.0 stratum 10
注释掉如下内容
#server0.centos.pool.ntp.org
#server1.centos.pool.ntp.org
#server2.centos.pool.ntp.org
#server3.centos.pool.ntp.org
3、修改第二个配置文件
vi /etc/sysconfig/ntpd
添加如下内容
SYNC_HWLOCK=yes
4、重启ntpd
service ntpd restart
5 、在node02 node03节点上执行同步
ntpdate node01
远程拷贝：
scp /etc/hosts node03:/etc/
scp /etc/hosts root@node03:/etc/
JDK安装步骤
1、上传解压 JDK安装包
mkdir -p /export/soft
mkdir -p /export/install
2、创建java的配置文件
在/etc/profile.d目录内创建java.sh文件，编辑一下内容
export JAVA_HOME=/export/install/jdk1.8.0_144 （java 解压后的路径）
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin （$PATH:加上 JAVA_HOME/bin）
3、source
source /etc/profile
4、验证是否安装成功
jps (查看java 此时的进程)
[root@node01 install]# jps
-bash: jps: command not found （没有安装成功）
[root@node01 install]# jps （安装成功）
29601 Jps
5、确定版本
java -version
[root@node01 install]# java -version
java version “1.7.0_131”
更新软链接
删除： rm -rf /etc/alternatives/java
创建： ln -s /export/install/jdk1.8.0_144/bin/java /etc/alternatives/java
6、再次确认
[root@node01 install]# java -version
java version “1.8.0_144”
tomcat安装部署
1、上传安装文件并解压
tar -zxvf apache-tomcat-7.0.82.tar.gz -C /export/install/
2、启动
进入tomcat的安装目录下有个bin。进入bin，执行启动
./startup.sh
说明：tomcat 所有的日志均打入到了安装目录下的logs文件中的catalina.out
web项目(war包格式)部署的路径是安装路径下的webapps
mysql的安装部署
1、确认当前系统是否已经安装mysql
rpm -qa | grep mysql
本地原或者网络源必须存在，并且有效
2、安装mysql
yum install -y mysql-server
3、查看mysql当前状态
/etc/init.d/mysqld status 或者 service mysqld status （status 状态 start 启动 stop 停止 restart 重启）
4、启动mysql
/etc/init.d/mysqld start 或者 service mysqld start
进入mysql shell窗口
1、直接mysql + 回车
2、mysql -u用户名 -p密码 (中间没有空格)
为root用户设置密码
mysqladmin -u root password 密码（有特殊字符需要加单引号）
修改mysql 乱码问题
1、进入mysql shell窗口
2、查看当前编码格式吗
命令：show variables like ‘character_set_%’;
mysql> show variables like ‘character_set_%’;
±-------------------------±---------------------------+
| Variable_name | Value |
±-------------------------±---------------------------+
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
±-------------------------±---------------------------+
3、修改mysql的 配置文件
vim /etc/my.cnf 添加如下配置 保存退出
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8
4、重启mysql
service mysqld restart
5、二次确认
进入mysql shell窗口,执行查询
mysql> show variables like ‘character_set_%’;
±-------------------------±---------------------------+
| Variable_name | Value |
±-------------------------±---------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
±-------------------------±---------------------------+
mysql远程连接配置
1、查看当前mysql 允许哪些主机连接
进入mysqlshell ,查看mysql数据库的user表信息
select host, user ,password from user;
mysql> select host, user ,password from user;
±----------±-----±------------------------------------------+
| host | user | password |
±----------±-----±------------------------------------------+
| localhost | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| node01 | root | |
| 127.0.0.1 | root | |
| localhost | | |
| node01 | | |
±----------±-----±------------------------------------------+
host ：允许访问的主机
user : 主机使用的用户
password : 允许用户使用的密码
2、添加权限，让任何主机使用rootu用户 123456密码，都能访问本mysql
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
3、刷新权限
flush privileges;
4、二次确认
mysql> select host, user ,password from user; ±----------±-----±------------------------------------------+
| host | user | password |
±----------±-----±------------------------------------------+
| localhost | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| node01 | root | |
| 127.0.0.1 | root | |
| localhost | | |
| node01 | | |
*| % | root | 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
±----------±-----±------------------------------------------+
5、关闭linux 防火墙
service iptables stop
设置防火墙开机不自动启动
chkconfig iptables off
设置防火墙开机自动启动
chkconfig iptables on