1、新建一个普通用户,并给予sudo权限
添加用户并设置密码
adduser hadoop
passwd hadoop
添加sudo权限
chmod u+w /etc/sudoers
vim /etc/sudoers
hadoop ALL=(root)NOPASSWD:ALL
测试:sudo -A ls -l (-A表示不用输入密码)
chmod u-w /etc/sudoers
2、配置主机名,配置ip,主机名和ip映射
hostname kzx.nn01.com
vim /etc/sysconfig/network (将主机名写入文件)
vim /etc/hosts(ip和主机名映射)
将hosts文件分发到其他机器
for i in {21,22,23,24};do scp /etc/hosts [email protected].$i:/etc;done
3、关闭防火墙
service iptables stop 临时关闭
chkconfig iptables off 永久关闭
chkconfig --list | grep iptables 查看不用启动状态下防火墙启动状态
4、关闭SELinux
使用sestatus -v 命令,查看Selinux状态。
vi /etc/sysconfig/selinux
SELINUX=disabled
reboot
5、关闭THP
关闭THP(这是个坑,弄不好就会启动失败 不要这么改)
vi /etc/grub.conf
在kernel 行后面加入 transparent_hugepage=never
正确的方法:
vim /etc/rc.d/rc.local
增加下列内容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
给rc.local添加可执行权限
chmod +x /etc/rc.d/rc.local
重启机器
查看状态:
cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled
6、卸载系统自带jdk,并安装jdk
卸载自带jdk:
rpm -qa | grep java
rpm -e --nodeps 指定java版本
创建目录:
mkdir /usr/java
chown hadoop:hadoop /usr/java
解压:
tar -zvxf jdk-8u131-linux-x64.tar.gz -C /usr/java/
配置环境变量:shift+g
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
或者:
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
使用yum安装:
yum search java|grep jdk (查看yum中的jdk版本)
yum install java-1.7.0-openjdk (安装指定版本)
配置环境变量:
vi /etc/profile
#set java environment
JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
source /etc/profile
7、配置文件打开数和用户最大进程数
ulimit -a (查看当前参数)
ulimit -u
vim /etc/security/limits.conf
添加内容如下:
* soft nofile 65535 软最大文件打开数
* hard nofile 65535 硬最大文件打开数
* soft nproc 32000 软最大进程数
* hard nproc 32000 硬最大进程数
(* 代表对所有用户都有效)
8、安装yum,配置yum
yum install httpd
yum install yum-utils
yum repolist
yum install createrepo
9、安装mysql
安装mysql 服务器端:
yum install mysql-server
yum install mysql-devel
安装mysql客户端:
yum install mysql
安装mysql驱动:
yum install -y mysql-connector-java
检查驱动:
检查:cd /usr/share/java (安装完成后,切换至java目录,如下图,则ok)
配置数据库字符集:
vi /etc/my.cnf
加入:default-character-set=utf8
配置开机启动:
chkconfig -add mysqld
chkconfig --list | grep mysql* (查看是否配置成功)
mysqld 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
启动mysql:
service mysqld start或者/etc/init.d/mysqld start
停止mysql:
service mysqld stop
创建mysql管理员:
mysqladmin -u root password 123456
登录:
mysql -u root -p
远程登录:
mysql -h ip地址 -u root -p
Linux MySQL的几个重要目录:
数据库目录: /var/lib/mysql/
配置文件: /usr/share /mysql(mysql.server命令及配置文件)
相关命令: /usr/bin(mysqladmin mysqldump等命令)
启动脚本: /etc/rc.d/init.d/(启动脚本文件mysql的目录)
mysql用户授权:
create database hive;
CREATE USER 'hive' IDENTIFIED BY '123456';
grant all privileges on *.* to hive@'localhost' identified by '123456';
grant all privileges on *.* to hive@'%' identified by '123456';
grant all privileges on *.* to hive@'kzx.dn02.com' identified by '123456';
flush privileges;(很重要)
10、时间同步
安装NTP:
yum install ntp -y
修改NTP配置文件,添加NTP服务器的网络位置:
vi /etc/ntp.conf
注释
#server 1.CentOS.pool.ntp.org iburst #一下三个是CentOS官方的NTP服务器,我们注释掉
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
添加
server 192.168.1.1 #目标服务器网络位置
restrict 172.26.5.21 nomodify notrap noquery
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
将配置文件分发到各节点:
for i in {32,33,34,35,36,37,38,39,40,41,42};do scp /etc/ntp.conf [email protected]$i:/etc/ntp.conf; done
/etc/init.d/ntpd start
chkconfig --level 35 ntpd on
启动服务:
/etc/init.d/ntpd start 或者 service ntpd start
添加到自启动:
chkconfig --level 35 ntpd on
手动同步时间:
ntpdate 210.72.145.44 (服务器ip)
创建定时任务
crontab -l #查看定时任务
crontab -e #编写定时任务,保存后定时任务等待启动了
*/10 * * * * root /usr/sbin/ntpdate 172.26.5.21; /sbin/hwclock -w #每10分钟同步一次
查看ntp状态:
service ntpd status
ssh免登陆:
生成rsa秘钥
su - hadoop
ssh-keygen -t rsa
cd /home/hadoop/.ssh 该路径有两个文件,一个公钥,一个是秘钥
将公钥拷贝到另一台机器的~/.ssh/authorized_keys 中
scp 公钥到另一台机器:scp 公钥 hadoop@ip:/home/hadoop
添加:cat 公钥 >> ~/.ssh authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh authorized_keys