Hadoop/Spark集群时间同步问题解决方法

生产集群不会每台都有访问外网的权限，一般管理员会有master的外网访问权限，为了保证hadoop或spark程序的正确运行，保证节点间的时间同步是很有必要的，因此需要设置局域网内次节点与master时间同步。
1） 一般系统安装时的时区都会选择上海，如果需要重新选择时区，那么在master下敲入tzselect进行时区选择。
2） Linux一般都是安装了ntp的，如果没有安装可以用yum install ntp来安装一下（这个安装应该直接在系统的yum库中可以找到，因此不需要网络的），每台节点都需要确保其安装。
3） chkconfig ntpd on命令设置ntp永久开启
4） 接下来在master上需要进行配置文件的修改。
首先停掉ntpd服务：service ntpd stop
vim /etc/ntp.conf
将文件修改如下：

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
restrict -6 ::1
restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 210.72.145.44 perfer
server 202.112.10.36
server 59.124.196.83
server 192.168.130.56

1> restrict 192.168.130.0 mask 255.255.255.0 nomodify notrap 此处修改的意思为处于192.168.130网段的全部ip都可以与master来设置时间同步。
2> 对于新加的几个server，其目的如下注释：
server 210.72.145.44 perfer #国家时间校准中心
server 202.112.10.36 #校准备用服务器
server 59.124.196.83 #校准备用服务器
server 192.168.130.56 #局域网NTP服务器IP，也就是主节点

配置好后，master中root下启动ntpd：service ntpd start
设置每天同步一次：crontab –l

5） 次节点同步
次节点先停掉ntpd服务，然后输入：ntpdate master_host_name，然后启动ntpd，此时输入date命令，看看时间是否正常了，同时可以通过设置crontab –l来使其每天都同步一次。全部的节点都这么同步一下。

我的博客 : https://NingSM.github.io

转载请注明原址，谢谢。