笔记：完全分布式搭建

克隆虚拟机

1
关闭进程
2
3
虚拟机 -> 管理 -> 克隆 -> 完整克隆

修改属性

1
IP地址 / hostname / 映射（包含所有机器的映射，方面做ssh） / MAC地址
2
3
MAC地址
4
/etc/udev/rules.d/70-persistent-net.rules
5
删除eth-0，复制MAC地址，将eth-1改成eth-0
6
/etc/sysconfig/network-scripts/ifcfg-eth0
7
修改MAC地址
8
重启网络

ssh免密码登陆

1
公钥存储在远程主机，登陆后进行公钥验证
2
3
路径：用户主目录
4
删除.ssh文件夹下文件
5
运行命令：ssh-keygen -t rsa //-t rsa 使用rsa加密
6
7
拷贝公钥到authorized_keys,并发送到目标主机
8
ssh-copy-id lee.cniao5.com
机器规划

1
数据存储 数据分析
2
1号机 datanode nodemanager namenode historyserver
3
2号机 datanode nodemanager resoucemanager
4
3号机 datanode nodemanager secondaryname
搭建过程

1
与伪分布式相似的过程
2
安装Oracle，解压hadoop，清理文档
3
4
指定Java安装路径
5
hadoop-env.sh，maperd-env.sh，yarn-env.sh
6

7
修改四个xml
8
core-site.xml
9

10
fs.defaultFS
11
hdfs://lee01.cniao5.com:8020
12

13
14

15
hadoop.tmp.dir
16
/opt/app/hadoop-2.5.0/data/tmp
17

18

19
hdfs-site.xml
20

21
dfs.permissions.enabled
22
false
23

24
25

26
dfs.namenode.secondary.http-address
27
lee03.cniao5.com:50090
28

29

30
yarn-site.xml
31

32
yarn.nodemanager.aux-services
33
mapreduce_shuffle
34

35
36

37
yarn.resourcemanager.hostname
38
lee02.cniao5.com
39

40
41

42
yarn.log-aggregation-enable
43
true
44

45
46

47
yarn.log-aggregation.retain-seconds
48
106800
49

50

51
mapred-site.xml
52

53
mapreduce.framework.name
54
yarn
55

56
57

58
mapreduce.jobhistory.address
59
lee01.cniao5.com:10020
60

61
62

63
mapreduce.jobhistory.webapp.address
64
lee01.cniao5.com:19888
65

66

67
配置文件分发
68
scp -r hadoop-2.5.0/ lee02.cniao5.com:/opt/app/
69
scp -r hadoop-2.5.0/ lee03.cniao5.com:/opt/app/
70

71
格式化namenode
验证

集群时间同步

1
必须同步
2
3
ntpd是否开启
4
service ntpd status
5
ntpd服务开启
6
service ntpd start
7
开机自启
8
chkconfig ntpd on
9
//检查chkconfig
10
11
配置本地集群时间同步
12
修改配置文件
13
vi /etc/ntp.conf
14
放开并修改成自己的网段
15
# Hosts on local network are less restricted.
16
restrict 192.168.37.0 mask 255.255.255.0 nomodify notrap
17
内网环境下，注释以下设置
18
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
19
#server 0.centos.pool.ntp.org
20
#server 1.centos.pool.ntp.org
21
#server 2.centos.pool.ntp.org
22
ntp server提供的本地服务
23
server 127.127.1.0 # local clock
24
fudge 127.127.1.0 stratum 10
25
26
重启ntpd服务
27
service ntpd restart
28
29
30
定时同步
31
查询ntp脚本
32
rpm -qa | gerp ntp
33
查询脚本位置which ntpdate
34
同步时间
35
/usr/sbin/ntpdate lee01.cniao5.com
36

37
制定一个时间计划
38
crontab -e
39
##sync time
40
0-59/10 * * * * /usr/sbin/ntpdate lee01.cniao5.com
41