大数据原生环境搭建笔记
搭建Hadoop分布式环境：
1、安装jdk1.8
2、上传Hadoop环境包
3、配置环境变量在/etc/profile配置文件中JAVA_HOME 和HADOOP_HOME，代码如下：
export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
export HADOOP_HOME=/opt/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4、在hadoop-env.cmd中添加JAVA_HOME配置，代码位置如下：
@rem The java implementation to use. Required.
set JAVA_HOME=%JAVA_HOME%
5、在hadoop-env.sh文件中添加jdk目录，代码位置如下：
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
6、在core-site.xml中配置镜像文件和数据存放目录，如下：
7、在hadoop-site.xml中配置副本数目和secondary-datanode,代码如下：
8、配置slaves ,记录集群所有datanode的主机名，代码如下：
node002
node003
node004
9、分发以上Hadoop配置至其他集群机器，命令如下：
scp -r hadoop-2.6.5 root@node002:/opt/
10、格式化命令如下“
hdfs namenode -format
11、启动和停止hadoop，命令如下：
start-dfs.sh和stop-dfs.sh
HA模式：
nn nn dn jn zkfc zk
node001 * * *
node002 * * * * *
node003 * * *
node004 * *
基础设施层：
补充NN所在的节点互相免密、各自免密
ssh-keygen -t dsa -P '' f ./id_dsa 设置公钥命令
cat id_dsa.pub >> authorized_keys 追到到该文件
最后互相把各自公钥给到对方，因分布式2已经有1，故只需要把2给到1即可
cat node002.pub >> authorized_keys
搭建zookeeper集群
上传zookeeper压缩包到node002，解压（配置好了再分发即可）
解压到opt目录下，与Hadoop同级目录（个人喜好）。
进入zookeeper目录的conf目录下复制zoo.sample.cfg为zoo.cfg
vi zoo.cfg
修改dataDir路径/var/bjsxt/hadoop/zk
到最后一行增加：
创建／var/bjsxt/hadoop/zk，在该目录下雾化一个文件
echo 1 > myid，
zoookee 增加到/etc/profile中
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6
path追加$ZOOKEEPER_HOME/sbin
最后分发，修改myid内容
配置其他两台/etc/profile
启动zk命令
zkServer.sh start,分别启动
zkServer.sh status 查看状态
配置好zookeeper后，配置Hadoop的HA，可以先拷贝etc下hadoop为hadoop-full ,对分布式进行备份
然后开始配置HA，
首先修改hdfs-site.xml ,删除secondary，增加笔记中配置文件
然后配置core-site.xml,删除第一个配置，增加笔记配置，修改full为ha
分发配置到其他三台
最后格式化
配置
1、core-site.xml
2、hdfs-site.xml
3、slaves
node002
node003
node004
4、分发集群配置
5、启动前部署细节：
node001~node003:
hadoop-daemon.sh start journalnode
node001:
hdfs namenode -format
格式化后：
hadoop-daemon.sh start namenode
node002:
hdfs namenode -bootstrapStandby
node001:
hdfs zkfc -formatZK
6、start-dfs.sh
配置前首先两台namenode互相免密和各自免密