hadoop教学视频总结（1）
1、hadoop3（听说比spark快10倍），基于jdk1.8以上，至少3台机器
更加支持spark，
增加classpath isolation 防止一些不同的jar包版本
支持hdfs的擦除编码
DataNode 存储数据添加负载均衡
MapReduce优化
2、hadoop --- hdfs架构
NameNode DataNode secondaryNameNode 主要三种节点，不建议NN 和SNN在一台机器上，防止磁盘IO
（1）NameNode（NN）节点
上传下载文件都需要请求这个节点（提供客户端的上传下载功能）
存放元数据（metadata除了文件名，内容以外的所有东西都是元数据，比如大小，文件格式等等） ，在集群中只能有一个在工作
（2）DataNode （DN）节点
存储内容的节点
怎么存？切成数据块（block），均匀存放在DataNode上
每个块都有三个副本（防止数据丢失），不允许一台机器出现block 的ID,所以三个副本在三个机器
（3）SecondaryNameNode（SNN）节点
元数据存放在内存中的（并不稳定，关机即丢失），所以一段时间持久化一次，将数据写入磁盘中（fsimage（磁盘文件名）,edit（操作日志 增删改的操作）---实时持久化），
不存放数据，SNN是合并元数据的作用，使内存中的数据保存稳定
根据edit来更新fsimage（3600s(1小时) 间隔）
集群启动时候，首先更新一次fsimage，运行时一小时更新一次
3、启动条件
启动一个节点，访问另外一个节点，配置主机名，vim /etc/sysconfig/network
配置hosts映射文件 vim /etc/hosts
以一台机器为中心，设置到其他机器免密码ssh
（1）创建秘钥
ssh -keygen
cd .ssh/
id_rsa私钥 id_rsa.pub公钥
将公钥copy到其他机器中 ssh-copy-id -i ./id_rsa.pub root@node1
（2）官网下载hadoop http://hadoop.apache.org/
tar -xvf hadoop....
（3）在/etc/hadoop下配置hadoop-env.sh文件
（4）NameNode配置，在core-site.xml中添加
（5）SecondaryDataNode配置，在hdfs-site.xml中添加
（6）DataNode配置 ，在worker.xml中配置，直接写域名即可
（7）将hadoop copy上其他机器中
4、启动hdfs
（1）格式化（第一次安装的时候）
（2）启动
查看进程
5、高可用（HA）的hdfs的集群原理（避免一个机器死亡）
在高可用的集群中，不需要SSN节点，由NN节点替代，NameNode节点有两种状态：active，standby，由standby替代
由FailoverController（ZKFC）监控，控制NN的状态转变，当NN节点的active死亡时，standby替换
edits文件最好保存在JournalNode（JN）集群上
有多少个NameNode就有多少ZKFC，DN与NN一直保持通信
问题：如何保持两个状态的NameNode的fsimage保持一样呢？
创建fsimage要保持一致，直接copy到其他NameNode上