初识hadoop
关于hadoop的写入（存入）
nn里面维护了一份元数据。
客户端在存入的数据的时候先经过nn,查要存入的数据是否存在（通过元数据查询），如果存在就返回拒绝写入，若不存在，就开始返回可以往集群里面写入，而且还分配存入那些dn。客户端程序就开始找相应的nn，将相应的block块存进去（切分是由客户端切分的）。
关于副本
客户端在存入数据的时候只是将数据块block0存入相应的机器，然后由被存入的机器（nn）开始复制副本1,副本1复制给副本2，block0是这一连串的复制的发起者，block0必须收到副本1的正确的响应才能算成功，同理，副本1要收到副本2的正确响应才算复制成功。
成功的响应流程，副本2复制成功，响应副本1节点，副本1节点收到响应然后响应block0节点，然后整个写入数据成功。
关于元数据的存储
nn存放元数据，磁盘肯定是由一份数据，是由sn处理合并edits 和fsimage
元数据存储位置
/home/hadoop/tmp/dfs/data/current
元数据的存储格式：
/test/a.log, 3 ,{blk_1,blk_2},[{blk_1:[h0,h1,h3]},{blk_2:[h0,h2,h4]}]
解释：a.log这个文件有3个副本，两个文件块blk_1,blk_2，每个文件块的副本在h0,h1,h3和h0,h2,h4这几台机器上的datanode上
DN
配置文件块的大小，在hdfs-site.xml的dfs.block.size的数据项，副本数量dfs.replication
文件块的存储位置：
/home/hadoop/tmp/dfs/data/current/BP-1492359729-192.168.2.100-1528065072236/current/finalized
奇异组合：
拿到block的文件位置，取出文件块，将其追加组合，解压后就可编程原来的文件，说明hadoop并没有对文件进行重新编码，单纯的将文件进行了切割。
关于hadoop启动时，报ssh: Could not resolve hostname xxx: Name or service not known
很恶心，解决方法：
在/etc/profile文件中添加：
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
1.
2. 注意：是export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib，而不是export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
关于nn的工作特点：
1、Namenode始终在内存中保存metedata，用于处理“读请求”
2、到有“写请求”到来时，namenode会首先写editlog到磁盘，即向edits文件中写日志，成功返回后，才会修改内存，并且向客户端返回
3、Hadoop会维护一个fsimage文件，也就是namenode中metedata的镜像，但是fsimage不会随时与namenode内存中的metedata保持一致，而是每隔一段时间通过合并edits文件来更新内容。Secondarynamenode就是用来合并fsimage和edits文件来更新NameNode的metedata的。
secondary namenode的工作流程
secondary通知namenode切换edits文件
secondary从namenode获得fsimage和edits(通过http)
secondary将fsimage载入内存，然后开始合并edits
secondary将新的fsimage发回给namenode
namenode用新的fsimage替换旧的fsimage
什么时候checkpiont
fs.checkpoint.period 指定两次checkpoint的最大时间间隔，默认3600秒。
fs.checkpoint.size 规定edits文件的最大值，一旦超过这个值则强制checkpoint，不管是否到达最大时间间隔。默认大小是64M。