阅读笔记-Hadoop入门实践

ASF：阿里软件开发平台服务框架
SIP：服务集成平台
BEA：应用基础结构软件公司
分布式计算的应用场景：日志分析、索引建立
Threshold:是一款IOS平台的应用。随时随地帮您监控行动数据使用奘况 无论是使用无限数据方案或是有限数据方案, Threshold 可以帮助您随时掌握最新数据使用状态, 提供客制化警示设定, 还可以设立一个您专属的行动数据区域, 以确保您不会被额外收费。

对于日志内容使用任务分解的多线程处理模式来分析统计，在比较简单的情况下，使用Memcache作为计数器，结合MySQL就能完成访问控制以及统计的工作，随着日志量的增加，未来可能不能满足要求。
早期的多线程多任务分解日志模式，其实是分布式计算的一个单机版。将单机的工作进行分拆，变成协同工作的集群，其实就是分布式计算框架设计所涉及的。BEA和VMWare合作采用虚拟机来构建集群，就是希望使得计算机硬件能够类似于应用程序中资源池的资源，使用者无需关心资源分配情况，从而最大化了硬件资源的使用价值。分布式计算亦是如此，任务的分配和汇总都由分布式框架的Master来抉择，使用者需要提供待分析内容给分布式计算系统作为输入，等待结果。
Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，比如亚马逊、Facebook和Yahoo等等。平台日志分析位常用，特别是集成平台的日志量会很大，非常适合分布式计算的适用场景。
wwh学习：what? why? how?

what:
Hadoop框架中最核心的设计：MapReduce和HDFS。
MapReduce：任务的分解与结果的汇总。
HDFS：是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写，为分布式计算存储提供了底层支持。MapReduce：Map&&Reduce，此处Map不适Map容器，作“展开”来讲，就是将一个任务分解为多个任务，Reduce就是将分解后多任务处理的结果汇总起来，得出最后的分析结果。类似于多线程，多任务。
任务之间的关系可以分为两种：不相关的任务，可并行执行；人物之间有相互依赖，先后顺序不能够颠倒，这类任务是无法并行处理的。
一般情况下，在Map前还可能会对输入的数据有Split(分割)的过程，保证任务并行效率，在Map之后，还会有Shuffer(混合)的过程，对于提高Reduce的效率以及减少数据传输的压力有很大的帮助。

HDFS：是分布式计算的存储基石。Hadoop的分布式文件系统和其他分布式文件系统有很多的类似的特质。分布式文件系统基本的几个特点。
1、对于整个集群有单一的命名空间。
2、数据一致性。适合一次写入多次读取的模型，客户端在文件没有被成功创建之前无法看到文件存在。
3、文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且根据配置会由赋值文件块来保证数据的安全性。

HDFS三个重要角色：NameNode、DataNode和Client。
NameNode：可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的赋值等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode：文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。
Client：需要获取分布式文件系统文件的应用程序。
三者关系样例说明：
文件写入：
1、Client向NameNode发起文件写入的请求。
2、NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
3、Client将文件划分为多个Block,根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
文件读取：
1、Client向NameNode发起文件读取的请求。
2、NameNode返回文件存储的DataNode的信息。
3、Client读取文件信息。
文件Bock复制：
1、NameNode发现部分文件的Block不符合最小复制数或者部分DataNode失效。
2、通知DataNode相互复制Block。
3、DataNode开始直接相互复制。

HDFS的几个设计特点：
1、Block的放置：默认不配置。一个Block会有三个备份，一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一个Rack上的DataNode，最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安全，考虑同一Rack的失败情况以及不同Rack之间数据拷贝性能问题就采用这种配置方式。
2、心跳检测DataNode的健康状况，如果发现问题就采取数据备份的方式来保证数据的安全性。
3、数据复制(场景为DataNode失败，需要平衡DataNode的存储利用率和需要平衡DataNode数据交互压力等情况)：简述，使用HDFS的balancer命令，可以配置一个Threshold来平衡每一个DataNode磁盘利用率。例如设置了Threshold为10%，那么执行balancer命令的时候，首先统计所有DataNode的磁盘利用率平均值，然后判断如果某一个DataNode的磁盘利用率超过这个平均值Threshold以上，那么将会把这个DataNode的block转移到磁盘利用率低的DataNode，这对于新节点的加入来说十分有用。
4、数据校验：采用CRC32作数据校验。在文件Block写入的时候除了写入数据还会写入校验信息，在读取的时候需要校验后在读入。
5、NameNode是单点：如果失败的话，任务处理信息将会记录在本地文件系统和远端的文件系统中。
6、数据管道性的写入：当客户端要写入文件到DataNode上，首先客户端读取一个Block然后写入到第一个DataNode上，然后由第一个DataNode传递到备份的DataNode上，一直到所有需要写入这个Block的DataNode都成功写入，客户端才会继续开始写下一个Block。
7、安全模式：在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或删除部分数据块。运行期通过命令也可以进入安全模式。生产中，系统启动时修改和删除文件也会有安全模式不允许修改的出错提示，需要等待。

MapReduce&&HDFS来看Hadoop结构：
在Hadoop的系统中，会有一台Master，主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave，每一台Slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。
Moving Computation is Cheaper than Moving Data：分布式计算最重要的一个设计点。就是在分布式处理中，移动数据的代价总是高于转移计算机的代价。简单来说就是分而治之的工作，需要将数据也分而存储，本地任务处理本地数据然会归总，这样才会保证分布式计算的高效性。

why:
Hadoop的有点&适用场景：
1、可扩展：不论是存储的可扩展性还是计算的可扩展性都是Hadoop的设计根本。
2、经济：框架可以运行在任何普通的PC上。
3、可靠：分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性。
4、高效：分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式，为高效处理海量的信息作了基础准备。
使用场景：海量数据的分析。海量数据被分割于多个节点，然后每一个节点并行计算，将得出的结果归并到输出。同时第一阶段的输出又可以作为下一阶段计算的输入，因此可以想象到一个树状结构的分布式计算图，在不同阶段都由不同产品，同时并行和串行结合的计算也可以很好地在分布式集群的资源下得以高效的处理。

Hadoop可以单机跑，也可以配置集群跑；
集群配置运行的过程：
环境：机器在多而不在精，JDK必须时1.5以上的，各个机器的机器名务必不同，机器名对于MapReduce有很大的影响。
部署：对于Hadoop的集群来说，可以分成两大类角色：Master和Slave，前者主要配置NameNode和JobTracker的角色，负责总管分布式数据存储以及任务的执行。一般情况下，Master和Slave不会部署在同一台机器上。

实施步骤：
1、在所有的机器上都建立相同的目录，也就可以建立相同的用户，以该用户的home路径来做Hadoop的安装路径。例如在所有机器上都建立了/home/Hado
2、下载Hadoop，先解压到Master上。此时Hadoop的安装路径就是/home/Hado/版本。
3、解压后进入conf目录，主要修改以下文件：Hadoop-env.sh, Hadoop-site.xml， masters, slavers。
Hadoop的基础配置文件时Hadoop-default.xml，看Hadoop的代码可以知道，默认建立一个Job的时候会建立Job的Config，Config首先读入Hadoop-defaulg.xml的配置，然后再读入Hadoop-site.xml的配置(这个文件初始的时候配置为空)，hadoop-site.xml中主要配置你需要覆盖的Hadoop-default.xml的系统级配置，以及你需要再你的MapReduce过程中使用的自定义配置(具体一些的使用例如final等参考文档)。
以下是一个简单的hadoop-site.xml的配置：





fs.default.name
dfs://10.2.224.46:54310/


mapred.job.tracker
hdfs://10.2.224.46:54311


dfs.replication
1


Hadoop.tmp.dir
/home/Hado/Hadoop/tmp/


mapred.child.java.opts
-Xmx512m


dfs.block.size
5120000
The default block size for new files.


Hadoop-env.sh文件只需要修改一个参数：

The java implementation to use.Required.

export JAVA_HOME=/usr/ali/jdk1.5.0_10（jdk版本）
配置你的Java路径，记住一定要1.5版本以上，免得莫名其妙出现问题
Masters中配置Masters的ip或者机器名，如果是机器名那么需要在/etc/hosts中有所设置。Slaves中配置的是Slaves的ip或者机器名，同样如果是机器名需要在etc/hosts中有所设置。范例如下：
Masters:
10.2.224.46
Slaves:
10.2.224.40
10.2.224.39
10.2.224.38
10.2.224.37
10.2.224.36
...
4、建立Masters到每一台Slave的SSH受信证书。由于Master将会通过SSH启动所有Slave的Hadoop,所以需要建立单向或者双向证书保证命令执行时不需要再输入密码。在Master和所有的Slave机器上执行：ssh-keygen -t rsa。执行此命令的时候，看到提示只需要回车。然后就会在/root/.ssh/下面产生id_rsa.pub的证书文件，通过scp将Master机器上的这个文件拷贝到Slave上(记得修改名称)，例如：scp root@masterIP:/root/.ssh/id_rsa.pub /root/.ssh/46_rsa.pub,然后执行cat /root/.ssh/46_rsa.pub >>/root/.ssh/authorized_keys，建立authorized_keys文件即可，可以打开这个文件看看，也就是rsa的公钥作为key，user@IP作为value。此时可以试验一下，从master ssh到slave已经不需要密码了。由slave反向建立也是同样。为什么要反向呢？其实如果一直都是Master启动和关闭的话那就没有必要建立反向，只是如果想在Slave也可以关闭Hadoop就需要建立反向。
5、将Master上的Hadoop通过scp拷贝到每一个Slave相同的目录下，根据每一个Slave的Java_HOME的不同修改器Hadoop-env.sh.
6、修改Master上/etc/profile；
新增一下内容：(具体的内容根据你的安装路径修改，这步只是为了方便使用)
export HADOOP_HOME=/home/Hado/Hadoop_..
export PATH=$PATH:$HADOOP_HOME/bin
修改完之后，执行source /etc/profile来使其生效。
7、在Master上执行Hadoop namenode -format，这是第一需要做的初始化，可以看作格式化，以后除了上面提及的删除Master上的hadoop.tmp.dir目录，否则是不需要再次执行的。
8、然后执行Master上的start-all.sh，这个命令可以直接执行，因为在6中已经添加到了path路径，这个命令是启动hdfs和mapreduce两部分，当然你也可以分开单独启动hdfs和mapreduce，分别是bin目录下的start-dfs.sh和start-mapred.sh.
9、检查Master的logs目录，看看Namenode日志以及JobTracker日志是否正常启动。
10、检查Slave的logs目录看看Datanode日志以及TaskTracker日志是否正常。
11、如果需要关闭，那么就直接执行stop-all.sh即可。

感谢：岑文初！！！