大数据架构师之路 | 概念术语理解
架构师，不明觉厉，也是我的追求目标，因此搜集了很多大数据架构相关的知识，理解并整理出来，一起学习。
知识拓展
大数据人工智能行业技术人员必备技能
hive入门 | 数据类型、数据存储、数据结构详解+SQl代码示例
hive进阶 | 数据的导入、数据查询、Java客户端详解+代码示例
Hadoop基础与实战 | 简明理解
大数据流式计算 storm 基础
kafka
kafka是什么：
是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快）等优点，并已在成千上万家公司运行。
理解kafka：
举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡蛋，消费者1秒钟只能吃50个鸡蛋，那要不了一会，消费者就吃不消了（消息堵塞，最终导致系统超时），消费者拒绝再吃了，”鸡蛋“又丢失了，这个时候我们放个篮子在它们中间，生产出来的鸡蛋都放到篮子里，消费者去篮子里拿鸡蛋，这样鸡蛋就不会丢失了，都在篮子里，而这个篮子就是”kafka“。
鸡蛋其实就是“数据流”，系统之间的交互都是通过“数据流”来传输的（就是tcp、http什么的），也称为报文，也叫“消息”。
消息队列满了，其实就是篮子满了，”鸡蛋“ 放不下了，那赶紧多放几个篮子，其实就是kafka的扩容。
各位现在知道kafka是干什么的了吧，它就是那个”篮子”。
名词解释：
● producer：生产者，就是它来生产“鸡蛋”的。
● consumer：消费者，生出的“鸡蛋”它来消费。
● topic：你把它理解为标签，生产者每生产出来一个鸡蛋就贴上一个标签（topic），消费者可不是谁生产的“鸡蛋”都吃的，这样不同的生产者生产出来的“鸡蛋”，消费者就可以选择性的“吃”了。
● broker：就是篮子了。
大家一定要学会抽象的去思考，上面只是属于业务的角度，如果从技术角度，topic标签实际就是队列，生产者把所有“鸡蛋（消息）”都放到对应的队列里了，消费者到指定的队列里取。
ZooKeeper
ZooKeeper是什么：
是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。
理解分布式锁应用场景：
在分布式锁服务中，有一种最典型应用场景，就是通过对集群进行Master选举，来解决分布式系统中的单点故障。什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。主节点负责分发任务，从节点负责处理任务，当我们的主节点发生故障时，那么整个系统就都瘫痪了，那么我们把这种故障叫作单点故障。
传统方式
是采用一个备用节点，这个备用节点定期给当前主节点发送ping包，主节点收到ping包以后向备用节点发送回复Ack，当备用节点收到回复的时候就会认为当前主节点还活着，让他继续提供服务。
当主节点挂了，这时候备用节点收不到回复了，然后他就认为主节点挂了接替他成为主节点。
但是这种方式就是有一个隐患，就是网络问题。
也就是说我们的主节点的并没有挂，只是在回复的时候网络发生故障，这样我们的备用节点同样收不到回复，就会认为主节点挂了，然后备用节点将他的Master实例启动起来，这样我们的分布式系统当中就有了两个主节点也就是—双Master， 出现Master以后我们的从节点就会将它所做的事一部分汇报给了主节点，一部分汇报给了从节点，这样服务就全乱了。为了防止出现这种情况，我们引入了 ZooKeeper，它虽然不能避免网络故障，但它能够保证每时每刻只有一个Master。我么来看一下ZooKeeper是如何实现的。
ZooKeeper解决方案
(1) Master启动
在引入了Zookeeper以后我们启动了两个主节点，”主节点-A”和”主节点-B”他们启动以后，都向ZooKeeper去注册一个节点。我们 假设”主节点-A”锁注册地节点是”master-00001”，”主节点-B”注册的节点是”master-00002”，注册完以后进行选举，编号最 小的节点将在选举中获胜获得锁成为主节点，也就是我们的”主节点-A”将会获得锁成为主节点，然后”主节点-B”将被阻塞成为一个备用节点。那么，通过这 种方式就完成了对两个Master进程的调度。
(2) Master故障
如果”主节点-A”挂了，这时候他所注册的节点将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，这时候”主节点-B”将在选举中获胜，替代”主节点-A”成为主节点。
(3) Master 恢复
如果主节点恢复了，他会再次向ZooKeeper注册一个节点，这时候他注册的节点将会是”master-00003”，ZooKeeper会感知节点的变化再次发动选举，这时候”主节点-B”在选举中会再次获胜继续担任”主节点”，”主节点-A”会担任备用节点。
Storm
Storm是什么
Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。
深入理解storm
在Storm之前，进行实时处理是非常痛苦的事情: 需要维护一堆消息队列和消费者，他们构成了非常复杂的图结构。消费者进程从队列里取消息，处理完成后，去更新数据库，或者给其他队列发新消息。
这样进行实时处理是非常痛苦的。我们主要的时间都花在关注往哪里发消息，从哪里接收消息，消息如何序列化，真正的业务逻辑只占了源代码的一小部分。一个应用程序的逻辑运行在很多worker上，但这些worker需要各自单独部署，还需要部署消息队列。最大问题是系统很脆弱，而且不是容错的：需要自己保证消息队列和worker进程工作正常。
Storm完整地解决了这些问题。它是为分布式场景而生的，抽象了消息传递，会自动地在集群机器上并发地处理流式计算，让你专注于实时处理的业务逻辑。
Storm的特点
- 编程简单：开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单
- 高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景。
- 分布式：可以轻松应对数据量大，单机搞不定的场景
- 可扩展： 随着业务发展，数据量和计算量越来越大，系统可水平扩展
- 容错：单个节点挂了不影响应用
- 消息不丢失：保证消息处理
Hadoop
hadoop是什么
Hadoop是一个用于分布式大数据处理的编程框架。同时它也是个大数据处理完整的生态系统，围绕着Hadoop，这个生态系统还包括但不限于：
● HBase
● Hive
● Pig
● Spark
● ZooKeeper
理解hadoop
假设老王在某不知名IT公司工作，由于最近太阳活动异常，引起了领导的外甥的读硕士的同学的关注，领导让老王把山西铁岛太阳射电望远镜观测到的近30年的太阳射电数据下载下来，让老王从里面找到最高的记录。老王毕竟搞挨踢已有多年，虽然技术不行，终日碌碌无为，但多年的直觉告诉老王这个很简单。老王立刻下载了其中一个文件并大致看了文件的机构：数据保存在txt文件里，每行N列，其中包含了时间和数据信息列，大约每0.1s记录一条数据，一个文件记录15分钟的数据，大约有9000条记录，1个小时4个文件，1天96个文件，30年大约1051200个文件，一共大约100亿条数据，这其中还有一些损坏的文件，还有一些用9999表示的未检测到值的占位数据需要特殊照顾。
老王觉得单机处理这些数据耗时太久，于是老王找来一些公司淘汰下来的旧服务器（一般小公司最破的机器都是服务器），准备每个机器负责一部分，最后把结果汇总，老王在开发的过程中还是遇到了很多问题，比如，如何分配任务，有的机器破，有的机器新，还有的文件大，有的文件小，总是不能保证所有的任务一起完成，先完成任务的机器闲置浪费掉了资源；还有最后把结果通过网络通信汇总起来，如何保证数据不丢失，不覆盖；还有如果某台机器出了问题，如何重新分配任务，这些非核心业务的开发使得老王心力憔悴，还好，老王最后找到了Hadoop这个工具，这个工具给老王提供了一个简单的编程模型，老王在map方法中写了分配的任务的逻辑，在reduce方法中写了合并结果的逻辑，然后Hadoop帮老王完成了其他所有事情，Hadoop就是干这个的。
Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统
MapReduce：并行计算框架
HDFS架构
(1) 主从结构
•主节点，只有一个: namenode
•从节点，有很多个: datanodes
(2) namenode负责：管理
•接收用户操作请求，可以实现对文件系统的操作(一般的操作方式有两种，命令行方式和Java API方式)
•维护文件系统的目录结构(用来对文件进行分类管理)。
•管理文件与block之间关系(文件被划分成了Block，Block属于哪个文件，以及Block的顺序好比电影剪辑)，block与datanode之间关系。
(3) datanode负责：存储
•存储文件
•文件被分成block(block一般是以64M来划分，但每个Block块所占用的空间是文件实际的空间）存储在磁盘上，将大数据划分成相对较小的block块，这样可以充分利用磁盘空间，方便管理。
•为保证数据安全，文件会有多个副本(就好比配钥匙，都是为了预防丢失)，这些副本会一块一块复制，分别存储在不同的DataNode上。
MapReduce架构
(1)主从结构
•主节点，只有一个: JobTracker
•从节点，有很多个: TaskTrackers
(2)JobTracker 负责：
•接收客户提交的计算任务
•把计算任务分给TaskTrackers执行
•监控TaskTracker的执行情况
(3)TaskTrackers负责：
•执行JobTracker分配的计算任务
HBase
HBase是什么
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据
理解HBase
HBase是Google BigTable的开源实现，其相互对应如下：
| Tables | HBase | |
|---|---|---|
| 文件存储系统 | GFS | HDFS |
| 海量数据处理 | MapReduce Hadoop | MapReduce |
| 协同服务管理 | Chubby | Zookeeper |
HBase位于结构化存储层，围绕HBase，各部件对HBase的支持情况：
| Hadoop部件 | 作用 |
|---|---|
| HDFS | 高可靠的底层存储支持 |
| MapReduce | 高性能的计算能力 |
| Zookeeper | 稳定服务和failover机制 |
| Pig&Hive | 高层语言支持，便于数据统计 |
| Sqoop | 提供RDBMS数据导入，便于传统数据库向HBase迁移 |
HIVE
Hive是什么
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
理解Hive
马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop和mapreduce操作专业型太强，所以facebook在这些的基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive是可以说是学习hadoop相关技术的一个突破口
docker
docker是什么
Docker是基于Go语言实现的云开源项目，诞生于2013年初，最初发起者是dotCloud公司，其目标是“Build, Ship and Run Any App, Anywhere”，主要概念包括镜像、容器、仓库。Docker引擎的技术是Linux容器(Linux Containers, LXC)技术。容器有效地将由单个操作系统的资源划分到孤立的组中，以便更好地在孤立的组之间平衡有冲突的资源使用需求。
docker的优点
1.快速分发应用
Docker可以帮助你把控开发各个周期。Docker允许你在本地的开发环境中进行代码开发，然后将开发好的应用整合到团队的开发流程中。
比如：你可以再本地编写代码，当编写完成后。你将代码开发堆栈信息共享给团队成员。当他们也编写完成后，同样共享开发堆栈信息。然后再测试环境中，使用团队共享的开发堆栈就可以进行所需要的测试了。当完成测试后，团队就可以将测试通过的docker镜像(images)发布到产品环境中。
2. 方便部署和易于管理
Docker基于容器的机制可以很容易进行部署。Docker容器可以在本地主机上面执行，也可以在虚拟机中执行，不论这些虚拟机是在本地或者云中。
Docker快速部署和轻量级的特性也使得管理负载变得很容易。你可以快速启动或者销毁容器。这种时间几乎是实时的。
3. 可以执行大量的工作负载
因为Docker具有便于部署和快速启停的方式，同时docker也提供了可行的，符合效益-成本的虚拟机管理机制。使得docker很适合负载要求高的环境。比如:将你的云平台作为PAAS用途时，或者你要求你的环境具有高资源使用率时。