《企业级大数据平台构建：架构与实现》阅读总结
目录
- 基本结构
- 1. 网络虚拟化
- 1.1 大二层交换网络
- 1.2 SDN(Software Defined Network)
- 1.3 NFV(Network Function Virtualization)
- 2. 存储虚拟化
- 2.1 块存储
- 2.1.1 FC-SAN
- 2.1.2 IP-SAN
- 2.2 文件共享存储
- 3. 容器技术
- 3.1 Docker
- 3.2 Harbor
- 3.3 Kubernetes
- 3.3.1 基本信息
- 3.3.2 服务发现机制
- 3.3.3 Namspace资源隔离
- 3.3.4 容器应用资源配额
- 3.3.5 应用统一配置管理
- 4. Mesos提供资源的管理和调度
- 5. 用户安全认证
- 书中给出的技术体系建议
- 新的改变
- 功能快捷键
- 合理的创建标题，有助于目录的生成
- 如何改变文本的样式
- 插入链接与图片
- 如何插入一段漂亮的代码片
- 生成一个适合你的列表
- 创建一个表格
- 设定内容居中、居左、居右
- SmartyPants
- 创建一个自定义列表
- 如何创建一个注脚
- 注释也是必不可少的
- KaTeX数学公式
- 新的甘特图功能，丰富你的文章
- UML 图表
- FLowchart流程图
- 导出与导入
- 导出
- 导入
基本结构
1. 网络虚拟化
通过技术手段使原来一个物体服务器的单ip端点存在变为多个拥有独立IP的虚拟机，且虚拟机的IP地址和物理机的IP地址属于两个不同的IP地址平面，相互隔离
1.1 大二层交换网络
即虚拟局域网，只有交换没有路由。如VXLAN和GRE。
1.2 SDN(Software Defined Network)
通过虚拟化平台提供的网络管理界面，采用软件方式完成任意业务所需的底层网络的规划、部署、扩容和自动化管理能力。
软硬件耦合，要求厂商自己有实现底层协议的能力，目前各个厂商Restful API没有一个统一的标准。
网络层次分为：
- 数据平面
- 控制平面
- SDN Controller定义的网络管理接口（Restful API）
1.3 NFV(Network Function Virtualization)
软硬件分离，网络功能虚拟化实现
2. 存储虚拟化
普遍的设计思路为以IP-SAN为核心，最下层是一个存储池，集成了各类存储设备，最上层有一个标准网关，负责控制存储池里的所有存储单元，在网关之上开放Restful API接口供上层应用调用。
图在P12
2.1 块存储
2.1.1 FC-SAN
基于光纤的SAN存储设备。性能特别高，网络存储特别快，一般用于高性能I/O场景。缺点是端口数量有限，交换机不能任意扩展，不适合大规模云计算。
2.1.2 IP-SAN
基于IP的SAN技术。性能与FC-SAN差距10-15%，可满足Hadoop的存储要求
2.2 文件共享存储
通常由多个X86服务器或者存储设备组成一个超大的存储网，在其上提供分布式文件系统，如GlusterFS，Ceph等，使用该技术的有各类云盘。特点是规模可以很大，但是读写性能差，I/O存储比较慢，适合小数据量的读取，可作为文件备份或者是文件存储，不适合存储数据库的数据文件。
3. 容器技术
Docker提供微服务基础虚拟化技术，将微服务进程打包成独立镜像，存储在统一的镜像仓库里（Harbor实现镜像服务高可用以及安全管理），Kubernetes实现容器编排，Jenkins、Git/Gitlab、SonarQube、Openshift提供授权管理和web界面推进DevOps。
3.1 Docker
提供容器标准化和基础组件标准化打包。
3.2 Harbor
一个企业级的 Docker Registry，可以实现 images 的私有存储、容灾备份、日志统计和权限控制等功能。可以通过:
- Keepalived、Haproxy、MySQL-Replicas
- Harbor on Kubernetes
实现Harbor服务的高可用
3.3 Kubernetes
3.3.1 基本信息
Kubernetes可以实现资源调度，容器发布，状态监控，弹性扩容，滚动更新，故障恢复，服务发现，负载均衡等。
其实现了：
- 自动化的任务管理：
- 应用自动发布
- 应用自动故障恢复
- 应用扩容缩容
- 应用滚动升级
- 微服务架构体系的支撑
- 服务拆分
- 服务发现
- 最大化资源的利用率
3.3.2 服务发现机制
kubernetes的服务发现机制包括：
- 环境变量：严格要求服务创建的先后顺序
- DNS服务：可能存在DNS性能问题
- Ingress机制实现将不同的URL访问请求转发到不同的service后端
3.3.3 Namspace资源隔离
通过不同的namespace实现不同工作组的区分，实现pod、service、rc等k8s资源的隔离，对应openshift的project概念。
初步设想实现用户二级管理，在每个独立namespace内实现管理员和用户机制，namespace级别的管理员对应cluster级别的普通用户。
3.3.4 容器应用资源配额
kubernetes可以在容器、Pod和Namespace三个级别对集群的资源进行限制。
- 在容器级别，主要是CPU、内存的限制。
- 在pod级别，可以对一个Pod中全部容器的可用资源进行限制。
- namespace级别，可以既对全部Pod的计算资源进行限制，也可以对资源对象的数量进行限制，包括可创建的Pod、RC、Service等资源对象的个数。
3.3.5 应用统一配置管理
kubernetes提供了ConfigMap对象，可以通过将该资源对象挂载到容器某路径或注入环境变量的形式进行配置。
kubernetes也提供了Secret对象，提供了加密数据的配置注入。
4. Mesos提供资源的管理和调度
有几类不适合容器云提供服务的程序：
- Hadoop/Spark的大数据类应用本身对资源的消耗很高，且自带调度管理功能，在容器环境里直接运行并不适合。
- 对性能要求高，要求运行稳定的程序
- 容易引起内核崩溃的程序
故我们需要考虑容器化应用和非容器化应用并存的环境。
一般有几种解决思路：
- 静态分区：将容器化环境和非容器化环境的主机进行静态切割，各自单独管理，相互隔离。
- 虚拟机资源池：通过OpenStack等虚拟机技术将底层物理资源虚拟化为资源池，容器环境和非容器环境在其上进行资源的动态调整，以提高资源利用率
- 使用Hadoop YARN作为统一的资源管理调度平台，将大数据应用改造为YARN支持的方式运行。
- 使用DC/OS（数据中心操作系统），将物理资源进行抽象使用统一的平台对资源进行管理。对应的有Apache Mesos
Mesos的核心功能是实现数据中心资源的统一管理，为运行在Mesos上的软件提供资源，这些软件在Mesos架构中称为应用框架，应用框架使用Mesos提供的资源工作，在这个过程中Mesos将主机的资源封装为资源邀约，根据算法分配给某一个框架，该应用框架收到资源邀约之后根据自己的内部状态和算法决定如何使用该资源邀约。
目前Mesos资源配置支持5种内置资源类型：CPU、GPU、内存、磁盘和网络端口，和其他的扩展资源类型。
5. 用户安全认证
OAuth实现用户认证
书中给出的技术体系建议
如果企业搭建基于容器的PaaS平台，Kubernetes是比较好的选择；如果要搭建数据中心DC/OS，则Mesos+Kubernetes是最优的选择。
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
新的改变
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
- 全新的界面设计 ，将会带来全新的写作体验；
- 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
- 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
- 全新的 KaTeX数学公式 语法；
- 增加了支持甘特图的mermaid语法1 功能；
- 增加了 多屏幕编辑 Markdown文章功能；
- 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
- 增加了 检查列表 功能。
功能快捷键
撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
合理的创建标题，有助于目录的生成
直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。
如何改变文本的样式
强调文本 强调文本
加粗文本 加粗文本
标记文本
删除文本
引用文本
H2O is是液体。
210 运算结果是 1024.
插入链接与图片
链接: link.
图片: 
带尺寸的图片:
当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。
如何插入一段漂亮的代码片
去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.
// An highlighted block
var foo = 'bar';
生成一个适合你的列表
- 项目
- 项目
- 项目
- 项目
- 项目1
- 项目2
- 项目3
- 计划任务
- 完成任务
创建一个表格
一个简单的表格是这么创建的：
| 项目 | Value |
|---|---|
| 电脑 | $1600 |
| 手机 | $12 |
| 导管 | $1 |
设定内容居中、居左、居右
使用:---------:居中
使用:----------居左
使用----------:居右
| 第一列 | 第二列 | 第三列 |
|---|---|---|
| 第一列文本居中 | 第二列文本居右 | 第三列文本居左 |
SmartyPants
SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：
| TYPE | ASCII | HTML |
|---|---|---|
| Single backticks | 'Isn't this fun?' |
‘Isn’t this fun?’ |
| Quotes | "Isn't this fun?" |
“Isn’t this fun?” |
| Dashes | -- is en-dash, --- is em-dash |
– is en-dash, — is em-dash |
创建一个自定义列表
- Markdown
- Text-to- HTML conversion tool
- Authors
- John
- Luke
如何创建一个注脚
一个具有注脚的文本。2
注释也是必不可少的
Markdown将文本转换为 HTML。
KaTeX数学公式
您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分
Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.
你可以找到更多关于的信息 LaTeX 数学表达式here.
新的甘特图功能，丰富你的文章
- 关于 甘特图 语法，参考 这儿,
UML 图表
可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:
这将产生一个流程图。:
- 关于 Mermaid 语法，参考 这儿,
FLowchart流程图
我们依旧会支持flowchart的流程图：
- 关于 Flowchart流程图 语法，参考 这儿.
导出与导入
导出
如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。
导入
如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。
mermaid语法说明 ↩︎
注脚的解释 ↩︎