大数据管理与分析技术课堂笔记（一）——大数据存储策略：虚拟化存储+分布式存储（块存储+分布式文件存储+对象存储+表存储）

3.4 大数据存储策略

3.4.1 虚拟化存储

虚拟化技术：通过映射或抽象的方法屏蔽物理设备复杂性，增加一个管理层面，激活一种资源并使之更易于透明控制。它可以有效简化基础设施的管理，增加IT资源的利用率和能力，比如服务器、网络或存储。

• 对于用户：虚拟化的存储资源就像是一个巨大的“存储池”，无须知道具体的磁盘、磁带及存储路径
• 对于管理人员：虚拟存储池是采取集中化的管理，并根据具体的需求把存储资源动态地分配给各个应用

虚拟化存储主要分类：

• 基于主机的虚拟存储依赖于代理或管理软件，安装在一个或多个主机上。（最易实现）
• 基于存储设备的虚拟化：依赖于提供相关功能的存储模块，缺乏第三方软件支持。
• 基于网络的虚拟存储：基于互联设备的虚拟化、基于路由器的虚拟化。

3.4.2 分布式存储

 1. 块存储

块存储将存储区域划分为固定大小的小块，是存储裸存储设备的存储空间对外暴露方式。

块存储存储方式：DAS、SAN

2. 分布式文件存储

文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。

3. 对象存储

（1）对象存储成为云存储技术的新热点。

（2）传统存储vs对象存储：

• 传统：存储系统中用文件或块作为基本的存储单位（块都一样大），块设备要记录每个存储数据块在设备上的位置。
• 对象：对象是数据存储的基本单元（可大可小），对象都有对象标识（ID）

（3）对象存储系统组成

• 对象：包含了文件数据以及相关的属性信息，可以进行自我管理
• OSD（Object-based Storage Device）：基于对象的存储设备：一个智能设备，是object的集合
• 元数据服务器MDS（Metadata Server）：系统提供元数据，cache一致性等服务
• 文件系统：文献系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上
• 网络连接 

a. 对象：

        对象是系统中数据存储的基本单位。

        对象特点：

• 介于文件和块之间的一种抽象、具有唯一ID标识符、提供类似文件的访问方法
• 对象不同于文件：每个对象可能包括多个文件、或是文件的一部分、独立于OS
• 每个对象是一系列有序字节的集合，是数据和数据属性的集合
• 对象维护自己的属性

 b. OSD 

每个OSD都是一个智能设备，具有自己的存储设备、处理器、内存及系统网络等。

主要功能：数据存储、安全访问

OSD提供的主要功能：

• 数据存储
• 智能分别
• 每个对象元数据的管理                        

c. 文件系统

文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。`

 4. 表存储

表存储系统用来存储和管理结构化/半结构化数据，向应用系统提供高可扩展的表存储空间，包括事务型数据库、分析型数据库。

 四种存储方式的对比：