大话存储系列13——对象存储

1、

对象存储系统（Object-Based Storage System）是综合了NAS和SAN的优点，同时具有SAN的高速直接访问和ＮＡＳ的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。

传统块存储与对象存储结构对比示意图：

对象存储系统组成

对象(Object)

包含了文件数据以及相关的属性信息，可以进行自我管理

OSD（Object-based Storage Device)

一个智能设备，是Object的集合

文件系统

文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD

元数据服务器(Metadata Server，MDS)

系统提供元数据、Cache一致性等服务

网络连接

1. 对象(Object)

对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。

2、OSD（Object-based Storage Device)

每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。

OSD的主要功能

数据存储和安全访问

OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。

3、文件系统

    文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。 现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。 接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。

同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致  

文件系统读访问实例： 客户端应用发出读请求; 文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD; 然后直接向每个OSD发送数据读取请求； OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端； 文件系统收到OSD返回的数据以后，读操作完成。

元数据服务器 (Metadata Server)

为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。

在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。

在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。

特点

客户端采用Cache来缓存数据 当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性。

为客户端提供认证

为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。

5. 网络连接

为客户端提供认证

为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。

网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来，构成了一个完整的系统。

对象存储设备具有一定的智能，它有自己的CPU、内存、网络和磁盘系统，OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问。目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能：
      （1） 数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。
      （2） 智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。
      （3） 每个对象元数据的管理。OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。
         元数据服务器（Metadata Server，MDS）
          MDS控制Client与OSD对象的交互，主要提供以下几个功能：
      （1） 对象存储访问。
        MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问。
      （2） 文件和目录访问管理。
        MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。
     （3） Client Cache一致性。
        为了提高Client性能，在对象存储系统设计时通常支持Client方的Cache。由于引入Client方的Cache，带来了Cache一致性问题，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。
  对象存储系统的客户端Client
        为了有效支持Client支持访问OSD上的对象，需要在计算节点实现对象存储系统的Client，通常提供POSIX文件系统接口，允许应用程序像执行标准的文件系统操作一样。
 GlusterFS 和对象存储

       GlusterFS是目前做得最好的分布式存储系统系统之一，而且已经开始商业化运行。但是，目前GlusterFS3.2.5版本还不支持对象存储。如果要实现海量存储，那么GlusterFS需要用对象存储。值得高兴的是，GlusterFS最近宣布要支持对象存储。它使用openstack的对象存储系统swift的上层PUT、GET等接口，支持对象存储。