【数据库入门】什么是对象存储？如何配置S3? | OushuDB

基本概念

对象存储，也称为“面向对象的存储”，英文是Object-based Storage。

它综合了网络附加存储(NAS)和存储局域网(SAN)的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

对象存储允许将计算基础架构与存储需求分离。可以在对所有数据进行存储的同时无需监控存储，因此方便扩展并向云中的集群添加节点。它本质上就是一个key-value结构，key是文件的URL路径，value是对应的文件，没有传统文件系统那种目录树的结构，不能直接打开修改文件，只能先下载、修改，再上传文件，所以不支持append和truncate操作，操作接口比较简单，主要接口命令有 PUT/GET/DELETE等。

优点

1. 无限存储 ：服务商可以不停的往资源池里面增加资源
2. 数据安全可靠性高：多个数据中心间复制数据，至少可以保证11个9的数据持久性
3. 运维方便：客户不需要考虑硬件以及存储的运维工作，只要支付相应费用，这些都交由服务商处理

OushuDB支持的对象存储类型

1. Amazon Simple Storage Service (简称S3) 
   亚马逊AWS服务在2006年正式对外推出的云计算对象存储服务。提供行可扩展性、数据可用性、安全性和性能。
2. 腾讯云对象存储（Cloud Object Storage, COS）
   腾讯云提供的一种用于存储海量文件的简单、可拓展、方便获取和分享数据的分布式存储服务，类似于网盘，可以存储任何类型的数据。腾讯云对象存储COS是简单、可拓展、方便获取和分享数据的云端存储服务。对象存储COS有费用低廉、零运维成本、弹性伸缩、安全可靠等优势。

S3配置和操作举例

配置

我们可以在$OUSHU_HOME/conf/oushudb/oushudb-site.xml路径查看和修改配置文件。

要配置S3存储，需要修改如下字段，将value设置为自定义的目录地址。

  hawq_s3_url
  s3.cn-north-1.amazonaws.com.cn:80/ccb-test/s3_system
  URL for accessing S3.

配置完hawq_s3_url后，需要同步配置hawq_s3_config来指定config文件的路径，否则启动时会报错

  hawq_s3_config
  /usr/local/hawq/feature-test/s3/credentials
  The absolute path to the S3 configuration file.

新增hawq_s3_config的注意事项： 所有filespace共用一个config文件 如果修改config文件路径需要重启 如果修改config文件内容，需要停掉现有的active的连接

操作

外部表

OushuDB支持S3只读外部表以及可写外部表，数据存储格式支持TEXT/CVS/ORC三种，支持外表是希望可以操作用户放在S3上的数据，支持的功能如下：

1. DDL：CREATE/DROP/RENAME
2. DML：SELECT/INSERT/COPY（新旧执行器）
3. DCL：支持通过GRANT/REVOKE给用户授权是否可操作S3外表

外部表建表语法，可以参考OushuDB官方文档：

只读外表可以指定单个或者多个文件location，可写表location只能指定一个。

外部表实例:

• 单个路径的S3外部表 --读写均可

create external tasble test_s3_ext_single_location(c1 int) location('s3://http://cos.ap-beijing.myqcloud.com/oushudbtest-1304271688/cis3test/dasituer908176m1_86142537/part1/ /usr/local/oushu/oushudb/credentials') format 'csv' ( DELIMITER ',' );

• 多个路径的S3外部表 ---只能创建可读外部表

create readable external table test_s3_ext_multi_location(c1 int) location('s3://http://cos.ap-beijing.myqcloud.com/oushudbtest-1304271688/cis3test/dasituer908176m1_86142537/part2/ config=/usr/local/oushu/oushudb/credentials', 's3://http://cos.ap-beijing.myqcloud.com/oushudbtest-1304271688/cis3test/dasituer908176m1_86142537/part3/ config=/usr/local/oushu/oushudb/credentials') format 'csv' ( DELIMITER ',' );

创建表之后即可针对不同类型的外部表做相应的操作

内表

因为用户可能会通过外部环境直接操作外部表数据，而S3内表数据的控制权完全在OushuDB，所以相对而言使用S3内表会有更好的可控性。OushuDB支持在对象存储上对对象的增删改查以及事务功能，目前S3内表支持功能如下：

• 只支持ORC的存储格式
• 支持事务（强一致性）：强一致事务要求在任意时刻各节点数据在任意时刻都是一致的
• 支持Random/Hash表
• DDL：CREATE/DROP/ALTER TABLE (RENMAE/DROP COLUMN/ADD COLUMN).../TRUNCATE
• DML：SELECT/INSERT/COPY（新旧执行器）
• datalocality元数据缓存
• direct dispatch优化
• UPDATE/DELETE

S3 内表示例-事务（random表）

S3 内表示例-update/delete和alter table