阅读原文请点击
摘要： 背景 水的流动汇成江河大海，孕育生命，形成大自然生态。数据流动，推进社会进步，拓展业务边界。 《从人类河流文明 洞察 数据流动的重要性》 以某淘系业务案例展开，看看用户如何利用阿里云RDS PostgreSQL，HybridDB for PostgreSQL，海量对象存储OSS，打造一个从流计算到在线业务，再到数据分析和挖掘的业务，发挥数据的价值，拓展业务的边界。
背景
水的流动汇成江河大海，孕育生命，形成大自然生态。数据流动，推进社会进步，拓展业务边界。
《从人类河流文明 洞察 数据流动的重要性》
以某淘系业务案例展开，看看用户如何利用阿里云RDS PostgreSQL，HybridDB for PostgreSQL，海量对象存储OSS，打造一个从流计算到在线业务，再到数据分析和挖掘的业务，发挥数据的价值，拓展业务的边界。
业务简介
一个电商业务通常会涉及 商家、门店、物流、用户、支付渠道、贷款渠道、商品、平台、小二、广告商、厂家、分销商、店主、店员、监管员、税务、质检等等角色。
这些对象的活动会产生大量的 浏览、订单、投诉、退款、纠纷等数据。
平台业务的目标：
根据这些对象的数据，实时的进行分析，实时的舆情展示，实时的找出需要主动服务的对象等。属于一个智能化的服务运营平台。
架构
要实现“智能化的服务运营平台”的目标，我们需要将各个业务线产生的相关行为、字典化数据准实时汇总起来，进行统一的实时分析。
1、数据源
数据源是来自各个业务线的数据库或实时日志、消息队列、关系数据库、流计算平台等。
2、实时分析数据库
实时分析型数据库，选择阿里云HybridDB for PostgreSQL是一款基于Greenplum开源版本GPDB打造的分布式实时分析型数据库。支持PB级的数据量，支持行列混合存储，支持压缩，支持更新。
已有互联网、金融、国家安全等行业大量用户案例。
OLAP语法支持全面。阿里云HDB在开源基础上还增加了JSON,估值类型HLL的支持。同时内核层面进行了优化，增加了LLVM，SORTKEY，METADATA，OSS外部表，MADLIB机器学习库 等特性，大幅提升分析型SQL的性能。
3、调度平台
HDB for PostgreSQL是一个分析型的数据库，为分析场景设计，虽然支持单条INSERT的写入，但是性能最好的依旧是并行的数据灌入。比如使用阿里云HybridDB for PostgreSQL的OSS外部表功能，从阿里云OSS对象存储并行的导入数据。
由于数据来源多，写入并发高，所以建议的做法是通过调度的方法，准实时的将数据合并然后并行写入到HybridDB for PostgreSQL
同时对于一些状态数据，实际上业务仅需最新的一条，所以单条INSERT也会增加数据的写入量。因此我们会增加一个实时合并数据的数据库。
4、实时合并数据库
实时合并数据库的设计目标：
可以接受高并发的写入，同时支持数据合并，支持直接将数据写入OSS对象存储。
在阿里云中对应的是RDS PostgreSQL产品。它可以支持非常高并发的数据写入(单实例可以达到几百万行/s的写入速度)，同时支持将数据并发的写入OSS对象存储。从而实现数据的合并，最终合并到HDB for PostgreSQL的目标。
5、OSS对象存储
阿里云OSS对象存储，与RDS PostgreSQL, HybridDB for PostgreSQL结合，可以实现用户数据的冷热分离，数据中转等功能（作为数据中转时，每个HybridDB for PostgreSQL 目前已支持每个数据节点30MB/s的速度，如果有128个实例，速度就达到了4GB/s）。
OSS海量存储，海量带宽，廉价。
在阿里集团、阿里公有云用户群中已经有大量成熟的案例，通过OSS实现数据库的冷热分离，数据高速中转。
6、BI运营平台
业务方围绕HybridDB for PostgreSQL数据库打造的一个BI平台。运算交给HybridDB for PostgreSQL。
实时合并与调度实施细节
RDS PostgreSQL
RDS PostgreSQL 负责接收实时业务数据，合并业务数据，并将数据写入OSS。
为了实现高效的数据切换和清理（因为作为数据合并的数据库，不需要保留历史数据，只管合并和导出到OSS就好了）。
同时RDB PostgreSQL也可以作为业务方的OLTP业务库来使用。功能强大且稳定性好。
1、需要创建两张表，应用程序往其中的一张表写，通过调度系统来实现导出到OSS和切换表名的动作。
create table feed_log (id int, c1 int, c2 int, info text, crt_time timestamp);
create index idx_feed_log on feed_log (id, crt_time desc);
create table feed_log_shadow (id int, c1 int, c2 int, info text, crt_time timestamp);
create index idx_feed_log_shadow on feed_log (id, crt_time desc);
2、来源数据写入feed_log
insert into feed_log values (?,?,?,?,?);
3、调度（将feed_log数据写入OSS）
3.1 切换表名。
begin;
set lock_timeout='2s';
alter table feed_log_shadow rename to tmp_feed_log_shadow;
alter table feed_log rename to feed_log_shadow;
alter table tmp_feed_log_shadow rename to feed_log;
end;
3.2 将feed_log的数据，通过RDS PostgreSQL OSS_EXT外部表接口导入到OSS
begin;
set lock_timeout='2s';
lock table feed_log_shadow in ACCESS EXCLUSIVE mode;
drop table if exists oss_ext;
-- 创建外部表语法请参考
-- https://help.aliyun.com/document_detail/44461.html
-- https://help.aliyun.com/document_detail/35457.html
create oss_ext ....;
-- 使用窗口查询，将合并后的数据写入外部表，每个PK，取最后一条记录。（取最后一条是业务需求，请读者按自己的需求来）
insert into oss_ext
select id,c1,c2,info,crt_time from
(select row_number() over(partition by id order by crt_time desc) as rn, * from feed_log_shadow) t
where rn=1;
-- 清除已导入oss的记录
truncate feed_log_shadow;
end;
RDS PostgreSQL的调度步骤结束，接下来就是将OSS的数据合并到HybridDB for PostgreSQL。
HybridDB for PostgreSQL
创建HybridDB for PostgreSQL的全量表，但是业务上的需求是ID唯一。
我们选择ID为分布键，crt_time为分区键，但是分区键的VALUE可能变更，所以后面合并的时候需要注意方法。
create table feed_uniq (id int, c1 int, c2 int, info text, crt_time timestamp)
with (APPENDONLY=true, BLOCKSIZE=2097152,ORIENTATION=column)
distributed by (id)
partition by range (crt_time)
(
start (date '2017-07-01') inclusive
end (date '2017-08-01') exclusive
every (interval '1 day')
) ;
创建HybridDB for PostgreSQL OSS外部表语法请参考
https://help.aliyun.com/document_detail/44461.html
https://help.aliyun.com/document_detail/35457.html
-- 创建HybridDB for PostgreSQL外部表，指向RDS PG导出的OSS对应的目录
-- 仅需创建一次
create writeable external table oss_ext ....;
3.3 导入到HybridDB for PostgreSQL
begin;
-- 合并来自上游的OSS文件到HDB的feed_uniq已有记录
-- update(由于可能涉及到分区字段的跨分区更新，所以拆分成两个步骤delete, insert)
-- delete
delete from feed_uniq using oss_ext where feed_uniq.id=oss_ext.id;
-- insert（包括更新和实际的新增数据）
insert into feed_uniq (...) select * from oss_ext;
-- 清除oss bucket
调用OSS API清除对应的oss bucket
调度系统
将以上的调度事务，写入调度平台，设置好依赖关系，就可以实现增量、准实时的数据写入到HybridDB for PostgreSQL了。
《使用D2工作流在ODPS和HybridDB for PG（Greenplum）间自动同步数据》
阿里云HybridDB for PostgreSQL的内核进化
HybridDB for PostgreSQL作为一款支持冷热分离、线性扩展的分析型数据库，除了具备最基本的数据分析能力，阿里云数据库内核团队还对其进行了功能、性能方面的扩展？
1、OSS 海量外部存储。
通过OSS海量存储，打通了云端所有的数据源，同时通过OSS支持冷热数据分离。
2、HLL估值插件。
在分析场景中，估值计算是一个非常常见的需求，通过HLL估值插件，HDB PG支持了海量数据的高效估值查询。
3、MADlib机器学习插件。
通过MADlib机器学习插件，用户可以使用pivotalR和R语言连接HDB PG，实现R的并行计算。
4、开放plpython编程接口。
用户可以在HDB PG中编写python程序，实现复杂的业务处理逻辑或UDF。
5、PostGIS插件
支持地理位置海量数据的挖掘，例如时间、空间维度的数据挖掘。
6、JSON
采用JSON类型，支持更加灵活数据来源的数据挖掘。
7、SORT KEY
通过SORT KEY，用户可以在不建索引的情况下，实现高效的数据过滤和检索。特别适合分析业务中的历史静态数据。对常用的查询列或排序列进行CLUSTER操作后，通过METASCAN，可以在没有索引的情况下，实现比全表扫描快千倍的性能提升。
8、LLVM
静态编译，用户在对大量数据进行访问或运算时，降低数据库内核层面的开销。（类似电池充电或放电时的内阻开销），内耗降低后，性能有3到5倍的提升。
9、向量计算。（开发中）
利用CPU的向量计算指令，批量处理数据，有10倍左右的性能提升。
10、METASCAN
结合SORT KEY，STATS等元信息，实现页级、存储级的WHERE,PROJECTION等下推。从而减少计算层的数据接收量或处理开销。
11、数据写入支持三角模式，开放式驱动包。（开发中）
利用三角模式，用户可以直接写数据到HDB PG的数据节点，减少MASTER节点的开销，消除直接写入的瓶颈。（现有技术通过OSS消除写入瓶颈）
12、支持云生态圈。包括 ETL云服务、BI云服务 等。
简化用户的开发成本，利用云生态，打造智能的企业数据BI平台，作为企业大数据分析的运算和存储的核心引擎。
13、内置高可用、备份调度。扩容、缩容 一键完成。降低用户的使用成本。
达到的效果
通过这个架构，用户实现了流计算、在线业务、数据分析的业务数据闭环。
将分析时间从天的频率提升到了分钟级别。
小结
利用阿里云的云生态，RDS PostgreSQL，HybridDB for PostgreSQL，对象存储OSS，QuickBI，流计算平台，消息队列，中间件服务等一系列云服务，帮助企业打造智能的企业数据BI平台，HybridDB for PostgreSQL也企业大数据实时分析运算和存储的核心引擎。
实现了企业在云端从流计算、在线业务、到数据实时分析的业务数据闭环。
参考
《从人类河流文明 洞察 数据流动的重要性》
阿里云 RDS PostgreSQL
阿里云 HybridDB for PostgreSQL
《Greenplum 性能评估公式 - 阿里云HybridDB for PostgreSQL最佳实践》
阅读原文请点击