OceanBase

阅读更多

 

OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事 务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如 临时表，视图(view)，研发团队把有限的资源集中到关键点上，当前 OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。 ^[1]  

目前OceanBase已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过2.5TB，并会逐步在淘宝内部推

 

OceanBase功能

OceanBase设计和实现的时候暂时摒弃了不紧急的DBMS的功能，例如临时表，视图(view)，研发团队把有限的资源集中到关键点上，当前OceanBase主要解决 数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。

OceanBase数据访问特点

虽然数据总量比较大，但跟许多行业一样，淘宝业务一段时间(例如小时或天)内数据的增删改是有限的(通常一天不超过几千万次到几亿次)，根据这个特点，OceanBase把一段时间内的增删改等修改操作以增量形式记录下来(称之为 动态数据，通常保存在 内存中)，这样也使得了主体数据在一段时间内保持了相对稳定(称之为 基准数据)。

由于 动态数据相对较小，通常情况下，OceanBase把它保存在独立的 服务器UpdateServer的 内存中。以 内存保存增删改记录极大地提高了系统写 事务的性能。此外，假如每条修改平均消耗100 Bytes，那么10GB 内存可以记录100M(即1亿)条修改，且扩充UpdateServer内存即增加了内存中容纳的修改量。不仅如此，由于冻结后的 内存表不再修改，它也可以转换成sstable格式并保存到SSD固态盘或磁盘上。转储到SSD固态盘后所占 内存即可释放，并仍然可以提供较高性能的读服务，这也缓解了极端情况下UpdateServer的内存需求。为了应对机器故障， 动态数据 服务器UpdateServer写commit log并采取双机(乃至多机)热备。由于UpdateServer的主备机是同步的，因此备机也可同时提供读服务。

因为 基准数据相 对稳定，OceanBase把它按照主键(primary key，也称为row key)分段(即tablet)后保存多个副本(一般是3个)到多台机器(ChunkServer)上，避免了单台机器故障导致的服务中断，多个副本也提 升了系统服务能力。单个tablet的尺寸可以根据应用数据特点进行配置，相对配置过小的tablet会合并，过大的tablet则会分裂。

由于tablet按主键分块连续存放，因此OceanBase按主键的范围查询对应着连续的磁盘读，十分高效。

对于已经冻结/转储的 动态数据，OceanBase的ChunkServer会在自己不是太繁忙的时候启动 基准数据与冻结/转储 内存表的合并，并生成新的基准数据。这种合并过程其实是一种范围查询，是一串连续的磁盘读和连续的磁盘写，也是很高效的。

传统DBMS提供了强大的事务性、良好的一致性和很短的查询修改响应时间，但数据规模受到严重制约，缺乏扩展性;现代 云计算提供了极大的数据规模、良好的扩展性，但缺乏跨行跨表事务、 数据一致性也较弱、查询修改响应时间通常也较长，OceanBase的设计和实现融合了二者的优势：

UpdateServer：类似于DBMS中的DB角色，提供跨行跨表 事务和很短的查询修改的响应时间以及良好的一致性。

ChunkServer：类似于 云计算中的工作机(如GFS的chunk server)，具有数据多副本(通常是3)、中等规模数据粒度(tablet大小约256MB)、自动负载平衡、宕机恢复、机器plug and play等特点，系统容量及性能可随时扩展。

MergeServer：结合ChunkServer和UpdateServer，获得最新数据，实现 数据一致性。

RootServer：类似于 云计算中的主控机(如GFS master)，进行机器故障检测、 负载平衡计算、负载迁移调度等。

上述的DBMS和 云计算技术的优势互补使得OceanBase既具有传统DBMS的跨行跨表 事务、数据的强一致性以及很短的查询修改响应时间，还有云计算的海量数据管理能力、自动故障恢复、自动 负载平衡以及良好的扩展性。

OceanBase当前在淘宝的应用

OceanBase现在已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过2.5TB，并会逐步在淘宝内部推广，也期待外部合作者。

 

http://code.taobao.org/p/OceanBase/wiki/quickstart/