iDB-数据库自动化运维平台

原始链接http://www.cnblogs.com/zhengyun_ustc/p/idb.html

关键词:数据库,MySQL,自动化运维,AutoDDL,刷库,帐号授权,审核,回滚

提纲:

数据库自动化运维什么?别人家是怎么玩的?
我们打算做哪些特性?
我们的iDB
iDB 是刘勤红部门推出的数据库自动化运维平台,它其实已经断断续续开发了几个月了,线上也跑了一段时间,最近又发布了新版本。版本迭代的主力是王晓华同学,李世杰也参与了一部分开发工作,曹富志和张永奎是需求方。

iDB 的主要目的是解决绝大部分重复、复杂的数据库运维工作 ,满足业务对数据库信息查询和快速变更需求,借此提升研发效率,保证数据库操作符合审计要求,有可追溯的变更和审核日志。20151208Updated:更多技术细节请阅读iDB是如何运转的 一。

0x00,数据库自动化运维什么?别人家是怎么玩的?
当数据库越来越多时,比如按业务垂直分库了,10个,50个,100个……

当数据库关系越来越复杂时,比如 Cobar 水平拆库,从库分组,级联从库,合并库,比如某些索引要求只建在特定从库上……

DBA 的日常管理,手速再快,也不得不希望有系统来帮忙,毕竟数据库拓扑建立起来后,很多操作都可以自动化完成。

举个例子,工程上线前要开数据库访问帐号和权限。没有平台的话,那就得 DBA 一个一个去建,写库是 M 打头的帐号,读库是 S 打头的帐号,密码强度还得高。有了平台之后,DBA 只需要审核研发人员提的需求即可,系统自动化生成帐号密码,然后发邮件给申请人,或者将密码生成对称加密后的密文展示给申请人。

再比如,刷库。DBA 刷库之前为安全起见,都会先备份,然后刷库,一旦刷库有问题需要回滚数据,至少有东西恢复。有了平台之后,研发人员提刷库脚本,DBA 审核,并设定执行时间,系统会自动备份数据,一旦有问题,DBA 点击回滚按钮,系统自动将数据刷回去。

那么,别人家的数据库自动化运维平台都有什么特性呢?

我们先来看一下美团,它的数据库自动化运维包括如下内容:

美团,它的数据库自动化运维包括如下内容

iDB-数据库自动化运维平台_第1张图片

图1 美团的功能点

可以看到,上图一些功能点如慢查,Processlist 等,我们是放在天机系统里的。

同样是 AutoDDL(建库、建表及更改表字段定义和属性)功能。

赶集的逻辑是:

赶集的AutoDDL逻辑
iDB-数据库自动化运维平台_第2张图片

图2 赶集的AutoDDL

美团的逻辑是:

美团DDL逻辑
iDB-数据库自动化运维平台_第3张图片

图3 美团的AutoDDL

新浪则:

新浪iDB
iDB-数据库自动化运维平台_第4张图片
图4 新浪的AutoDDL

对于线上数据订正(即刷库)功能。

赶集的订正逻辑
iDB-数据库自动化运维平台_第5张图片
图5 赶集的订正逻辑

对于线上数据查询功能。

阿里的 iDB 界面如下所示:

阿里的iDB
iDB-数据库自动化运维平台_第6张图片

图6 阿里iDB的线上数据查询

对于备份还原功能。

阿里的iDB备份管理
iDB-数据库自动化运维平台_第7张图片
图7 阿里iDB的备份管理

还有人把数据库监控和报警做到这种系统里了。

新浪的数据库监控
iDB-数据库自动化运维平台_第8张图片
图8 新浪的数据库监控

大致如此,各个公司八仙过海各显其能,DBA 和研发运维的生产力大大提升。

0x01,我们打算做哪些特性?

我们的 iDB 有如下特性:

已经上线的:
线上帐号申请、审核和管理
线上数据查询
线上数据订正
AutoDDL
着手在做的:
自动识别数据库拓扑关系(记得吗,我们在天机系统里曾经做过)
新建数据库实例
备份管理
……

0x02,我们的 iDB

首先,iDB 的用户角色分为研发人员和 DBA。首页会有一个任务导航,如下图所示:

我们的iDB首页-Engineer版
iDB-数据库自动化运维平台_第9张图片

图9 云纵iDB首页-工程师的任务看板

我作为 Engineer,登录 idcenter,跳到 iDB 后,可以:

发起订正申请,个人帐号申请,工程帐号申请,DDL 申请,

还可以:

线上数据查询。

我如果是 DBA,任务看板就变为:

我们的iDB首页-DBA版
iDB-数据库自动化运维平台_第10张图片

图10 云纵iDB首页-DBA任务看板

相对 Engineer,增加了:

订正审核,帐号审核,DDL 审核,数据库组管理,任务管理等。

简单介绍这么多,以后再介绍一些更高级的特性。再次感谢王晓华、刘勤红、曹富志、张永奎和李世杰!

p.s.:云纵的 iDB 是我们自主开发的系统,只是 codename 与阿里的 iDB 一样。天机,鹰眼,也均如此,名字一样,但功能和实现是我们自己的脑力成果。
更多技术细节请阅读iDB是如何运转的 一。

你可能感兴趣的:(研发解决方案)