站在全新的业务视角,重新认识 Bonree Zeus

毋庸置疑,当今IT 运维的重要性正在被更多企业熟知。

根据艾瑞预测数据显示,2021年中国IT服务将突破万亿大关,其中IT运维市场规模将达到2941.2亿元。

​市场规模的另一面是增长速度。IT桔子数据显示,截止2021年8月,IT运维赛道融资金额达21.786亿元人民币,较去年同期的10.66亿元人民币,增长了一倍多。

从IT运维软件的市场规模来看,Gartner认为全球的ITOM(IT Operation Management)的市场规模到20年底达到了339亿美元,同期艾瑞咨询预计国内的市场规模大约在114亿人民币左右。数据看上去似乎并不大,但如果从整个IT运维管理服务市场的角度切入,中国市场空间仅2020年就预计超过2500亿。

显然,IT 运维这个赛道正在被重塑。

​IT 运维企业的业务冗杂难题

​但从 IT 运维的业务场景而言,枝叶繁杂众多,对于IT 运维人员而言,压力也是倍增的。如何兼顾提升业务性能,减轻运维压力是当下IT运维企业们的普遍难题。

以博睿数据为例。

博睿数据作为IT 运维领域的老兵,自成立以来,依托多年的技术积累,不断更新迭代出了多款智能运维产品。

众所周知,监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环。通过监控系统,企业事前可以及时预警发现故障,事后也可利用系统提供翔实的数据用于追查定位问题。而保证上线的各项系统按照预期稳定运行,监控甚至预测什么时候可能会出现故障或风险,快速明确导致故障出现的原因,并提出行之有效的解决方案,是运维的主要工作。

在这个过程中,运维人员要想高效快速的解决企业的运维问题,就必须要收集海量的数据,比如博睿数据 Bonree SDK 和博睿数据Bonree Server 每天要写入上T 的原始数据。当然,除了海量的数据外,数据一般都是具有时间戳的,决定数据价值的也往往是最新的数据,这也决定了其对实时性的要求,当运维数据发生告警时,第一时间告知客户。

此外,为了及时有效的帮助客户提出有效的解决办法,运维人员还需要对数据进行分析,分析方法包括:

即席查询分析,即当监控发现问题时马上对实时数据进行分析;

长周期分析,及查看3个月时间跨度的数据;

多维分析,即从各种维度进行分析;

关联分析,即对各类数据进行联合关联分析等等。
站在全新的业务视角,重新认识 Bonree Zeus_第1张图片

不过,随着数字化转型的深入,更加复杂的IT基础设施和大量的业务系统也让运维人员们开始思考如何在兼顾性能及运维压力上作出平衡。而这也是博睿数据 Bonree Zeus产品发布的一个重要契机。

博睿数据 Bonree Zeus是什么?

​由前文可知,对于运维工作而言,数据分析对业务的提升功不可没。而数据处理大致可以分为两类:联机事务处理 OLTP、联机分析处理 OLAP。

说到联机分析处理则与Bonree Zeus的产品研发有着很大的关系。

OLAP(OnLine Analysis Processing ,联机分析处理 ) 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。在实际的商业分析中,OLAP联机分析更多的是指对数据分析的一种解决方案。

根据博睿数据多年来对于市场的敏锐观察发现企业在产品实践中都会面临联机分析处理OLAP(Online Analytical Processing)的应用场景,而OLAP的数据写多更新少,其中存在大量时序数据,需要更低的查询响应时间和更高的并发多维度查询进程。

因此,博睿数据认为,在数字化转型的大潮下,我们需要一款契合业务、高性能、低成本、自主可控、易运维的产品。于是,通过长期技术调研和深厚企业级数据经验积淀,自主研发了Bonree Zeus系统。
站在全新的业务视角,重新认识 Bonree Zeus_第2张图片

Bonree Zeus是基于Apache Druid二次开发的分布式实时分析数据库,支持PB级数据存储,亚秒级高并发查询,并支持结构化数据和日志数据存储,拥有预聚合、高压缩比等特性。Bonree Zeus系统为博睿数据众多产品提供了稳定可靠的数据仓库支撑。
站在全新的业务视角,重新认识 Bonree Zeus_第3张图片

Bonree Zeus由ZeusManager、Query Server、Master Server及Data Server组成,均支持水平扩展。​

ZeusManager主要负责提供用户API访问,用户可以通过ZeusManager建库,建表,写入数据,查询数据及Job管理。

Query Server主要负责查询,当数据存储在Data Server后,Query Server可以查询多个Data Server上数据,并进行汇总再返回给用户。

Data Server分成2个部分,一个是Middle Manager,主要负责实时数据写入,一个是Historical,主要负责历史数据查询。

​Bonree Zeus能做什么?

1、高速高效

Bonree Zeus使用位图索引,高效支持快速过滤和多列搜索,能够迅速过滤出客户想要的数据,并为即席查询(Ad Hoc)提供了高效的索引。

其提供了近似计算能力,面对高基数数据,能够在精度相对不高的情况下,用有限的内存和时间,快速获取排名、基数、直方图和分位值。

同时,其在存储上可以按时间分区,根据时间查找时序数据的效率大大提升。

Bonree Zeus支持多时间粒度预聚合,面对大时间跨度的历史数据查询,客户能够切身感受到“飞一般的感觉”。

基于列式存储,Bonree Zeus查询时可以只加载需要的列,而实际大部分查询语句也只涉及部分列的查询,所以这种独特的列式存储思路极大提升了查询速度,使得大多数查询可以在1秒内完成。
站在全新的业务视角,重新认识 Bonree Zeus_第4张图片

值得一提的是,Bonree Zeus还可以发挥集群并行计算能力,使得数据入库和查询可以在多个节点上并行处理。

​2、自动化

DPL(Data Processing Language)是博睿数据所致力于开发的一种类SPL(Searching Processing Language)查询语言。其包含了丰富的命令、函数、参数和从句,来完成多样的数据查询,让用户不需要编程就能达到数据分析的效果。
站在全新的业务视角,重新认识 Bonree Zeus_第5张图片

​这一语言同时支持join外部数据源联查,如Zeus数据和mysql联查,这极大降低了开发者的工作量。要知道,过去遇到这样的场景,程序员可是需要自行手工实现join过程的。​

​3、为日志查询赋能

Bonree Zeus支持日志数据的存储和简单的全文检索,并集成了结构化数据和非结构化数据存储的特性。过去,在日志场景中,很多客户都需要额外用ES(Elastic Search)来进行检索,现在,Bonree Zeus则提供了另外一种更加简便高效的选择。

4、节省存储空间

Bonree Zeus在数据入库的同时可以进行实时预聚合,摒弃那些企业用不到的时间精度,并进而将多条数据存为一条。这一方法,显著提升了存储效率并降低了由此带来的性能开销。
站在全新的业务视角,重新认识 Bonree Zeus_第6张图片

基于列式存储的Bonree Zeus,能够对不同类型的数据列采用不同针对性的压缩算法,例如字典编码、位图压缩和类型感知压缩,这使得双副本条件下数据压缩比可达7:2。

5、并发兼具高吞吐量

Bonree Zeus提供了百万级records每秒的入库速度,并同时支持高并发查询支持,保证数据一致性。

6、高可靠,高弹性

一旦Bonree Zeus把数据入库,数据的副本就会存储至深度存储中(支持云存储、HDFS或者共享文件系统)。即使单台数据节点宕机,其仍可以从深度存储中恢复数据。Bonree Zeus所采用的的这一副本机制,同时保证了数据恢复时不会影响查询结果和查询性能。

除此之外,Bonree Zeus所有的节点都支持水平扩展。当系统容量和资源不够时,这一水平扩展模式就可以派上用场。

结语

Bonree Zeus已经在博睿数据的客户群体中进行了长期和广泛的应用。具体而言,在APM 领域可对APM类型的数据进行存储分析;在ITIM领域可用作服务器指标存储;在DEM领域可用作网络监控指标存储及分析;在NPM领域可用做NPM指标数据存储及分析;在指标分析层面,可以存储应用程序各类指标,并提供查询;在数字营销或广告分析层面可以实时摄取各类点击数据,用作广告效应分析;在OLAP层面能够支撑各种dashboard,提供给数据分析师进行多维分析。

未来,Bonree Zeus 依旧会不断打磨自身产品,帮助越来越多的企业,对业务产生的海量数据进行落盘存储和快速查询分析,助力更多企业的数字化转型业务。​​​​

你可能感兴趣的:(运维数据库后端)