偶数科技发布实时湖仓数据平台 Skylab 5.0

2023 年 4 月 11 日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.0，平台各个组件进行了全面升级。新版 Skylab 的发布标志着偶数科技具有从数据存储、计算、管理到分析、应用和 AI 能力的完整的数据管理生态闭环，帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab，用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

Skylab 核心组件包括云原生分布式数据库 OushuDB、自动化机器学习平台 LittleBoy、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、数据开发与调度平台 Flow、数据工厂 Wasp 和系统管理软件 Lava。

OushuDB

OushuDB 是由偶数科技自主研发的云原生分布式数据库，具有高性能、高并发、高可用的技术优势。OushuDB 兼容国产软硬件平台，符合国家信创标准。新一代执行器显著提升批处理和按需即席查询效率，面向 PB 级大数据的复杂查询，OushuDB 相比传统 MPP 和 SQL-on-Hadoop 快一个数量级。采用计算存储分离架构深度优化数据库的扩展能力，支持腾讯云、阿里云、华为云、金山云、微软 Azure、AWS 等主流云平台，充分满足云端应用高度弹性、无限扩容的要求。OushuDB 的 5.1 版本通过对接 Hive 元数据，可以原生使用 Hive 存储在 HDFS 的数据。同时，偶数分布式表存储 Magma 的稳定性和性能也进一步增强。另外，新版本增加了对 Copy to/from HDFS 协议 URL 的完整支持，以及对 Text/Csv 格式、GZ 压缩类型的支持。

LittleBoy

LittleBoy 自动化机器学习平台提供完整的 MLOps 链路，集成数据清洗、特征工程、深度学习、AutoML、模型管理和 AI 服务。其可视化交互可通过拖拽、对话引导等方式帮助用户清晰直观建模。LittleBoy 同时支持有监督学习和无监督学习，近百种内置算法满足不同场景建模需求。结合 OushuDB 高性能读写速度，LittleBoy 相比同类产品大幅提升模型收敛效率，帮助分析师和数据科学家将机器学习快速转化为业务价值。

Kepler

Kepler 是一款功能强大且简单易用的数据分析与应用平台，满足不同行业的数据开发、分析、应用等复合需求。通过横向打通指标、标签、报表、模型四种数据资产，实现不同类型数据的资产共享。作为 Skylab 的数据访问和应用的通道，Kepler 将海量数据分析与应用的性能发挥到极致。

Orbit

Orbit 数据资产管理平台为用户提供可视化的数据资产图谱、自动化的数据资产分类、多维度的数据血缘分析，以及可持续的数据标准贯彻实施。通过对存量和新增的数据资产进行全方位的规划管理，为企业搭建领先的数据运营体系，减少数据污染和治理成本，提高数据可见性和使用效率，助力数字经济下的数据确权和定价，加快数据要素流通。

Flow

Flow 是一款拥有强大 Web 界面交互能力的数据开发与调度平台，为 Skylab 平台提供任务调度能力。Flow 不仅支持丰富的任务类型，还拥有百万级任务节点的前端交互能力，灵活实现大规模集群任务的调度服务。支持作业重跑、单点跑以及下游跑等多种运行模式，既可以查看实时运行日志也可以追溯历史任务。通过任务、任务组、作业、作业空间等资源组织，可实现多级别并发和优先级配置。

Wasp

Wasp 数据工厂可以轻松对接多种数据源，灵活可扩展。支持存量和增量同步、离线和实时持续同步、自动和定时同步、数据容错和断点续传。用户可以通过零代码可视化操作进行一套任务的批流数据加工，Wasp 在保证数据一致性的同时，为用户提供高性能、高吞吐的数据加工和同步。

Lava

Lava 负责 Skylab 平台集群管理、监控运维、用户管理、认证、审计、权限、消息等基础服务。通过灵活可扩展的技术架构、云中立的技术路线，为用户提供简单易用、安全可靠、性能稳定的系统管理服务。降低运维成本，提高管理效率。

除了完整的生态组件，偶数 Skylab 平台还率先实现了湖仓一体 ANCHOR 标准六大特性，通过虚拟计算集群技术，真正在数据和查询层面形成一体化架构。在超大规模集群上支持高并发，保障事务支持，提供实时能力，实现一个技术平台、一份业务数据、一份元数据。通过偶数首创的 Omega 架构保障了 ANCHOR 的实时优势特性，形成了具备全实时能力的实时湖仓数据平台。

● All Disparate Data 多源异构数据

● Native on Cloud 云原生

● Consistency 数据一致性

● High Concurrency 超高并发

● One Copy of Data 一份数据

● Real-time 实时 T+0

随着全行业数字化转型进入深水区，企业也必然要面临诸多技术挑战，针对企业 IT 系统尤其是数据平台技术栈越来越复杂，运维操作越来越繁琐，数据应用链路越来越冗长等问题，偶数通过 Skylab 一个平台将这些复杂、繁琐和冗长的 IT 难题化繁为简，通过实时湖仓一体架构实现完整的数据管理生态闭环。用更先进的技术和更少的成本，为企业带来全实时的洞察力、更智能的决策、更快的应用集成，助力企业数字化转型。