7月8日,WeDataSphere 开源社区与 KubeSphere 开源社区联合宣布两大社区正式开启合作。

据了解,微众银行 (WeBank) 大数据平台套件WeDataSphere产品团队及WeBank 人工智能部运维团队,与KubeSphere产品团队共同进行了多次线上沟通,深入交流了WeDataSphere的总体架构、技术理念以及对外合作模式。双方讨论了KubeSphere在WeBank 人工智能部主导开发的机器学习应用工厂 (Prophecis Application Factory) 中的应用情况,探讨了WeDataSphere与KubeSphere进一步的开源合作规划。

作为 WeBank 大数据平台团队自研的大数据平台套件,WeDataSphere 已经在 WeBank 行内的生产上部署实施并稳定运营多年。目前,WeDataSphere 已代替了 Oracle 在传统银行架构里关系型数据库的数仓能力;由WeBank 人工智能部开发的场景化快速建模工具 QuickML + WeDataSphere 大数据平台计算中间件Linkis 与大数据基础组件结合已实现替换商业数据分析系统SAS的风控建模能力;WeDataSphere 开源的一站数据应用开发管理套件 DataSphere Studio 和Linkis,当前已有300多个企业社区用户使用和参与共建。

WeBank机器学习支持系统 Prophecis中由人工智能部运维团队主导开发的应用工厂(AF)已引入使用 KubeSphere,实现了机器学习容器应用从镜像发布、实例部署、多租户资源隔离、服务监控到日志收集的自动化管理,极大的降低了机器学习应用的运维成本。

KubeSphere 十分看好 WeDataSphere 的大数据平台生态建设能力和社区运营成果,WeDataSphere 团队也充分肯定了 KubeSphere 在云原生时代的前景,二者进行了深入的探讨,最终达成开源社区合作的意向,朝着共建云原生大数据生态前进,为中国的新基建事业添砖加瓦。

关于 WeDataSphere 开源社区

WeDataSphere是一套一站式、金融级、全连通、开源开放的大数据平台套件。基础平台由数据交换、数据分发、计算、存储四大层次组成,关注底层数据传输计算存储能力;功能平台由平台工具、数据工具、应用工具三大层次组成,关注用户各类功能工具需求实现。形成了完整的大数据平台技术体系,提供一站式的丰富数据平台组件及功能支撑。

WeDataSphere 核心优势:

一站式

提供从数据应用开发到数据可视化、从批量作业到实时流式计算能力等的丰富功能组件,满足不同场景的数据应用开发运行和数据管理需求。

金融级

在高可用、数据治理、数据安全等方面做多种增强,打造金融级高可靠大数据平台,支撑核心关键业务应用。

全连通

独有数据应用开发管理门户DataSphere Studio 和计算中间件Linkis ,两层连通和集成的架构设计,使平台内各组件间南北东西向真正打通,提供更无缝的用户体验,更简化的平台架构,更强大的管控功能。

开源开放

WeDataSphere 基于开源,回到开源,自研的各种组件会逐步开源;整体设计上开放灵活,对扩展友好且组件可插拔;同时以开源开放的形式,吸引更多个人、组织,参与到WDS的开发建设和推广应用中来。

目前WeDataSphere已开源了一站式数据应用开发管理套件 DataSphere Studio、大数据平台计算中间件 Linkis、数据研发IDE工具 Scriptis、数据质量管理系统Qualitis、数据可视化工具Visualis、工作流任务调度系统Schedulis、数据交换平台 Exchangis等一系列大数据平台组件,同时还运营了 WeDataSphere 产品Portal、沙箱试用环境和社区用户微信群,举办了多次线上技术研讨会和Meetup。WedataSphere开源社区还在持续完善中,未来我们还会将内部打造完备的技术组件开源,搭建 WeDataSphere开发者论坛,让更多的优秀开发者加入到我们的开源社区,共同构建先进的大数据平台技术生态。

欢迎大家访问WeDataSphere开源项目主页(https://github.com/WeBankFinTech/WeDataSphere),安装使用WeDataSphere已开源组件以及参与社区交流与贡献。

关于 KubeSphere 开源社区

最近几年时间,CNCF 基金会主导的云原生社区不断孵化和涌现了大量的开源项目,以 Kubernetes、Prometheus 为代表的诸多开

源项目已被全球企业广泛采用,云原生软件的发展颠覆了传统的基础设施架构。但是,当用户在实际测试生产环境中管理与运维大量的云原生工具,并且在不同的 GUI 和 CLI 来回切换时,会有非常大的复杂性和较高的学习成本,并且这些组件的存储、网络、安全和易用性等问题也成为了企业在云原生实践落地的痛点。

为了解决这些问题,KubeSphere 应运而生。作为云原生家族的的后起之秀,KubeSphere 坚持完全开源和开放的迭代思路,由青云QingCloud联合中通、本来生活、北京吉恒科技等多个企业与开源社区,共同打造了以 KubeSphere 容器平台为核心的开源项目,还开源了 Porter、OpenPitrix、Fluent-bit Operator、Notification Manager、CSI 插件等一系列开源项目,并且 KubeSphere 与 Porter 都进入了 CNCF Landscape。KubeSphere 社区同时运营 Slack、KubeSphere 开发者论坛与微信群。KubeSphere 开源社区尚处建设初期,我们希望不断完善与壮大开源社区,培养以开发者为核心的国际化的社区生态。

关于 KubeSphere

KubeSphere (https://kubesphere.io)作为面向云原生应用的容器混合云,愿景是打造一个以 Kubernetes 为内核的云原生分布式操作系统,它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用(plug-and-play)的集成,支持云原生应用在多云与多集群的统一分发和可视化运维管理。

至今,KubeSphere 容器平台已被 Aqara 智能家居、本来生活、微众银行、新浪、华夏银行、极视角、安畅网络、云智汇、VNG Corporation、Radore等海内外的数千家企业采用。

欢迎大家访问 KubeSphere 官网中国站 (https://kubesphere.com.cn/) 和 GitHub (https://github.com/kubesphere),安装使用 KubeSphere 以及参与社区交流与贡献。