你好，WeDataSphere！

你好，WeDataSphere！

应用场景

由于公司大数据起步较晚，目前还没有成熟的大数据开发平台，开发还停留在传统阶段，通过传统开发工具IntelliJ IDEA、PyCharm等来进行相应的业务开发，通过一些协议上传服务器，然后通过一些开源工具，诸如XXL-JOB、DolphinScheduler等来进行跑批数据。此外公司业务部门众多，没有统一的开发平台作为支撑，导致现有公司整体资源利用率不高，并产生过多的独立数据服务系统，规范化开发在众多部门中难以开展。
效率低下的工具开发、众多数据孤岛、信息无法互联互通等等问题带来的影响是无法很好的支撑公司现有经营决策以及适应快速变化的前端业务。介于以上种种困扰，我们迫切需要建设一个能够整合公司现有数据资源服务，提供统一化、服务化、管理化、可塑化的数据中台服务。为此，我特地花了一天的时间，去“忽悠”我们的技术总监，让他给我调用几个人，组个团队，来着手搞这些东西。由于人才资源紧张，最终只借到了包括我在内的5个“大将”（哈哈，其实是虾兵蟹将），前期我们做了大量关于一站式开发的技术调研，包括阿里的dataworks、宜信的ADX、易观的小海豚（调度系统）等等，通过比对，dataworks由于高昂的服务费我们果断放弃了，宜信的ADX，诸如wormhole、DBus、Davinci等众多优秀的组件需要分散使用，不符合我们一站式开发的预期。经过和团队商量我们最终选择了微众银行的WeDataSphere。

解决的问题

结合WeDataSphere现有超多的功能，我们在此基础上实现了定制化开发、其中包括各业务部门的权限隔离、资源粗粒度隔离、以及一些其他三方系统的集成，例如象形BI（未开源）、Datax-web（https://github.com/WeiYe-Jing/datax-web）等，此外，在网关层面拦截hive数据库、表，页面化实现了单个、批量对数据库和数据表实现赋权操作。脱离hive自带的权限管控功能。
在组件层面上的对各部门的权限划分，以及资源隔离。附上我们开发环境的贴图（ps：原谅我们对前端页面的小修改，主要是为了给领导体现研究成果（坏笑）。未商用，只在公司内部使用）

最佳实践

我们从linkis0.9.0+dss0.6.0开始接触微众银行优秀的一站式开发门站，从研究、部署、解决问题（个人+社区）、运用、实践、定制化开发我们都积极扮演一个实践者和部分参与者的角色，深切的体会到了dss+linkis对于我们公司现有开发流程的一个改善和提高。在此感谢微众银行优秀的团队带来如此优秀的产品，另外，我们定制化开发的功能和原生代码耦合度很低，可以在此后无忧升级后续版本。在此也非常期待咱们1.0大版本的诞生。
目前我们开发环境，预生产环境、内网环境都已经部署上了，我们自己也有专门的团队在维护各部门在使用时出现的各种功能问题以及无法预料的bug，也会和微众银行的开发人员积极沟通。整体运行相对稳定。

带来的业务价值

1、解决了前端各种工具、应用后端各种计算引擎的连接、访问和复用问题，为公司大数据开发人员开发提供了为之有效的解决方案和学习平台；
2、资源高度集中，数据孤岛的问题一去不复返，所有非特定数据都将通过平台进行统一开发和统一流转；
3、内网开发、操作非常方便，高效；
4、数据、资源权限统一通过其他部门申请的方式进行开通，在一定程度上保障了数据安全；