开源数据服务平台

开源工具

就上一篇数据服务平台写的四个工具平台来说，除了元数据和质量监控没见有很好的开源项目之外，报表与多维分析平台，调度系统，(对于一般的公司，这两个工具才是必要的)，现在已经有很多开源项目了，下面简单列一下。

报表与多维分析平台

• Superset
  Superset是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，支持多数据源，支持sql查询，支持各种图表展示。

• Redash

• Davinci
  宜信开源的大数据可视平台。

• metabase

调度系统

• Airflow
  Airbnb 开源的，编排、调度和监控workflow的平台，是一个工作任务的调度平台，其内置了比较全面实用的调度功能。

• sia-task
  宜信开源的微服务任务调度平台。

• TBSchedule
  淘宝开源的分布式的调度框架

• DolphinScheduler(原EasyScheduler)
  易观开源并提交apache的调度系统。可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

感想

最近看了一个dba的帖子，他说，"我很努力，学习新知识，紧跟技术发展，但是腾讯阿里等云平台，对我来说是降维打击，对于公司来说，可能不再需要dba这个职位了。"
确实，大数据发展到现在，对数据本身之外，大家开始重视辅助的工具平台，各个公司自己开发，然后逐步开源出来。开源出来的工具，质量和易用性来说都很好，对于一般小公司来说，开源的工具完全可以覆盖自己的需求，那么，自然就没必要开发自己的工具了。公司在个性化需求全独立开发和简单易用的开源工具上，很容易做出选择。对于一些大数据开发来说同样是降维打击。当然，需要对开源工具做二次开发，但是对比自研，需要的人力要少的多。
忧虑，但是没办法。

欢迎关注

攻城锤的数据仓库