数据之旅-开篇

开篇

2020年已经过去大半，从13年毕业到现在，不知不觉已经工作了7年的时间。在这些年的时间里做过WEB开发、大数据相关等工作，去过传统IT企业也去过互联网公司。新的一年总要有些进步与改变，那就开始写总结吧，做些有意义的事情。算是给自己职业生涯做一次回顾，分享一些技术与想法，如果有能帮助到其他人，或者稍微有些启发，也算是有点价值。如果有任何错误或者疑问的地方也欢迎大家留言指正与讨论。

总结分享规划：

首先大数据相关的技术，我分成大致分成两个方面，一个是技术架构[数据之术]，一个是系统架构[数据之道]。

技术架构方面，大多数公司使用的技术基本上都大同小异，都是基于各种开源大数据相关组件，搭建各种集群来支持公司各类数据的统计分析；

系统架构方面，由于每个公司自身发展需要、数据重视程度、开发人员资源的不同，之间可能会有些许的差异，上图是我总结出来的系统架构，之后会优先按照系统架构设计方面入手，从数据的采集、数据的传输、数据的计算、数据的应用等等方面，开始逐步总结一下各个系统的设计。

大致规划如上，都是一些接触过的技术或者工作中遇到的问题的思考与总结，根据情况再逐步调整吧，望自己能够坚持的写下去，fighting！

最后安利一个自己的小项目life schedule - Follow Your Dream http://www.jixianshijie.com/ (别的项目的域名，拿来用用…)

根据你的出生日期，选择你要规划的年限，可以看到你已经过了多少的时间，处在人生的什么阶段，还剩多少的日子。双击一段时间范围可以做做标记事件记录等等….

逝者如斯不舍昼夜，再出发！