学了大数据能干啥

对于刚入行大数据的朋友，有不少不清楚大数据到底是做什么的。今天这篇文章我结合我自己的经历，按照数据处理的上下游关系，简单划分目前大数据的职位：

大数据框架开发工程师：主要开发分布式计算、存储框架，这个岗位主要在大公司有应用，尤其是云计算业务，中小企业基本上应用云服务或者开源的框架，如：Hadoop、Spark、Flink

大数据/ETL开发工程师：应用 Hadoop 、 Spark、Flink等大数据框架，处理实时或离线的日志数据，落地到数据库或者分布式文件系统

数据仓库工程师：进行数据建模，提供方便的数据服务，工作核心是数据仓库的分层设计，设计数仓中每个表的结构以及表之间的关系。目前主流的建模方式为维度建模，实现技术主要是 Hive

BI/数据分析师：主要是做基本的报表开发，对数据进行分析，从数据中挖掘价值，对数据进行解读，指导商业决策。这块不太侧重编程，但最好对数据有感兴趣，平时需要注重培养对数据的敏感度

机器学习/数据挖掘：从数据发现规律和特征，利用机器学习或深度学习挖掘数据的价值或者潜在问题，对未来进行预测。这块更需要系统的机器学习的知识

实际工作中职位界限不会划分这么清晰，可能每个人负责的内容会涉及几个方面。比如BI开发需要会数据建模，同时解读数据可能也会用上机器学习算法。

希望每个想从事大数据的朋友都能结合自己的兴趣，找准位置。

 

公众号「渡码」，分享更多高质量内容