360行，行行出状元——大数据工程师篇

IT中的12个职业，相信大家大致都有了了解，那么现在我就从工作内容、职业技能、职业需求等方面为大家详细分析这些职业。

今天我们先分析一下大数据工程师这一职业吧！！！

大数据工程师

大数据就是指数据非常多多到一台机器放不下，要用上百台机器存储。而我们又常常需要从这些数据中筛选出来一些有价值的内容，这就需要对运营的指标有要求，这也是MapReduce产生的原因，当解决了离线数据的问题，很多人又想想做一些在线数据的实时处理。这就有了Storm。再加上其他的NLP模块，大数据就这么形成了。

1 工作内容：

工作在前期会比较多一些，基础搭建还是一个挺麻烦的事儿。系统搭建好之后呢，大概是两种，一种是向大数据部门提交任务，一种是持续的文本信息处理中增加新的处理模块。

2 需要技能：

环境【Linux】

框架【Hadoo,spark,pig,hive,mahout 】

算法【mapreduce,zookeeper】

这些框架的原理和实现都要了解清楚。这才算是一个合格的大数据工程师。

3 发展前景

一般人要学的话，确实是有门槛，所以，也确实是属于高薪职业。

1年~3年：10K~20K

3年以上：15K~35K

（大家可以加入爱好者集结群，一同交流：498290461） 欢迎交流： （老师q：858288017）

4.入门门槛

入门的门比较高的吧。比不上NLP，跟搜索比较类似，主要就是五六个框架的原理问题。

5.哪些行业适合做大数据

IT界：后端工程师中有两年经验

其他界：无

6.职业限制

熟悉了这些架构之后，也并没有什么东西可以做。

有点不伦不类，高不成低不就的样子。