大数据实施和运维的工作职责

1.负责Hadoop、Spark等大数据平台的规划、部署、监控、系统优化等工作；

2.负责PoC（Proof of Concept，原型验证），在客户业务场景下验证产品的功能与性能；

3.在客户现场搭建大数据产品平台，与客户沟通，根据客户的需求或业务场景在大数据平台上实现大数据平台软件的项目实施与安装部署；

4. 处理各类异常和故障，确保系统平台的稳定运行；

5. 深入理解系统平台，为其持续优化提供建设性意见。

一.集群管理

大数据需要分布式系统，也就是集群：Hadoop，Hbase，Spark，Kafka，Redis等大数据生态圈组建。

二.故障处理

1）商用硬件使用故障是常态。

2）区分故障等级，优先处理影响实时性业务的故障。

三.变更管理

1）以可控的方式，高效的完成变更工作；

2）包括配置管理和发布管理；

四.容量管理

1）存储空间，允许链接数等都是容量概念；

2）在多租户环境下，容量管理尤其重要；

五.性能调优

1）不同组建的性能概念不一样，如kafka注重吞吐量，Hbase注重实用性可用性;

2）需要对组建有深刻的理解

六.架构优化

1）优化大数据平台架构，支持平台能力和产品的不断迭代;

2）协助架构师完成相关的工作

 

                                                                                                  ————郑州新思齐科技有限公司

                                                                                                                                王亚辉