python大数据运维工程师_【大数据科普系列之二】大数据运维工程师

大数据系列岗位要求,大数据运维可能是“技术含量最高”的职位之一,这里说的大数据运维主要是指hadoop生态体系方面的运维,在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈,在互联网行业数据量稍微大点的公司基本都是使用hadoop技术栈,像在电信或者银行领域基本上是oracle/db2、hadoop同时使用。

该文章默认是指hadoop生态技术体系,这个职位之所以说可能是“技术含量最高”,主要有2方面的因素:一,数据量和计算量的大小与运维同学的能力是呈现指数关系,当数据量不大的时候一个现学现卖的同学都可以搞得定,当数据量像BAT的量级时,这就是需要摩拜的技术大神;二,跟运维同学本身的自我要求有关,如果仅仅是看网上的教程或者使用cdh的一键安装确实没什么难度,特别是数据量不是很大的情况下,但是一个高自我要求的同学,去研究hadoop生态体系,看各种文档以及源码,这个还是非常有难度的,这是大神成长的必经之路。老套路先从几个大厂的岗位要求说起。

有赞

1、精通基于Linux系统的常用服务配置,快速部署;熟悉RHEL或CentOS系统,理解RHEL系统规范,了解epel的rpm打包规范

2、熟悉OS工作原理,掌握常用系统性能诊断工具;对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先

3、熟悉Hadoop生态常用开源项目的部署升级、扩容缩容、性能和管理优化、问题排查等(主要包括Hadoop/Zookeeper/HBase/Hive、Spark、Presto/Kafka、Flume/DataX、Sqoop/Storm、Flink等)

4、熟悉JVM,熟悉大数据周边并有实践经验者优先(主要包括 数据系统:MySQL,Redis,Elasticsearch,NewSQL等;机器学习:TensorFlow等)

5、熟练使用shell及python,并有一定开发经验;有过相关运维管理平台或自动化部署系统开发经验者优先

6、良好的沟通合作能力,热爱技术并善于钻研。能主动思考,有解决疑难问题的毅力和决心

盈盈集团

1、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理,并有3年以上Hadoop生态系统维护经验;

2、搭建、调优并维护过spark、Hive、Storm、Kafka、Redis等服务;

3、熟悉Linux开发环境,熟练掌握Java/scala/python等任一编程语言,编码能力优秀

4、能够阅读开源组件源码,手动编译、安装过patch、更改过组件源码且应用于生产环境者优先;

5、熟悉分布式系统设计范型,有大规模系统设计和工程实现者优先;

6、有CDH安装部署及运维经验者优先

7、本科及以上学历者优先

橙鹰

1、熟悉 nginx/haproxy 负载均衡,能基于 nginx 做一些插件开发

2、有mysql 数据库使用和维护经验,有使用 pg 优先

3、熟悉 php,lua 编程语言的优先

4、熟悉并参于过开源系统如zabbix,ganglia,kong网关的优先

5、具有良好的心理素质,能承受一定的压力。

6、具有良好的沟通能力,乐于分享,与团队成员分享最佳实践,共同进步。

个推

1、掌握Linux操作系统的配置,管理及优化,能够独立排查及解决系统层的各类问题;

2、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容和优化;

3、至少精通 Perl/Python/Shell脚本语言中的一种;

4、具备较强的逻辑思维能力、学习创新能力、数据分析能力,以及良好的沟通技巧和团队合作能力,性格开朗有较强抗压能力;

5、全日制本科以上学历,计算机相关专业;

6、5年以上运维经验;

网易

1、本科及以上学历,计算机相关专业;

2、2年以上系统运维或开发经验,熟悉Hadoop/Spark/HBase等大数据系统,有大数据平台运维或开发经验者优先;

3、熟悉Linux操作系统,熟悉Java,熟练使用Shell/Perl/Python/Ruby中至少一种语言;

4、良好的学习能力、逻辑分析、问题排查能力;

5、良好的团队合作者,善于沟通,较强的抗压能力。

能力三核模型分析

image

综合结果如下

知识

1、本科及以上学历(3)

2、计算机相关专业(2)

3、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理(1)

硬技能

1、熟悉/精通linux操作系统(4)

2、熟悉hadoop/hbase/hive/spark/kafka/storm等大数据开源系统部署、升级、扩容、优化等(4)

3、熟练掌握java/python/shell/perl/php等至少一种开发语言(5)

4、2年以上运维经验(3)

5、有CDH安装部署及运维经验(1)

6、有相关运维管理平台或自动化部署系统开发经验(1)

才干or 软技能

1、良好的沟通能力(4)

2、良好的团队合作能力(3)

3、良好的学习能力(4)

4、良好的解决问题能力(2)

5、良好的抗压能力(3)

6、良好的逻辑思维能力(2)

岗位职责

1、负责大数据平台部署、维护、管理、优化、规划等,包括但不限于Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等系统(5)

2、保障大数据平台稳定性和可靠性(4)

3、开发监控报警平台(3)

4、建设自动化部署及运维工具(2)

5、给业务提供技术支持及优化(2)

你可能感兴趣的:(python大数据运维工程师)