大数据工程师的通关攻略

大数据时代下，大数据工程师如何应对？

• 平台型大于业务行

大数据工程师所需的核心技能

大数据团队构成以及岗位职责简介

• Hadoop生态研发工程师（平台工程师）

  • 对Hadoop生态组件很了解，精度开源框架源码，对业务平台支撑，适合技术极客的人。
  • Java/Scala

• 大数据开发工程师

  • 灵活使用大数据技术解决业务问题
  • 了解大数据工具使用原理
  • Java/Scala

• 数据仓库工程师

  • 对业务敏感
  • 对数据建模
  • Java/HQL/Python

• 数据分析师

  • 基于数仓工程师
  • 对数据业务敏感
  • 熟悉脚本Python
  • 统计学常识

• 算法工程师

  • 熟练掌握机器学习算法
  • 必备的大数据开发技术
  • Java/C++/Python

• Java工程师

  • 支撑各个模块工程开发
  • Java后端

大数据工程师面试前的准备工作

• 个人觉得定位
• 个人职业规划
• 扎实的基本功
• 开发语言

• 公司项目回顾与梳理

  • 项目背景
  • 设计与架构
  • 选型与对比
  • 实现细节
  • 最后效果
• 简历

面试技巧及常用面试题

面试技巧

• 一面基本功技术
• 二面业务项目面，广度，时间能力
• 三面综合能力面，执行能力，沟通协调能力
• HR面稳定性，抗压能力等

面试考核点

Hadoop工程师

• 对工具的掌握程度
• 熟读源码

• 问题

  • 集群变大，节点过多，hadoop中namenode内存受限如何解决？namenode水平扩展
  • 在Hadoop生态中，敏感数据安全保护措施？采用服务器访问认证，底层目录权限，Hive表权限管理。
• 推荐博客：董西成的博客：http://dongxicheng.org
• 推荐书籍：Hadoop实战，Java核心技术

大数据开发工程师

• 熟练使用各个组件，对各个组件调优，充分发挥大数据技术的价值
• Java/Scala

• HBase/Strom/MR

  • HBase使用适合RowKey怎么设计？
  • 怎么开发MR等？
  • Strom并发问题

数据仓库工程师

• 数据倾斜如何优化，分析？
• 数据仓库建设有点，解决那些痛点？
• 日志系统的ETL环节具体都做了那些事情？

数据分析师

• 数据分析项目流程，建模分析
• 脚本语言

• 行业相关的技术

  • 用户行为分析，常用指标有那些？

算法工程师

• 工程实现拟合和算法深度
• 数学的基础知识，矩阵变换，特征值等
• 算法能力

• 工程能力，常见机器学习的设计数据结构

  • 公式推导
  • 算法

大数据人的职业发展与进阶通道

• 有一个明确的角色定位和职业规划
• 转岗转行