从零开始的战斗路线

第一天的需求

你好，先了解下自己工作的定位。

hadoop系统工程师：

1、hadoop框架开发环境搭建、调试。 
2、对ETL工程师进行基于hadoop架构及原理讲解培训。 
3、集群维护、参与基于hadoop开发的工作流程及环节标准的制定、应用工具开发。 
4、基于XX项目大数据应用的实验开发。

部门使用的是集群环境如下：

服务器操作系统是 centos6，

cloudera版本的hadoop5.2版本，

数据仓库工具 impala，数据库 hbase，

数据处理工具为 pig，数据同步工具是 sqoop，

系统集群管理工具 hue，系统集群监控 ganglia+nginx

集群数据挖掘工具是mahout

在服务器到位后，安装搭建集群环境，并完成环境调试，以及形成集群环境安装文档以方便后续ETL同事开发了解。