大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器

说明：大数据时代，传统运维向大数据运维升级换代很常见，也是个不错的机会。如果想系统学习大数据运维，个人比较推荐通信巨头运维大咖的分享课程 ，主要是实战强、含金量高、专注度高，有6个专题+2个大型项目+腾讯云服务器，真枪实弹传授上千大数据集群运维经验。

 

 

课程介绍：

 

这是专门为IT运维人员设计的高端大数据课程，可能也是目前的 only  one！课程内容从100多份招聘要求中萃取知识点，再邀请几位年薪60W+的大数据运维专家共同商讨打磨而成。传统运维人员工作~忙~累~苦~而又工资低，多年运维老手的工资往往不如刚毕业一两年的码农。本课程意在借大数据红利之势，帮助大家抓住机遇拿下高薪，职业华丽升级转型！

 

课程以电信运营商实战项目为导向，结合企业大数据运维实际应用场景，一步步带着学员掌握大数据运维各个技术环节。通过《从0建设大数据平台》实战，让学员有能力帮助企业实现大数据平台从无到有；通过《大规模集群运维实战》实战，让学员有能力保障维护大型大数据集群的稳定、有效、安全。课程在考虑内容覆盖面同时，非常注重实用性，力求让学员所学即所用，切实解决企业工作中的实际问题，拒绝无用功和假把式。文档丰富详尽，大部分内容来自上千节点产线环境之实践，或许你能整理出一份大数据运维”九阴真经“。

 

课程亮点：

实战性强：以解决企业实际问题为导向。从0建设大数据平台项目，解决企业大数据平台从无到有的迫切问题。大规模集群运维实战，解决企业如何平稳运行和维护大数据平台。

含金量高：采用Cloudra Manager构建企业级大数据平台，传授上千节点大数据运维经验，解决千亿级别大数据集群产线问题。

专注度高：专注于大数据运维，课程涵盖大数据集群规划、集群部署、集群安全、集群监控、集群容器化、集群运维，培养大数据运维专业人才。

 

 

适合人群：

1.IT运维人员提升拿高薪

2.网管/技术支持蜕变转型涨薪

3.Leader/架构师 扩充技术栈

4.大专/本科学生轻松入行大数据

 

就业岗位：

1.大数据运维工程师

2.大数据平台架构师

3.大数据平台运维

 

 

 

课程大纲：

第一章 大数据运维通识

1.大数据概述及技术生态介绍

2.大数据运维及其他部门如何分工协作

3.大数据运维需要掌握哪些必备技能

4.如何成为高薪的大数据运维人才

 

第二章 大数据集群规划

1.网络规划

1.1机房区域划分

1.2机房三层网络结构

1.3网络带宽规划（千兆，万兆）

1.4主机网卡bond模式

 

2.集群规划

2.1集群业务规划

2.2集群节点规划

2.2.1HDFS集群节点规划

2.2.2HBase集群节点规划

2.2.3Kafka集群节点规划

2.2.4Zookeeper节点规划

2.2.5YARN节点规划

2.2.6ElasticSearch节点规划

2.3存储规划

2.3.1Raid规划

2.3.2多磁盘规划

 

第三章 大数据集群搭建

1.集群安装部署方式

1.1Ambari+hdp自动化部署

1.2CM+cdh自动化部署

1.3Hadoop手动安装部署

 

2.集群部署平台选择

2.1阿里云

2.2EC2

2.3物理服务器

 

3.大数据技术组件部署

3.1Zookeeper集群安装

3.2HDFS集群安装

3.3YARN集群安装

3.4Hive客户端安装

3.5HBase集群安装

3.6Kafka集群安装

3.7Spark集群安装

3.8Flink集群安装

3.9接口机/跳板机安装

 

4.核心技术组件体系结构

4.1HDFS体系结构

4.2YARN体系结构

4.3HBase体系结构

4.4Kafka体系结构

 

第四章 大数据集群安全

1.HDFS ACL存储权限控制

2.资源队列权限控制

3.HDFS Sentry权限控制

4.权限控制

5.云桌面权限控制

 

第五章 大数据集群监控

1.集群级别监控

1.1集群cpu负载

1.2集群磁盘IO负载

1.3集群网络IO负载

1.4HDFS IO负载

1.5集群内存负载

 

2.YARN监控

2.1ResourceManager运行状况

2.2NodeManager运行状况

2.3JobHistory Server运行状况

2.4应用程序监控

2.5容器监控

2.6JVM监控

2.7RPC监控

2.8作业监控

2.9资源队列监控

 

3.HDFS监控

3.1容量监控

3.2DataNode读写监控

3.3事务监控

3.4编辑日志监控

3.5Rpc监控

3.6JVM堆栈监控

 

4.Kafka监控

4.1Broker监控

4.2topic 分区监控

4.3IO监控

 

5.Zookeeper监控

5.1进程IAAS层指标监控

5.2运行状况监控

5.3连接情况监控

5.4请求监控

5.5数据包监控

5.6JVM监控

 

6.HBase监控

6.1regionserver区域监控

6.2读写请求监控

6.3事件监控

6.4运行状态监控

6.5JVM监控

6.6关键节点主机指标监控

 

第六章 大数据容器化技术

1.Docker容器化技术

1.1Docker实现原理

1.2Docker安装部署

1.3Docker容器管理

1.4Docker镜像及仓库管理

1.5Spark ON Docker集群搭建

 

2.Kubernetes(k8s)容器化技术

2.1k8s快速入门

2.2k8s系统架构

2.3k8s基础组件说明

2.4k8s基础服务安装

2.5k8s分布式安装

2.6k8s Nginx部署

 

3.大数据容器化技术实践

3.1基于kubernetes（k8s）调度的Flink大数据流式计算

3.2Docker+k8s容器化技术在大数据应用服务的落地实践

3.3Docker+k8s部署、监控实践

 

 

 

项目一：从0建设大数据平台

 

1.大数据平台前期调研

1.1历史数据总量

1.2数据每天增长量

1.3数据TTL

 

2.集群硬件规划

2.1总体规划的考虑

2.1.1集群规模控制因素

1）依据数据量计算磁盘总量

2）依据数据块计算NameNode内存总量

3）依据任务量和性能计算集群数量

2.1.2集群构建考虑因素

1）构建HA高可用集群

2）物理机、云主机

3）部署方式选择：原生集群、CDH集群、hdp集群

2.2集群硬件选择    

2.2.1主节点配置

2.2.2从节点配置

2.2.3CPU配置

2.2.4Core与内存配置

2.2.5磁盘配置

 

3.集群节点规划

3.1集群业务规划

3.2集群节点规划

3.2.1HDFS节点规划

3.2.2HBase节点规划

3.2.3Kafka节点规划

3.2.4YARN节点规划

3.2.5Zookeeper节点规划

3.2.6ElasticSearch节点规划

3.3集群存储规划

 

4.大数据平台目录规划

4.1HDFS目录规划

4.2linux os目录规划

4.3linux主机名规划

4.4临时目录规划

 

5.网络规划

5.1机房选择

5.2网络带宽规划

5.3主机网卡规划

 

6.大数据平台构建

6.1选择集群部署平台

6.2选择集群部署方式

6.3大数据平台构建

6.4接口机部署

 

7.数据迁移至大数据平台

7.1文件数据迁移大数据平台

7.2数据库数据迁移大树将军平台

7.3数据一致性验证

 

8.大数据平台维护与管理

8.1集群启停

8.2集群各进程维护操作

8.3数据平衡操作

8.4集群日常运维

8.5大数据平台权限控制

 

项目二：大规模集群运维实践

1.大数据集群基础运维

1.1集群启停

1.2 集群各进程维护操作

1.3数据平衡操作

1.4集群日常运维

 

2.大数据集群扩缩容

2.1HDFS节点增加与删除

2.2YARN节点增加与删除

2.3HBase节点增加与删除

2.4Kafka节点增加与删除

 

3.大数据集群巡检

3.1HDFS巡检思路与技巧

3.2YARN巡检思路与技巧

3.3HBase巡检思路与技巧

3.4Zookeeper巡检思路与技巧

3.5Kafka巡检思路与技巧

 

4.大数据集群产线问题解决

4.1产线环境数据加工延迟定位

4.2作业执行缓慢根因定位

4.3作业数据倾斜问题排查

4.4hive入库延迟根因定位

4.5HBase数据丢失故障复盘

4.6HBase数据误删数据恢复

4.7Spark环境引起的资源申请不到问题定位

 

5.大规模集群数据迁移

5.1数据迁移方案

5.2数据迁移前集群准备

5.3大规模数据迁移流程

5.4数据验证