Movle博客文章汇总

一.Hadoop

Hadoop基础介绍
Hadoop环境搭建-本地模式
Hadoop环境搭建-全分布模式
HDFS基础概念以及HDFS命令行操作
Hadoop之通过API操作HDFS
HDFS的数据流
HDFS之NameNode工作机制
HDFS之DataNode工作机制
HDFS的其他功能
MapReduce的基本概念
MapReduce框架原理
Hadoop序列化
Hadoop之Yarn
HDFS 之HA高可用概述
HDFS-HA高可用集群配置
Yarn-HA配置
Hadoop之数据压缩
Hadoop之优化

---

MapReduce实战：第一个wordcount程序
MapReduce实战，简单清洗日志
MapReduce实战：统计手机号耗费的总上行流量和下行流量
MapReduce实战：将统计结果按照总流量倒序排序(全排序)
MapReduce实战-多表案例：Map端表合并(Distributedcache)

二.ZooKeeper

Zookeeper概述：
ZooKeeper本地模式安装
ZooKeeper分布式安装部署
ZooKeeper之zoo.cfg 配置参数解读
Zookeeper之内部原理
ZooKeeper客户端命令行操作

三.Flume

Flume概览
Flume安装配置
Flume拦截器(多转换，少计算，轻量级)
Flume的使用：监听端口
Flume的使用：监听本地linux文件并采集到hdfs
Flume的使用：监听文件夹
Flume的使用：扇出-单source多channel多sink监控：监控文件并采集到hdfs与本地
Flume的使用：扇入-flume与flume之间数据传递，多flume汇总数据到单flume
Flume拦截器-时间戳拦截器
Flume拦截器-主机名拦截器
Flume拦截器-UUID拦截器
Flume拦截器-查询替换拦截器：
Flume拦截器-正则过滤拦截器
Flume拦截器-正则抽取拦截器
Flume拦截器-自定义拦截器

四.Hive

Hive基本概念
Hive安装配置Hive操作
Hive常见属性配置
Hive参数配置方式
Hive-将本地文件导入Hive案例
Hive DDL数据定义
Hive之DML数据操作
Hive之查询
Hive之函数
Hive-企业级调优
Hive之压缩和存储
HBase与Hive的集成

五.HBase

HBase基础知识
HBase安装部署
HBase基本操作
HBase读写数据流程
HBase优化
HBase之API
HBase工具类

---

HBase-MapReduce案例：统计表中数据，使用MapReduce将本地数据导入Hbase
HBase-MapReduce实战：利用MR将HBase中的fruit表导入到HBase中的fruit_mr表中
HBase-MapReduce实战：利用MR将HDFS中的数据写入HBase中的fruit_mr2表
Phoenix集成HBase
HBase与Hive的集成
Sqoop集成HBase：Mysql TO HBase

六.Scala

MacOS安装scala
MacOS IDEA配置scala
Scala-语言基础
Scala-面向对象
Scala-函数式编程
Scala-集合
Scala-高级特性

七.Spark

Spark 是什么
Spark 安装配置：伪分布式安装和全分布式安装
Spark HA的实现
Spark-core：执行Spark任务的两个工具：spark-submit与spark-shell
Spark-core：Spark的算子
Spark-core：Spark RDD的高级算子
Spark Streaming：基础
Spark Streaming：进阶
Spark Streaming：高级数据源
Spark Streaming：性能优化
Spark SQL：基础
Spark SQL：使用数据源
Spark SQL：性能优化

---

Spark 实战-在Spark Shell中开发一个wordcount程序
Spark 实战-用Scala编写WordCount程序
Spark Core实战：解析Tomcat日志
Spark Core实战-创建自定义分区：
Spark Core实战-将Tomcat日志分析的结果写入mysql数据库
Spark Core实战：使用JDBC RDD操作数据库
Spark SQL实战:使用SparkSession创建DataFrame 执行sql
Spark SQL实战:使用 case class 创建DataFrame
Spark SQL实战：将结果写入 Mysql
Spark SQL实战：使用Spark SQL 连接hive ，将统计结果存储到 mysql中
Spark SQL实战：SparkSQL exmple
Spark SQL实战之UDF与UDAF的使用
Spark Streaming实战:写一个wordcount程序，统计从netcat中向端口发送的数据
Spark Streaming实战：设置检查点，写一个wordcount程序并计数，计算端口号1235中的信息
Spark Streaming实战：窗口操作，每10秒，把过去30秒的数据取出来(读取端口号1235中的数据)
Spark Stearming实战：集成Spark SQL，使用SQL语句进行WordCount
Spark Streaming实战：处理文件流
Spark Streaming实战：处理RDD队列流
Spark Streaming实战：处理来自flume push方式发来的数据
Spark Streaming实战：处理来自flume pull方式发来的数据

八.Sqoop

Sqoop简介与原理
Sqoop安装配置
Sqoop简单使用案例
Sqoop一些常用命令及参数
Sqoop集成HBase：Mysql TO HBase

九.Azkaban

Azkaban概述
Azkaban安装配置

---

Azkaban实战-单一job案例
Azkaban实战-多job工作流案例
Azkaban实战-java操作任务
Azkaban实战-HDFS操作任务
Azkaban实战-Mapreduce任务
Azkaban实战-Hive脚本任务

十.ElasticSearch

Elasticsearch概览
Elasticsearch核心概念
Elasticsearch单节点安装部署
Elasticsearch集群安装部署
Elasticsearch head插件安装
CentOS7(单节点)安装elasticsearch

十一.Kafka

Kafka-概述
Kafka集群安装部署
Kafka命令行操作
Kafka 之Broker配置信息
Kafka之Producer配置信息
Kafka之Consumer配置信息

---

Kafka实战：消费者组案例