kettle 大数据整合（三）

课程地址

kettle 8.2数据仓库 零基础快速入门（一）：www.boxuegu.com/freecourse/…

kettle 8.2 sakila数据库 ETL项目基础进阶实战（二）：www.boxuegu.com/freecourse/…

kettle 8.2 大数据整合构建企业大数据开发环境（三）：www.boxuegu.com/freecourse/…

课程简介 ETL工程师，在数据仓库类职位中占有很大比例，而且薪水都不差。IT企业都开始使用大数据的技术，掌握Kettle里面Big Data模块对于ETL开发人员是必须的。

适学人群 1 对数据仓库感兴趣的高校学生和教师

2 在职的IT人员

课程亮点 ①全面：全面的讲解了kettle整合大数据的环境、配置文件、模块

②实用：讲解的内容都是企业开发中必用的控件和技巧

主要内容 ①使用CDH构建企业大数据开发环境

②Kettle整合Hadoop

③Kettle整合Hive

④Kettle整合HBase

课程细节 1-1-1 01 安装环境简介

1-1-2 02-安装node-1虚拟机系统

1-1-3 03 使用SecureCRT连接操作系统

1-1-4 04 安装CDH安装环境所需依赖包

1-1-5 05 卸载Open jdk

1-1-6 06 关闭防火墙和安全防护

1-1-7 07 安装lrzsz

1-1-8 08 安装jdk

1-1-9 09 安装和配置并启动NTP服务

1-1-10 10 修改hosts文件

1-1-11 11 克隆出虚拟机node-2

1-1-12 12 克隆虚拟机node-3

1-1-13 13 修改node-1的内存信息、使用SecureCRT连接node-2和node-3

1-1-14 14 配置免密登录

1-1-15 15 mysql安装

1-1-16 16 mysql允许远程访问

1-1-17 17 创建hive和amon数据库

1-1-18 18 在node-1上安装Cloudera Manager 01

1-1-19 19 在node-1上安装Cloudera Manager 02

1-1-20 20 cm server 和 agent的启动

1-1-21 21 CDH的安装

1-1 开发环境搭建

1-2-1 01 Hadoop环境准备

1-2-2 02 kettle配置Hadoop的环境

1-2-3 03 Hadoop file input组件

1-2-4 04 Hadoop file output

1-2 kettle整合Hadoop

1-3-1 01 Hive数据的初始化

1-3-2 02 kettle配置Hive的环境

1-3-3 03 从hive中读取数据

1-3-4 04 把数据写入到hive

1-3-5 05 通过Hadoop copy files作业组件把数据加载到hive数据库中

1-3-6 06 执行Hive的HiveSQL语句

1-3 kettle整合hive

1-4-1 01 HBase初始化

1-4-2 02 HBase Input控件

1-4-3 03 HBase Output控件

1-4 kettle整合hbase

转载于:https://juejin.im/post/5cbeb22de51d456e4514f576