基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析

基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析

  一、课程内容介绍：

 

   1、课程背景

       GREENPLUM适用场景：

 

         Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加，拥有非常良好的可扩展性。因此，它主要适用于面向分析的应用。比如构建企业级ODS/EDW，或者数据集市等等。

 

       GREENPLUM运行的平台：

 

         GREENPLUM运行在X86架构的硬件平台上，目前支持的操作系统包括32/64位的 LINUX(REDHAT/SUSE)/SOLARIS/MAC OS

 

       GREENPLUM的前景：

 

         GREENPLUM 诞生于2003年硅谷，2010/07 EMC收购了GREENPLUM，并把GREENPLUM作为EMC面向分析云的战略核心产品，加以大力发展。该产品不仅在国际市场发展很快，在国内市场发展也很快。最著名的案例就是阿里巴巴集团，经过多种产品的精心选型，最终选择GREENPLUM作为它们的数据仓库平台存放数百TB的业务数据去高效支持各种分析应用。正是由于产品发展速度很快，但是在相关人才上存在很大缺口。

 

       Hadoop的前景：

 

         随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。

Hadoop入门薪资已经达到了8K以上，工作1年可达到1.2W以上，具有2-3年工作经验的hadoop人才年薪可以达到30万—50万。

一般需要大数据处理的公司基本上都是大公司，所以学习hadoop技术也是进大公司的捷径！

 

       Greenplum Hadoop大数据分析平台:

 

         大量的半结构化和非结构化信息无法管理和存储，大数据增长速度惊人，每年以几何级数速度增长，需要有专业化的解决方案应对大数据挑战。EMC收购了Greenplum之后，推出的针对Hadoop的Greenplum的数据库软件。采用Greenplum HD技术管理半结构化和非结构化信息，整体TCO更低，除了进行有效存储和管理，可以通过MapReduce技术进行并行的分析和挖掘，把大量的数据存储变成有价值的数据资产。

 

 

 有兴趣加qq:1906196059(北风网最优惠价格)

    2、课程内容简介：

 

 

      本系列课程主要分三部分：（总共70讲左右）

 

 

         第一部分 Greenplum 分布式数据库基础（35课时）

 

         第二部分 Hadoop分布式系统基础（30课时）

 

         第三部分 Greenplum Hadoop大数据分析平台（4课时）

 

 

      适合对象：

 

 

         1、要求具有一定的Linux和Java基础

         2、要求具有一定SQL语言基础

 

 

 

   3、课程大纲：

 

 

       第一部分 Greenplum 分布式数据库基础（35课时）

 

          1 Greenplum架构

            什么是Greenplum

            Greenplum体系结构

            Greenplum高可用性架构

 

          2 安装Greenplum

            配置环境

            安装并初始化GPDB系统

            启停数据库

            配置GP系统

 

          3 客户端接口和程序

            pgAdmin III

            PSQL

 

          4 角色权限管理

            客户端认证

         管理用户和组

 

          5 分布式数据库存储

            数据是如何存储的

            分布策略

 

          6 GBDB查询处理

            查询命令的执行

            SQL查询处理机制

            并行查询计划

 

          7 定义数据库对象

            创建并管理数据库

            创建并管理表空间

            创建并管理模式

            创建并管理表

            分区表

            数据分布与分区

            压缩存储与行列存储

            序列、索引与视图

 

          8 管理数据

            插入、更新、删除记录

            事务管理

            空间回收和统计

 

          9 数据加载

            外部表加载

            COPY加载

            GPLOAD加载

 

          10 资源负载管理

            创建资源队列

            分配资源队列

 

          11 备份恢复

            串行备份和恢复

            并行恢复和恢复

 

          12 GP SQL语法

            数据字典

            函数

            存储过程

 

          13 性能调优

            常见性能问题

            跟踪性能问题

            查询调优

 

          14 扩展GP系统

            节点的准备和添加

            初始化新Instance

            重分布表

 

          15 GP MapReduce

            MapReduce基础

            GP MapReduce编程

            MapReduce作业执行和故障诊断

 

 

       第二部分 Hadoop分布式系统基础（30课时）

 

          1 什么是Hadoop

            Hadoop思想起源：Google

            Hadoop的架构

            Hadoop思想体系

 

          2 部署Hadoop集群

            准备和配置环境

            三种运行模式

            简单集群安装和配置步骤

            大型生产集群部署

 

          3 HDFS实战

            HDFS体系结构

            HDFS的可靠性

            HDFS文件操作

 

          4 Map-Reduce体系架构

            Map-Reduce编程模型

            性能调优

            Map-Reduce工作机制

            日志分析

 

          5 Map-Reduce API开发实战

            Eclipse插件安装

            数据筛选程序

            倒排索引实战

 

          6 Hadoop组成

            Pig, Hbase, Hive, Zookeeper组件

            Sqoop, Avro, Churkwa, Cassandra组件

            Hbase体系结构

 

          7 HBase数据库

            单机模式安装

            伪分布式安装

            完全分布模式安装

            HBase数据库操作

 

          8 Pig实战

            Pig框架

            Pig安装配置

            Pig运行操作

 

          9 Hive实战应用

            Hive组件与体系架构

            Hive安装配置

            Hive操作

 

          10 Sqoop应用

            安装配置

            数据操作示例

 

          11 云计算

            什么是云计算

            云计算模式和形态

            Hadoop在云计算的运用

 

          12 Hadoop商业应用案例剖析

            京东商城

            百度

            阿里巴巴

 

 

       第三部分 Greenplum Hadoop大数据分析平台（4课时）

 

          1 Greenplum Hadoop架构

            集成架构的特征

            集成架构的优势

            商业案例展示

 

          2 Greenplum Hadoop集群部署

            部署Hadoop集群

            部署Zookeeper

            部署Hbase

            部署Hive

            部署Pig

            集群操作示例
有兴趣加qq:1906196059(北风网最优惠价格)