阿里云大数据认证——基于阿里云数加构建企业级数据分析平台-课堂笔记

阿里云Clouder认证

六、基于阿里云数加构建企业级数据分析平台

1. 课程目标

(1) 了解数据分析的步骤和目的
(2) 熟悉数据分析平台搭建的组成部分
(3) 掌握阿里云数加不同产品及其使用场景
(4) 灵活使用数加的不同产品搭建数据分析平台

(5)目录
  - 数据分析介绍
  - 阿里云数加介绍
  - 常用的数加产品
  - 任务:搭建企业级的数据分析平台
复制代码

2. 数据分析介绍

(1)数据分析的基本介绍

  • 数据分析是基于商业目的,有目的的进行收集、整理、加工和分析数据,提炼有价值信息的过程。
  • <1>.明确目的:
    • 数据对象是?
    • 商业目的是?
    • 解决业务问题?
  • <2>.数据收集:
    • 确定数据范围
    • 获取目标数据
    • 整合相关数据
  • <3>.数据处理:
    • 处理缺失数据
    • 清洗不一致数据
    • 关联、汇总数据
  • <4>.数据分析:
    • 基本数据分析
    • 数据探索
    • 复杂数据分析
  • <5>.数据展现:
    • 整理组合信息
    • 整合信息、观点
    • 图表展现信息
  • <6>.分析报告:
    • 简单可靠
    • 清晰明了
    • 逻辑性强

(2)数据分析的目的

  • 获得用户
  • 留住用户
  • 增加收益

  • 市场营销
  • 产品运营
  • 客户服务

  • 业务优化
  • 流程改进
  • 发现机会

(3)数据分析平台的组成部分

  • 分析需求
  • 确认数据源
  • ETL处理(数据的抽取、转换、加载)
  • 数据整合/汇总
  • 数据建模
  • 数据分析/展现

(4)数据分析平台对应的场景

  • 源数据:进行数据的获取
  • 数据仓库:数据存储、组织;数据计算;数据建模
  • 数据应用:数据分析

3. 阿里云数加介绍

(1)“数加”是什么

  • 数加是阿里云大数据的品牌名,旗下包含一系列的大数据产品及服务,是上万名工程师实战检验过的一站式大数据平台。
  • “数加”是阿里云大数据的核心能力

4. 常用的数加产品

(1)数据分析平台常用的数加产品

  • **Maxcompute:**快速、完全托管的TB/PB级数据仓库解决方案。提供了针对海量数据存储、运算的能力。
  • **DataIDE:**基于Maxcompute提供海量数据的离线加工分析、展现、数据挖掘的能力,一站式开发、运维工具。
  • **QuickBI:**提供海量数据在线分析服务,支持拖拽式操作,可完成数据分析、业务数据探查、报表制作等工作。

(2)MaxCompute介绍

  • 大数据计算服务(MaxCompute,原ODPS)由阿里云自主研发,提供针对TB/PB级数据、离线式实时性要求不高分布式处理能力,应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在ODPS上。
  • **分布式:**采用分布式集群架构、跨集群技术突破、机群规模可以根据需要灵活扩展
  • **安全:**自动存储容错机制、所有计算在沙箱中运行、保障数据高安全性、高可靠性
  • **易用:**准API的方式提供服务、高并发高吞吐量数后上传下载、全面支持基于SQL的数据处理
  • **管理与授权:**支持多用户管理协同分析数据、支特多种方式对用户权限管理、配置灵活的数据访问控制策略
  • MaxCompute的应用特点:
    • **海量运算触手可得:**根据数据规模自动调整集群存储和计算能力,最大化发挥数据的价值。
    • 服务“开箱即用”:又需简单的几步操作,就可以上传数据、分析数据并得到分析结果。
    • **数据存储安全可靠:**二重备份、读写鉴权、应用沙箱、系统沙箱等多层次安全机制。
    • **多用户协作:**保障数据安全的前提下最大化工作效率。
    • **按量付费:**根据实际使用收费,最大化降低数据使用成本。

(3)DataIDE介绍

  • 阿里云大数据开发套件(Data IDE)提供了一个高效、安全的离线数据开发环境。
  • DataIDE的应用特点:
    • **基于Max Compute:**一套基于Max Compute(原ODPS)的数据开发、数据管理工具。
    • **一站式数据开发:**提供数框同步、数加工、一健发布、调度引擎等一站式大数据开发服务。
    • **清晰可见的血缘:**基于统一的元数据服务提供数据资源管理视图、可视化的数据血缘分析,清晰展现数据表的输入与输出,方便追溯其处理过程。
    • **可视化开发界面:**面向数据开发者、数据运组人员,项日管理者,提供了可视化的开发界面。

(4)QuickBI介绍

  • QuickBI(商务/商业智能)提供海量数据实时在线分析,拖拽式操作、丰富的可视化效果,可以帮助轻松自如地完成数据分析、业务数据探查。它不止是业务人员看数据的工具,更是数据化运营的助推器,解决大数据应用“最后一公里”的问题,实现人人都是数据分析师。
  • QuickBI的应用特点:
    • **多:**支持多种类型数据源、支持多种可视化组件
    • **快:**海量数据的实时分析、提供智能的一键加速
    • **好:**灵活的报表集成方案、严密的安全权限管理
    • **省:**门槛低易上手省时间、云计算费用低省成本

(5)常见的应用场景:从业务系统到数据分析

  • 云数据库RDS搭配大数据计算服务MaxCompute,实现对大数据的分布式分析处理,并通过QuickBI以报表的形式将结果展现出来,适用于商业分析、挖掘等大数据处理场景。

转载于:https://juejin.im/post/5c73511de51d4537f625d446

你可能感兴趣的:(阿里云大数据认证——基于阿里云数加构建企业级数据分析平台-课堂笔记)