ACA考试-笔记（一）

ACA介绍

• 认证体系：
  • 阿里云认证：使用阿里云产品和技术解决客户问题的能力‘
  • 行业认证：具备行业通用能力的技能鉴定
  • 专项认证：具备某项特定能力的技能鉴定
• 等级
  • ACA：助理级,基础认证
  • APA：工程师，专业认证
  • ACE:高级工程师
• 具备基础能力
  • 有意愿从事大数据相关工作
  • 具备基础的通用IT技能
  • 熟悉关系型数据库，会使用标准sql
  • 具有一定的编程基础，掌握一门编程语言
• 能力模型
  • 大数据基础知识
  • 输了脸上试用数据类型产品
  • 根据需求设计基础方案
  • 根据业务场景选择产品
  • 能识别问题并配合解决
• 具体技能列表
  • 大叔就相关的基础知识
  • 掌握阿里云数据类型产品的基本操作：开通，配置，连接，使用，退订等
  • 结合自己的IT只是，使用阿里云的数据应用产品或服务
  • 了解各产品的适用场景
  • 根据业务需求，设计基础解决方案
  • 识别产品使用中的问题并配合解决
• 考试
  • 50题，60分钟，100分
  • 单选题：15,2分
  • 多选题：15,2分
  • 判断题：20,2分
• 学习方法
  • 充分利用阿里云官网的学习资料
    • 视频课程，云中沙箱，专项认证
  • 开通阿里云基础产品进行实际操作
  • 结合官网文档学习

---

大数据的定义

什么是大数据

• 大数据的定义：指无法在可承受的时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产
• （三篇论文：JFS-谷歌文件存储系统，MapReduce，big table）
• 大数据主要特征：
  • Volume:体量大
  • Varity：类型多
  • Value:有价值
  • Velocity:变化快
  • （换个角度：数据体量大，数据类型杂，数据完备性，来源维度多，积累时间长，在线随时用，简单易处理，价值密度低，数据相关性）
• 大数据为何产生
  • 移动互联网带来爆炸式增长
  • 数据作为资产其价值得到认可
  • 存储和计算能力的飞速发展
• 大数据来源
  • 媒体数据
  • 网络日志
  • 公共设施
  • 单位组织

大数据的价值

• 解决四种问题：
  • 坐井观天：孤立存在，无法获得外部世界的信息，决策基于数据片段
  • 一叶障目：被局部现象所迷惑，看不到事物的全局或整体
  • 盲人摸象：事物间的联系被忽视，弱化或割裂，没有全局或综合的视图
  • 城门鱼殃：无法从多个角度看问题，忽视事件之间的关联问题
• 提升两种能力：
  • 一叶知秋：根据个别迹象，推测出整个形势的发展趋势和结果，即通过全局数据计算，分析内在规律，进而提高洞察世界的能力
  • 运筹帷幄：立足于决策，通过多维度数据的手机，加工和分析，高效的帮助用户做出更为准确的商业决策
• 核心价值：洞察（从现象看本质），预测（从已知度未知）

如何使用大数据

• 存储（分布式存储）
  • 将数据分块
  • 将同一数据块存储在不同的节点上
  • 分块存储使存储容易
  • 荣誉存储提高数据可用性
• 计算（大数据方式）
  • 将数据划分，定位查询到具体划分后的数据块中
    • 将问题化简成一个更简单的处理的问题
  • 对所有数据进行相同操作拆分成对所有划分过得数据节点进行操作
    • 将问题拆分成多个可以简单求解的小问题
• 分析
  • 分类
    • 数据采集与处理
    • 数据质量与管理
    • 机器学习
    • 数据可视化
  • 流程
    • 数据分析是基于商业目的，有目的的进行收集，整理，加工和分析数据，提炼有价值信息的过程
    • 明确目的：数据对象，商业目的，解决的业务问题
    • 数据收集：确定数据范围，获取目标数据，整合相关数据
    • 数据处理：处理确实数据，清洗不一致数据，关联和汇总数据
    • 数据分析：基本数据分析，数据探索，复杂数据分析
    • 数据展现：整理组合信息，整合信息和观点，图表展现信息
    • 分析报告：简单可靠，清晰明了，逻辑性强

---

阿里云大数据体系

• 计算平台：离线计算（MaxCompute），流计算（StreamCompute）,分析性数据库（AnalyticDB）
• 数据加工和分析工具：数据开发套件（DataWorks），商业智能工具（QuickBI），机器学习平台（Machine Learning，PAI），画像分析（标签中心），数据可视化（DataV）---->数据采集和数据同步工具
• 人工智能和应用引擎：智能语音，人脸识别，文字识别OCR，图像与视频分析，营销引擎，规则引擎，推荐引擎------->服务API
• 数据应用和解决方案
• 行业