阿里云大数据ACA考试-笔记（五）

QuickBI

一，产品介绍
1.产品概述：支持海量数据在线分析，拖拽式操作，吩咐的可视化效果。可以通过简单操作完成数据分析，业务数据探查。
2.特点：
（1）支持多种类型数据源，支持多种可视化组件
（2）海量数据的实时分析，提供智能的一键加速
（3）灵活的报表集成方案，严密的安全权限管理
（4）门槛低易上手省时间，云计算费用低省成本
3.产品架构
4.在大数据解决方案中的角色
5.常见应用步骤
二，数据管理
1.数据源管理：
（1）云数据源：MaxCompute,AnaliyticDB,RDS(Mysql,SQLServer),Hybrid
DB（Greenplum）
（2）自建数据源：mysql，sqlserver
（3）探索空间：本地csv文件，本地excel文件
2.数据集管理：工具栏，数据面板，维度面板，度量面板
（1）针对维度可进行的操作：编辑，删除，克隆维度，层次结构创建管理，转化为度量，新建计算字段（维度），维度类型切换（默认，日期，地理信息）
（2）针对度量可进行的操作：编辑，删除，新建计算字段，为之一动，转换为维度，数字格式，默认聚合方式（求和（默认），计数/排重技术，最大值/最小值/平均值）
三，图标和门户
1.图标
2.报表门户
（1）门户：数据产品，是通过菜单形式组织的仪表板的集合，通过数据门户可以制作复杂的带导航菜单的专题类分析

掌握机器学习PAI

一，机器学习介绍
1.定义：
（1）在不直接针对问题进行编程的情况下，赋予计算机学习能力的一个研究领域
（2）指机器通过统计学算法，对大量的历史数据进行学习从而生成经验模型，利用经验模型指导业务
2.西洋跳棋与机器学习：
（1）暴力破解：
[1]方法：
a.形成所有局面下的最佳应手，作为知识库
b.从知识库中遍历当前局面，按照最佳应手行棋
[2]问题：
a.知识库很难产生，数据量巨大
b.需从海量数据中遍历
（2）固定套路
[1]方法：
a.总结一些行棋规则
b.根据行棋规则行棋
[2]问题：
a.行棋规则总结麻烦
b.棋力和总结规则的人水平有关
（3）训练模型：
[1]机器学习的思路
a.任务T：下西洋跳棋
b.性能标准P:赢棋的概率
c.经验E：和自己对弈
d.确定目标函数：V
[2]棋局状态b评估：
a.x1:棋局上黑子的个数
b.x2:棋局上红子的个数
c.x3:棋盘上黑王的个数
d.x4:棋盘上红网的个数
e.x5:被红子威胁的黑子的个数
f.x6：被黑子威胁的红字的个数
[3]思路：
b1->b2->…->end
输入棋谱或者自己和自己下很多盘，可以求出w-,w1…w6
v(b)=w0+x1w1+…+x6w6
（4）总结
[1]特点：
a.无需传统模式编程
b.定义任务，性能，经验以及目标函数，并提供目标函数学习方式即可
c.随着数据的变化，能自动学习,更新
d.利用自己对弈=>优化模型的方式，可以持续提升
[2]适用场景:
a.不宜针对问题进行手工编程
b.不能定义该问题的解决方案
c.基于复杂数据的快速决策
d.大规模的个性化系统
2.常见分类–根据学习方式不同进行分类：根据学习数据不同，对问题有不同的建模方式
(1)监督学习：学习样本中有结果标记–分类，回归
（2）无监督学习：学习样本中无结果标记
[1]从无标记的训练数据中推断结论。特点为输入数据不存在明确的标识后结果。
[2]常见为聚类：发现隐藏的模式或者对数据进行分组。
（3）半监督学习：学习样本中部分记录有结果标记
二，PAI介绍
1.介绍：基于MaxCompute提供数据处理，建模，离线预测，在线预测等服务的大型机器学习平台。
2.特点：
（1）上手简单：铜鼓对底层的分布式算法封装，提供拖拉拽的可视化操作环境，
（2）算法丰富：提供特征工程，数据预处理，统计分析，机器学习，深度学习框架，预测估等超过100中的算法组件
（3）一站式体验：提供了在线预测以及李现调度功能，让机器训练结果和业务可以无缝衔接
（4）深度学习：目前支持MXNET,CAFFE,TENSORFLOW三款主流的深度学习框架，平台底层提供gpu进行训练
3.优势
（1）存储和计算成本第：存储和计算都使用了
（2）有大量工具，算法库，降低技术门槛
（3）可视化拖拽操作，完整的解决方案
4.产品组成
5.支持的算法：