分析数据驾驭大数据阅读手记之技术、流程及方法
每日一贴,今天的内容关键字为分析数据
刚刚翻了翻《驾驭大数据》这本书，里头讲授的东西通俗易懂，里头技巧性比较强的部份是关于 大数据的技巧，流程及方法。浏览当时，对大数据分析的技巧、流程及方法会有一个概念性的团体认知，虽然不设计技巧细节，但读读，很多东西能串联起来。
数据分析性能的晋升历程：
1. 数据分析技巧的演进历程，从扩展的角度
database 磁带库数据 --> 关系型数据库 --> Relation Databases Management System, RDBMS关系型数据库管理系统 --> Data Mart 数据集市 --> EDW (Enterprise Data Warehouse) 企业级数据仓库
2. 分析环境与数据管理环境的关系是什么？
从前：互相分离，离线处置模式
现在：互相融合，库内处置模式，取代离线分析处置模式，以支持各种高级分析。
库内处置模式
3. 数据分析通用的工拥有哪些？
不限于下面的工具：
1）. MPP海量并行处置Massive Parallel Process 数据库系统，关系型数据库，处置结构化数据
2）. 云计算架构，可以很方便地在硬件、平台方面停止扩展
3）. MapReduce的处置方式，程序并发执行，处置半结构化、非结构化数据
4. MPP海量并行处置数据库，对数据停止准备和评分的方法有哪些？
1）SQL，sql能力的开展
2）用户自定义函数UDF
3）嵌入式过程
4）预测模型标记语言PMML Predictive Modeling Markup Language.
5. MPP, 云计算，mapreduce的作用有哪些？ 并且有哪些整合方式？
1）数据库在云中运行。
2）数据库内置mapreduce
3）mapreduce与数据库的数据互相传递，同时应用
4）mapreduce对数据库内的数据之间停止处置
分析流程的演进：
1. 什么是分析沙箱？有什么必要性？
一个资源组，是一个直接驻留在数据库外部的工作空间，即库内分析，支持各种高级分析。与DB相分离。有时间限制。
充分利用库内分析的可扩展性的技巧优势，直接驻留在数据库系统外部的工作空间，而不是先前的专门的服务器用来支持分析。
长处：独立、灵活性、效率、自在、速度。
适合数据摸索、分析开发及原型创立。
但不适用于出产性、或重复性的系统。
2. 沙箱有哪些类型？各有什么特点？
1） 外部份析沙箱
从企业数据仓库或数据集市中分别一块区域，用于分析测试样本数据，现在再加上一个 mapreduce环境，增强分析能力
搭建沙箱，与创立数据库容器相似，只不过可以付与某些用户权限，并规定如何应用它
长处： 生成环境的数据和沙箱的数据可以直接停止关联分析
无需额定的本钱，但数据迁移麻烦，或受出产环境资源限制
2）外部份析沙箱？
独立的物理分析环境，用于测试和开发各种分析流程。一般包括关系型数据库和mapreduce组件两项。
长处：增加负载管理、架构简略
缺陷：增加本钱、数据迁移
3）混合分析沙箱
外部沙箱：利用出产系统技巧能力的灵活性
外部沙箱：可以完成某些高级摸索任务
但增加的庞杂性，数据一致性检查。需建立一定的分析准则。
4. 系统负载管理与沙箱的关系是什么？
不增加投资，充分利用现有资源，合理安排负载
5. 什么是分析数据集
可以直接用于分析的数据集合，如客户、区域、产品、供应商等
为支持某个分析或模型而搜集的数据，且格式满意一定的需要。能减缓高效存储和方便应用 之间的矛盾。
关系数据、第三范式：便于存储或恢复，但不便于庞杂的分析。
开发分析数据集： 抽样数据，变量丰富，用于开发测试
出产分析数据集：真实模型部署，数据深（数据量大）、但只包括特定的特征数据。
传统数据集引入的问题有哪些？
冗余、不一致、重复性工作
6. 如何升级传统基于ADS的分析项目？
可以升级为更加标准的EADS企业分析数据集，而不是简略地迁移到库内分析的架构中。
7. EADS是什么？有什么长处？
EADS是一个预定义好的汇总表和概要视图，可以方便地访问成千上百个分析所需的指标。
长处：晋升了系统性能，增加了数据冗余，增加透明度，并确保数据的一致性。
其应用范围：不仅适用于各种分析，还可以给其他用户和应用。
汇总表：计算一次，多次应用；大批应用历史数据，实时性不是很高；需要占用大批的系统资源；可以直接应用，无需关联等操纵。适用于非实时性数据。
视图：实时；视图内永远是最新的数据；更新能快速完成。但系统负载减轻。适用于实时性高的数据。
7. 什么是嵌入式评分过程？有哪些实现方式？
评分过程就是将分析的结果停止广泛应用，并为用户屏蔽庞杂的模型。其可以部署在沙箱环境或EADS环境中。
实现方式包括：SQL，UDF,嵌入式过程，或PMML
8. 模型与评分管理系统的组件有哪些？
输入分析数据集、模型定义、模型验证与报表制造、模型评分输出。
分析工具与方法的演进
1. 组合模型、简略模型、最优模型，哪种更适用？
三者各有特点。
能满意需求即可。
2. 用户界面，对分析专家的作用有哪些?
能提高出产力，但是前提是晓得自己在做什么，并确保工具“最适外地工作”。
3. 什么是单点解决方案？
专注于一个具体领域的分析，如欺诈或订价。通常基于一些分析工具套件，如SAS，并调用其一些基本功能。针对某一明确的问题集合。收费昂贵。
4. 开源分析工拥有哪些？
R项目，开源分析工具集。依赖编程、可扩展性差，缺乏企业级的分析可扩展性。
Apache项目
5. 可视化工拥有哪些？
Tableau、JMP、Advizor、Spotfire
PS:
1. ETL: Extract, Transform, Load
2. EDW : enterprise data warehouse
文章结束给大家分享下程序员的一些笑话语录： PC软件体积大，是因为一个PC软件功能往往较多，能够满足你一个方面的需求，而一个iphone软件往往没几行代码，干一件很小的事情，自然需要的软件就多。就像吃西瓜和吃瓜子的来比数目，单位不同啊。
--------------------------------- 原创文章 By
分析和数据
---------------------------------