python绝技 （黄文青）

1.1数据分析概述

数据工程能力  、数据分析能力、业务能力。

初级分析师：被动实现。

高级分析师：主动理解战略目标、产品方向和营销意图，围绕产品发展各个阶段，综合当前业界已有方法和思路，建立一套完善的数据支持体系。善于从数据的角度思考问题，保持数据敏感度。

软实力：业务理解，一切技术都是为了业务服务。

---

硬实力：数据分析能力、数据工程能力

数据分析能力：根据数据给出分析建模的策略，解决业务中遇到的问题能力。制定建模策略知识储备：统计分析、数据挖掘、深度学习。

数据工程能力：灵活运用数据处理组件及相关技术，实现数据分析中拟定策略的能力。具备知识：消息队列、数据库技术、数据仓库、分布式文件系统和分布式计算平台。

数据处理：数据搜集、数据传输、数据存储、数据计算。

---

1.2数据处理流程：明确目标、确定方案、数据整理、建模分析、结果验证、总结展现。

1.明确目标           明确且细化分析目标

 分析类型：验证型、描述型、预测型。

2.确定方案

能否获取数据？选择可行的分析建模以及实施方法？制定结果的校验准则？

建模方法分类：基础分析、数据挖掘、深度学习。

基础分析：主要解答事物的统计特征，以及概率问题。

数据挖掘：分类、聚类、关联的相关问题。

深度学习：研究分类和识别问题，自动提取数据的特征，对非线性数据集具有良好效果。主要应用在语音和图像识别。

制定结果的校验准则。

3.数据整理

难处：1.数据源多种多样、格式复杂。2、数据分析必然与业务紧密相关，要做好数据工作，必须以理解业务为前提。

条理清晰

ETL  :从数据源抽取数据，经过转换等格式化操作，最后加载到数据仓库。

4.实施建模

5.结果验证

结果验证方法：1.多维对比2.冗余验证法

6.结果展现

柱形图、折线图、饼图、散点图、漏斗图、雷达图（多维对比）

1.3数据分析工具

界面类：Excel、SPSS、Stata、SAS、EViews、MATLAB、

编程类:

Python、R、Java。

1.4大数据思辨

小数据：如何使用更有效的理论和框架。局部。

大数据：如何存储、如何计算。整体。