《深入浅出数据分析》笔记

利用Excel或OpenOffice组织数据，然后再用R进一步整理，通过散点图和直方图找出有意义的模式，借助启发式算法做出结论，通过实验和假定测试预见未来，再以清楚直观的图形展示分析结果。

1：数据分析引言

如何处理所有的数据材料，如何将原始数据转变成推进现实工作的妙策，如何分解和构建复杂的问题和数据集，进而牢牢把握工作中的各种问题。
所有的数据分析师最终都会被打造成能做出更好决策的人才，要学的就是在浩如烟海的数据中洞察先机，做出更好的决策。

数据分析就是仔细推敲证据。

• 基本流程，同时根据数据仔细推敲各种问题
  1. 确定问题
  2. 分解问题(和数据，使其成为更小的组成部分)
  3. 评估问题(对在前两步了解到的情况作出各种情况)
  4. 决策(组合得出的结论，作出建议或决策)

认清问题，进而解决问题。如何从数据中发现机会。
务必要基于正确的假设建立模型，并且如果得出的数据有违你的假设，就立即回头重新详加思考。

• 确定问题
  目标是什么，如何确定问题。
  SMART原则，必须要量化你的目标。
  优秀的数据分析师会自己思考问题，而不是等着别人告诉他们该做什么。
  考虑不确定因素及盲点。
  谨慎做出假设，因为你的假设将大大影响决策。
  **结合业务，确定问题。 **

• 分解问题
  将问题分解为更小的组成部分。 划分为可管理、可解决的组块，细化问题。
  尝试分解最重要因子的最好起步办法是找出高效的比较因子。
  进行有效的比较是数据分析的核心。

• 评估组块
  评估组块的关键就是比较。

• 决策
  将分析形成报表供制定决策，否则分析将毫无用处。

数据分析的方法论是什么，怎么从数据的分析(n多表格)中发现事实、做出正确的决策，什么步骤、什么方法、怎么做。
多看书：数据读书分享系列篇(1):那些年数据分析师必读书单
一定要有自己的思路，就跟做题一样，毫无头绪怎么做。

---

2：检验你的理论

做个好实验，既能解决问题又能揭示事物的真正运行规律，能让你摆脱对观察数据的无限依赖，帮助你理清因果关系；可靠的实证数据将让你的分析判断更有说服力。

ABTest，控制变量法，实验组和控制组，进行比较。

3：最优化

希望尽量多或尽量少获得某种东西，而为了实现这个目的需要改变其他一些量的数值，这就是最优化的问题。

将决策变量、约束条件、及希望最大化的目标合并成一个函数来解决最优化问题。

创建最有用的模型，你的假设和约束条件都逼近事实。你的假设应立足于不断变化的实际情况。

4：数据图形化，图形让你更聪明

看到一张新图片，该问图片中隐含哪些数据，你所关心的是数据的质量及其含义。
体现数据。创建优秀的数据图形的第一要务就是促使客户谨慎思考并制定正确决策，优秀的数据分析由始至终都离不开用数据思考。
数据庞杂时，而且对于如何处理这些数据没有把握，请记住你的分析目标：记住目标，目光停留在和目标有关的数据上，无视其他。

数据图形化的根本在于正确比较。
散点图是探索性数据分析的奇妙工具。
最优秀的图形都是多元图形，展现三个以上的变量。

5：假设检验

观察数据变量有一个好办法，即这些变量是正相关还是负相关。
假设检验的核心是证伪。

6：贝叶斯统计

数据收集工作永不停息。必须确保每一个分析过程都充分利用所搜集到的与问题有关的数据。证伪法用于处理异质数据源，贝叶斯统计用于处理直接概率问题。

7：信念数字化

用数字描述你的心智状态，标明你的信念。主观概率就是这样一种将严谨融入直觉的简便办法。

8：启发法

使用快省树来描述启发法。就是思维导图，发散思维。

9：直方图

10： 回归预测

回归线预测。

11：误差

在预测时指出误差范围，指出误差可以让预测和信念更全面，控制误差和尽量降低误差，提高预测的可信度。

12：关系数据库

13：整理数据

乱糟糟的数据毫无用处。
数据整理 --> 数据分析
牢记你的目的

附录：

统计学领域拥有大量数据分析工具和技术，对数据分析极其重要。
Excel技巧
数据透视表
R社区
非线性与多元回归
原假设-备择假设检验
随机性

图形原则：

• 体现出比较、对比、差异
• 体现出因果关系、机制、理由、系统结构
• 体现出多元数据、即体现出1个或2个变量
• 将文字、数字、图片、图形全面结合起来
• 充分描述证据
• 数据分析报告的成败在于报告内容的质量、相关性和整体性

其他: http://blog.csdn.net/frog_in_a_well/article/details/11975579