利用python进行数据分析 学习笔记(第一章)

重要的python库：

1.Numpy（http://numpy.org） 是python数值计算的基石，它提供多种数据结构，算法以及大部分涉及Python数值计算所需的接口。

2.pandas(http://pandas.pydata.org) 提供了高级的数据结构和函数，这些数据结构和函数设计使得利用结构化，表格化的工作快速，简单，有表现力.

3.matplotlib(http://matplotlib.org) 是最流行的用于制图以及绘制其他二维数据可视化的python库。

4.IPython 和 Jupyter

Ipython交互式python解释器。Jupiter提供交互性，探索性的高效环境。 Ipython命令行和Jupiter notebook 对数据探索和可视化非常有用。

5.Scipy(http://scipu.org)

(1)scipy.integrate: 数值积分例程和微分方程求解器

scipy.linalg： 线性代数例程和基于Numpy.linalg的矩阵分解

scipy.optimize：函数优化器（最小化器）和求根算法

scipy.signal：信号处理工具

scipy.sparse：稀疏矩阵与稀疏线性求解器

scipy.special：SPECFUN 的包装器，SPECFUN是Fortran语言下实现通用数据函数的包，例如gamma

scipy.stats：标准的离散和连续概率分布（密度函数，采样器，连续分布函数），各类统计测试。各类描述性统计

6.scikit-learn

（1）分类：svm，最邻近，随机森林，逻辑回归

（2）回归：Lasso，岭回归等

（3）聚类：k-means，谱聚类等

（4）降维：PCA，特征选择，矩阵分解等

（5）模型选择：网站搜索，交叉验证，指标矩阵

（6）预处理：特征提取，正态化

7.statsmodels（http://statsmodels.org）是一个统计分析包。包含高频词汇统计学，经济学算法，

包含：回归模型：线性回归，通用线性回归，鲁棒线性回归，线性混合效应模型

方差分析

时间序列分析：AR，ARAM，ARIMA，VAR等

非参数方法：核密度分析，核分析

统计模型结果可视化

* statsmodels 更关注于统计推理，提供不确定性评价和p值参数， scikit-learn更关注于预测

 

二。ipython 技巧

1.Tab 补全

2.  ？ 内省，返回变量的信息，或方法信息；

     ？？ 可以显示函数的源码

3 %run 可以运行任意的python程序文件

4. ctrl-c 中断运行中的代码。

5.快捷键

6魔法命令  最重要的是%matplotlib 可以生成多个绘图窗口。