数据科学导论

第1课 数据工具箱

一、工具图

SciPy /matplotlib / pandas / scikit-learn 一个也不能少

二、数据分析过程

1. Inquire 定义问题（好的问题是成功的一半）
2. Obtain 收集数据
3. scrub 数据整理
4. Explore 数据探索 matplotlib
5. Model 建模 建立因素关系 SK learn
6. INterpret 展示 BOKEH

三、数据相关模块

3.1 IPython:交互环境

增强的python shell ，提供IPython Notebook,是一个交互平台，是一个计算过程的文档
兼容markdown,能调用远程数据

PS:WIN平台用户可以使用Jupyter Notebook软件，效果不错

3.2 NumPy: 数据结构和矩阵计算

NumPy是一个定义了数值数组和矩阵类型和它们的基本运算的语言扩展。它包括多维数组 array、向量化计算、
线性代数运算、集成C代码，速度快。

补充材料：
傅里叶变换
可爱的 Python: Numerical Python

3.3 SciPy:科学计算

SciPy是另一种使用NumPy来做高等数学、信号处理、优化、统计和许多其它科学任务的语言扩展。它包括积分，微分，最优化，概率函数。

补充材料：
SciPy入门指南

3.4 Matplotlib:数据绘图

matplotlib is a python 2D plotting library which produces publication quality figures in a variety of hardcopy formats and interactive environments across platforms. matplotlib can be used in python scripts, the python and ipython shell (ala MATLAB®* or Mathematica®†), web application servers, and six graphical user interface toolkits.
它提供了与matlab类似的API功能。

http://matplotlib.org/

Paste_Image.png

3.5 Pandas 提供数据处理结构

pandas is an open source, BSD-licensed library providing high-performance, easy-to-use data structures and data analysis tools for the Python programming language.
pandas is a NUMFocus sponsored project. This will help ensure the success of development of pandas as a world-class open-source project.

pandas 提供了Dataframe数据结构,操作数据。支持时间序列、支持各种输入输出

补充材料:
10 Minutes to pandas
Pandas 完成Excel 中的常见任务

其它涉及模块

• Requests:抓取网页数据
• Beautiful Soup:解析网页数据
• Flask: web 框架
• Sqlite3:数据库接口
• Pyspark:Spark的接口
• nltk:语言处理
• Networkx:社交网络分析
• theano:深度学习
• scikit-learn：机器学习模型

四、Linux相关操作

4.1 常用命令

• 显示日期的指令： date
• 显示日历的指令：cal
• 改变文件的权限：chmod
  sudo chmod 777 XXX 强制赋权
• 变换目录：cd
• 显示当前所在目录：pwd
• 建立新目录：mkdir
• 档案与目录的显示：ls
• 复制档案或目录：cp
• 移除档案或目录：rm
• 移动档案与目录，或更名：mv
• 查看文件头几行：head
• 看尾几行：tail
• 寻找特定档案：find