data cleaning(数据清洗) 课程笔记

使用机器学习（ML）， data mining 对数据进行分析之前， 需要使用大量的数据预处理工作。 因为没有干净的数据， 很难对数据进行更进一步的分析。 

在这本课程中， 主要cover 如下几个内容：

（1）如何获取原始数据（raw data）

(2) 如何将这些具有噪声的raw data 变得更加的tidy， 以便为我们进一步的分析做准备。 有哪些data cleaning(数据清理的技术)

（3）使用工具R， 完成一些任务

Q： 在进行数据分析前， 我们希望的数据是什么样子的呢？

我们希望我们的数据如下图excel所示：

formated data:

（1）每一个行（row）是一个record

（2）每一列（column）代表一个variable。

这也是我们运用数据清洗等数据预处理技术之后， 希望产生的效果。但是我们实际中获取到的raw data 是千奇百怪的， 充满噪声的， 例如下面的形式：

或者：

等等， 不一而足。

那么数据在哪里呢？

可能在数据库中。 例如两个免费的数据库mysql, mangoDB等等。 我们可能从这些数据库中选取一些数据子集进行处理等等。或者数据来源于API， 调查， 网站上等等

本课程的主要任务如下：

红色的表示数据的预处理过程。 data analysis 是比较高级的任务。例如我们可以使用机器学习， 数据挖掘等知识去进行数据分析。

data commnication: 是分析之后， 如何去使用分析得到的结果了。