大数据：应用于计量学的新技巧 - 第二章 用来分析大数据的工具

第二章 用来分析大数据的工具

大数据处理的结果其实往往是一个人能看明白的“小”数据表，能被丢进普通的SQL数据库，统计系统或者电子表格进行显示或者再处理的。如果挖掘出来的数据还是很“大”，那么就需要用一些子样本来进行统计分析。在谷歌工作中，我发现随机提取样本的中0.1%作为子样本用来做业务数据的分析效果是不错的。

 

一旦数据被挖掘出来，常常需要对这些数据进行一致性清理（比如美国在英文中表示为US，USA，America等，这时就需要将这些同时代表美国的英文统一为一些规范化的字串，比如ISO3166-1 alpha-2 的规范中，美国就是US）。完成清理只能通过平时的实践来学习，不过使用如OpenRefine或者DataWrangler这样的工具可以协助数据清理的。

 

在统计学和计量学中，数据分析可以被分成4类：1）预测，2）概要，3）估计以及4）检验假设。机器学习一般主要用来做预测；和领域密切相关的数据挖掘同样涉及做概要，并且可以在数据中找到特别有趣的数据模式。计量学家，统计学家以及数据挖掘专家通常会看能从数据中挖出什么。机器学习专家常涉及如何做出一个高效的计算机系统来满足在现有的计算资源中做出有用的预测。现在有个新词叫做数据科学，它主要涉及做预测以及概要（1类和2类数据分析），同时也涉及数据操作，数据可视化和类似的一些任务。请注意，在这个领域里术语并没有被规范化，仅仅是为了展示这些任务是在干嘛，而不是随意的给出个定义。用来描述计算机辅助数据分析的术语有知识挖掘，信息发觉，信息采集，数据考古（寻找并修复一些被遗弃或者封存起来的信息），数据模式处理以及探索性数据分析。

 

很多应用计量学涉及在数据中找到并总结其中数据间的关系，做这个最常用的工具就是（线性）回归。如我们所见，机器学习提供了可以用来总结数据中非线性关系的一组工具，因为这些工具用来做经济上的分析再自然不过，我们下面将着重看这些做回归用的工具。

 

当我们遇到一个最基本的统计预测问题，一般来说我们会想知道在给定变量 时变量y的条件分布是什么。如果我们想要做一个点预测的话，我们可以利用条件分布中的均值或者中位数来做这个预测。

 

在机器学习领域中，变量x通常被称为“预测因子”或者“特征变量”。机器学习的重点就是要找到一些可以提供y的预测值的函数y(x)。回顾历史，机器学习的绝大部分工作都涉及到了横断面数据：这些数据是独立的，是独立同分布的（iid）或者至少是独立分布的。数据可能会很“胖”，表明预测因子和观测相关；或者数据可能会很“高”，表明观测与预测因子相关。

 

通常我们得到y和x的数据后我们想要找到一个“良好”的预测方式给出一个新的x后y应该得多少。这里“良好”的意思表示最大限度的缩小一些损失函数的值，比如残差的平方和或者残差的绝对平均值等。当然啦，这些对应的损失是由这些新来的x所带来的，而不是之前那些为了做回归用到的x产生的。

 

面对这类问题的时候，经济学家通常一下就会想到用线性或者逻辑回归来解决问题。但是如果是拥有大量数据的情况下，相比上面的两个工具也许会有更好的解决方法，比如一些非线性方法1）分类回归树（CART），2）随机森林以及3）一些带有惩罚性质的回归方法比如LASSO，LARS以及弹性网路回归。当然还有一些其他的方法，比如神经网路，深度学习以及支持向量模型，不过本文中不会提及。这些方法都可以从一些机器学习的文章或者书籍中找到，这里推荐Hastie等在2009年的论文（搜索 Hastie et al. [2009]，在原文的参考文献中可找到，免费下载，这里不提及）。