机器学习经典书籍和论文集合

原文地址：http://blog.sina.com.cn/s/blog_7e5f32ff0102vlgj.html

---

入门书单

1.《数学之美》PDF6
作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在机器学习和自然语言处理等领域的应用。

2.《Programming Collective Intelligence》（《集体智慧编程》）PDF3
作者Toby Segaran也是《BeautifulData : The Stories Behind Elegant Data Solutions》（《数据之美：解密优雅数据解决方案背后的故事》）的作者。这本书最大的优势就是里面没有理论推导和复杂的数学公式，是很不错的入门书。目前中文版已经脱销，对于有志于这个领域的人来说，英文的pdf是个不错的选择，因为后面有很多经典书的翻译都较差，只能看英文版，不如从这个入手。还有，这本书适合于快速看完，因为据评论，看完一些经典的带有数学推导的书后会发现这本书什么都没讲，只是举了很多例子而已。

3.《Algorithms of the Intelligent Web》（《智能web算法》）PDF1
作者Haralambos Marmanis、Dmitry Babenko。这本书中的公式比《集体智慧编程》要略多一点，里面的例子多是互联网上的应用，看名字就知道。不足的地方在于里面的配套代码是BeanShell而不是python或其他。总起来说，这本书还是适合初学者，与上一本一样需要快速读完，如果读完上一本的话，这一本可以不必细看代码，了解算法主要思想就行了。

4.《统计学习方法》 PDF模糊
作者李航，是国内机器学习领域的几个大家之一，曾在MSRA任高级研究员，现在华为诺亚方舟实验室。书中写了十个算法，每个算法的介绍都很干脆，直接上公式，是彻头彻尾的“干货书”。每章末尾的参考文献也方便了想深入理解算法的童鞋直接查到经典论文；本书可以与上面两本书互为辅助阅读。

5.《Machine Learning》（《机器学习》） PDF7
作者Tom Mitchell是CMU的大师，有机器学习和半监督学习的网络课程视频。这本书是领域内翻译的较好的书籍，讲述的算法也比《统计学习方法》的范围要大很多。据评论这本书主要在于启发，讲述公式为什么成立而不是推导；不足的地方在于出版年限较早，时效性不如PRML。但有些基础的经典还是不会过时的，所以这本书现在几乎是机器学习的必读书目。

6.《Mining of Massive Datasets》（《大数据》） PDF19
作者Anand Rajaraman[3]、Jeffrey David Ullman，Anand是Stanford的PhD。这本书介绍了很多算法，也介绍了这些算法在数据规模比较大的时候的变形。但是限于篇幅，每种算法都没有展开讲的感觉，如果想深入了解需要查其他的资料，不过这样的话对算法进行了解也足够了。还有一点不足的地方就是本书原文和翻译都有许多错误，勘误表比较长，读者要用心了。

7.《Data Mining: Practical Machine Learning Tools and Techniques》（《数据挖掘：实用机器学习技术》） PDF16
作者Ian H. Witten 、Eibe Frank是weka的作者、新西兰怀卡托大学教授。他们的《ManagingGigabytes》[4]也是信息检索方面的经典书籍。这本书最大的特点是对weka的使用进行了介绍，但是其理论部分太单薄，作为入门书籍还可，但是，经典的入门书籍如《集体智慧编程》、《智能web算法》已经很经典，学习的话不宜读太多的入门书籍，建议只看一些上述两本书没讲到的算法。

8.《机器学习及其应用》
周志华、杨强主编。来源于“机器学习及其应用研讨会”的文集。该研讨会由复旦大学智能信息处理实验室发起，目前已举办了十届，国内的大牛如李航、项亮、王海峰、刘铁岩、余凯等都曾在该会议上做过讲座。这本书讲了很多机器学习前沿的具体的应用，需要有基础的才能看懂。如果想了解机器学习研究趋势的可以浏览一下这本书。关注领域内的学术会议是发现研究趋势的方法嘛。

9.《Managing Gigabytes》（深入搜索引擎）PDF8
信息检索不错的书。

10.《Modern Information Retrieval》 PDF6
Ricardo Baeza-Yates et al. 1999。貌似第一本完整讲述IR的书。可惜IR这些年进展迅猛，这本书略有些过时了。翻翻做参考还是不错的。另外，Ricardo同学现在是Yahoo Research for Europe and Latin Ameria的头头。

11.《推荐系统实践》 PDF13
项亮，不错的入门读物

---

深入

1.《Pattern Classification》（《模式分类》第二版） PDF14
作者Richard O. Duda[5]、Peter E. Hart、David。模式识别的奠基之作，但对最近呈主导地位的较好的方法SVM、Boosting方法没有介绍，被评“挂一漏万之嫌”。

2.《Pattern Recognition And Machine Learning》 PDF74
作者Christopher M. Bishop[6]；简称PRML，侧重于概率模型，是贝叶斯方法的扛鼎之作，据评“具有强烈的工程气息，可以配合stanford 大学 Andrew Ng 教授的 Machine Learning 视频教程一起来学，效果翻倍。”

3.《The Elements of Statistical Learning : Data Mining, Inference, andPrediction》，（《统计学习基础：数据挖掘、推理与预测》第二版） PDF8
作者RobertTibshirani、Trevor Hastie、Jerome Friedman。“这本书的作者是Boosting方法最活跃的几个研究人员，发明的Gradient Boosting提出了理解Boosting方法的新角度，极大扩展了Boosting方法的应用范围。这本书对当前最为流行的方法有比较全面深入的介绍，对工程人员参考价值也许要更大一点。另一方面，它不仅总结了已经成熟了的一些技术，而且对尚在发展中的一些议题也有简明扼要的论述。让读者充分体会到机器学习是一个仍然非常活跃的研究领域，应该会让学术研究人员也有常读常新的感受。”[7]

4.《Data Mining：Concepts andTechniques》（《数据挖掘：概念与技术》第三版） PDF3
作者（美）Jiawei Han[8]、（加）Micheline Kamber、（加）Jian Pei，其中第一作者是华裔。本书毫无疑问是数据挖掘方面的的经典之作，不过翻译版总是被喷，没办法，大部分翻译过来的书籍都被喷，想要不吃别人嚼过的东西，就好好学习英文吧。

5.《AI, Modern Approach 2nd》 PDF8
Peter Norvig，无争议的领域经典。

6.《Foundations of Statistical Natural Language Processing》 PDF7
自然语言处理领域公认经典。

7.《Information Theory：Inference and Learning Algorithms》 PDF5

8.《Statistical Learning Theory》 PDF7
Vapnik的大作，统计学界的权威，本书将理论上升到了哲学层面，他的另一本书《The Nature ofStatistical Learning Theory》也是统计学习研究不可多得的好书，但是这两本书都比较深入，适合有一定基础的读者。

---

数学基础

1.《矩阵分析》 PDF22
Roger Horn。矩阵分析领域无争议的经典

2.《概率论及其应用》 PDF3
威廉·费勒。极牛的书，可数学味道太重，不适合做机器学习的

3.《All Of Statistics》 PDF高清版18
机器学习这个方向，统计学也一样非常重要。推荐All of statistics，这是CMU的一本很简洁的教科书，注重概念，简化计算，简化与Machine Learning无关的概念和统计内容，可以说是很好的快速入门材料。

4.《Nonlinear Programming, 2nd》 PDF5
最优化方法，非线性规划的参考书。

5.《Convex Optimization》 PDF9 配套代码7
Boyd的经典书籍，被引用次数超过14000次，面向实际应用，并且有配套代码，是一本不可多得的好书。

6.《Numerical Optimization》 PDF6
第二版，Nocedal著，非常适合非数值专业的学生和工程师参考，算法流程清晰详细，原理清楚。

7.《Introduction to Mathematical Statistics》 PDF5
第六版，Hogg著，本书介绍了概率统计的基本概念以及各种分布，以及ML，Bayesian方法等内容。

8.《An Introduction to Probabilistic Graphical Models》 PDF20
Jordan著，本书介绍了条件独立、分解、混合、条件混合等图模型中的基本概念，对隐变量（潜在变量）也做了详细介绍，相信大家在隐马尔科夫链和用Gaussian混合模型来实现EM算法时遇到过这个概念。

9.《Probabilistic Graphical Models-Principles and Techniques》 PDF8
Koller著，一本很厚很全面的书，理论性很强，可以作为参考书使用。

具体数学 PDF5
经典

大家的补充

1.线性代数 (Linear Algebra)：

我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是

Introduction to Linear Algebra (3rd Ed.) by Gilbert Strang.

这本书是MIT的线性代数课使用的教材，也是被很多其它大学选用的经典教材。它的难度适中，讲解清晰，重要的是对许多核心的概念讨论得比较透彻。我个人觉得，学习线性代数，最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳，关键的是要深入理解几个基础而又重要的概念：子空间(Subspace)，正交(Orthogonality)，特征值和特征向量(Eigenvalues and eigenvectors)，和线性变换(Linear transform)。从我的角度看来，一本线代教科书的质量，就在于它能否给这些根本概念以足够的重视，能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。

而且，这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课(18.06)，课程的video在MIT的Open courseware网站上有提供。有时间的朋友可以一边看着名师授课的录像，一边对照课本学习或者复习。

http://ocw.mit.edu/OcwWeb/Mathematics/18-06Spring-2005/CourseHome/index.htm8

2.概率和统计 (Probability and Statistics):

概率论和统计的入门教科书很多，我目前也没有特别的推荐。我在这里想介绍的是一本关于多元统计的基础教科书：

Applied Multivariate Statistical Analysis (5th Ed.) by Richard A. Johnson and Dean W. Wichern

这本书是我在刚接触向量统计的时候用于学习的，我在香港时做研究的基础就是从此打下了。实验室的一些同学也借用这本书学习向量统计。这本书没有特别追求数学上的深度，而是以通俗易懂的方式讲述主要的基本概念，读起来很舒服，内容也很实用。对于Linear regression, factor analysis, principal component analysis (PCA), and canonical component analysis (CCA)这些Learning中的基本方法也展开了初步的论述。

之后就可以进一步深入学习贝叶斯统计和Graphical models。一本理想的书是

Introduction to Graphical Models (draft version). by M. Jordan and C. Bishop.

我不知道这本书是不是已经出版了（不要和Learning in Graphical Models混淆，那是个论文集，不适合初学）。这本书从基本的贝叶斯统计模型出发一直深入到复杂的统计网络的估计和推断，深入浅出，statistical learning的许多重要方面都在此书有清楚论述和详细讲解。MIT内部可以access，至于外面，好像也是有电子版的。

3.分析 (Analysis)：

我想大家基本都在大学就学过微积分或者数学分析，深度和广度则随各个学校而异了。这个领域是很多学科的基础，值得推荐的教科书莫过于

Principles of Mathematical Analysis, by Walter Rudin

有点老，但是绝对经典，深入透彻。缺点就是比较艰深——这是Rudin的书的一贯风格，适合于有一定基础后回头去看。

在分析这个方向，接下来就是泛函分析(Functional Analysis)。

Introductory Functional Analysis with Applications, by Erwin Kreyszig.

适合作为泛函的基础教材，容易切入而不失全面。我特别喜欢它对于谱论和算子理论的特别关注，这对于做learning的研究是特别重要的。Rudin也有一本关于functional analysis的书，那本书在数学上可能更为深刻，但是不易于上手，所讲内容和learning的切合度不如此书。

在分析这个方向，还有一个重要的学科是测度理论(Measure theory)，但是我看过的书里面目前还没有感觉有特别值得介绍的。

4.拓扑 (Topology)：

在我读过的基本拓扑书各有特色，但是综合而言，我最推崇：

Topology (2nd Ed.) by James Munkres

这本书是Munkres教授长期执教MIT拓扑课的心血所凝。对于一般拓扑学(General topology)有全面介绍，而对于代数拓扑(Algebraic topology)也有适度的探讨。此书不需要特别的数学知识就可以开始学习，由浅入深，从最基本的集合论概念（很多书不屑讲这个）到Nagata-Smirnov Theorem和Tychonoff theorem等较深的定理（很多书避开了这个）都覆盖了。讲述方式思想性很强，对于很多定理，除了给出证明过程和引导你思考其背后的原理脉络，很多令人赞叹的亮点——我常读得忘却饥饿，不愿释手。很多习题很有水平。

5.流形理论 (Manifold theory)：

对于拓扑和分析有一定把握时，方可开始学习流形理论，否则所学只能流于浮浅。我所使用的书是

Introduction to Smooth Manifolds. by John M. Lee

虽然书名有introduction这个单词，但是实际上此书涉入很深，除了讲授了基本的manifold, tangent space, bundle, sub-manifold等，还探讨了诸如纲理论(Category theory)，德拉姆上同调(De Rham cohomology)和积分流形等一些比较高级的专题。对于李群和李代数也有相当多的讨论。行文通俗而又不失严谨，不过对某些记号方式需要熟悉一下。

虽然李群论是建基于平滑流形的概念之上，不过，也可能从矩阵出发直接学习李群和李代数——这种方法对于急需使用李群论解决问题的朋友可能更加实用。而且，对于一个问题从不同角度看待也利于加深理解。下面一本书就是这个方向的典范：

Lie Groups, Lie Algebras, and Representations: An Elementary Introduction. by Brian C. Hall

此书从开始即从矩阵切入，从代数而非几何角度引入矩阵李群的概念。并通过定义运算的方式建立exponential mapping，并就此引入李代数。这种方式比起传统的通过“左不变向量场(Left-invariant vector field)“的方式定义李代数更容易为人所接受，也更容易揭示李代数的意义。最后，也有专门的论述把这种新的定义方式和传统方式联系起来。

机器学习经典书籍&论文

转自水木

除了以下推荐的书以外，出版在Foundations and Trends in Machine Learning上面的survey文章都值得一看。

入门：

Pattern Recognition And Machine Learning

Christopher M. Bishop

Machine Learning : A Probabilistic Perspective

Kevin P. Murphy

The Elements of Statistical Learning : Data Mining, Inference, and Predictio
n

Trevor Hastie, Robert Tibshirani, Jerome Friedman

Information Theory, Inference and Learning Algorithms

David J. C. MacKay

All of Statistics : A Concise Course in Statistical Inference

Larry Wasserman

优化：

Convex Optimization

Stephen Boyd, Lieven Vandenberghe

Numerical Optimization

Jorge Nocedal, Stephen Wright

Optimization for Machine Learning

Suvrit Sra, Sebastian Nowozin, Stephen J. Wright

核方法：

Kernel Methods for Pattern Analysis

John Shawe-Taylor, Nello Cristianini

Learning with Kernels : Support Vector Machines, Regularization, Optimizatio
n, and Beyond

Bernhard Schlkopf, Alexander J. Smola

半监督：

Semi-Supervised Learning

Olivier Chapelle

高斯过程：

Gaussian Processes for Machine Learning (Adaptive Computation and Machine Le
arning)

Carl Edward Rasmussen, Christopher K. I. Williams

概率图模型：

Graphical Models, Exponential Families, and Variational Inference

Martin J Wainwright, Michael I Jordan

Boosting:

Boosting : Foundations and Algorithms

Schapire, Robert E.; Freund, Yoav

贝叶斯:

Statistical Decision Theory and Bayesian Analysis

James O. Berger

The Bayesian Choice : From Decision-Theoretic Foundations to Computational I
mplementation

Christian P. Robert

Bayesian Nonparametrics

Nils Lid Hjort, Chris Holmes, Peter Müller, Stephen G. Walker

Principles of Uncertainty

Joseph B. Kadane

Decision Theory : Principles and Approaches

Giovanni Parmigiani, Lurdes Inoue

蒙特卡洛：

Monte Carlo Strategies in Scientific Computing

Jun S. Liu

Monte Carlo Statistical Methods

Christian P.Robert, George Casella

信息几何：

Methods of Information Geometry

Shun-Ichi Amari, Hiroshi Nagaoka

Algebraic Geometry and Statistical Learning Theory

Watanabe, Sumio

Differential Geometry and Statistics

M.K. Murray, J.W. Rice

渐进收敛：

Asymptotic Statistics

A. W. van der Vaart

Empirical Processes in M-estimation

Geer, Sara A. van de

不推荐：

Statistical Learning Theory

Vladimir N. Vapnik

Bayesian Data Analysis, Second Edition

Andrew Gelman, John B. Carlin, Hal S. Stern, Donald B. Rubin

Probabilistic Graphical Models : Principles and Techniques

Daphne Koller, Nir Friedman

机器学习经典论文/survey合集

Active Learning

Two Faces of Active Learning50, Dasgupta, 2011

Active Learning Literature Survey8, Settles, 2010

Applications

A Survey of Emerging Approaches to Spam Filtering9, Caruana, 2012

Ambient Intelligence: A Survey3, Sadri, 2011

A Survey of Online Failure Prediction Methods2, Salfner, 2010

Anomaly Detection: A Survey3, Chandola, 2009

Mining Data Streams: A Review4, Gaber, 2005

Workflow Mining: A Survey of Issues and Approaches2, Aalst, 2003

Biology

Support Vector Machines in Bioinformatics: a Survey12, Chicco, 2012

Computational Epigenetics: The New Scientific Paradigm 3, Lim, 2010

Automated Protein Structure Classification: A Survey4, Hassanzadeh, 2009

Chemoinformatics - An Introduction for Computer Scientists3, Brown, 2009

Computational Challenges in Systems Biology2, Heath, 2009

Computational Epigenetics 3, Bock, 2008

Progress and Challenges in Protein Structure Prediction3, Zhang, 2008

A Review of Feature Selection in Bioinformatics4, Saeys, 2007

Machine Learning in Bioinformatics: A Brief Survey and Recommendations for Practitioners6, Bhaskar, 2006

Bioinformatics - An Introduction for Computer Scientists1, Cohen, 2004

Computational Systems Biology2, Kitano, 2002

Protein Structure Prediction and Structural Genomics2, Baker, 2001

Recent Developments and Future Directions in Computational Genomics1, Tsoka, 2000

Molecular Biology for Computer Scientists1, Hunter, 1993

Classification

Supervised Machine Learning: A Review of Classification Techniques22, Kotsiantis, 2007

Clustering

XML Data Clustering: An Overview4, Algergawy, 2011

Data Clustering: 50 Years Beyond K-Means6, Jain, 2010

Clustering Stability: An Overview5, Luxburg, 2010

Parallel Clustering Algorithms: A Survey4, Kim, 2009

A Survey: Clustering Ensembles Techniques2, Ghaemi, 2009

A Tutorial on Spectral Clustering4, Luxburg, 2007

Survey of Clustering Data Mining Techniques4, Berkhin, 2006

Survey of Clustering Algorithms4, Xu, 2005

Clustering of Time Series Data - A Survey3, Liao, 2005

Clustering Methods4, Rokach, 2005

Recent Advances in Clustering: A Brief Survey2, Kotsiantis, 2004

Subspace Clustering for High Dimensional Data: A Review2, Parsons, 2004

Unsupervised and Semi-supervised Clustering: a Brief Survey3, Grira, 2004

Clustering in Life Sciences3, Zhao, 2002

On Clustering Validation Techniques2, Halkidi, 2001

Data Clustering: A Review3, Jain, 1999

A Survey of Fuzzy Clustering4, Yang, 1993

Computer Vision

Pedestrian Detection: An Evaluation of the State of the Art7, Dollar, 2012

A Comparative Study of Palmprint Recognition Algorithms3, Zhang, 2012

Human Activity Analysis: A Review2, Aggarwal, 2011

Subspace Methods for Face Recognition2, Rao, 2010

Context Based Object Categorization: A Critical Survey2, Galleguillos, 2010

Object tracking: A Survey3, Yilmaz, 2006

Detecting Faces in Images: A Survey2, Yang, 2002

Databases

Data Fusion3, Bleiholder, 2008

Duplicate Record Detection: A Survey2, Elmagarmid, 2007

Overview of Record Linkage and Current Research Directions2, Winkler, 2006

A Survey of Schema-based Matching Approaches3, Shvaiko, 2005

Deep Learning

Representation Learning: A Review and New Perspectives17, Bengio, 2012

Dimension Reduction

Dimensionality Reduction: A Comparative Review6, Maaten, 2009

Dimension Reduction: A Guided Tour4, Burges, 2009

A Survey of Manifold-Based Learning Methods2, Huo, 2007

Toward Integrating Feature Selection Algorithms for Classification and Clustering3, Liu, 2005

An Introduction to Variable and Feature Selection3, Guyon, 2003

A Survey of Dimension Reduction Techniques2, Fodor, 2002

Economics

Auctions and Bidding: A Guide for Computer Scientists1, Parsons, 2011

Computational Sustainability1, Gomes, 2009

Computational Finance1, Tsang, 2004

Game Theory

Computer Poker: A Review4, Rubin, 2011

Graphical Models

An Introduction to Variational Methods for Graphical Models5, Jordan, 1999

Kernel Methods

Kernels for Vector-Valued Functions: a Review4, Alvarez, 2012

Learning Theory

Introduction to Statistical Learning Theory7, Bousquet, 2004

Machine Learning

A Few Useful Things to Know about Machine Learning7, Domingos, 2012

A Tutorial on Bayesian Nonparametric Models4, Blei, 2011

Decision Forests for Classification, Regression, Density Estimation, Manifold Learning and Semi-Supervised Learning2, Criminisi, 2011

Top 10 Algorithms in Data Mining4, Wu, 2008

Semi-Supervised Learning Literature Survey, Zhu, 2007

Interestingness Measures for Data Mining: A Survey, Geng, 2006

A Survey of Interestingness Measures for Knowledge Discovery1, McGarry, 2005

A Tutorial on the Cross-Entropy Method, Boer, 2005

A Survey of Kernels for Structured Data, Gartner, 2003

Survey on Frequent Pattern Mining, Goethals, 2003

The Boosting Approach to Machine Learning: An Overview1, Schapire, 2003

A Survey on Wavelet Applications in Data Mining, Li, 2002

Mathematics

Topology and Data3, Carlsson, 2009

Multi-armed Bandit

Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems3, Bubeck, 2012

Natural Computing

Reservoir Computing Approaches to Recurrent Neural Network Training, Jaeger, 2009

Artificial Immune Systems, Aickelin, 2005

A Survey of Evolutionary Algorithms for Data Mining and Knowledge Discovery, Freitas?? , 2003

Data Mining in Soft Computing Framework: A Survey, Mitra, 2002

Neural Networks for Classification: A Survey1, Zhang, 2000

Natural Language Processing

Probabilistic Topic Models2, Blei, 2012

Ontology Learning From Text: A Look Back And Into The Future1, Wong, 2012

Machine Transliteration Survey, Karimi, 2011

Translation Techniques in Cross-Language Information Retrieval, Zhou, 2011

Comprehensive Review of Opinion Summarization, Kim, 2011

A Survey on Sentiment Detection of Reviews, Tang, 2009

Word Sense Desambiguation: A Survey, Navigli, 2009

Topic Models, Blei, 2009

Opinion Mining and Sentiment Analysis, Pang, 2008

Information Extraction, Sarawagi, 2008

Statistical Machine Translation, Lopez, 2008

A Survey of Named Entity Recognition and Classification, Nadeau, 2007

Adaptive Information Extraction, Turmo, 2006

Survey of Text Clustering, Jing, 2005

Machine Learning in Automated Text Categorization, Sebastiani, 2002

Web Mining Research: A Survey, Kosala, 2000

Networks

Community Detection in Graphs1, Fortunato, 2010

A Survey of Statistical Network Models, Goldenberg, 2010

Communities in Networks, Porter, 2009

Graph Clustering, Schaeffer, 2007

Graph Mining: Laws, Generators, and Algorithms, Chakrabarti, 2006

Comparing Community Structure Identification, Danon, 2005

Link Mining: A Survey1, Getoor, 2005

Detecting Community Structure in Networks, Newman, 2004

Link Mining: A New Data Mining Challenge, Getoor, 2003

On-Line Learning

On-Line Algorithms in Machine Learning1, Blum, 1998

Others

A Survey of Very Large-Scale Neighborhood Search Techniques, Ahuja, 2001

Planning and Scheduling

A Review of Machine Learning for Automated Planning1, Jimenez, 2009

Probabilistic

Approximate Policy Iteration: A Survey and Some New Methods, Bertsekas, 2011

An Introduction to MCMC for Machine Learning1, Andrieu, 2003

Probabilistic Models

An Introduction to Conditional Random Fields1, Sutton, 2010

Randomized Algorithms

Randomized Algorithms for Matrices and Data1, Mahoney, 2011

Recommender Systems

Recent advances in Personalized Recommender Systems1, Liu, 2009

Matrix Factorization Techniques for Recommender Systems1, Koren, 2009

A Survey of Collaborative Filtering Techniques1, Su, 2009

Regression

Ensemble Approaches for Regression: a Survey4, Moreira, 2012

Reinforcement Learning

A Survey of Reinforcement Learning in Relational Domains1, Otterlo, 2005

Reinforcement Learning: A Survey, Kaelbling, 1996

Rule Learning

Association Mining, Ceglar, 2006

Algorithms for Association Rule Mining - A General Survey and Comparison, Hipp, 2000

Testing

Controlled Experiments on the Web: Survey and Practical Guide, Kohavi, 2009

Time Series

Time-Series Data Mining2, Esling, 2012

A Review on Time Series Data Mining1, Fu, 2011

Discrete Wavelet Transform-Based Time Series Analysis and Mining, Chaovalit, 2011

Transfer Learning

A Survey on Transfer Learning, Pan, 2010

Web Mining

A Taxonomy of Sequential Pattern Mining Algorithms, Mabroukeh, 2010

A Survey of Web Clustering Engines, Carpineto, 2009

Web Page Classification: Features and Algorithms, Qi, 2009

Mining Interesting Knowledge from Weblogs: A Survey, Facca, 2005

An Overview of Web Data Clustering Practices, Vakali, 2005

A Survey of Web Metrics, Dhyani, 2002

Data Mining for Hypertext: A Tutorial Survey3, Chakrabarti, 2000

机器学习和深度学习的研究进展正深刻变革着人类的技术，本文列出了自 2014 年以来这两个领域发表的最重要（被引用次数最多）的 20 篇科学论文，以飨读者。

机器学习，尤其是其子领域深度学习，在近些年来取得了许多惊人的进展。重要的研究论文可能带来使全球数十亿人受益的技术突破。这一领域的研究目前发展非常快，为了帮助你了解进展状况，我们列出了自 2014 年以来最重要的 20 篇科学论文。

我们筛选论文的标准是来自三大学术搜索引擎谷歌学术（scholar.google.com）、微软学术（academic.microsoft.com）和 semanticscholar.org 的引用量。由于不同搜索引擎的引用量数据各不相同，所以我们在这里仅列出了微软学术的数据，其数据比其它两家稍低一点。

我们还给出了每篇论文的发表时间、高度有影响力的引用数量（HIC）和引用速度（CV），以上数据由 semanticscholar.org 提供。HIC 表示了以此为基础的论文情况和与其它论文的关系，代表了有意义的引用。CV 是最近 3 年每年引用数量的加权平均。有些引用的 CV 是 0，那是因为 semanticscholar.org 上没有给出数据。这 20 篇论文中大多数（包括前 8 篇）都是关于深度学习的，但同时也很多样性，仅有一位作者（Yoshua Bengio）有 2 篇论文，而且这些论文发表在很多不同的地方：CoRR (3)、ECCV (3)、IEEE CVPR (3)、NIPS (2)、ACM Comp Surveys、ICML、IEEE PAMI、IEEE TKDE、Information Fusion、Int. J. on Computers & EE、JMLR、KDD 和 Neural Networks。前 2 篇论文的引用量目前远远高于其它论文。注意第 2 篇论文去年才发表！要了解机器学习和深度学习的最新进展，这些论文一定不能错过。

1. 论文：Dropout：一种防止神经网络过拟合的简单方法（Dropout: a simple way to prevent neural networks from overfitting）

• 链接：http://suo.im/3o6l4B

• 作者：Hinton, G.E., Krizhevsky, A., Srivastava, N., Sutskever, I., & Salakhutdinov, R. (2014). Journal of Machine Learning Research, 15, 1929-1958.

• 数据：引用：2084、HIC：142、CV：536

• 摘要：其关键思想是在神经网络的训练过程中随机丢弃单元（连同它们的连接点）。这能防止单元适应过度，显著减少过拟合，并相对于其它正则化方法有重大改进。

2. 论文：用于图像识别的深度残差学习（Deep Residual Learning for Image Recognition）

• 链接：http://suo.im/1JrYXX

• 作者：He, K., Ren, S., Sun, J., & Zhang, X. (2016). CoRR

• 数据：引用：1436、HIC：137、CV：582

• 摘要：目前的深度学习网络层数越来越多，越来越难以训练，因此我们提出了一种减缓训练压力的残差学习框架。我们明确地将这些层重新定义为与输入层有关的学习残差函数，而不是学习未被引用的函数。与此同时，我们提供了全面的经验证据以表明残差网络更容易优化，并可通过增加其层数来提升精确度。

3. 论文：批标准化：通过减少内部协移加速深度神经网络训练（Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）

• 链接：http://suo.im/3sJtk1

• 作者：Sergey Ioffe, Christian Szegedy (2015) ICML.

• 数据：引用：946、HIC：56、CV：0

• 摘要：训练深度神经网络的过程很复杂，原因在于每层的输入分布随着训练过程中引起的前面层的参数变化而变化。我们把这种现象称为内部协变量转移（internal covariate shift），并可利用归一化层输入来解决此问题。通过将此方法应用到最先进的图像分类模型，批标准化在训练次数减少了 14 倍的条件下达到了与原始模型相同的精度，这表明批标准化具有明显的优势。

4. 论文：利用卷积神经网络进行大规模视频分类（Large-Scale Video Classification with Convolutional Neural Networks）

• 链接：http://suo.im/25lfXF

• 作者：Fei-Fei, L., Karpathy, A., Leung, T., Shetty, S., Sukthankar, R., & Toderici, G. (2014). IEEE Conference on Computer Vision and Pattern Recognition

• 数据：引用：865、HIC：24、CV：239

• 摘要：针对图像识别问题，卷积神经网络（CNN）被认为是一类强大的模型。受到这些结果的激励，我们使用了一个包含 487 个类别、100 万 YouTube 视频的大型数据集，对利用 CNN 进行大规模视频分类作了一次广泛的实证评估。

5. 论文：Microsoft COCO：语境中的通用对象（Microsoft COCO: Common Objects in Context）

• 链接：http://suo.im/DAXwA

• 作者：Belongie, S.J., Dollár, P., Hays, J., Lin, T., Maire, M., Perona, P., Ramanan, D., & Zitnick, C.L. (2014). ECCV.

• 数据：引用：830、HIC：78、CV：279

• 摘要：我们展示了一个新的数据集，通过将对象识别问题放入更广泛的场景理解问题的语境中，以推进当前对象识别领域中最先进的技术。我们的数据集包含了 91 种对象类型的照片，这些图片对于一个 4 岁大的孩子而言，很容易识别。最后，我们利用可变形部件模型（DPM）为边界框和分割检测结果提供了一个基线性能分析。

6. 论文：使用场景数据库学习场景识别中的深层特征（Learning deep features for scene recognition using places database）

• 链接：http://suo.im/2EOBTa

• 作者：Lapedriza, À., Oliva, A., Torralba, A., Xiao, J., & Zhou, B. (2014). NIPS.

• 数据：引用：644、HIC：65、CV：0

• 摘要：我们引入了一个以场景为中心的新数据库，这个数据库称为「Places」，里面包含了超过 700 万个标注好了的场景。我们提议使用新方法去比较图像数据集的密度和多样性，以表明 Places 与其它场景数据库一样密集并更具多样性。

7. 论文：生成对抗网络（Generative adversarial nets）

• 链接：http://suo.im/3YS5F6

• 作者：Bengio, Y., Courville, A.C., Goodfellow, I.J., Mirza, M., Ozair, S., Pouget-Abadie, J., Warde-Farley, D., & Xu, B. (2014) NIPS.

• 数据：引用：463、HIC：55、CV：0

• 摘要：通过对抗过程，我们提出了一个评估生成模型的新框架。在此框架中，我们同时训练两个模型：生成模型 G 捕获数据分布；判别模型 D 评估样本示来自训练数据集（而不是来自 G 中）的概率。

8. 论文：通过内核相关滤波器实现高速跟踪（High-Speed Tracking with Kernelized Correlation Filters）

• 链接：http://suo.im/2BBOea

• 作者：Batista, J., Caseiro, R., Henriques, J.F., & Martins, P. (2015). CoRR

• 数据：引用：439、HIC：43、CV：0

• 摘要：大多数的现代追踪器，为应对自然图像中的变化，典型的方法是采用翻译和缩放样本补丁训练分类器。我们针对包含成千上万个翻译补丁数据集提出了一个分析模型。结果表明结果数据矩阵是循环的，我们可以利用离散傅立叶变换对角化已有的循环矩阵，将存储和计算量降低了几个数量级。

9. 论文：多标签学习算法综述（A Review on Multi-Label Learning Algorithms）

• 链接：http://suo.im/3LgpGf

• 作者：Zhang, M., & Zhou, Z. (2014). IEEE TKDE

• 数据：引用：436、HIC：7、CV：91

• 摘要：本论文的主要目的是对多标签学习问题进行及时回顾。在多标签学习问题中，一个实例代表一个样本，同时，一个样本与一组标签相关联。

10. 论文：深层神经网络特征的可传递性（How transferable are features in deep neural networks）

• 链接：http://suo.im/aDLgu

• 作者：Bengio, Y., Clune, J., Lipson, H., & Yosinski, J. (2014) CoRR

• 数据：引用：402、HIC：14、CV：0

• 摘要：我们用实验量化了深层卷积神经网络中每层神经元的一般性与特异性，并报告了一些令人惊讶的结果。可传递性受到两个不同问题的不利影响：（1）以牺牲目标任务的性能为代价，实现更高层神经元对原始人物的专业化，这是预料之中的；（2）与分裂共同适应神经元（co-adapted neuron）之间的网络有关的优化困难，这是预料之外的。

11. 论文：我们需要数百种分类器来解决真实世界的分类问题吗？（Do we need hundreds of classifiers to solve real world classification problems）

• 链接：http://suo.im/2w14RK

• 作者：Amorim, D.G., Barro, S., Cernadas, E., & Delgado, M.F. (2014). Journal of Machine Learning Research

• 数据：引用：387、HIC：3、CV：0

• 摘要：我们评估了来自 17 个「家族」（判别分析、贝叶斯、神经网络、支持向量机、决策树、基于规则的分类器、提升、装袋、堆叠、随机森林、集成方法、广义线性模型、最近邻、部分最小二乘和主成分回归、逻辑和多项回归、多元自适应回归样条法等）的 179 个分类器。我们使用了来自 UCI 数据库中的 121 个数据集来研究分类器行为，这些行为不依赖于所选取的数据集。最终胜出的是使用 R 语言实现的随机森林方法和 C 中使用 LibSVM 实现的带有高斯内核的 SVM。

12. 论文：知识库：一种概率知识融合的网络规模方法（Knowledge vault: a web-scale approach to probabilistic knowledge fusion）

• 链接：http://suo.im/3qCSs6

• 作者：Dong, X., Gabrilovich, E., Heitz, G., Horn, W., Lao, N., Murphy, K., ... & Zhang, W.(2014, August). In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining ACM

• 数据：引用：334、HIC：7、CV：107

• 摘要：我们引入了一个网络规模的概率知识库，它将网页内容提取（通过文本分析、表格数据、页面结构和人工注释获得）与来自现存知识库中的先验知识相结合，以构建新知识库。我们部署监督学习方法去融合不同的信息源。该知识库比先前发布的任何结构化知识库大得多，并且具有概率推理系统，该概率推理系统能计算事实准确性的校准概率。

13. 论文：用于高维数据的可扩展最近邻算法（Scalable Nearest Neighbor Algorithms for High Dimensional Data）

• 链接：http://suo.im/hjTa4

• 作者：Lowe, D.G., & Muja, M. (2014). IEEE Trans. Pattern Anal. Mach. Intell.

• 数据：引用：324、HIC：11、CV：69

• 摘要：我们提出了用于近似最近邻匹配的新算法，并将其与以前的算法进行比较。为了将其扩展到大型数据集（不适合单机的存储处理）上，我们提出了一种分布式最近邻匹配框架，该框架可以与论文中描述的任何算法一起使用。

14. 论文：回顾超限学习机的发展趋势（Trends in extreme learning machines: a review）

• 链接：http://suo.im/3WSEQi

• 作者：Huang, G., Huang, G., Song, S., & You, K. (2015). Neural Networks

• 数据：引用：323、HIC：0、CV：0

• 摘要：我们的目标是报告超限学习机（ELM）的理论研究和实践进展所处的现状。除了分类和回归，ELM 最近已经被扩展到集群、特征选择、代表性学习和许多其他学习任务。由于其惊人的高效性、简单性和令人印象深刻的泛化能力，ELM 已经被广泛用于各种领域，如生物医学工程、计算机视觉、系统识别、控制和机器人。

15. 论文：一份关于概念漂移适应的调查（A survey on concept drift adaptation）

• 链接：http://suo.im/3bQkiz

• 作者：Bifet, A., Bouchachia, A., Gama, J., Pechenizkiy, M., & Zliobaite, I. ACM Comput. Surv., 2014

• 数据：引用：314、HIC：4、CV：23

• 摘要：该文全面介绍了概念漂移适应。它指的是当输入数据与目标变量之间的关系随时间变化之时的在线监督学习场景。

16. 论文：深度卷积激活特征的多尺度无序池化（Multi-scale Orderless Pooling of Deep Convolutional Activation Features）

• 链接：http://suo.im/3gNw8e

• 作者：Gong, Y., Guo, R., Lazebnik, S., & Wang, L. (2014). ECCV

• 数据：引用：293、HIC：23、CV：95

• 摘要：为了在不降低其辨别力的同时改善卷积神经网络激活特征的不变性，本文提出了一种简单但有效的方案：多尺度无序池化（MOP-CNN）。

17. 论文：同时检测和分割（Simultaneous Detection and Segmentation）

• 链接：http://suo.im/4b0ye0

• 作者：Arbeláez, P.A., Girshick, R.B., Hariharan, B., & Malik, J. (2014) ECCV

• 数据：引用：286、HIC：23、CV：94

• 摘要：本文的目标是检测图像中一个类别的所有实例，并为每个实例标记属于它的像素。我们称将此任务称为同时检测和分割（SDS）。

18. 论文：一份关于特征选择方法的调查（A survey on feature selection methods）

• 链接：http://suo.im/4BDdKA

• 作者：Chandrashekar, G., & Sahin, F. Int. J. on Computers & Electrical Engineering

• 数据：引用：279、HIC：1、CV：58

• 摘要：在文献中，有许多特征选择方法可用，由于某些数据集具有数百个可用的特征，这会导致数据具有非常高的维度。

19. 论文：用回归树集成方法在一毫秒内实现人脸校准（One Millisecond Face Alignment with an Ensemble of Regression Trees）

• 链接：http://suo.im/1iFyub

• 作者：Kazemi, Vahid, and Josephine Sullivan, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2014

• 数据：引用：277、HIC：15、CV：0

• 摘要：本文解决了单个图像的人脸校准问题。我们展示了怎样使用回归树集成来直接从像素强度的稀疏子集估计面部的地标位置，并通过高质量的预测实现了超实时性能。

20. 论文：关于作为混合系统的多分类器系统的调查（A survey of multiple classifier systems as hybrid systems）

• 链接：http://suo.im/3c9EFD

• 作者：Corchado, E., Graña, M., & Wozniak, M. (2014). Information Fusion, 16, 3-17.

• 数据：引用：269、HIC：1、CV：22

• 摘要：模式分类领域目前关注的焦点是几种分类器系统的组合，构建这些分类器系统可以使用相同或者不同的模型和／或数据集构建。

原文地址：http://www.kdnuggets.com/2017/04/top-20-papers-machine-learning.html