机器学习入门到进阶学习路线

机器学习入门到进阶学习路线

参考：https://mp.weixin.qq.com/s/f-v-NUW7pTbVF9Sa3A4qUA

1. 定义

机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身

2. 机器学习关注问题

分类与回归问题需要用已知结果的数据做训练，属于“监督学习”；聚类的问题不需要已知标签，属于“非监督学习”。

• 应用：
  
  1. 计算机视觉，典型的应用包括：人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。
  2. 自然语言处理，典型的应用包括：搜索引擎智能匹配、文本内容理解、文本情绪判断，语音识别、输入法、机器翻译等等。
  3. 社会网络分析，典型的应用包括：用户画像、网络关联分析、欺诈作弊发现、热点发现等等。
  4. 推荐，典型的应用包括：虾米音乐的“歌曲推荐”，某宝的“猜你喜欢”等等。

3. 入门方法与学习路径

• 数学基础：
  
  • 代数
  • 数学分析
  • 组合数学
  • 概率论
  • 统计学：极大似然思想、贝叶斯模型 是理论基础，朴素贝叶斯(Na?ve Bayes )、语言模型(N-gram)、隐马尔科夫（HMM）、隐变量混合概率模型是他们的高级形态。常见分布如高斯分布是混合高斯模型(GMM)等的基础。
  • 数值计算
  • 凸优化：凸优化和条件最优化
  • 信息论

• 典型算法：

  • 处理分类问题的常用算法包括：逻辑回归(工业界最常用)，支持向量机，随机森林，朴素贝叶斯(NLP中常用)，深度神经网络(视频、图片、语音等多媒体数据中使用)。

  • 处理回归问题的常用算法包括：线性回归，普通最小二乘回归（Ordinary Least Squares Regression），逐步回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）

  • 处理聚类问题的常用算法包括：K均值（K-means），基于密度聚类，LDA等等。
  • 降维的常用算法包括：主成分分析（PCA）,奇异值分解（SVD）等。
  • 推荐系统的常用算法：协同过滤算法
  • 模型融合(model ensemble)和提升(boosting)的算法包括：bagging，adaboost，GBDT，GBRT
  • 其他很重要的算法包括：EM算法等等。
• 编程语言、工具和环境
  
  • 爬虫: scrapy
  • 深度学习：keras/TensorFlow
  • 自然语言处理: nltk
  • 交互式环境：ipython notebook
  • Java系列：WEKA Machine Learning Workbench 相当于java中的scikit-learn；
  • 其他的工具如Massive Online Analysis（MOA）、MEKA 、 Mallet 等也非常有名。更多详细的应用请参考这篇文章《25个Java机器学习工具&库》
  • C++系列：mlpack，高效同时可扩充性非常好的机器学习库。
  • Shark：文档齐全的老牌C++机器学习库大数据相关
  • Hadoop：基本上是工业界的标配了。一般用来做特征清洗、特征处理的相关工作。
  • spark：提供了MLlib这样的大数据机器学习平台，实现了很多常用算法。但可靠性、稳定性上有待提高。

4. 工作流程如下:

1. 抽象成数学问题
2. 获取数据
   
   • 数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。
   • 数据要有代表性，否则必然会过拟合。
   • 而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。
   • 而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了.
3. 特征预处理与特征选择
   
   • 良好的数据要能够提取出良好的特征才能真正发挥效力。
   • 特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。
   • 筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。
4. 训练模型与调优
5. 模型诊断
   如何确定模型调优的方向与思路呢？这就需要对模型进行诊断的技术。
   
   • 过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。过拟合的基本调优思路是增加数据量，降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。
   • 误差分析 也是机器学习至关重要的步骤。通过观察误差样本，全面分析误差产生误差的原因:是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题……
   • 诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试， 进而达到最优状态。
6. 模型融合
   
   • 一般来说，模型融合后都能使得效果有一定提升。而且效果很好。
   • 工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。
7. 上线运行
   
   • 这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向，模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受。

从一个数据源开始，即使是用最传统，已经应用多年的机器学习算法，先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透，真正积累出项目经验 才是最快、最靠谱的学习路径。国外的Kaggle和国内的DataCastle 以及阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和数据科学家们一起学习和进行竞赛

5. 自主学习能力

1. 信息检索过滤与整合能力
   google搜索引擎技巧——组合替换搜索关键词、站内搜索、学术文献搜索、PDF搜索等——都是必备的。一个比较好的习惯是找到信息的原始出处，如个人站、公众号、博客、专业网站、书籍等等。这样就能够找到系统化、不失真的高质量信息。百度搜到的技术类信息不够好。学会去常见的高质量信息源中搜索东西:stackoverflow（程序相关）、quora（高质量回答）、wikipedia（系统化知识，比某某百科不知道好太多）、知乎（中文、有料）、网盘搜索（免费资源一大把）等。将搜集到的网页放到分类齐全的云端收藏夹里，并经常整理。这样无论在公司还是在家里，在电脑前还是在手机上，都能够找到自己喜欢的东西。搜集到的文件、代码、电子书等等也放到云端网盘里，并经常整理。
2. 提炼与总结能力.
   经常作笔记，并总结自己学到的知识是成长的不二法门。云端笔记里，印象笔记、为知笔记
3. 提问与求助能力.
   学会正确的问问题的方式:陈述清楚你的业务场景和业务需求是什么，有什么已知条件，在哪个具体的节点上遇到困难了，并做过哪些努力。有一篇经典的文章告诉你怎样通过提问获得帮助：《提问的智慧》
4. 分享的习惯.

6. 相关资源推荐

1. 入门资源
   首先coursera 是一个非常好的学习网站，集中了全球的精品课程。
   • 微积分相关.
   Calculus: Single Variable
   Multivariable Calculus.
   • 线性代数.
   Linear Algebra.
   • 概率统计.
   Introduction to Statistics: Descriptive Statistics
   Probabilistic Systems Analysis and Applied Probability.
   • 编程语言.
   Programming for Everybody:Python.
   DataCamp: Learn R with R tutorials and coding challenges:R.
   • 机器学习方法理论.
   《机器学习》：周志华
   Statistical Learning(R)
   machine learning：强烈推荐，Andrew Ng老师的课程
   机器学习技术：林轩田老师的课相对更有深度一些，把作业做完会对提升对机器学习的认识。
   自然语言处理:斯坦福大学课程
   • 日常阅读的资源
   @爱可可-爱生活的微博.
   机器学习日报的邮件订阅 等。
2. 进阶资源.
   • 有源代码的教程.
   scikit-learn中各个算法的例子
   《机器学习实战》 有中文版，并附有python源代码。
   《The Elements of Statistical Learning (豆瓣)》 这本书有对应的中文版：《统计学习基础 (豆瓣)》。书中配有R包。可以参照着代码学习算法。网盘中有中文版。
   《Natural Language Processing with Python (豆瓣)》 NLP 经典，其实主要是讲 python的NLTK 这个包。网盘中有中文版。
   《Neural Networks and Deep Learning》 Michael Nielsen的神经网络教材，浅显易懂。国内有部分翻译，不全，建议直接看原版。
   • 图书与教材.
   《数学之美》：入门读起来很不错。
   《统计学习方法 (豆瓣) 》：李航经典教材。
   《Pattern Recognition And Machine Learning (豆瓣) 》：经典中教材。
   《统计自然语言处理》自然语言处理经典教材
   《Applied predictive modeling》：英文版，注重工程实践的机器学习教材
   《UFLDL教程》：神经网络经典教材
   《deeplearningbook》:深度学习经典教材。
   • 工具书.
   《SciPy and NumPy (豆瓣) 》
   《Python for Data Analysis (豆瓣) 》作者是Pandas这个包的作者.
   • 其他网络资料
   机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总 （http://blog.csdn.net/zhongwen7710/article/details/45331915）.