学习笔记-周志华著《机器学习》（西瓜书） 第1章 绪论

读陆汝钤教授序言部分的记录与想法：
（序言观点）二十世纪九十年代以来，是从主流为符号机器学习发展到主流为统计机器学习，反映了机器学习从纯粹的理论研究和模型研究发展到以解决现实生活问题中实际问题为目的的应用研究。关于人工智能的未来是统计机器学习导论还是符号机器学习，王珏教授的想法是二者未来会结合；美国Chandrasekaran教授的想法是虽然目前是统计机器学习的天下，但最终还是要转向符号机器学习。
（个人观点）鉴于目前机器学习理论基础不扎实及解释性很差的现实情况，个人倾向于王珏教授的观点。在我看来，虽然由于统计机器学习解决实际问题的能力较强而风头远胜于符号机器学习，但随着统计机器学习应用范围的快速扩张，理论基础不足带来的瓶颈终会到来，未来理论基础的夯实可能更加重要。不过夯实基础也需要实践的辅助，所以未来二者会交替螺旋上升。
（我的问题）统计机器学习会长久吗？机器学习呢？如果不长久，有没有必要去开拓机器学习的理论基础呢？下一个技术变革会是什么时间？

需要注意的几点

1. 本书是入门级教科书，有助于厘清基本概念、了解领域概貌；如果是想了解某领域更深入的具体内容，还是需要参考更专业、前沿的文献。
2. 不妨多读几遍本书。读者有本书出入门静候，不妨搁书熟悉“套路”，数月后再阅，于原不经意处或能有新得。（和读论文或其他文献一样，“温故而知新”）

第1章 绪论

1. 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。研究的主要内容是关于在计算机上从数据中产生“模型”的算法。其中，本书中“模型”泛指从数据中学得的结果。
   （三大要素：数据、模型、算法）
2. 部分基本术语：
   示例(instance) / 样本(sample)，属性(attribute) / 特征(feature)，属性空间(attribute space) / 样本空间(sample space) / 输入空间，泛化(generalization) / 特化(specialization)
3. 一个重要的假设
   机器学习通常假设样本空间中全体样本服从一个未知“分布”，我们获得的每个样本都是独立地从这个分布上采样获得的，即“独立同分布” (independently and identically distributed, 简称“i.i.d”)
4. 几种“学习”（4-6为补充）
   (1) “(无)监督学习”：根据训练数据是否拥有标记信息，学习任务可大致划分为两大类——监督学习和无监督学习；
   (2) “归纳学习”：从样例中学习显然是从特殊到一般的泛化过程，即归纳过程，因此，也称为归纳学习 (inductive learning).
   (3) 集成学习（ensemble learning）
   (4) 深度学习
   (5) 类比学习（learning by analogy）
   (6) 迁移学习（transfer learning）
   (7) 分布式学习（如联邦学习）
   (8) 伪装学习？
5. 机器学习在学习过程中对某种类型假设的偏好，成为“归纳偏好” (inductive bias)。如算法偏好于“尽可能特殊”，即适用情形尽可能少；或偏好于“尽可能一般”，即“适用情形尽可能多”。

(个人理解) “尽可能特殊”就相当于在二分类问题中尽可能保证判定True的实例尽可能True，即提高Precision（Precision = TP / (TP +FP)）；“尽可能一般”相当于保证实际是True的实例尽可能多得被判定为True，即提高Recall（Recall = TP / (TP +FN)）。
(遗忘知识补充) TP / TN / FP / FN 中的第2个字母指被划分的类别，第1个字母指被划分的正误。TP、FN均属于P（正类）【FN只是被划分错了】，FP、TN均属于N（负类）。另，准确率（accuracy，被划分对了的实例比例）= (TP +TN) / (TP +TN +FP +FN)。

6. NFL定理 (没有免费的午餐定理，No Free Lunch Theorem) 的理解：不存在针对所有可能问题都更好的学习算法。脱离具体问题去寻求适用于所有问题的一般性解法，无论机器学习算法的归纳偏好为尽可能特殊或一般，算法表现都是一样的。也就是说，必须要具体问题具体分析。
7. 人工智能的发展历程：“推理期” ——“知识期”——“学习期”
   “推理期”：以为只要赋予机器逻辑推理能力，机器就具有智能
   结果：诞生了“逻辑理论家（Logic Theorist）”程序和“通用问题求解（General Problem Solving）”程序
   “知识期”：以为要使机器具有智能，就必须设法使机器拥有知识。
   结果：催生了大量的专家系统
   “学习期”：符号主义学习（包括决策树(decision tree)和基于逻辑的学习【归纳逻辑程序设计，ILP】），基于神经网络的连接主义学习，统计学习，深度学习

（我的问题）数据储量和计算设备的发展使得深度学习有了今日的发展，神经网络在二十世纪八十年代中期的走红也与Intel x86系列微处理器及内存条技术的广泛应用造成的计算能力、数据访存效率显著提高不无关系。也就是说，设备技术的发展促进了理论、实践技术的进步。设备技术的发展终有瓶颈，当快要发展到极限时，是否就是符号主义学习等技术的新春呢？到那时候还是符号主义学习吗？会有什么新技术呢？

8. 大数据时代的三大关键技术是机器学习、云计算、众包（crowdsourcing）【据美国国家科学基金会】。其中三者分别提供数据的分析、处理和标记能力。
   （比较怀疑众包相对于另外两大技术的重要性，可能都没有必要）
9. 机器学习领域和数据库领域是数据挖掘的两大支撑。
10. 奥卡姆剃刀（Occam’s Razor）原理并非科学研究中唯一可行的假设选择原则，例如古希腊哲学家伊壁鸠鲁提出的多释原则，主张保留与经验观察一致的所有假设，这与集成学习（ensemble learning）方面的研究更加吻合。
11. 阅读材料来源
    (1) 机器学习领域
    最重要国际会议：ICML、NIPS、COLT
    最重要的区域性会议：ECML、ACML
    最重要的学术期刊：Journal of Machine Learning Research、Machine Learning
    (2) 人工智能领域
    重要会议。。。
    (3) 数据挖掘领域
    (4) 计算机视觉与模式识别领域
    (5) 神经网络领域
    (6) 统计学领域