机器学习_个人笔记_周志华(更新中......)
第1章 绪论
1.1 引言
形成优秀的心理表征，自然能成为领域内的专家。
系统1 & 系统2。
机器学习：致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。主要研究计算机从数据中产生model的算法，即“learning algorithm”。
“经验”通常的存在形式——“数据”。
1.2 基本术语
数据集
每天记录——示例——样本
属性值
属性空间——样本空间——输入空间
一个示例——特征向量（feature vector）
训练样本——训练示例（training instance）——训练例
学得模型亦称hypothesis，学习过程是为了逼近ground-truth。本书有时称模型为“学习器”(learner)。
标记空间(label space)——输出空间
分类(classificatioin)：离散值预测类的学习任务。
回归(regression): 连续值预测类任务。
binary classification任务：includes positive class & negative class。
multi-class classification
预测类任务是希望建立输入空间x到输出空间y的映射f
testing
testing sample
clustering
cluster
据training data是否拥有label information，划分为supervised learning & unsupervised learning。classification和regression是前者的代表，而clustering是后者的代表。
“泛化(generalization)”能力
1.3 假设空间
科学推理的两大基本手段：induction（归纳）& deduction（演绎）。
induction: 从特殊到一般。
deduciton: 从generalization到specialization。
inductive learning（归纳学习）——从样例中学习。分为广义和狭义。
version space
1.4 归纳偏好
inductive bias：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必有其归纳偏好，否则无法产生确定的学习结果。
Attention:
NFL定理：No Free Lunch Theorem！
NFL定理的重要前提：…
NFL Theorem的寓意：具体问题具体分析。学习算法自身的induction bias与problems是否相配，往往起决定性作用。
1.5 发展历程
20世纪50年代到70年代初：AI研究处于“推理期”。
20世纪70年代中期开始，”知识期“。
20世纪80年代，ML成为一个独立的学科领域，各种ML技术百花初绽——学习期。
本书大部分内容均属于广义的induction learning范畴，涵盖supervised learning and unsupervised learning等等。
ILP：Inductive Logic Programming（归纳逻辑程序设计）。
参数调节上失之毫厘，学习结果可能谬之千里。
statistical learning(统计学习)
Support Vector Machine（SVM，支持向量机）
深度学习：狭义地说是“很多层”的神经网络。
ML已发展为一个相当大的学科领域，本节仅管中窥豹。耐心读完本书会有更全面的了解。
1.6 应用现状
在CV及NLP等“计算机应用技术”领域，ML已成为最重要的技术进步源泉之一。ML也为许多交叉学科提供重要的技术支撑。
“数据分析”是ML技术的舞台。
ML提供数据分析能力，云计算提供数据处理能力，众包(crowdsourcing)提供数据标记能力。
数据挖掘（data mining）。
数据挖掘与机器学习的联系。
数据库领域研究为数据挖掘提供数据管理技术。ML和统计学的研究为data mining提供数据分析技术。
ML技术是建立输入与输出之间联系的内核。
奥巴马的“竞选核武器”——R.Ghani领导的机器学习团队。
1.7 阅读材料
