机器学习 西瓜书 第一章绪论 读书笔记

1.绪论
1.1 引言
1.2 基本术语
预测
离散值
分类
二分类
多分类
连续值
回归
根据训练数据是否拥有标记信息
监督学习
无监督学习
泛化能力generalization
学得模型适用于新样本的能力，具有强泛化能力的模型能很好的适用于整个样本空间
希望能通过对样本的训练反映出总体空间的特性
独立同分布
假设样本空间中全体样本服从一个未知的分布，我们获得的每个样本都是独立地从这个分布上采样获得的
1.3 假设空间
科学推理的两大基本手段
归纳 induction
从一般到特殊的“泛化”过程，即从具体的事实归结出一般性规律
例如，从“样例中”学习显然是一个归纳的过程
演绎 dedection
从一般到特殊的“特化”过程，即从基础原理推演出具体状况
例如，基于一组公理和推理规则推导出与之相洽的定理，这是演绎
1.4 归纳偏好
机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”
奥卡姆剃刀Occam’s razor
Frustra fit per plura quod potest fieri per pauciora.（以简御繁）
1. 精兵简政，不断简化组织结构。
2. 关注组织的核心价值，始终将组织资源集中于自己的专长。
3. 简化流程，避免不必要的文书作业。
主张选择与经验观察一致的最简单假设
NFL No Free Lunch Theorem
要谈论算法的相对优劣，必须要针对具体的学习问题
1.5 发展历程
符号主义学习
决策树
以信息论为基础，以信息熵的最小化为目标，模拟了人类对概念进行判定的树形流程
基于逻辑的学习
代表作是归纳逻辑程序设计，通过修改和扩充逻辑表达式，来完成对数据的归纳
连接主义学习
神经网络
深度学习
统计学习
支持向量机
核方法kernel
1.6 应用现状
整合大数据时代的三大关键技术
机器学习
云计算
众包 crowdsourcing
数据分析利用
数据挖掘
两大支撑
机器学习领域
数据分析技术
数据库领域
数据管理技术
1.7 阅读材料