【吃瓜教程】【西瓜书】第一章、第二章学习总结

【吃瓜教程】【西瓜书】第一章、第二章学习总结

第一章 绪论

1.机器学习的定义：研究通过计算的手段，利用经验来改善系统的性能。而且这一过程不是显式编程的。

2.归纳偏好：每个机器学习算法为了处理一些“中立情况”，则一定会在取舍中形成自己的归纳偏好，即机器学习算法的“价值观“。而奥卡姆剃刀原理是对”正确“价值观的引导。

3.NFL：对于任何一种学习算法，不论多好、多聪明、数学理论多么完备，也必然有表现好的，必然有坏的的时候。这就是”没有免费午餐的“的道理，所谓”午餐“就是指你要处理的具体问题，“绝对不免费”是说在处理具体问题时，不存在一个现成的、普适的方法来傻瓜式的套用。告诉我们脱离具体问题讨论算法好坏，完全就是耍流氓。

4.机器学习发展历程

时期	代表系统	备注
1950-1970 “推理期”	逻辑推理家	人们认识到智能必须有知识
1970- “知识期”	专家系统、符号表示	总结知识再交给计算机太难了
1950-1980“学习期”	机器学习萌芽、奠基	连接主义、符号主义
1980-2010	机器学习百花齐放	成为一个独立的学科

5.机器学习中归纳学习，即从样本中学习是研究、应用最广泛的，下面对归纳学习的方法做一个简单回顾。

时期	流派	备注
1980-1995	符号主义	决策树、基于逻辑
1950	连接主义	出现神经元模型
1980-现在	连接主义	BP算法使得神经网络大发展
1995	统计学习	SVM、核方法
2010-现在	深度学习	得益于大数据和算力提升

第二章 模型评估与选择

1.模型的预测结果与实际结果的偏差叫做”误差“。在训练数据上的误差叫训练误差/经验误差，在测试集上的误差叫做测试误差。我们认为测试误差约等于泛化误差，可以衡量模型的泛化能力。

2

3.模型评估方法：留出法、N折交叉法、自助法

4.模型的调参是一个非常魔法，非常像炼丹的过程。

5.模型性能度量：错误率、精度

召回率、精确率。一般认为平衡点越高的模型越好