【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归

这是第二次刷机器学习做的笔记,第一次没做笔记,只是大体上理解了机器学习是干什么的,有了个框架

机器学习概述

什么是机器学习

简单来说,就是让计算机具有自主学习的能力
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第1张图片

监督学习 Supervised Learning与无监督学习 Unsupervised Learning

简单来说,监督学习就是我们教计算机做事,而无监督学习就是计算机自己学习。

Supervised Learning

数据集里包含正确答案
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第2张图片
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第3张图片

Unsupervised Learning

与监督学习不同,无监督学习的数据具有以下特点
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第4张图片

线性回归 Linear Regression

模型描述

房价预测模型
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第5张图片
课程中训练集数据的表示方法
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第6张图片
如何工作
首先获取训练集数据,之后由学习算法检验假设函数,获取对于当前训练集拟合程度最好的假设函数
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第7张图片

代价函数 Cost Function

代价函数目的及形式
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第8张图片
假设函数和代价函数的图形化直观理解
把假设函数简化为只有theta1,在图中可以看出,代价函数在theta1=1时取得最小值,但是不可能每次都人工来看代价函数的图像来寻找最小值,所以后面要学习梯度下降算法。
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第9张图片

梯度下降 Gradient descent

概述
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第10张图片
算法具体执行
alpha是学习率,控制的是梯度下降的幅度大小
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第11张图片

导数项的意义
控制梯度下降的方向
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第12张图片
alpha的大小对于梯度下降的影响
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第13张图片

局部最优点的问题
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第14张图片
梯度下降过程中步幅会随着斜率的变化自动变化
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第15张图片

梯度下降应用于解决线性回归问题

算法具体执行
repeat until convergence
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第16张图片

别名
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第17张图片

多元线性回归 Linear Regression with multiple variables

模型描述

【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第18张图片

假设函数的建立及简化

【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第19张图片

多元梯度下降 Gradient descent for multiple variables

特征缩放 Feature Scaling

目的:使特征处于一个相似的范围,加快梯度下降收敛速度
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第20张图片
适当的范围
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第21张图片

均值归一化
将不同特征的值映射到大小相近的区间(区间一定是接近于对称的),消除量纲对最终结果的影响,使不同的特征具有可比性,使得原本可能分布相差较大的特征对模型有相同权重的影响,提升模型的收敛速度,深度学习中数据归一化可以防止模型梯度爆炸。
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第22张图片
S1可以是 max-min,或者是方差。

学习率 Learning rate

通过图像判断梯度下降算法是否正常工作
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第23张图片
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第24张图片
总结及alpha选择技巧
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第25张图片

特征与多项式回归 Features and polynomial regression

选择新的特征去创建更好的模型【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第26张图片
用多项式回归时注意特征缩放【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第27张图片

正规方程 Normal equation

直观的理解
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第28张图片
运算量大
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第29张图片利用线性代数计算
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第30张图片
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第31张图片
梯度下降和正规方程的优缺点对比
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第32张图片

正规方程不可逆

【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第33张图片
原因
【吴恩达机器学习二刷笔记Part 1】机器学习概述与线性回归_第34张图片

你可能感兴趣的:(机器学习,机器学习,线性回归,人工智能)