机器学习笔记（吴恩达机器学习教程）

总体学习方案

章节测试答案

课程每个章节的测试答案可以到我的githup上下载

1 线性代数相关知识

参考吴恩达机器学习的week1内容，关于线性代数讲解

https://www.coursera.org/learn/machine-learning/home/week/1

1.1 Matrix

矩阵 形如 m * n的数组

>> A=[1,2,3;2,3,4]

A =

1 2 3

2 3 4

这是个2*3的矩阵。m=2， n=3

矩阵一般用大写字母表示

Identity Matrix

形如：

1 0 0 0

0 1 0 0

0 0 1 0

0 0 0 1

m x m矩阵，对角线为1，其余为0. 记作I

有公式 A X I = I X A = A

Inverse Matrix

square（m, X m）的matrix, 存在一个矩阵B， 使 A x B = I

>> C=[1,-1;0,1]

C =

1 -1

0 1

>> inv(C)

1 1

0 1

>> C * inv(C)

1 0

0 1

Transpose

矩阵翻转，第一列逆时针旋转90度，成为第一行，以此类推第二列 。。。

A =

1 2 3

2 3 4

5 6 7

>> B = transpose(A)

1 2 5

2 3 6

3 4 7

得到 Aij = Bji

Vector

Vector是n=1的矩阵，demension为m

y=[1;2;3]

y =

1

2

3

向量一般用小写字母表示

Scalar

标量就是只有一个值得变量，例如数字

x=1

y=2.5

2. Supervised Learning 监督学习

参考吴恩达机器学习的week1内容，

https://www.coursera.org/learn/machine-learning/home/week/1

条件- 准备大量输入数据并知道准确的输出，知道输入和输出之间的关系

2.1 解决的问题1

regression problem- 在一个连续输出中，预测结果，意味着我们要在输入值和连续的方程中找到一种关系 Given a picture of a person, we have to predict their age on the basis of the given picture

参考吴恩达机器学习的week1内容，关于线性回归问题的的讲解

https://www.coursera.org/learn/machine-learning/home/week/1

2.1.1 线性回归

1，什么是回归

有输入的函数，输出的结果是个连续的值（例如线性函数）

线性回归就是指具有线性方程的回归 y=a+bx, 就是在N维空间中找一个形式像直线方程一样的函数来拟合数据而已,数据就是准备好的输入和输出集合

2， 已线性函数作为模型

2.1.2 损失函数

1，通过线性函数算出的y值与数据集中准确值之间的误差，累计所有数据的差值。这个差值越小，就说明这个线性函数越拟合我们数据集数据。

线性回归无非就是通过这个损失函数做为评判标准来找出一条直线

2，通过h(x)-y的平方作为cost function

2.1.3  梯度下降

梯度下降不是一个机器学习算法，而是一种基于搜索的最优化方法。通过一次一次的迭代来找到找到一组参数能让我们的损失函数最小。

每个权重通过下面表达式获得

Θj 表示线性方程里面的parameter(a, b), α表示学习率，值越大就表示迈的步子越大，值越小迈的步子越小

后面一串就是对损失函数在Θj这点的偏导数，他决定了下降的方向，配合学习率一步一步指向区域最低点，也就是区域损失函数的最小值。

2.1.4  正规方程

1，不需要多次iteration

2， 不需要scaling 数据值

3， 如果feature比较多，性能消耗比较大（要对matrix求反）

2.2 解决问题2

classification problems：从给定的输入中，判断离散的种类（判断是或者不是） Given a patient with a tumor, we have to predict whether the tumor is malignant or benign

2.2.1  sigmoid函数

1， 已sigmoid 函数作为模型

2.2.2 decision boudary

2.3 Neural Network

3. Unsupervised Learning 非监督学习

条件- 准备大量输入数据，不知道准确的输出，分类出相似的cluster，但不知道，这个cluster是什么玩意，也不知道有什么用

 聚类

 降维