图像目标检测与跟踪学习笔记（二）

一. 课堂小结

这周师兄主要讲了线性回归、逻辑回归、knn、以及神经网络的相关知识，进行了详细的公式推导。

1.线性回归（Linear Regression）

        线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function最小）即可。

公式推导：

岭回归：

        一般数据的样本数会大于特征的数量，但是如果数据的特征比样本点还多，此时是不能应用线性回归方法，需要引入岭回归的方法。此时损失函数可看做误差部分加上正则化部分：

2.逻辑回归（Logistic regression）

       逻辑回归是应用非常广泛的一个分类机器学习算法，它将数据拟合到一个logit函数中，从而能够完成对事件发生的概率进行预测。逻辑回归的因变量可以是二分类的，也可以是多分类的，先对二分类进行公式推导。

二分类：

交叉熵：

多分类：

        softmax回归，可以看成是Logistic回归的扩展，将二分类问题扩展为多分类问题。

3.KNN（k-NearestNeighbor）

       KNN通过计算新数据与历史样本数据中不同类别数据点间的距离对新数据进行分类。简单来说就是通过与新数据点最邻近的K个数据点来对新数据进行分类和预测。kNN算法最关键的是距离的衡量算法以及k数值的选取，并不是k值越大越精确。

4.神经网络

       这里主要讲了对复合函数的求导可以通过引用中间变量，使求导运算变得简单：

对于结果可以使用梯度检验：