广义线性模型

普通最小二乘法--奇异举证--行列式

首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。 然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。

参考https://mp.weixin.qq.com/s/Q-Wm8j9bTbZT--5lLUuSMQ

普通最小二乘法--行列式--python计算

参考https://jingyan.baidu.com/article/3052f5a1977ec6d7f31f868c.html

奇异值分解和特征分解

****奇异值分解则是特征分解在任意矩阵上的推广****

特征分解作用在对称矩阵上而奇异值矩阵则作用在任何矩阵

奇异值分解

参考 https://mp.weixin.qq.com/s/Mu9jkm7rGO6oJ8aYN_hM-w

特征分解

参考 https://mp.weixin.qq.com/s/JZMhmYwOjrRC3SCN2J1m7w

交叉验证（常用方式）

Holdout 验证

常识来说，Holdout 验证并非一种交叉验证，因为数据并没有交叉使用。 随机从最初的样本中选出部分，形成交叉验证数据，而剩余的就当做训练数据。 一般来说，少于原本样本三分之一的数据被选做验证数据。

K-fold cross-validation

K折交叉验证，初始采样分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练。交叉验证重复K次，每个子样本验证一次，平均K次的结果或者使用其它结合方式，最终得到一个单一估测。这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次，10折交叉验证是最常用的 [3]  。

留一验证

正如名称所建议， 留一验证（LOOCV）意指只使用原本样本中的一项来当做验证资料， 而剩余的则留下来当做训练资料。 这个步骤一直持续到每个样本都被当做一次验证资料。 事实上，这等同于和K-fold 交叉验证是一样的，其中K为原本样本个数。 在某些情况下是存在有效率的演算法，如使用kernel regression 和Tikhonov regularization。

稀疏矩阵

在矩阵中，若数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律时，则称该矩阵为稀疏矩阵；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。定义非零元素的总数比上矩阵所有元素的总数为矩阵的稠密度。

梯度下降

参考 https://mp.weixin.qq.com/s/8qc4Jco7Pr6Ii_WT0ib2aw

最小角回归

AIC和BIC

参考 https://www.cnblogs.com/zhizhan/p/4113614.html（包含似然函数）