Uda学城-机器学习入门P3之感悟

开课以来，已经侥幸过了三关。

线性代数这关最难过，足用了4个星期，7次审阅，值得写篇文来复盘一下：

难度：

1.线性代数本身的难度。大学时候没有学过线性代数，半途捡起，难度可想而知。

2. 用python进行线性代数的运算，而且不能用numpy和pandas等数据包。所以必须在矩阵中进行循环：行是一个循环，列是另一个循环，大循环套小循环来获取每一个元素。

课堂视频讲的挺好，可能是进度比较慢的缘故，我觉得比可汗学院的更清楚一点，理解的更透彻。但所有的练习感觉都挺难的，我自己觉得示例代码写得有点绕。没在这上面深究，照着视频写了一遍就算了。

项目回顾：

生成单位矩阵，
这里抛弃了np.array和pd.Series，就用朴素的列表转矩阵。

---

矩阵的转置，
原来我的做法是直接写成：zip(*M): 但最终的数据结构会是元组列表tuple list。而元组元素是不可修改的。所以需要改动一下。

---

矩阵的乘法，
重点是相乘的条件：A的列数要等于B的行数。
判断后做三个循环，A的行数，A的列数，B的列数。

---

然后就是一块大项：

高斯消元法

构造增广矩阵，
还是zip函数的应用：

初等行变换

交换两行
把某行乘以一个非零常数
把某行加上另一行的若干倍
这三个不算很难，定位好了M[i][j]直接写公式就行了。

Gaussian Jordan 消元法求解 Ax = b

算法如下：

步骤1 检查A，b是否行数相同
步骤2 构造增广矩阵Ab
步骤3 逐列转换Ab为化简行阶梯形矩阵
对于Ab的每一列（最后一列除外） 当前列为列c 寻找列c中 对角线以及对角线以下所有元素（行 c~N）的绝对值的最大值 
如果绝对值最大值为0 
    那么A为奇异矩阵，返回None (你可以在选做问题2.4中证明为什么这里A一定是奇异矩阵) 
否则 
    使用第一个行变换，将绝对值最大值所在行交换到对角线元素所在行（行c） 
    使用第二个行变换，将列c的对角线元素缩放为1 
    多次使用第三个行变换，将列c的其他元素消为0
步骤4 返回Ab的最后一列

先做手算消元，对于手残星人，这个也过了两个审阅期。期间居心不良，试图找在线计算器不果......
然后，就是痛苦漫长的高斯消元法的函数。

其实本身难度并不高，高斯消元法，在网易-可汗学院课上，大概第6个视频就讲到了。但是明白原理是一回事，用代码编写又是另一回事。
大概世界上并不多有人不用包，而用朴素的Python代码写这种函数，所以没有百度到答案。

这个函数比较长，bug也特别多，一开始没想到正确方法，单是第一步，求每列最大值就想了半天。因为不能用numpy, pandas这些包，所以要用大循环套小循环。python基础还是不牢的人，就经常被绕进去，做的很痛苦。

线性回归

随机生成样本点，猜测一条直线，然后计算平均平方误差。

def calculateMSE(X,Y,m,b):
    ......
    return MSE

print(calculateMSE(X,Y,m,b))

---

找到最优参数 m,b 使得平方平均误差最小。

'''
参数：X, Y
返回：m，b
'''
X,Y = generatePoints(seed,num=100)

def linearRegression(X,Y):
     ......
    return m,b
m,b = linearRegression(X,Y)                  
print(m,b)

这里开始搞不明白的是X，Y是100个点的矩阵，如何推出h=[m,b]的矩阵，但打印出来发现XT*X的形状，居然就是神奇的1x2矩阵。原理不是很明白，但这样解出m,b就不困难了。
记得求出的是矩阵里嵌套列表，列表中再切片才是数值。
最后得图形如下：

经过漫长的分析，总算对对于线性代数，多维空间和方程计算有了基本的了解。在机器学习入门告一阶段后，要好好的把线代系统的学习一次。（希望真的能做到~~）