作业5：DPCM线性预测器设计的部分推导&最小二乘法学习与总结

一、DPCM线性预测器设计过程中的部分推导

此处将列出描述最佳预测系数的矩阵形式方程的推导过程：

---

二、最小二乘法相关知识
1基本知识
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
2最小二乘法要解决的问题

3相关方法
（1）牛顿法
牛顿法的基本思想是利用迭代点处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。

（2）梯度下降法
（3）高斯牛顿法

---

参考资料
https://www.cnblogs.com/pinard/p/5976811.html
https://www.zhihu.com/question/305638940
https://blog.csdn.net/google19890102/article/details/41087931
https://zhuanlan.zhihu.com/p/42383070