机器学习基石 作业0

网上没找到作业0的答案，这是自己做的版本，有一些可能会有错误，欢迎讨论。

1 Probability and Statistics

用数学归纳法。N=1时满足，假定N=n满足，当N=n+1同样满足。得证。

10个挑4个正面 $C_{10}^4(1/2{)}^4(1/2{)}^6$
52张牌挑5个。先从13个里挑2个数字，这两种做X和Y时不相同，再计算2种数字的组合方式。 $\frac{A_{13}^2{C}_4^3{C}_4^2}{C_{52}^5}$

假设已知第一次正面，那么三次都是正面的概率是1/4。而提供的是有一个已知正面，那么三次里每一次都有可能。即$3\ast 1/3\ast 1/4=1/4$。

以上为错误答案。正确答案为P(三个硬币正面向上|有一个正面向上) = P(三个正面向上&&有一面正面向上)/P(有一个正面向上） = 1/7

$p(x=-1||x|=1)=\frac{p(x=-1)}{p(|x|=1)}=\frac{1/2\ast 1/4}{1/2\ast 1/4+1/2\ast 1/8}=2/3$

0.3 0 0.7 0.4

2 Linear Algebra

秩为2

$\left(\begin{array}{ccc}1/8& -5/8& 3/4\\ -1/4& 1/4& -1/2\\ 3/8& -3/8& 1/4\end{array}\right)$

${\lambda }_1=4{\lambda }_2={\lambda }_3=2$
对应特征向量$v_1=[12-1]v_2=v_3=[11-2]$ $v_2$和$v_3$只要满足元素和为0即可，也不用相等

(a) svd分解中$U$和$V$都是正交矩阵，直接乘即可。
(b)两个矩阵相乘得单位阵

(a) $x^{T}Z{Z}^{T}x$ = $(Z^{T}x)\ast Z^{T}x$ 结果的每个元素都非负，得证
(b)对称矩阵可以用标准正交阵进行分解，在特征值都为正时结果的每个元素为正。

$\frac{x^{T}x}{|x|}$ $\frac{x}{|x|}$
$\frac{-x^{T}x}{|x|}$ $\frac{-x}{|x|}$
0 当u与x垂直时

3 Caculus

普通求导

链式法则普通求导

普通求梯度和黑塞矩阵

二元泰勒展开 https://zhuanlan.zhihu.com/p/33316479
可以用上(3)中的梯度和黑塞矩阵的结果

求导为0的地方是最小值。因为只有一个矩阵为0的位置，而正无穷与负无穷两头对应的结果都是无穷大且值一直大于0。

应该是按矩阵乘法里的每个分量进行求导然后写会矩阵形式。略难写。