机器学习常识 19: 矩阵分解

摘要: 矩阵分解是使用数学应对机器学习问题的一类典型而巧妙的方法.

1. 基本概念

矩阵分解是把将一个 $m\times n$ 矩阵 $\mathbf{A}$ 分解为 $m\times k$ 矩阵 $\mathbf{B}$ 和 $n\times k$ 矩阵 $\mathbf{C}$, 使得 $\mathbf{A}\approx \mathbf{B}{\mathbf{C}}^{\mathsf{T}}$, 其中 $k\ll \min \{m,n\}$.
有两种常见的情况:

• 非负矩阵分解 要求三个矩阵的元素均为非负值. 这样在其应用中才有良好的解释.
• 稀疏矩阵分解 要求 $\mathbf{A}$ 为稀疏矩阵, 即其元素绝大多数值为 0.

2. 稀疏矩阵分解的应用: 推荐系统

问题引入: 电影网站有 $m>10^6$ 个用户, 以及 $n>10^4$ 部电影. 由于每个用户仅看了少量 (通常少于 $10^3$, 很多少于 $10^2$) 电影, 所以评分矩阵 $\mathbf{R}=(r_{ij}{)}_{m\times n}$ 是一个稀疏矩阵, 其中 $r_{ij}=0$ 表示用户没看这部电影, 而 $1\sim 5$ 分表示从最不喜欢到最喜欢. 现在需要预测用户对电影的评分, 也就是将 $0$ 替换成具体的分数.

问题定义:

• 输入: 评分矩阵 $\mathbf{R}$, 轶 $k$.
• 输出: 用户偏好矩阵 $\mathbf{U}\in {\mathbb{R}}^{k\times m}$, 电影特征矩阵 $\mathbf{V}\in {\mathbb{R}}^{k\times n}$.
• 优化目标:
  $$\min \Vert \mathbf{R}-{\mathbf{U}}^{\mathsf{T}}\mathbf{V}{\Vert }_2^2.\text{\hspace{1em}(1)}$$

这里计算优化目标的时候, $r_{ij}=0$ 的数据点并不参加计算. 这样, 当把两个小矩阵 (也称用户子空间与项目子空间, subspace) 求到后, 直接相乘 ${\mathbf{R}}^{\prime }={\mathbf{U}}^{\mathsf{T}}\mathbf{V}$, 以前 $r_{ij}=0$ 的地方, $r_{ij}^{\prime }\ne 0$就有了值, 这就是预测评分.

有没有觉得特别神奇?

给个小的例子 (由徐媛媛提供).

R = ( 4 − − − 3 2 − − − 2 2 − 3 − − 2 − 1 − − 1 − − − − 4 1 5 4 3 − 1 − 5 3 2 4 − − − − − 3 − − − − 3 − 5 − 1 1 − 5 5 − 2 − 5 1 − 3 1 4 3 1 1 − − 1 − − 2 − − − − − 1 1 2 1 3 2 1 − − − 1 − − 3 − 1 2 3 3 1 4 5 4 − − 3 − 4 − − − − 2 3 − 1 − 1 5 1 − − 1 1 3 3 − − 5 1 5 5 − − 1 2 2 2 3 3 − 1 − − − − − 5 − 1 4 ) , \mathbf{R} = \left( \begin{array}{llllll} 4 & - & - & - & 3 & 2 & - & - & - & 2 \\ 2 & - & 3 & - & - & 2 & - & 1 & - & - \\ 1 & - & - & - & - & 4 & 1 & 5 & 4 & 3 \\ - & 1 & - & 5 & 3 & 2 & 4 & - & - & - \\ - & - & 3 & - & - & - & - & 3 & - & 5 \\ - & 1 & 1 & - & 5 & 5 & - & 2 & - & 5 \\ 1 & - & 3 & 1 & 4 & 3 & 1 & 1 & - & - \\ 1 & - & - & 2 & - & - & - & - & - & 1 \\ 1 & 2 & 1 & 3 & 2 & 1 & - & - & - & 1 \\ - & - & 3 & - & 1 & 2 & 3 & 3 & 1 & 4 \\ 5 & 4 & - & - & 3 & - & 4 & - & - & - \\ - & 2 & 3 & - & 1 & - & 1 & 5 & 1 & - \\ - & 1 & 1 & 3 & 3 & - & - & 5 & 1 & 5 \\ 5 & - & - & 1 & 2 & 2 & 2 & 3 & 3 & - \\ 1 & - & - & - & - & - & 5 & - & 1 & 4 \\ \end{array}\right), R= ​421−−−111−5−−51​−−−1−1−−2−421−−​−3−−313−13−31−−​−−−5−−123−−−31−​3−−3−54−213132−​2242−53−12−−−2−​−−14−−1−−341−25​−15−321−−3−553−​−−4−−−−−−1−1131​2−3−55−114−−5−4​ ​,
其中用 $-$ 表示 0, 更清楚一些.

U = ( 1.44 0.67 2.46 − 0.68 1.11 0.99 − 0.36 − 1.22 1.68 1.70 0.83 0.98 1.08 1.34 − 0.17 − 0.00 1.48 2.85 − 0.49 1.28 − 0.14 − 0.05 − 1.09 1.33 1.69 1.38 0.64 1.94 1.09 0.95 ) , \mathbf{U} = \left( \begin{array}{lllllllll} 1.44 & 0.67 & 2.46 & -0.68 & 1.11 & 0.99 & -0.36 & -1.22 & 1.68 & 1.70\\ 0.83 & 0.98 & 1.08 & 1.34 & -0.17 & -0.00 & 1.48 & 2.85 & -0.49 & 1.28\\ -0.14 & -0.05 & -1.09 & 1.33 & 1.69 & 1.38 & 0.64 & 1.94 & 1.09 & 0.95\\ \end{array} \right), U= ​1.440.83−0.14​0.670.98−0.05​2.461.08−1.09​−0.681.341.33​1.11−0.171.69​0.99−0.001.38​−0.361.480.64​−1.222.851.94​1.68−0.491.09​1.701.280.95​ ​,

V = ( 3.60 1.21 0.52 − 0.46 1.62 1.57 1.46 − 0.34 0.01 0.91 1.93 0.66 0.62 2.27 − 0.41 − 2.15 0.49 0.08 1.56 0.64 − 0.10 0.19 1.53 1.19 1.37 2.73 1.55 1.21 2.02 2.11 − 1.05 0.55 2.58 2.04 1.59 2.23 1.21 − 0.27 0.75 0.36 0.75 0.45 1.38 − 0.04 2.32 ) , \mathbf{V} = \left( \begin{array}{llllllllll} 3.60 & 1.21 & 0.52 & -0.46 & 1.62 & 1.57 & 1.46 & -0.34 & 0.01 & 0.91 & 1.93 & 0.66 & 0.62 & 2.27 & -0.41\\ -2.15 & 0.49 & 0.08 & 1.56 & 0.64 & -0.10 & 0.19 & 1.53 & 1.19 & 1.37 & 2.73 & 1.55 & 1.21 & 2.02 & 2.11\\ -1.05 & 0.55 & 2.58 & 2.04 & 1.59 & 2.23 & 1.21 & -0.27 & 0.75 & 0.36 & 0.75 & 0.45 & 1.38 & -0.04 & 2.32\\ \end{array}\right), V= ​3.60−2.15−1.05​1.210.490.55​0.520.082.58​−0.461.562.04​1.620.641.59​1.57−0.102.23​1.460.191.21​−0.341.53−0.27​0.011.190.75​0.911.370.36​1.932.730.75​0.661.550.45​0.621.211.38​2.272.02−0.04​−0.412.112.32​ ​,

R ′ = U T V = ( 3.56 0.34 7.73 − 6.77 2.61 2.14 − 5.18 − 12.62 5.99 2.37 2.09 1.27 2.93 0.57 2.21 1.97 0.64 0.98 2.41 3.23 0.46 0.27 − 1.45 3.21 4.95 4.09 1.59 4.62 3.67 3.47 0.35 1.12 − 1.68 5.16 2.68 2.35 3.80 9.02 0.68 3.18 2.65 1.62 2.95 1.88 4.40 3.81 1.38 2.92 4.16 5.11 1.87 0.81 1.32 1.76 5.56 4.65 0.70 2.09 5.15 4.68 2.11 1.10 2.51 0.88 3.66 3.13 0.53 1.11 3.70 3.91 0.82 1.30 1.11 1.93 − 1.12 − 0.73 2.21 4.26 − 1.64 1.11 0.91 1.14 0.50 2.59 1.08 1.04 2.23 4.83 0.25 2.27 2.41 1.95 3.33 1.72 1.40 1.40 1.94 3.52 1.25 3.67 4.97 3.95 6.91 3.36 2.96 2.94 3.81 6.87 2.73 7.51 2.19 1.96 2.83 2.25 1.24 1.28 2.35 4.51 0.85 3.57 1.71 1.53 1.32 3.05 2.82 2.52 2.45 5.37 1.96 3.93 4.98 3.53 7.86 1.10 2.10 2.18 2.12 2.87 2.78 6.42 0.84 1.68 − 1.27 6.23 3.11 2.78 4.77 11.05 0.79 4.23 ) . \mathbf{R}' = \mathbf{U}^{\mathsf{T}}\mathbf{V} = \left(\begin{array}{llllllllll} 3.56 & 0.34 & 7.73 & -6.77 & 2.61 & 2.14 & -5.18 & -12.62 & 5.99 & 2.37\\ 2.09 & 1.27 & 2.93 & 0.57 & 2.21 & 1.97 & 0.64 & 0.98 & 2.41 & 3.23\\ 0.46 & 0.27 & -1.45 & 3.21 & 4.95 & 4.09 & 1.59 & 4.62 & 3.67 & 3.47 \\ 0.35 & 1.12 & -1.68 & 5.16 & 2.68 & 2.35 & 3.80 & 9.02 & 0.68 & 3.18 \\ 2.65 & 1.62 & 2.95 & 1.88 & 4.40 & 3.81 & 1.38 & 2.92 & 4.16 & 5.11 \\ 1.87 & 0.81 & 1.32 & 1.76 & 5.56 & 4.65 & 0.70 & 2.09 & 5.15 & 4.68\\ 2.11 & 1.10 & 2.51 & 0.88 & 3.66 & 3.13 & 0.53 & 1.11 & 3.70 & 3.91\\ 0.82 & 1.30 & 1.11 & 1.93 & -1.12 & -0.73 & 2.21 & 4.26 & -1.64 & 1.11\\ 0.91 & 1.14 & 0.50 & 2.59 & 1.08 & 1.04 & 2.23 & 4.83 & 0.25 & 2.27\\ 2.41 & 1.95 & 3.33 & 1.72 & 1.40 & 1.40 & 1.94 & 3.52 & 1.25 & 3.67 \\ 4.97 & 3.95 & 6.91 & 3.36 & 2.96 & 2.94 & 3.81 & 6.87 & 2.73 & 7.51 \\ 2.19 & 1.96 & 2.83 & 2.25 & 1.24 & 1.28 & 2.35 & 4.51 & 0.85 & 3.57\\ 1.71 & 1.53 & 1.32 & 3.05 & 2.82 & 2.52 & 2.45 & 5.37 & 1.96 & 3.93\\ 4.98 & 3.53 & 7.86 & 1.10 & 2.10 & 2.18 & 2.12 & 2.87 & 2.78 & 6.42 \\ 0.84 & 1.68 & -1.27 & 6.23 & 3.11 & 2.78 & 4.77 & 11.05 & 0.79 & 4.23\\ \end{array}\right). R′=UTV= ​3.562.090.460.352.651.872.110.820.912.414.972.191.714.980.84​0.341.270.271.121.620.811.101.301.141.953.951.961.533.531.68​7.732.93−1.45−1.682.951.322.511.110.503.336.912.831.327.86−1.27​−6.770.573.215.161.881.760.881.932.591.723.362.253.051.106.23​2.612.214.952.684.405.563.66−1.121.081.402.961.242.822.103.11​2.141.974.092.353.814.653.13−0.731.041.402.941.282.522.182.78​−5.180.641.593.801.380.700.532.212.231.943.812.352.452.124.77​−12.620.984.629.022.922.091.114.264.833.526.874.515.372.8711.05​5.992.413.670.684.165.153.70−1.640.251.252.730.851.962.780.79​2.373.233.473.185.114.683.911.112.273.677.513.573.936.424.23​ ​.

当然, 这个方案并不完美, 如

• $\mathbf{U}$, $\mathbf{V}$ 有些元素为负值, 解释起来有点难受. 可以考虑非负矩阵分解.
• ${\mathbf{R}}^{\prime }$ 有些元素不在正常范围 $[1,5]$, 可以强行让越界的数据回到边界.

为了避免过拟合, 优化目标上还可以加上正则项, 如 [1]:
$$\min \Vert \mathbf{R}-{\mathbf{U}}^{\mathsf{T}}\mathbf{V}{\Vert }_2^2+{\lambda }_U\Vert \mathbf{U}{\Vert }_2^2+{\lambda }_V\Vert \mathbf{V}{\Vert }_2^2.\text{\hspace{1em}(2)}$$

[1] Ruslan Salakhutdinov and Andriy Mnih, Probabilistic Matrix Factorization, NIPS, 2007.