FM 之 embedding的具体理解
简单回顾：
FM的公式：
y ^ ( x ) : = w 0 + ∑ i = 1 n w i x i ⎵ L R 模 型 + ∑ i = 1 n ∑ j = i + 1 n ⟨ v i , v j ⟩ x i x j ⎵ D e n s e 化 两 两 特 征 \hat{y}(x) :=w_{0}+\underbrace{\sum_{i=1}^{n} w_{i} x_{i}}_{LR模型}+\underbrace{\sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle v_{i}, v_{j}\right\rangle x_{i} x_{j}}_{Dense化两两特征} y^(x):=w0+LR模型 i=1∑nwixi+Dense化两两特征 i=1∑nj=i+1∑n⟨vi,vj⟩xixj
KaTeX parse error: Unknown column alignment: * at position 172: …{\begin{array}{*̲{20}{c}} {0.4}\…
进入embedding
v i v_i vi 和 v j v_j vj 又是什么含义呢？ v i v_i vi 的意思：对于 $x_i $这个特征来说它会学到一个 embedding 向量，特征组合权重是通过各自的 embedding 的内积呈现的，因为它内积完就是个数值，可以代表它的权重，这就是 FM 模型。
v 1 [ 0.3 , 0.2 , 0.8 , 0.5 , 0.3 ] v 2 [ 0.2 , 0.5 , 0.7 , 0.9 , 0.1 ] v 3 [ 0.1 , 0.4 , 0.6 , 0.3 , 0.1 ] ⋅ ⋅ ⋅ v n − 1 [ 0.3 , 0.5 , 0.9 , 0.3 , 0.1 ] v n [ 0.4 , 0.1 , 0.4 , 0.9 , 0.1 ] v_{1} \ \ [0.3,0.2,0.8,0.5,0.3]\\ v_{2} \ \ [0.2,0.5,0.7,0.9,0.1]\\ v_{3} \ \ [0.1,0.4,0.6,0.3,0.1]\\ \cdot \cdot \cdot \\ v_{n-1} \ [0.3,0.5,0.9,0.3,0.1]\\ v_{n} \ \ [0.4,0.1,0.4,0.9,0.1]\\ v1 [0.3,0.2,0.8,0.5,0.3]v2 [0.2,0.5,0.7,0.9,0.1]v3 [0.1,0.4,0.6,0.3,0.1]⋅⋅⋅vn−1 [0.3,0.5,0.9,0.3,0.1]vn [0.4,0.1,0.4,0.9,0.1]
- w i , j = ⟨ v i , v j ⟩ ≠ 0 w_{i, j}=\left\langle v_{i}, v_{j}\right\rangle \neq 0 wi,j=⟨vi,vj⟩̸=0 , 即使训练数据中一定有数据 x i x j = 0 x_{i} x_{j}=0 xixj=0.
- 那么 v i v_{i} vi或是 v j v_{j} vj 就是embedding了。
- FM是获取数据向量表示的其中一种方法。