log-linear模型

log–linear是word2vec所用模型的前身。

有以下成分:

1. 输入集合X

2. 标注集合Y, Y是可数集

3. 正整数K指定模型中向量维数

4. 映射f: X×Y–>R^K, 也就是将任意（x,y）映射到K维实数向量

5. K维实数参数向量v∈R^K

对任意x,y,模型条件概率为:

y|x 条件概率

其中 · 代表元素乘

对数条件概率

log-linear模型用于统计语言模型，

统计语言模型的预测方法

至于命名问题，对等式两边取对数：

分解成线性项和正则项

log-linear方法还可用在别处，比如tagging problem,

tagging problem 形式