NLP任务中, 被pad和unk的向量应该赋值为zero还是random呢？

pad一般选用一种“无损”的方法，比如CNN里用0向量（在relu激活+没有b的前提下，和变长序列是一样的），而RNN时pad随便补反正会（手动）mask掉。不过一般keras之类的自动mask貌似都是让你补0？
一般会用随机初始化，但也有一些技巧，比如对低频词对应的可以对全部低频词做采样后取平均来初始化。（或者表示0频词的初始化为1频词的采样平均）。

应该也会有人用character embedding之类的方法来初始化UNK吧~虽然不懂推荐系统，但感觉没见过的商品类别可以对类别相似的商品采样取平均的方式做初始化。