预训练

在CV和NLP领域，pre training+ fine tuning是常用手段。
而在推荐实际应用中，预训练也有一定的作用。例如embedding在工业界应用以及训练的tricks中所述，利用全量用户行为训练用户embedding做为初始化，能为一些子任务模型的embedding层提供较快的收敛。