deeplearn学习笔记 cs224n lecture3

Lecture 3
随机梯度下降
skip-gram 负采样

word2vec总结
1.游览语料库的每个单词
2.预测每个单词周围的单词
3.同时捕捉一个单词

Window based co-occurrence matrix
Problems with simple co-occurrence vectors
解决方案：降低向量维度
svd的问题: 1.对大数据效果很差、2.纳入新的词语很困难、3.不同的学习策略和dl
基于统计和直接预测的对比
结合上述两个东西:Glove
优点:1.训练快。2.可伸缩的巨大全集（应该就是能解决数据规模大，和可伸缩的问题）3.性能好，即使是在小数据上。

如何评估词向量
内部: 1.计算特殊/内部的子任务。 2.计算起来快。 3.能帮助明白系统 4.不清楚是否真的有用，除非和任务相关。
外部: 1.计算 一个实在的任务。2.需要很长的一段时间计算精确。3.不清楚子问题是问题还是子问题之间的相互作用还是其他系统。 4.替换一个子程序优化过的
类比评价和超参
词向量的歧义

另外还有GLOVE模型的详细学习