深度学习实践

很久之前的大连理工大学信息检索研究室2017深度学习实践培训内容，当时听讲的时候的笔记。

Representation Learning

Word Embedding

Word2vec

窗口内的词向量更接近

Glove

考虑了词的共享次数

FastText

考虑了字粒度的n-gram

WordRank

使用排序方法训练

Doc2vec

将文档作为一个假想词参与训练

Topic Word Embedding

将主题作为一个假想词参与训练

Network Embedding Models

DeepWalk

• 语言模型 -> 图模型
  
  • 词语 -> 节点
  • 句子 -> 节点序列
• 节点序列的生成：
  
  • 使用随机游走的方法
  • 有权图（带权采样）
• 训练方法同Word2Vec

Node2Vec

• 生成节点序列的方法
  
  • BFS ： 更宽 -> 同质性（homophily）
  • DFS ： 更深 -> 结构等价（structual）
• 参数
  
  • p值：p越大，则避免总是原路返回
  • q值：q越大，越接近BFS

Node2Vec vs DeepWalk

• 相同的目标函数
• 不同的生成随机路径的方法

GENE

• word2vec -> Node2vec
  
  • 词语 -> 节点
  • 句子 -> 节点序列
• Doc2vec -> GENE
  
  • 文档 -> 节点的组

LINE

• 浅层神经网络模型
• 可应用于大规模的网络中
  
  • 速度快
• 同时考虑1度关系和2度关系
  
  • 综合利用两种关系
  • 随机梯度下降
  • 负采样优化速度

类比，KL散度：不同分布的差异

SDNE

• 深度神经网络
• AutoEncoder

小结

• DeepWalk
  
  • 将节点看做词，随机路径看做句子，使用Word2Vec
• Node2Vec
  
  • DeepWalk + 有策略的随机路径（综合BFS + DFS）
• GENE
  
  • 将节点所在的小组看做文档，使用Doc2Vec
• LINE
  
  • 浅层神经网络 + First-order + Second-order proximity
• SDNE
  
  • 深层神经网络（AutoEncoder） + First-order + Second-order proximity

Network Embedding 应用

• 连接预测
  
  • 论文引用，社交关注关系
• 聚类
• 节点分类
  
  • 微博用户属性分类
• 文本建模
  
  • Free text -> word co-occurrence network
• 推荐系统
  
  • 用户网络
  • 商品网络

阿里移动推荐算法竞赛

根据淘宝用户一个月的点击、收藏、加入购物车及购买行为，预测明天哪些用户购买哪些商品

LR，GBDT使用一维特征

CNN模型： 如何找到适用于CNN模型的二维特征？

卷积核，时间序列， YoonKim

	点击量	收藏量	加入购物车量	购买量
0-8小时前
8-16
16-24
24-32
32-40
40-48

SMP Cup微博用户画像竞赛

根据用户的微博推断用户的性别、年龄及地域

multi-granularity NN 多粒度神经网络

• 语义特征
  
  • 微博粒度的TFIDF（n条微博，n个[1,100000]）
  • TFIDF加权词向量（[1,100000] * [100000,200]T = [1,200] ）
• 用词习惯特征
  
  • 用户粒度的TFIDF（用户的所有微博链接起来，TFIDF特征，SVD降维）
• 其他社交行为特征
  
  • 发微博的时间
  • 粉丝数量

Attention NN

词向量 -> 微博向量 -> 用户向量
- 找出有代表性的微博，找出其中有代表性的词语

Attention模型

Xv的取值有两种情况：
- 随机初始化的向量，所有词共享这个向量（better）
- 学习到词向量中每个维度的权重的差异
- 原始词向量 UtTXt
- 类似向量到原点的距离，即向量的某种长度决定词的重要性

决定每个词或句子权重的因素有哪些？
- 词性、位置、微博发表时间
- 可以加到Xa中

2016 EMNLP Neural Sentiment Classification with User and Product Attention

任务：商品评论情感分析
- 不同用户打分习惯不同
- 不同商品品质不同

类比： SMP微博用户属性分类任务：
- 不同社交团体用词习惯不同

CCF基于视角的领域情感分析

• 从评论中抽取出汽车的品牌（命名实体识别）
• 针对每个品牌进行评论的情感倾向性分析（Aspect情感分析）

TC-LSTM

Tang, Duyu, et al. “Effective LSTMs for Target-Dependent Sentiment Classification.”

ATAE-LSTM

MemNet (fast)

Tang,Duyu, “Aspect level sentiment classification with deep memory network” EMNLP 2016

• 先用aspect(途观，评价对象)向量作为句子向量
• 每一层进行一次变换
• N层之后进入softmax
• 只有aspect向量在变，其他的词的向量也就成了Memory

Attention：

词向量构成的矩阵 -> 每个词的权重，就是加权平均 -> 微博向量，就是句子向量

位置的信息：
- 词向量乘n-1/n, n-2/n
- 10维位置向量，拼到向量后面

https://github.com/liyumeng/DeepLearningPractice2017