NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第1张图片

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第2张图片

是用全量数据训练还是采用领域内的样本(数量足够大的话),领域内的更有效

语料处理和模型构建

标点去不去掉要看不同场合

针对one-hot的特征,树模型其实不太合适

一句话中每个词都对应一个N维的向量,这句话的向量就是各个词向量的average。但这种方式比较粗暴,结合tfidf借助外部的语料判断哪些词更重要也许效果会好些,对重要的词赋予更重要的权重。

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第3张图片

LSTM效果会比SVM好些

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第4张图片

 

比如把电商客户的浏览路径看作是句子分词后的sequence,送入word2vec模型中训练一个300维(一般300维可以用了)的向量,这个效果比协同过滤的召回率高。

一个例子

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第5张图片

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第6张图片

 

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第7张图片

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第8张图片

NLP到word2vec实战班视频截图3---Word2vec实战和kaggle案例分析_第9张图片

这个project的地址

https://github.com/manasRK/word2vec-recommender

slides:https://docs.google.com/presentation/d/1D4kdRbpHIZJ6YJc0huCRjiipNImC3rZxKSUdP_uub2U/edit#slide=id.p4

案例中的代码后续补齐

 

 

 

 

 

 

你可能感兴趣的:(NLP)