使用mindspore 0.3 对Imdb数据集进行情感分析

mindspore是华为开源的深度学习框架,五一期间就参加过一期mindspore团队举办的培训集训营,感觉收获满满,不到一个月,5月底趁着周末,又搞了第二期集训营,果断继续参加。

这一期重点学习了mindspore在集群中的部署,以及一个使用lstm对imdb数据集进行情感分析的NLP的实例。

详细的官方教程见这里,这里分享我自己的训练过程

一 环境准备

1.安装mindspore,这个案例要用到GPU的,一定要安装GPU版。
2.安装gensim,直接pip install gensim

二 准备数据

1.imdb数据集
http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz

2.GloVe下载
http://nlp.stanford.edu/data/glove.6B.zip

下载后解压到glove目录下,注意要稍作修改,在 glove.6B.300d.txt开头添加一行

400000 300

三 开始训练

贴心的工程师已经给了训练代码
https://gitee.com/mindspore/docs/tree/master/tutorials/tutorial_code/lstm

直接运行如下代码便可开始训练,仓库中的config.py里默认epoch是1,这里跟讲解老师同步,设成20,然后使用如下命令开始训练

python main.py --preprocess=true --mode=train --ckpt_path=./ckpt

训练20轮后,结果如下:

使用mindspore 0.3 对Imdb数据集进行情感分析_第1张图片
训练的模型都存到了ckpt目录下
最后用测试集看一下效果

python main.py --mode=test --ckpt_path=./ckpt/lstm_1-20_390.ckpt

使用mindspore 0.3 对Imdb数据集进行情感分析_第2张图片
20轮后,测试集准确率85%

最后

训练营非常贴心,不仅有老师讲解,还提供免费算力,完成训练营还能获赠一本mindspore官方书籍,点赞!

你可能感兴趣的:(使用mindspore 0.3 对Imdb数据集进行情感分析)