MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类

课程秉承了“实战”风,老师简单理了一下NLP模型发展脉络,每个时期代表模型的优缺点,就一猛子扎进了BERT的关键技术——Transformer和Attention工作机制,于是编码解码、Query、Key、Values、Embedding、Softmax、矩阵运算带着满满的优越感向我碾压过来。算了,既然这是实战课,理论的问题就不要深究了吧,只要知道BERT是两步训练,知道如何使用ModelArts得到分类结果和评估,就达到今天学习的目的了。

作业过程

这次课后作业比第一课难度低了很多。这主要得益于ModelArts提供了线上训练环境,免除了在本地搭建环境的痛苦。另外教辅材料准备都十分到位——预训练模型、微调模型、训练数据集、微调和评估代码,还有详细的作业指南一应俱全。

MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类_第1张图片

BERT工作流程及本次课程作业

  • 体验作业:要求对调优模型的分类结果进行评估,只需要上传数据集、模型、脚本,指定输出文件的位置,提交任务,就可以让ModelArts干活了。评估结果会记录在日志文件里,日志文件可以在线浏览,也可以下载到本地。运行时间也只需要短短1~2分钟。

  • 进阶作业:复杂一点,第一步先调优,要把预训练的模型参数应用到TNEWS数据集做训练,再按照体验作业的过程对调优的结果进行评估。第一步调优运行14分钟,第二步评估仍然只需要1-2分钟。

  • 老师提供的作业指南在附件里。作业过程当中文件上传遇到点状况。由于bert_base.ckpt文件超过1GB,我琢磨在上传这个文件的当口不如去设置参数。于是我把上传任务启动后就返回(是在同一个标签下返回)MobelArts配置算法来源、数据来源、运行参数等等,用不了5分钟就都配置好了。我再去obs检查数据集目录,没有这个文件,而且在控制台中也找不到查看文件传输进度的功能。后来在“任务管理”帮助文件里了解到,上传过程中不能关闭网页,否则记录会丢失。虽然文档没有说任务本身会丢失,但是后来再传输文件的时候,我会单独打开一个标签专门用于文件传输。

MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类_第2张图片

  • 费用也是我担心的一个问题。课前看过华为云应用的报价,动辄几千几万,好有冲击力。不过我只是想了解一下MindSpore,又不是上线企业应用,花费太高可承受不 了。老师讲ModelArts在公测阶段可以免费使用,只是赶上业务量大的时候需要排队。模型、数据集和代码需要用obs存储,用量少的话也是免费的。听老师这样说我就放心了。完成作业的第二天,我成功收到了华为云费用账单:

MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类_第3张图片

想想占用了人家差不多2GB的存储容量,才花5毛7分钱人民币,学习成本并不高,完全能接受。

写在最后

老师讲的NLP算法演进历史虽然不是重点,但是我觉得深入了解一个领域的发展过程是很必要的。只有知道以前人们是怎么应对挑战的,以及如何改进的,才有可能理解最新的成果为什么是这个样,以及如何更好加以运用。我理解实战课时间有限,能讲到已经非常好了。加深了解是课后做的事情。

MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类_第4张图片

老师讲的NLP发展简史。尽量记录,但是还不能理解

第一次亲手“全程”操作一个训练任务,我对算法过程产生了一些联想。

首先是关于“学习”这件事。老师讲当前TNEWS分类最高的准确率57%。我觉得这样的成绩没有实用价值。问题会不会出在数据上呢?看统计学习方法有一个假设叫独立同分布。我不知道深度学习还需不需要这个假设。因为BERT学习包括预训练和调优两个阶段,而预训练使用的是一个超级大的通用语料库(华为使用的是中文维基。据说谷歌最早使用了英文维基),调优是把从预训练中得到的参数,应用到另外一个数据集(实验中用的是TNEWS数据集)上,再生成一组新的参数。我猜这两个数据集的差异很大。怎么测量这种差异我还没有概念,不过可以类比一下,让老中医去按西医的方法给病人开刀一定不会有好结果。我觉得在预训练的时候把领域知识带进去,实际应用的效果会有提高,比如用各类媒体发表过的标题作为预训练的数据集,再对今日头条的新闻标题做分类,准确率应该会有很大的提高。这个问题以后有机会要实际验证一下。

其次是关于“算法设计”这件事。BERT一出山就刷新了很多NLP任务的成绩很了不起,但是在创新性方面,感觉Transformer的贡献似乎更大。而相对于Word2Vec来说,从Seq2Seq到Transformer开创的东西似乎并不多,每一代新模型都是对前辈的修补。这是不是说模型开发基本是经验驱动的,尝试的作用很大(模型改进是不是就是传说中的“炼丹”)?就好比积木块都一样,只是用不同的方法把它们连接成不同的样子,然后看看力量是不是加强了,加强的就留下变成新擂主。至于为什么加强的,可能还是没搞清楚。感觉这又有点像老中医,说不清药物为什么起了效,如果非要说,他会扯一堆天地人,精气神,七经八脉之类的无法实证的东西。如果是这样的话,那么算力的作用就非常大了,因为只有算力够强,迭代的速度才够快,练丹师傅才能更快发现哪个模型力气大。

最后是关于“算法实现”这件事。感觉实现是很难的。一个算子后面涉及多少数据转换,多少矩阵运算,多少微分,加乘。假如是自己去实现一个算法,又要学习多少数学,又要知道多少驱动硬件的知识。实在太难。而且,最最要命的是,知识量往往是天花板。我亲身经过过一次。大约半年前自学CS231,做multiclass SVM Loss作业,我只想到用数值计算的方法实现求导,一个循环要6分多钟。能做出来感觉挺好,但是觉得这么慢不对劲。后来看Github上一位MahanFathi的作业,人家用解析法,代码量是我的1/20,只用几秒钟就能跑一个循环。我信心碎一地,至今不碰CS231,除非有高人带。所以我觉得有MindSpore真好,计算这种工作让它做好了,我就想想网络搭几层,怎么连接就行了吧。

机器学习一小白,胡思乱想净瞎猜。欢迎大佬指导。

前课笔记:

MindSpore21天实战营手记(一):基于MindSpore Lite开发端侧AI图像分类应用

有大神打比赛,求带。哪里写得不对,请大牛指教。欢迎加微信

MindSpore21天实战营手记(二) :基于Bert进行中文新闻分类_第5张图片

转自文章链接:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=84847

感谢作者的努力与分享,侵权立删!

你可能感兴趣的:(算法,数据结构,推荐算法)