【datawhale】【天池学习赛】零基础入门NLP - 新闻文本分类 -task03

在dsw上实操了一把dw给的基于机器学习的文本分类demo。

1.发现实操比想象的要复杂，有很多细节需要学习。

想到了一个测试“是否真的理解代码”的办法：用自己的话来解释一遍代码的含义。

如果只是跑一遍demo，可能只是跑通了，但并没有明白代码是什么意思。

 

2.可以薅dsw的羊毛，不过在dsw上有各种问题：

2.1安装包好慢，需要自己配置清华源。

重启实例后，需要重新配置源。

2.2配置清华源后，安装包仍然有点慢，一直显示solve environment中。

2.3用conda安装会出现权限错误。

需要用pip：pip install sklearn --user

2.4其他同学反应的dsw的问题。

昨晚我用了这个集群，算词频时kernel直接死了。内存太小不太实用。而且也慢，不能联网

2.5dsw的配置：2核4G CPU资源 、P100 GPU，每天免费5h。

 

3.其他环境方案：

3.1 用自己机器，抽一个小样本跑最安全。

远程容易遇到莫名其妙的环境配置问题。

3.2 google colab, 12g。
挺好用的，可以连接到drive，但是一次只能运行12h。

Colab is experiencing issues connecting to Drive, and we are actively investigating.

q: 用Colab的同学注意了，最近Colab与Google Drive的连接有问题，我折腾了一上午，结果看到这个通知

a: 我也看到了，但是没有影响使用