工程师训练模型的完整步骤

①预处理数据
②模型选择

      对于图像生成文本,就需要CNN,后面接一个RNN
      对于文本分类,就需要选择LSTM,判断需不需要加attention
      对于生成模型,就需要选择GAN
③模型调参
      首先是模型结构方面的调参,比如是不是应该加dropout,是不是应该加batchnorm,是不是要加skip-connection(resnet那样的结构)
      其次是在训练过程中的调参,我的learning-rate应该是多大,我的batchsize应该是多大,优化器应该使用什么,使用Adam还是SGD等等
④模型后处理
      模型训练完之后,如果想让它上线提供服务的话,还要对模型做一些处理,比如在tensorflow中,可以把graph给freed一下,给quantype一下,或者用一些模型压缩的方法,使模型变得比较小,变得速度更快

 

你可能感兴趣的:(深度学习)