【论文】智能制造中的深度学习（2018Deep learning for smart manufacturing: Methods and applications）

一、论文的关键点
1.本文主要分析了在智能制造背景下数据驱动的深度学习的模型和应用。
2.模型：CNN（Convolutional neural network），RBM（Restricted Boltzmann machine，基于能量的模型）及变体(DBN,DBM)，AE（Auto Encoder）及变体(DAE,SAE,CAE)，RNN(Recurrent neural network)及变体(LSTM等)。
3.应用：产品质量检查的描述分析：可用CNN模型；故障评定的诊断分析：CNN，DBM，stacked AE模型比传统的机器学习效果好；缺陷预断的预测分析：CNN和双向LSTM的整合方法，集成DBNs等。
4.讨论：智能制造需要深度学习来处理大量数据，但理论与实践有五大差距：（1）数据的问题，高维、多模态、非结构的数据可能需要提取相关数据来减小规模和用特定任务的正则项来提高深度学习的性能；对于数据不平衡的问题需要合适的方法如类别重采样、代价敏感训练、自助抽样法。（2）模型选择方面，要考虑采用监督学习还是非监督学习；每种算法都有优点和缺点，要考虑所选算法的普遍适用性。（3）模型可视化，深度学习模型常被视为黑匣子，可视化所学的特征和模型结构，用工程特征补充抽象特征可能有利于为复杂问题建立和配置模型。（4）一般的模型，需要进行结构设计和超参数优化来应对复杂问题。（5）递增的学习，深度学习算法易受数据变化的影响，要让它具备递增学习能力，可用深度迁移学习。
5.深度学习有利用大量数据提供决策信息的潜力，也有局限和挑战，随着计算资源的演化，将来计算智能包括深度学习可能被推到云端。
二、对自己的启发
1.深度学习正在进军智能制造生产线，它对数据的分析还没有传统算法快、清晰可见，但将会在整个系统后台发挥越来越大的作用。
2.针对数据不平衡（正负样本不均、类间不平衡），AE（非监督学习）和GAN在机器视觉方面可以从正常样本学习提取特征，反识别缺陷信息，OCSVM异常检测也可以探索一下。
3.深度迁移学习，迁移特征提取/降维，有利于应对数据、知识的更新，很有意义。
4.对于时序数据，如设备生命周期预测，LSTM（Long Short-Term Memory）结合CNN更适合去探索。By the way，强化学习也是主要研究时间序列的数据，而不是独立同分布的数据。