网络模型设计的想法、实践和探索

一、对图像处理的网络模型设计原则与方法

处理的核心想法是：将图像转换为隐藏表示，

两个核心性质：

      1）、平移不变性

      2）、局部性

从全连接层(可能需要数10亿参数)到卷积神经网络（只需要数百个参数）；

体现了对网络设计的根本原则，即，在某些条件下，卷积神经网络与全连接层是等价的，但是卷积神经网络只有几百个参数，全连接层（多层感知机）需要几十亿参数。

这样，网络设计就走向了卷积神经网络的方向，这是一个重大的方向进步。

二、走向卷积方向（原理）之后，就需要看看实际应用了，卷积神经网络设计用于探索图像数据

实际应用中需要考虑的主题包括：

1）、互相关运算、卷积层（实现互相关运算）、图像中目标的边缘检测、学习卷积核

2）、填充和步幅

3）、多输入多输出通道

4）、汇聚层

5）、综合：LeNet

三、设计网络的方法升级（所谓现代卷积神经网络）

AlexNet是从浅层网络（LeNet）到深层网络（更大模型）的关键一步，一些关键的思想和比较需要被回顾，并强调！更大更深模型的训练与收敛是一个重要的议题，以AlexNet为例，需要被探讨清楚。

1、why？

LeNet在小数据集上取得了很好的效果，但是在更大、更真实地数据集上训练卷积神经网络地性能和可行性还有待研究。

与神经网络竞争的是传统机器学习方法，比如SVM（支持向量机）。

机器学习研究人员的观点：相信机器学习既重要又美丽，用优雅的理论证明各种模型的性质。

计算机视觉的研究人员的观点：推动领域进步的是数据特征，而不是学习算法。他们相信，从对最终模型精度的影响来说，更大或更干净的数据集或是稍加改进的特征提取方法，比任何学习算法带来的进步大的多。

另一种观点：观察并设计图像特征的提取方法。主要工作是设计一套新的特征函数，改进结果并撰写论文，代表性成果有：SIFT、SURF、HOG等。

还有一组研究人员（Yann LeCun, Geoff Hinton, Yoshua Bengio, Andrew Ng, Shun-ichi Amari, and Juergen Schmidhuber）的观点：认为特征本身应该被学习。有趣的是，在AlexNet网络的底层,模型学习到了一些类似于传统滤波器的特征提取器。

最终的突破出现在2012年，成功可以归因于两个关键的因素：数据和硬件。2009年，ImageNet有100万个样本，1000个不同类别的对象。硬件上GPU的发展，庞大的GPU数量远远快于CPU的计算能力，GPU的带宽比CPU快10倍。

在这个思路上一路狂奔，出现了ChatGPT，数据量超过万亿（数据），上万的GPU并行计算（算力），千亿甚至万亿参数的神经网络（算法），在今天，处于全球领先地位（the state of art），具有强大的引领效应。

2、取得进步的方向