论“输入”与“输出”，还有“关系”

1、对整体任务而言，就是输入和最终的任务输出，比如图像分类的结果、定位的位置估计结果、房价预测值、经济增长预测值等等

2、对于大量的输入，如何能走到“输出”？真正与输入之间的关系是什么？中间重要的概念和知识有哪些？这些就是问题的挑战

3、某种意义上说深度学习就是在寻找真正的输入与输出之间的关系

       重点1：其实是输出是什么？我们真正想要的输出？例如，公司经营真正想要的是规模和利润，规模决定体量、实际发生和社会影响力（社会影响面大小)

       重点2：真实的输出与输入之间的关系，例如扑克牌游戏中，我们想知道经过多少次洗牌后，牌能够均匀分布；当我们探究其中关系的时候，首先需要明确条件，起始点，形式化表示，然后是输入，然后是逐层关系累进。

       重点3：中间的处理过程与技巧及思维方法，思想。不同类型的模型的提出，及其在大数据集上的性能验证。

       重点4：对某类模型能力极限的pursue。当下，正在进行的是对transformer类模型的能力极限pursue。

4、关系的演进：全连接层到卷积层，由于有局部性和平移不变性的保证，处理图像直接可以等价的从全连接层到卷积层；效果大致相当于从傅里叶变换到快速傅里叶变换，不同的是快速傅里叶变换利用的是系数对称性。表示的变换，直接结果就是“稀疏”。

5、人们更多的关注输出，也就是结果。过程才是更重要、且更精彩的部分。当然，源头的重要性是第一位的，即输入。

6、粗略上看，输入、真实关系和输出、以及输出带来的影响构成构成事物的大部分内容。

7、关键的变化带动整体的跃升。从LeNet到AlexNet，到ResNet，再到Transformer。具体从LeNet到AlexNet的变化，可以参考我的另一篇文章：“现代”“修饰”卷积神经网络，何谓现代-CSDN博客。

8、创新来源于对“真实输出的诉求、发现和实现，以及推广”，比如NASDAQ指数的发明与推广，推高的证券交易的水准。

9、社会进步来自于“闪亮思想”的大规模推广与应用，例如“深度学习整体对社会的变革意义”，改变生产力和生产关系。

10、经济杠杆的利用，“房子”推动“劳动付出”，“股权激励”推动“公司发展与扩张”。赛道创新是根本意义上的增量贡献！

11、体系化的进步至关重要！