深度学习摘抄笔记(上)

pexels-photo-1708988.jpg

1. 人类的记忆并不可靠，对故事的每次复述都会导致记忆的偏差，这个过程叫作“重整记忆”

2. 如果说数据是新时代的石油，那么学习算法就是从中提取信息的炼油厂；信息积累成知识；知识深化成理解；理解演变为智慧。

3. 现实生活包括虚张声势，一点欺骗手段，以及自问另一个人会怎么评判我做事的意图。这就是我理论中博弈的内涵。”扑克是一种博弈，反映了经过进化精炼过的人类智能的一部分

4. 流体智力能够将新条件中的推理和模式识别用于解决新问题，而不依赖于以前的知识；晶体智力则依赖于先前的知识，也是标准智商测试（即IQ测试）的对象。流体智力遵循一种抛物线式发展轨迹，在成年早期达到高峰，并随着年龄的增长逐渐下降；而晶体智力会随年龄的增长，缓慢渐进式地提高，直至暮年。

5. 我对神经网络的信仰是基于我的直觉，即如果大自然解决了这些问题，我们也应该能够从大自然中学习到同样的解决方法。而我不得不耐心等待的这25年，与自然界的数亿年相比，它仅仅只是一个瞬间。

6. 第一条暗示是，我们的大脑是强大的模式识别器；第二条暗示是，我们的大脑可以通过练习来学会如何执行若干艰巨的任务，比如弹钢琴、掌握物理学知识。大自然使用通用的学习方法来解决特殊的问题，而人类则是顶尖的学习者。这是我们的特殊能力。我们大脑皮层的结构整体上是相似的，并且我们所有的感受系统和运动系统都有深度学习网络；第三条暗示是，我们的大脑并没有充斥着逻辑或规则。第四条暗示是，我们的大脑充满了数百亿个小小的神经元，每时每刻都在互相传递信息

7. 推理似乎是基于特定领域的，我们对该领域越熟悉，就越容易解决其中的问题。经验使得在一个领域内进行推理变得更容易，因为我们可以用已有的例子来下意识地得到解决方案

8. 权重是对每一次输入对输出单元做出的最终决定所产生影响的度量，但是我们如何找到一组可以将输入进行正确分类的权重呢？工程师解决这个问题的传统方法，是根据分析或特定程序来手动设定权重。这需要耗费大量人力，而且往往依赖于直觉和工程方法。另一种方法则是使用一种从样本中学习的自动过程，和我们认识世界上的对象的方法一样。需要很多样本来训练感知器，包括不属于该类别的反面样本，特别是和目标特征相似的，例如，如果识别目标是猫，那么狗就是一个相似的反面样本。

9. 杰弗里坚信，将由简单处理单元构成的网络、并行工作和从样本中学习相结合，是理解认知的更好的方式。

10. 神经元的功能不仅仅取决于它如何对输入做出反应，而且还取决于它通过自身的“投射域”激活的下游神经元。一个神经元的输出一直以来都比它的输入更难确定，但新的遗传学和解剖学技术使得精确追踪下游的轴突投射成为可能。

11. 大脑后部的视觉区域和其他感官流的层级结构最先发育成熟，靠近大脑前部的皮层区域则需要更长的时间。前额叶皮层，也就是最靠近大脑前端的部分，直到成年早期才可能完全发育成熟。在关键期，皮层区域的连接接受神经活动影响最大，这些层叠的关键时期导致了皮层的逐渐发育。

12. 当神经元之间突触的形成在早期发育过程中迅速增加时，神经元内部的DNA在诞生后通过一种甲基化的形式进行表观遗传修饰，这种甲基化调节基因的表达是大脑所独有的。

13. 优化（Optimization）是机器学习中一个关键的数学概念：对于许多问题，可以找到一个代价函数（cost function），而问题的解决方案就是代价最低时的系统状态

14. 反向传播网络的输入是被传播的前馈：在该图中，左侧的输入通过连接（箭头）向前传播到隐藏的单元层，然后投影到输出层。输出结果与训练者给出的值进行比较，差值被用来更新连接输出单元的权重，以减少误差。然后，根据每个权重对误差贡献的多少，通过反向传播误差对输入单元和隐藏层之间的权重进行更新。利用大量样本进行训练，隐藏单元生成了可区分不同输入模式的选择性特征，这样一来它们就能够在输出层中对不同类别进行区分。这一过程被称为“表征学习”

日更：190/365（2019—4—12）

坐享：5分钟（97/365）

正在阅读：深度学习

想要改变的战友，不妨一起制定一个计划，一年之后看最终你有多少变化，我自己开了一个微信公众号(丁昆朋YKPD),微信号:yuekunpengding 喜欢写作、英语、编程、区块链的朋友可以关注一下，共同成长。