1、在深度学习中,你需要这些吗?
- Lots of math T / F
- Lots of data T / F
- Lots of expensive computers T / F
- A PhD T / F
答:不是必须的,有当然更好
2、说出深度学习在哪五个领域表现出色?
答:计算机视频、语言处理、医学、机器人、协同过滤
3、第一个基于人工神经元原理的设备名称叫什么?
答:由Frank Rosenblatt博士制造的Mark I perceptron的''实体''感知机
4、根据同名书籍,并行分布式处理有哪些要求?
答:
A set of processing units(一组处理单元)
A state of activation(一个激活状态)
An output function for each unit (所有单元的输出函数)
A pattern of connectivity among units (各单元的连接模式)
A propagation rule for propagating patterns of activities through the network of connectivities (通过连通性网络传播活动模式的传播规则)
An activation rule for combining the inputs impinging on a unit with the current state of that unit to produce an output for the unit(一种激活规则用于将撞击到某个单元的输入与该单元的当前状态进行组合,以生成该单元的输出)
A learning rule whereby patterns of connectivity are modified by experience (一种学习规则,可根据经验修改连接方式)
An environment within which the system must operate(系统必须在其中运行的环境)
5、哪两个理论误解阻碍了神经网络的发展?
答:1969年,Marvin Minsky和Seymour Papert在他们的书《感知器》(Perceptrons)中证明,单层人工神经元无法学习像XOR逻辑门这样简单、关键的数学函数。虽然他们随后在同一本书中证明了附加层可以解决这个问题,但只有第一个洞察被认可,导致了第一个人工智能冬天的开始。
在20世纪80年代,人们正在探索两层模型。理论上,用两层人工神经元来近似任何数学函数是可能的。然而,在实践中,这些网络太大太慢。虽然已经证明添加额外的层可以提高性能,但这一观点并未得到认可,第二个人工智能冬天开始了。在过去的十年里,随着数据可用性的提高和计算机硬件的改进(CPU性能的提高,但更重要的是GPU性能的提高),神经网络终于发挥出了它的潜力。
6、为什么用传统的计算机编程很难识别图片?
答:需要写很多的规则,无法适应现实环境
7、Samuel说的权重分配是什么意思?
答:“权重分配”是指模型参数的当前值。Arthur Samuel进一步提到了一种“自动测试当前权重分配有效性的方法”和“改变权重分配以使性能最大化的机制”。这是指对模型进行评估和训练,以获得一组使模型性能最大化的参数值。
8、我们在深度学习中通常使用什么术语来表示Samuel所说的“权重”
答:参数
9、画一幅画,总结Samuel对机器学习模型的看法。
10、为什么很难理解深度学习模型为何做出特定预测?
答:在通常的软件开发中,可以分析软件正在执行的确切步骤,但是在神经网络中,行为是由模型试图匹配训练数据而不是精确定义出来的。
11、表明神经网络可以以任意精度解决任何数学问题的定理名称叫什么?
答:万能近似定理
12、您需要什么来训练模型?
答:对于给定的问题,您需要一个体系结构。需要数据来输入你的模型。对于深度学习的大多数用例,您将需要数据的标签来比较模型预测。需要一个损失函数来定量地衡量你的模型的性能。需要一种方法来更新模型的参数以提高其性能(这称为优化器)
13、反馈回路如何影响预测性警务模型的推出?
答:一个预测性的政策模型中,我们可能最终会得到一个正反馈回路,从而导致一个预测能力很低的高度偏差模型。例如,我们可能需要一个预测犯罪的模型,但我们使用逮捕信息作为代理。然而,由于现有警务过程中的偏见,这一数据本身有点偏颇。用这些数据进行训练会导致一个有偏见的模型。执法部门可能会利用这个模型来确定警察活动的重点,在这些地区增加逮捕人数。在未来的模型迭代中,这些模型甚至会有更多的偏差。这个循环继续作为一个正反馈循环。
14、我们是否总是需要在猫识别模型中使用224×224像素的图像
答:实践中发现,224*224的图像能取得更好的效果
15、分类和回归有什么区别?
答:分类不是0就是1、而回归是一堆连续的值
16、什么是验证集? 什么是测试集? 为什么需要它们?
答:验证集是数据集的一部分,不用于训练模型,而是用于在训练期间评估模型,以防止过度拟合。这确保了模型的性能不是由于数据集的“作弊”或记忆,而是因为它学会了用于预测的适当特征。然而,我们也有可能过度拟合验证数据。这是因为人类模型师也是训练过程的一部分,根据验证性能调整超参数和训练程序。因此,数据集的另一个看不见的部分,即测试集,用于模型的最终评估。数据集的这种拆分是必要的,以确保模型将泛化为未查看的数据。
17、如果没有提供验证集,fastai会如何处理?
答:fastai会默认选择20%的数据集作为验证集
18、我们可以始终使用随机样本作为验证集吗?为什么或者为什么不?
答:第一个原因是因为使用随机的验证集,就不知道当前选择的超参数是否真正起到了作用
第二个原因是一个好的验证或测试集应该能够代表您将来看到的新数据。有时,如果使用随机样本,这是不正确的。例如,对于时间序列数据,随机选择集合是没有意义的。相反,为训练、验证和测试集定义不同的时间段是一种更好的方法。
19、什么是过拟合,举个例子
答:训练机器学习模型时,过度拟合是最具挑战性的问题。过拟合指的是模型与有限的数据集拟合得太近,但不能很好地推广到未看到的数据。当涉及到神经网络时,这一点尤其重要,因为神经网络可以潜在地“记忆”模型训练所依据的数据集,并且将对看不见的数据执行极其糟糕的操作,因为它没有“记忆”这些数据的基本真实值。这就是为什么需要一个适当的验证框架,将数据分成训练集、验证集和测试集。
20、什么是指标(metric)?它与损失(loss)有何不同?
答:metirc是使用验证集度量模型预测质量的函数。这与损失相似,损失也是衡量模型性能的一个指标。然而,损失意味着优化算法(如SGD)可以有效地更新模型参数,而metric是人类可解释的性能指标。有时,metric也可能是损失的一个很好的选择
21、使用预训练模型的好处是什么?
答:预先训练过的模型已经在其他问题上接受过训练,这些问题可能与当前任务非常相似。例如,经过预训练的图像识别模型通常是在ImageNet数据集上训练的,ImageNet数据集有1000个类,集中在许多不同类型的视觉对象上。经过预训练的模型非常有用,因为它们已经学会了如何处理诸如边缘和颜色检测等许多简单的特性。但是,由于模型是为不同的任务而训练的,因此不能按原样使用此模型
22、模型的头是什么?
答:当使用预先训练的模型时,模型的后面几层(对于最初训练模型的任务很有用)将被一个或多个具有随机权重的新层替换,这些层的大小与正在使用的数据集的大小相匹配。这些新图层被称为模型的“头部
23、CNN的前面层会找到哪些特征?后面的几层呢?
答:早期的层学习简单的特性,如对角线、水平和垂直边缘。之后的图层学习更高级的特征,如汽车轮子、花瓣,甚至动物的轮廓。
24、图像模型仅适用图片吗?
答:不!图像模型可以用于其他类型的图像,如草图、医学数据等。
而且,很多信息可以用图像来表示。例如,一个声音可以转换成一个光谱图,这是对声音的视觉解释。时间序列(例如:金融数据)可以通过绘制在图形上转换成图像。更妙的是,有各种各样的从时间序列中生成图像,并且在时间序列分类方面取得了很好的效果。还有很多其他的例子,通过创新,可以将您的问题表述为图像分类问题,并使用预训练的图像模型来获得最先进的结果!
25、什么是架构?
答:架构是我们试图适应模型的模板或结构。它定义了我们试图拟合的数学模型
26、y_range的作用是什么? 我们什么时候需要它
答:当我们的问题集中在预测给定范围内的数值时,y_range被用来限制预测值(例如:预测电影收视率,范围为0.5-5)
27、什么是超参数?
答:超参数不是模型的参数是学习算法本身的参数,比如学习率、正则化的数量无法通过训练得到
28、在组织中使用AI时避免失败的最佳方法是什么
答:第一是确保正确定义了训练、验证和测试集,以便以适当的方式评估模型。第二是尝试一个简单的基准,希望未来的模型能战胜它。在某些情况下,甚至这个简单的基线就足够了