神经网络验证集和测试集,卷积神经网络入侵检测

1、深度学习中测试数据跟验证数据的区别是什么？我不太理解验证数据是干什么的

通常在深度学习中将数据集划分为训练集、验证集和测试集。训练数据是用来训练神经网络模型的数据，验证数据的作用是：在神经网络训练的过程中不断测试模型的误差，验证数据的误差随着神经网络模型训练的次数增加会呈现先减小后增加的数据，所以验证数据的误差会存在一个拐点，当达到这个拐点时停止神经网络的训练，这时得到的神经网络的误差最小。而测试数据就是用来在神经网络训练完毕的时候测试模型的误差的数据。

再通俗易懂的举例形容如下

训练集：相当于教材或例题，训练集在我们的模型过程中起的作用就是更新模型的参数，用以获得更好的性能，其行为表现就是让我们以为模型掌握了相关的知识（规律）。
验证集：相当于模拟考试，只是你调整自己状态的指示器，这种调整的结果（从模拟考到高考），有可能更好，也有可能更糟糕。验证集的存在是为了从一堆可能的模型中，帮我们选出表现最好的那个，可用来选超参数。
测试集：相当于高考，其特点是一考定终身，不给改的机会。训练集用来评估模型最终的性能；当多个模型进行对比试验验证模型性能时，多个模型应该在相同的测试集上面进行对比，这样才有效。就好比甲做A地区的卷子考了600分，乙做B地区的卷子考了590分，能不能说甲比乙成绩高，答案是不能。此外，请勿对测试数据进行训练。 如果评估指标取得了意外的好结果，则可能表明不小心对测试集进行了训练。例如，高准确率可能表明测试数据泄露到了训练集。
另：常见的划分原则有交叉验证法、留出法。

谷歌人工智能写作项目：小发猫

2、你好！我在利用BP神经网络时，我的训练集和预测集的误差都还可以，只是测试集的误差很大，怎么解决？

这肯定是出现了过拟合了，你可以做一下改进神经网络测试集数据泄露。1.处理一下数据集，也就是说重新划分训练集和测试集2.换一个误差检验函数3.调整一下隐节点个数4.控制学习次数

3、神经网络测试样本集，训练样本集怎么理解，编程目的是让 测试样本输出跟踪目标输出么？谢谢指导~~~不懂~

训练样本是用来训练学习机的，测试样本是学习机要识别的对象。
比如你想让一台电脑能识别茶杯，首先你要准备一个茶杯(训练样本)，然后把茶杯给计算机看(数据输入)，并告诉电脑说这样的东东是茶杯(期望输出)，电脑看到茶杯后它认为是花盆，但看到你的期望是茶杯，他就不停训练自己这个是茶杯不是花盆，直到电脑他自己认为茶杯是茶杯后结束（这个过程叫学习），然后你把另一只茶杯(测试样本)放在电脑面前，并问他这是什么东东，电脑通过运算后告诉你是茶杯(这个过程叫识别)。
神经网络的原理是输入层的数据经过多个神经元后的输出值尽量接近给出的期望值，如果输出值与期望值误差大，则反复修改神经元的权，直到输出值与期望值的误差在可接受范围。

4、神经网络训练集正确率88%，测试集只有50%，这是为什么

训练数据和测试数据不太一样吧，不过测试集比训练集差是正常的。

5、神经网络，训练样本500条，为什么比训练样本6000条，训练完，500条预测比6000条样本好！

并非训练样本越多越好，因课题而异。 1、样本最关键在于正确性和准确性。你所选择的样本首先要能正确反映该系统过程的内在规律。我们从生产现场采得的样本数据中有不少可能是坏样本，这样的样本会干扰你的神经网络训练。通常我们认为坏样本只是个别现象，所以我们希望通过尽可能大的样本规模来抵抗坏样本造成的负面影响。 2、其次是样本数据分布的均衡性。你所选择的样本最好能涉及到该系统过程可能发生的各种情况，这样可以极大可能的照顾到系统在各个情况下的规律特征。通常我们对系统的内在规律不是很了解，所以我们希望通过尽可能大的样本规模来“地毯式”覆盖对象系统的方方面面。 3、再次就是样本数据的规模，也就是你要问的问题。在确保样本数据质量和分布均衡的情况下，样本数据的规模决定你神经网络训练结果的精度。样本数据量越大，精度越高。由于样本规模直接影响计算机的运算时间，所以在精度符合要求的情况下，我们不需要过多的样本数据，否则我们要等待很久的训练时间。 补充说明一下，不论是径向基（rbf）神经网络还是经典的bp神经网络，都只是具体的训练方法，对于足够多次的迭代，训练结果的准确度是趋于一致的，方法只影响计算的收敛速度（运算时间），和样本规模没有直接关系。
如何确定何时训练集的大小是“足够大”的？
神经网络的泛化能力主要取决于3个因素：
1.训练集的大小
2.网络的架构
3.问题的复杂程度
一旦网络的架构确定了以后，泛化能力取决于是否有充足的训练集。合适的训练样本数量可以使用Widrow的拇指规则来估计。 拇指规则指出，为了得到一个较好的泛化能力，我们需要满足以下条件（Widrow and Stearns，1985；Haykin，2008）： N = nw / e 其中，N为训练样本数量，nw是网络中突触权重的数量，e是测试允许的网络误差。 因此，假如我们允许10%的误差，我们需要的训练样本的数量大约是网络中权重数量的10倍。

6、神经网络欠拟合是不是每次输出结果都一样，称为欠拟合，都准确无误称为过拟合？

不是的。神经网络训练有训练集和测试集，一般数据比为7：3或8：2。训练集用于生成神经网络的逻辑，测试集用于验证神经网络的正确性。如果训练集的准确率很高，而测试集很低，说明训练集模拟出的逻辑仅对训练集适用，而和实际差异很大，这种现象称为过拟合。如果训练集和测试集准确率都很低，说明由于数据本身原因，或神经网络的不良特性，导致神经网络无法符合实际逻辑，这种现象称为欠拟合。

7、小白对于神经网络的数据集的问题

标准数据集是神经网络的训练基础。训练就相当于条件反射中的条件，是已知的条件。来源是“经验”，是已知的映射组，当在神经网络中载入标准数据集后，神经网络随机生成一组矩阵，用矩阵处理标准集中的输入集后，用所得结果与标准输出集比较，将误差提出后根据误差，向减少误差的方向修改矩阵组，然后重复多次以后，误差减小到一定程度，标准输入集输入网络后能得到标准输出集，训练完成。这个矩阵组就是神经网络模型。神经网络就是用电脑在标准数据集上总结经验，来对新的输入进行映射

8、神经网络算法中什么是训练集,什么是测试集?以及其各对应的作用?本人新手,望高手指

就是把样本数据分为训练集和测试集，训练集用来训练神经网络，测试集用来验证模型