如何理解神经网络学习到的是训练数据的分布?

什么是训练数据的分布呢?通俗一点来说,就是给你的这一大批训练数据,他总体是个什么样的、平均水平在哪里、最好的有多好、最差的有多差、每个个体离着这个平均水平分别能强多少、能弱多少、个体水平波动情况如何。。。。。

训练的目的就是让模型摸清这一批数据数据的情况,其他没见多的数据就是新知识。

那如何把训练的数据的知识,用到测试集的新知识中呢?只要保证新知识和学过的知识是同一回事(个体之间独立且同分布),那模型就可以用学过的套路取参加新知识的考试了,考试过程中的推理思路都可以套用学习过程中的思路(思路:模型推导过程)。所以训练集和测试集都是打乱当前数据集,然后随机分割,就是这种随机性来保证取训练数据的时候不会总是取到好样本,要好坏兼有。

总结:给一个学生一大堆积分求解的问题让他学习,不断纠正自己的错误,当他学完了之后也最多就是学会了这些题的解法(学到了训练集的分布)。到底解法靠不靠谱呢?那得拿一点新的定积分求解题目(测试集要同分布)来考考他。考试题里要有学过的题(测试集包含训练集),那他答对了也不能说明他会了;考试题要是考起了泰勒展开(测试集和训练集分布不同了),那他考的不好也不能骂他、人家没学。

你可能感兴趣的:(深度学习笔记,深度学习,机器学习,数据分布)