如何理解神经网络学习到的是训练数据的分布？

什么是训练数据的分布呢？通俗一点来说，就是给你的这一大批训练数据，他总体是个什么样的、平均水平在哪里、最好的有多好、最差的有多差、每个个体离着这个平均水平分别能强多少、能弱多少、个体水平波动情况如何。。。。。

训练的目的就是让模型摸清这一批数据数据的情况，其他没见多的数据就是新知识。

那如何把训练的数据的知识，用到测试集的新知识中呢？只要保证新知识和学过的知识是同一回事（个体之间独立且同分布），那模型就可以用学过的套路取参加新知识的考试了，考试过程中的推理思路都可以套用学习过程中的思路（思路：模型推导过程）。所以训练集和测试集都是打乱当前数据集，然后随机分割，就是这种随机性来保证取训练数据的时候不会总是取到好样本，要好坏兼有。

总结：给一个学生一大堆积分求解的问题让他学习，不断纠正自己的错误，当他学完了之后也最多就是学会了这些题的解法（学到了训练集的分布）。到底解法靠不靠谱呢？那得拿一点新的定积分求解题目（测试集要同分布）来考考他。考试题里要有学过的题（测试集包含训练集），那他答对了也不能说明他会了；考试题要是考起了泰勒展开（测试集和训练集分布不同了），那他考的不好也不能骂他、人家没学。