【python实现】#搭建一个可以运行在不同优化器模式下的 3 层神经网络模型（网络层节点 数 目分别为：5,2,1），对“月亮”数据集进行分类。

一、题目

搭建一个可以运行在不同优化器模式下的 3 层神经网络模型（网络层节点
数 目分别为：5,2,1），对“月亮”数据集进行分类。

1. 在不使用优化器的情况下对数据集分类，并可视化表示。
2. 将优化器设置为具有动量的梯度下降算法，可视化表示分类结果。
3. 将优化器设置为 Adam 算法，可视化分类结果。
4. 总结不同算法的分类准确度以及代价曲线的平滑度。

二、解题说明

3 层神经网络模型，即含有两个隐藏层，根据题目要求可知，第一个隐藏层
的节点数为 5，第二个隐藏层的节点个数为 2，输出节点个数为 1，可知输入层节
点个数为 2。结构如下：

2.1 在不使用优化器的情况下对数据集分类，并可视化表示

首先搭建基础三层神经网络， 依次定义加载数据集、 神经网络结构、 初始化
模型的参数、 激活函数、前向传播、损失函数、反向传播、更新梯度，然后定义
神经网络模型，将运行逻辑整合在一起，正式运行以后，再进行预测分类及可视
化（具体过程见代码）。
其中几个变量说明，固定读取数据的个数 N=300， 噪声 noise=0.2， 通过迭
代次数的实验固定迭代次数 num_iterations=10000，仅剩下可调参数学习率
le